Methodology Review

Blinded versus unblinded assessments of risk of bias in studies included in a systematic review

  1. Kate Morissette2,
  2. Andrea C Tricco3,
  3. Tanya Horsley4,
  4. Maggie H Chen5,
  5. David Moher1,*

Editorial Group: Cochrane Methodology Review Group

Published Online: 7 SEP 2011

Assessed as up-to-date: 16 MAY 2010

DOI: 10.1002/14651858.MR000025.pub2

How to Cite

Morissette K, Tricco AC, Horsley T, Chen MH, Moher D. Blinded versus unblinded assessments of risk of bias in studies included in a systematic review. Cochrane Database of Systematic Reviews 2011, Issue 9. Art. No.: MR000025. DOI: 10.1002/14651858.MR000025.pub2.

Author Information

  1. 1

    Ottawa Hospital Research Institute, Ottawa, Ontario, Canada

  2. 2

    Health Canada, Ottawa, Ontario, Canada

  3. 3

    St Michael's Hospital, Li Ka Shing Knowledge Institute, Toronto, Ontario, Canada

  4. 4

    Royal College of Physicians and Surgeons of Canada, Centre for Learning in Practice, Ottawa, Ontario, Canada

  5. 5

    University of Toronto, Dept of Biostatistics, Toronto, Ontario, Canada

*David Moher, Ottawa Hospital Research Institute, Box 208, 501 Smyth Road, Ottawa, Ontario, K1H 8L6, Canada. dmoher@ohri.ca.

Publication History

  1. Publication Status: New
  2. Published Online: 7 SEP 2011

SEARCH

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Abstract
  5. Plain language summary

Background

The importance of appraising the risk of bias of studies included in systematic reviews is well-established. However, uncertainty remains surrounding the method by which risk of bias assessments should be conducted. Specifically, no summary of evidence exists as to whether blinded (i.e. the assessor is unaware of the study author’s name, institution, sponsorship, journal, etc.) versus unblinded assessments of risk of bias yield systematically different assessments in a systematic review.

Objectives

To determine whether blinded versus unblinded assessments of risk of bias yield systematically different assessments in a systematic review.

Search methods

We searched MEDLINE (1966 to September week 4 2009), CINAHL (1982 to May week 3 2008), All EBM Reviews (inception to 6 October 2009), EMBASE (1980 to 2009 week 40) and HealthStar (1966 to September week 4 2009) (all Ovid interface). We applied no restrictions regarding language of publication, publication status or study design. We examined reference lists of included studies and contacted experts for potentially relevant literature.

Selection criteria

We included any study that examined blinded versus unblinded assessments of risk of bias included within a systematic review.

Data collection and analysis

We extracted information from each of the included studies using a pre-specified 16-item form. We summarized the level of agreement between blinded and unblinded assessments of risk of bias descriptively. We calculated the standardized mean difference whenever possible.

Main results

We included six randomized controlled trials (RCTs). Four studies had unclear risk of bias and two had high risk of bias. The results of these RCTs were not consistent; two demonstrated no differences between blinded and unblinded assessments, two found that blinded assessments had significantly lower quality scores, and another observed significantly higher quality scores for blinded assessments. The remaining study did not report the level of significance. We pooled five studies reporting sufficient information in a meta-analysis. We observed no statistically significant difference in risk of bias assessments between blinded or unblinded assessments (standardized mean difference -0.13, 95% confidence interval -0.42 to 0.16). The mean difference might be slightly inaccurate, as we did not adjust for clustering in our meta-analysis. We observed inconsistency of results visually and noted statistical heterogeneity.

Authors' conclusions

Our review highlights that discordance exists between studies examining blinded versus unblinded risk of bias assessments at the systematic review level. The best approach to risk of bias assessment remains unclear, however, given the increased time and resources required to conceal reports effectively, it may not be necessary for risk of bias assessments to be conducted under blinded conditions in a systematic review.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Abstract
  5. Plain language summary

Blinded versus unblinded assessments of risk of bias in studies included in a systematic review

When researchers want to answer a question they can use an approach called a systematic review, which is intended to examine all of the studies that have been done in a particular area of interest. When examining and summarizing the literature, researchers are expected to determine which of the studies were well-conducted (i.e. high quality) and those that were not. What we do not know enough about is how researchers should conduct the assessments to determine which studies were of high quality. This is important because if the researcher is aware of certain study characteristics (e.g. what journal the study was published in) they may inadvertently assess the study a certain way. For example, if the author of the study is well-known to the assessor, they may be more likely to assume it is of 'high quality'. Our research examines whether blinding researchers to study characteristics makes a difference when the goal is to summarize the literature. We only found a few studies that reported data relevant to our question. The results from these studies were inconsistent, however, the results suggest that it may not make a difference if quality is appraised under blinded or unblinded conditions during a systematic review.

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Abstract
  5. Plain language summary

Avaliação cega versus não-cega do risco de viés dos estudos incluídos em uma revisão sistemática

Background

A importância de avaliar o risco de viés dos estudos incluídos em revisões sistemáticas está bem estabelecida. Entretanto, ainda existem dúvidas quanto aos métodos para avaliar o risco de viés. Especificamente, não existe nenhum resumo de evidências que analisou se avaliações cegas (isto é, aquelas em que o avaliador desconhece o nome do autor do estudo, sua instituição de origem, sua fonte de financiamento, em qual revista o estudo foi publicado, etc.) do risco de viés dos estudos incluídos em uma revisão sistemática levariam a resultados sistematicamente diferentes do que avaliações não-cegas do risco de viés desses mesmos estudos.

Objectives

Determinar se avaliações cegas do risco de viés levam resultados sistematicamente diferentes do que avaliações não-cegas do risco de viés de estudos incluídos em uma revisão sistemática.

Search methods

Buscamos, através da interface Ovid, por estudos publicados nas bases de dados MEDLINE (1966 até a 4ª semana de setembro de 2009), CINAHL (1982 até a 3ª semana de maio de 2008), All EBM Reviews (do início até 6 de outubro de 2009), EMBASE (1980 até a 40ª semana de 2009) e HealthStar (1966 até a 4ª semana de 2009). Não usamos restrições de idioma, tipo de publicação ou desenho do estudo. Pesquisamos nas listas de referências dos estudos incluídos e entramos em contato com especialistas em busca de estudos potencialmente relevantes.

Selection criteria

Incluímos qualquer estudo que avaliou o efeito da avaliação de risco de viés de forma cega versus avaliação do risco de viés de forma não-cega de estudos incluídos em uma revisão sistemática.

Data collection and analysis

Extraímos informações de cada um dos estudos usando um formulário de extração de dados criado especificamente para esta revisão e que tinha 16 itens. Apresentamos de forma descritiva o nível de concordância entre as avaliações de risco de viés de forma cega e não-cega. Sempre que possível calculamos a diferença média padronizada.

Main results

Foram incluídos seis ensaios clínicos randomizados (ECRs). Quatro estudos tinham risco de viés incerto e dois tinham alto risco de viés. Os resultados destes ECRs não foram consistentes; dois não encontraram nenhuma diferença entre avaliações cegas e não-cegas, dois concluíram que avaliações cegas tinham escores de qualidade significantemente menores, e um outro estudo relatou escores de qualidade significativamente maiores para avaliações cegas. Os estudos restantes não relataram os valores de significância para seus resultados. Fizemos uma metanálise com os resultados de cinco estudos que apresentavam informações suficientes. Não encontramos diferenças estatisticamente significantes nas avaliações de risco de viés de forma cega versus não-cega (diferença média padrão -0.13, intervalo de confiança de 95% -0.42 a 0.13). Como não ajustamos para o efeito de agrupamento (clustering effect) na nossa metanálise, a diferença média pode ser ligeiramente imprecisa A análise visual dos resultados indica inconsistência e identificamos também heterogeneidade estatística.

Authors' conclusions

Nossa revisão aponta a existência de discordância entre os estudos que avaliaram o risco de viés de estudos incluídos em uma revisão sistemática de forma cega versus não-cega. A melhor abordagem da avaliação de risco de viés de um estudo incluído em uma revisão sistemática permanece incerta. Porém, levando-se em conta o tempo e os recursos necessários para ocultar todos os detalhes de identificação de um estudo, isto pode não ser necessário para avaliar o risco de viés de estudos incluídos em uma revisão sistemática.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Abstract
  5. Plain language summary

Avaliação cega versus não-cega do risco de viés dos estudos incluídos em uma revisão sistemática

Avaliação cega versus não-cega do risco de viés dos estudos incluídos em uma revisão sistemática

Quando pesquisadores querem responder a uma pergunta, eles podem usar um método chamado revisão sistemática que busca examinar todos os estudos que existem a respeito de um tema específico de interesse. Espera-se que os autores de uma revisão sistemática examinem e resumem toda a literatura existente sobre o assunto e que eles analisem e classifiquem quais foram os estudos que foram bem conduzidos (isto é, estudos de alta qualidade) e quais não foram bem conduzidos. O que não sabemos ao certo é de que forma exatamente os autores de uma revisão sistemática deveriam avaliar quais são os estudos de alta qualidade. Isso é importante já que se o pesquisador souber alguns detalhes sobre o estudo que ele estiver analisando (como por exemplo em qual revista o estudo foi publicado), ele pode, sem querer, decidir que a qualidade daquele estudo é melhor ou pior. Por exemplo, se o pesquisador souber que o autor de um estudo é uma pessoa que ele conhece pessoalmente, ele pode ter uma tendência a classificar esse estudo como sendo de “alta qualidade”. Nossa revisão avaliou se o cegamento dos pesquisadores em relação às características do estudo faria alguma diferença quando eles estiverem resumindo a literatura. Encontramos poucos estudos que avaliaram esta questão. Os resultados destes estudos foram inconsistentes, no entanto eles sugerem que o cegamento ou não-cegamento do avaliador não parece fazer muita diferença na avaliação da qualidade dos estudos incluídos em uma revisão sistemática.

Translation notes

Translated by: Brazilian Cochrane Centre
Translation Sponsored by: None