Intervention Review

Interventions to improve the use of systematic reviews in decision-making by health system managers, policy makers and clinicians

  1. Lakshmi Murthy1,
  2. Sasha Shepperd2,*,
  3. Mike J Clarke3,
  4. Sarah E Garner4,
  5. John N Lavis5,
  6. Laure Perrier6,
  7. Nia W Roberts7,
  8. Sharon E Straus8

Editorial Group: Cochrane Effective Practice and Organisation of Care Group

Published Online: 12 SEP 2012

Assessed as up-to-date: 28 MAR 2012

DOI: 10.1002/14651858.CD009401.pub2


How to Cite

Murthy L, Shepperd S, Clarke MJ, Garner SE, Lavis JN, Perrier L, Roberts NW, Straus SE. Interventions to improve the use of systematic reviews in decision-making by health system managers, policy makers and clinicians. Cochrane Database of Systematic Reviews 2012, Issue 9. Art. No.: CD009401. DOI: 10.1002/14651858.CD009401.pub2.

Author Information

  1. 1

    National Institute for Health Research, UK Cochrane Centre, Oxford, UK

  2. 2

    University of Oxford, Department of Public Health, Oxford, Oxfordshire, UK

  3. 3

    Queens University Belfast, Centre for Public Health, Belfast, Northern Ireland, UK

  4. 4

    National Institute for Health and Clinical Excellence (NICE), Research and Development, London, UK

  5. 5

    McMaster University, McMaster Health Forum, Department of Clinical Epidemilogy and Biostatistics and Department of Political Science, Hamilton, ON, Canada

  6. 6

    St. Michael's Hospital, Li Ka Shing Knowledge Institute, Toronto, Ontario, Canada

  7. 7

    University of Oxford, Bodleian Health Care Libraries, Oxford, Oxfordshire, UK

  8. 8

    Li Ka Shing Knowledge Institute, St. Michael's Hospital and University of Toronto, Knowledge Translation Program, Toronto, Ontario, Canada

*Sasha Shepperd, Department of Public Health, University of Oxford, Rosemary Rue Building, Headington, Oxford, Oxfordshire, OX3 7LF, UK. sasha.shepperd@dph.ox.ac.uk.

Publication History

  1. Publication Status: New
  2. Published Online: 12 SEP 2012

SEARCH

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Resumo
  7. Resumo para leigos

Background

Systematic reviews provide a transparent and robust summary of existing research. However, health system managers, national and local policy makers and healthcare professionals can face several obstacles when attempting to utilise this evidence. These include constraints operating within the health system, dealing with a large volume of research evidence and difficulties in adapting evidence from systematic reviews so that it is locally relevant. In an attempt to increase the use of systematic review evidence in decision-making a number of interventions have been developed. These include summaries of systematic review evidence that are designed to improve the accessibility of the findings of systematic reviews (often referred to as information products) and changes to organisational structures, such as employing specialist groups to synthesise the evidence to inform local decision-making.

Objectives

To identify and assess the effects of information products based on the findings of systematic review evidence and organisational supports and processes designed to support the uptake of systematic review evidence by health system managers, policy makers and healthcare professionals.

Search methods

We searched The Cochrane Library, MEDLINE, EMBASE, CINAHL, Web of Science, and Health Economic Evaluations Database. We also handsearched two journals (Implementation Science and Evidence and Policy), Cochrane Colloquium abstracts, websites of key organisations and reference lists of studies considered for inclusion. Searches were run from 1992 to March 2011 on all databases, an update search to March 2012 was run on MEDLINE only. 

Selection criteria

Randomised controlled trials (RCTs), interrupted time-series (ITS) and controlled before-after studies (CBA) of interventions designed to aid the use of systematic reviews in healthcare decision-making were considered.

Data collection and analysis

Two review authors independently extracted the data and assessed the study quality. We extracted the median value across similar outcomes for each study and reported the range of values for each median value. We calculated the median of the two middlemost values if an even number of outcomes were reported. 

Main results

We included eight studies evaluating the effectiveness of different interventions designed to support the uptake of systematic review evidence. The overall quality of the evidence was very low to moderate.

Two cluster RCTs evaluated the effectiveness of multifaceted interventions, which contained access to systematic reviews relevant to reproductive health, to change obstetric care; the high baseline performance in some of the key clinical indicators limited the findings of these studies. There were no statistically significant effects on clinical practice for all but one of the clinical indicators in selected obstetric units in Thailand (median effect size 4.2%, range -11.2% to 18.2%) and none in Mexico (median effect size 3.5%, range 0.1% to 19.0%). In the second cluster RCT there were no statistically significant differences in selected obstetric units in the UK (median effect RR 0.92; range RR 0.57 to RR 1.10). One RCT evaluated the perceived understanding and ease of use of summary of findings tables in Cochrane Reviews. The median effect of the differences in responses for the acceptability of including summary of findings tables in Cochrane Reviews versus not including them was 16%, range 1% to 28%. One RCT evaluated the effect of an analgesic league table, derived from systematic review evidence, and there was no statistically significant effect on self-reported pain. Only one RCT evaluated an organisational intervention (which included a knowledge broker, access to a repository of systematic reviews and provision of tailored messages), and reported no statistically significant difference in evidence informed programme planning.

Three interrupted time series studies evaluated the dissemination of printed bulletins based on evidence from systematic reviews. A statistically significant reduction in the rates of surgery for glue ear in children under 10 years (mean annual decline of -10.1%; 95% CI -7.9 to -12.3) and in children under 15 years (quarterly reduction -0.044; 95% CI -0.080 to -0.011) was reported. The distribution to general practitioners of a bulletin on the treatment of depression was associated with a statistically significant lower prescribing rate each quarter than that predicted by the rates of prescribing observed before the distribution of the bulletin (8.2%; P = 0.005).

Authors' conclusions

Mass mailing a printed bulletin which summarises systematic review evidence may improve evidence-based practice when there is a single clear message, if the change is relatively simple to accomplish, and there is a growing awareness by users of the evidence that a change in practice is required. If the intention is to develop awareness and knowledge of systematic review evidence, and the skills for implementing this evidence, a multifaceted intervention that addresses each of these aims may be required, though there is insufficient evidence to support this approach.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Resumo
  7. Resumo para leigos

Interventions to improve the use of findings from systematic reviews

Healthcare decision-makers have to deal with a large volume of evidence and may or may not have the capacity to use this evidence in decision-making. Systematic reviews can help with this process by bringing together the relevant evidence and using clear methods which seek to minimise bias. Interventions to help improve the uptake of systematic review evidence have been developed to help with improving the use of evidence. We identified eight studies which evaluated the effectiveness of these types of interventions. There was some evidence to show that a clear message, based on systematic review evidence, which is targeted and disseminated to the relevant healthcare professionals may improve evidence-based practice. If the aim is to help decision-makers increase their awareness and knowledge of systematic review evidence, and evidence-based practice, then interventions that address some of these aims have been evaluated but have shown little effect on practice.

 

Résumé scientifique

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Resumo
  7. Resumo para leigos

Interventions pour améliorer l'utilisation des revues systématiques dans la prise de décision par les responsables de santé, les décideurs politiques et les cliniciens

Contexte

Les revues systématiques fournissent un résumé transparent et solide d'une recherche existante. Cependant, les responsables de santé, les décideurs politiques nationaux et locaux, et le personnel de santé peuvent rencontrer plusieurs obstacles lorsqu'ils essayent d'utiliser ces preuves. Parmi ces obstacles, sont comprises les contraintes liées au fonctionnement du système de santé et au traitement d'un large volume de preuves de recherches, ainsi que les difficultés d'adaptation des preuves provenant des revues systématiques pour les rendre pertinentes selon le contexte. Dans une tentative d'augmenter l'utilisation des résultats de revues systématiques dans la prise de décision, un certain nombre d'interventions ont été développées. Ces interventions incluent des résumés de preuves de revues systématiques conçus pour améliorer l'accessibilité des résultats des revues systématiques (que l'on désigne souvent par produits d'information) et les changements apportés aux structures organisationnelles, telles que l'emploi de groupes de spécialistes pour synthétiser les preuves afin d'éclairer la prise de décision locale.

Objectifs

Identifier et évaluer les effets des produits d'information basés sur les résultats des preuves de revues systématiques, et les supports et processus organisationnels conçus pour favoriser le recours aux preuves de revues systématiques par les responsables de santés, les décideurs politiques et le personnel médical.

Stratégie de recherche documentaire

Nous avons effectué des recherches dans The Cochrane Library, MEDLINE, EMBASE, CINAHL, Web of Science et la base d'évaluation économique du NHS. Nous avons également effectué des recherches manuelles dans deux journaux (Implementation Science et Evidence and Policy), dans des extraits de Cochrane Colloquium, sur les sites Web des organisations clés et dans les bibliographies d'études pris en compte pour l'inclusion. Les recherches ont été effectuées de 1992 à mars 2011 sur toutes les bases de données, une mise à jour des recherches jusqu'à mars 2012 a été effectuée uniquement sur MEDLINE.

Critères de sélection

Des essais contrôlés randomisés (ECR), des séries temporelles interrompues (STI) et des études contrôlées avant-après (CAA) sur les interventions conçues pour favoriser l'utilisation des revues systématiques dans la prise de décisions de santé ont été pris en compte.

Recueil et analyse des données

Deux auteurs de la revue extrait les données et évalué la qualité des études, de manière indépendante. Nous avons extrait la valeur médiane sur des résultats similaires pour chaque étude et signalé les plages de valeurs de chaque valeur médiane. Nous avons ensuite calculé la médiane des deux valeurs médianes lorsqu'un nombre pair de résultats était rapporté.

Résultats principaux

Nous avons inclus huit études évaluant l'efficacité de différentes interventions conçues pour favoriser le recours aux preuves de revues systématiques. La qualité globale des preuves était très faible à modérée.

Deux ECR en grappes ont évalué l'efficacité des interventions à multiples facettes, qui comprennent l'accès aux revues systématiques concernant la santé reproductive, pour modifier les soins obstétriques ; la performance initiale élevée dans certains des indicateurs cliniques clés a limité les résultats de ces études. Aucun effet statistiquement significatif n'a été observé sur la pratique clinique sauf pour un des indicateurs cliniques dans des unités obstétriques sélectionnées en Thaïlande (ampleur de l'effet médian 4,2 %, plage de -11,2 % à 18,2 %) et aucun au Mexique (ampleur de l'effet médian 3,5 %, plage de 0,1 % à 19,0 %). Dans le second ECR en grappes, aucune différence statistiquement significative n'a été rapportée dans les unités obstétriques sélectionnées au Royaume-Uni (effet médian RR 0,92 ; plage RR 0,57 à RR 1,10). Un ECR a évalué la compréhension perçue et la simplicité d'utilisation du résumé des tables de résultats dans les revues Cochrane. L'effet médian des différences au niveau des réponses pour l'acceptabilité d'inclure le résumé des tables de résultats dans les revues Cochrane versus ne pas les inclure était de 16 %, plage 1 % à 28 %. Un ECR a évalué l'effet d'un classement des analgésiques, dérivé de preuves de revues systématiques, et aucun effet statistiquement significatif n'a été observé sur la douleur signalée par le patient. Seul un ECR a évalué une intervention organisationnelle (qui inclut un courtier du savoir, l'accès à un référentiel des revues systématiques et une provision de messages personnalisés). Celui-ci n'a rapporté aucune différence statistiquement significative sur la planification de programmes de preuves éclairés.

Trois études de séries temporelles interrompues ont évalué la diffusion de bulletins imprimés basés sur des preuves provenant de revues systématiques. Une diminution statistiquement significative des taux de chirurgie d'otite séreuse chez les enfants de moins de 10 ans (diminution annuelle moyenne de -10,1 % ; IC à 95 % -7,9 à -12,3) et chez les enfants de moins de 15 ans (diminution trimestrielle de -0,044 ; IC à 95 % -0,080 à -0,011) a été signalée. La diffusion d'un bulletin sur le traitement de la dépression chez les médecins généralistes a été associée à une diminution statistiquement significative du taux de prescription par trimestre par rapport aux estimations pour les taux de prescription observés avant la diffusion du bulletin (8,2 % ; P = 0,005).

Conclusions des auteurs

La diffusion en masse d'un bulletin imprimé résumant les preuves de revues systématiques pourrait améliorer la pratique basée sur les preuves si le message est clair, le changement est relativement simple à mettre en œuvre, et que les utilisateurs prennent de plus en plus conscience qu'un changement dans la pratique est nécessaire. Si l'intention est de développer la sensibilisation et la connaissance des preuves de revues systématiques, et les compétences nécessaires pour appliquer ces preuves, une intervention à multiples facettes pour répondre à chacun de ces objectifs peut être nécessaire, même si les preuves sont insuffisantes pour appuyer cette démarche.

 

Résumé simplifié

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Resumo
  7. Resumo para leigos

Interventions pour améliorer l'utilisation des résultats de revues systématiques

Les décideurs des services de santé traitent un large volume de preuves et peuvent ou non avoir la capacité d'utiliser ces preuves pour prendre des décisions. Les revues systématiques peuvent favoriser ce processus en regroupant les preuves pertinentes et en utilisant des méthodes claires pour minimiser les biais. Les interventions visant à améliorer le recours aux preuves de revues systématiques ont été développées dans le but d'améliorer l'utilisation des preuves. Nous avons identifié huit études qui ont évalué l'efficacité de ces types d'intervention. Des preuves ont montré qu'un message clair, basé sur des résultats de revues systématiques, ciblé et transmis aux professionnels de santé concernés pouvait améliorer la pratique fondée sur les preuves. Si l'objectif est d'aider les décideurs à accroître leur sensibilisation et connaissance des résultats de revues systématiques, et la pratique fondée sur les preuves, alors les interventions répondant à certains de ces objectifs ont été évaluées mais n'ont montré que peu d'effet dans la pratique.

Notes de traduction

Lakshmi Murthy était employée par le Centre Cochrane au Royaume-Uni au moment où elle a travaillé sur cette revue. Elle est actuellement employée par le National Institute for Health and Clinical Excellence (NICE) au Royaume-Uni.

Traduit par: French Cochrane Centre 30th October, 2012
Traduction financée par: Ministère du Travail, de l'Emploi et de la Santé Français

 

Resumo

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Resumo
  7. Resumo para leigos

Intervenções para melhorar o uso de revisões sistemáticas na tomada de decisão por gestores de saúde, responsáveis por políticas públicas e profissionais de saúde

Introdução

As revisões sistemáticas fornecem um resumo transparente e importante das pesquisas existentes. No entanto, gestores do sistema de saúde, gestores nacionais e locais de políticas públicas e profissionais de saúde podem enfrentar vários obstáculos ao tentarem utilizar as evidências. Estas incluem, restrições operacionais no sistema de saúde, grande volume de evidências de pesquisa e, dificuldades na adaptação das evidências de revisões sistemáticas para que sejam localmente relevantes. Na tentativa de elevar o uso das evidências de revisão sistemática na tomada de decisão uma série de intervenções vêm sendo desenvolvidas. Estas incluem, resumos de evidências de revisão sistemática que são projetados para melhorar a acessibilidade dos resultados dessas revisões (muitas vezes referida como produtos de informação) e mudanças nas estruturas organizacionais, como o emprego grupos de especialistas para sintetizar as evidências, apoiando na tomada de decisão local.

Objetivos

Identificar e avaliar os efeitos dos produtos de informação com base nos resultados de evidências de revisão sistemática, suportes organizacionais e processos projetados para apoiar a adoção de evidências de revisão sistemática por gestores do sistema de saúde, responsáveis por políticas públicas e profissionais de saúde.

Métodos de busca

As buscas foram realizadas na the Cochrane Library,MEDLINE, EMBASE, CINAHL, Web of Science e na Health Economic Evaluations Database. Também foi realizada busca manual em dois jornais (Implementation Science e Evidence and Policy), resumos do Colóquio Cochrane, sites de organizações-chave e listas de referências dos estudos incluídos. As buscas foram realizadas de 1992 a Março de 2011 em todas as bases de dados, uma pesquisa de atualização em Março de 2012 foi realizada apenas no MEDLINE.

Critério de seleção

Foram considerados ensaios clínicos randomizados (ECR), séries de casos temporais interruptas (STI) e estudos controlados antes e depois (ECAD) de intervenções destinadas a auxiliar o uso de revisões sistemáticas na tomada de decisão na área da saúde.

Coleta dos dados e análises

Dois revisores extraíram independentemente os dados e avaliaram a qualidade dos estudos. Foi extraído o valor da mediana sobre os resultados semelhantes para cada estudo e relatada a variação de valores para cada valor da mediana. Foi calculada a mediana dos dois valores centrais, se relatados um igual número de resultados.

Principais resultados

Foram incluídos oito estudos que avaliaram a efetividade de diferentes intervenções destinadas a apoiar a adoção de evidências de revisão sistemática. A qualidade geral das evidências foi de muito baixa a moderada.

Dois ECR do tipo cluster avaliaram a efetividade de intervenções multifacetadas, que continham o acesso a revisões sistemáticas relevantes à saúde reprodutiva para mudanças em cuidados obstétricos; o alto desempenho na medida de base em alguns dos principais indicadores clínicos limitaram os achados desses estudos. Nenhum estudo apresentou efeitos estatisticamente significantes à prática clínica, mas um dos indicadores clínicos em unidades obstétricas selecionadas na Tailândia (média do tamanho de efeito 4,2%, variação de -11,2% a 18,2%) e nenhum no México (média do tamanho de efeito 3,5%, variação de 0,1% a 19,0%). No segundo ECR do tipo cluster não foram encontradas diferenças estatisticamente significantes em unidades obstétricas selecionados no Reino Unido (efeito médio RR 0,92; variação RR 0,57 a RR 1.10). Um ECR avaliou a compreensão e facilidade no uso de resumos das tabelas de resultados de revisões Cochrane. O efeito médio de diferenças em respostas à aceitabilidade de incluir resumos das tabelas de resultados em Revisões Cochrane versus não incluí-los foi de 16%, variação de 1% a 28%. Um ECR avaliou o efeito de uma tabela de analgésicos, criada a partir de evidências de revisão sistemática, e não houve efeito estatisticamente significante na dor auto-relatada. Apenas um ECR avaliou uma intervenção organizacional (que incluiu um profissional agente de conhecimento, o acesso a um repositório de revisões sistemáticas e o fornecimento de mensagens personalizadas) e relataram não haver diferença estatisticamente significante no programa de planejamento de evidências informadas.

Três estudos de séries de casos temporais interruptas avaliaram a disseminação de boletins impressos baseados em evidências de revisões sistemáticas. Foi relatada uma redução estatisticamente significante nas taxas de cirurgia para otite média com efusão em crianças menores de 10 anos (média de declínio anual de -10,1%; 95% Intervalo de Confiança (IC) -7,9 a -12,3) e em crianças menores de 15 anos (redução trimestral -0,044; 95% IC -0.080 a -0.011). A distribuição de um boletim a profissionais de clínica geral sobre o tratamento da depressão foi associada, com resultados estatisticamente significativos, a uma menor taxa de prescrição por trimestre do que o previsto pelas taxas de prescrição observadas antes da distribuição do boletim (8,2%; P = 0,005).

Conclusão dos autores

O envio em massa de um boletim impresso com resumos de evidências de revisão sistemática pode melhorar a prática baseada em evidências, quando há uma única mensagem clara e se a mudança é relativamente simples de se realizar, e há uma crescente conscientização por usuários das evidências de que uma mudança na prática é necessária. Se a intenção é desenvolver a consciência e o conhecimento de evidências de revisão sistemática e habilidades de implementar essas evidências, uma intervenção multifacetada que aborda cada um desses objetivos pode ser necessária, entretanto há evidências insuficientes para apoiar essa abordagem.

 

Resumo para leigos

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Resumo
  7. Resumo para leigos

Intervenções para melhorar o uso de resultados de revisões sistemáticas

Os profissionais que tomam decisões aos cuidados em saúde têm de lidar com um grande volume de evidências e podem ou não ter capacidade para usar essas evidências na tomada de decisão. As revisões sistemáticas podem ajudar nesse processo, reunindo evidências relevantes e utilizando métodos claros, que procuram minimizar vieses. Intervenções para ajudar a melhorar a compreensão das evidências de revisão sistemática foram desenvolvidas para ajudar a melhorar o uso dessas evidências. Foram identificados oito estudos que avaliaram a efetividade desses tipos de intervenção. As evidências mostraram que uma mensagem clara, baseada em evidências de revisão sistemática, direcionada e disseminada a profissionais de saúde relevantes podem melhorar a prática baseada em evidências. Se o objetivo é ajudar os profissionais responsáveis pela tomada de decisão a aumentarem sua consciência e o conhecimento sobre evidências de revisão sistemática e prática baseada em evidências, então intervenções direcionadas a esses objetivos necessitam ser avaliadas, porém mostraram pouco efeito sobre a prática.

Notas de tradução

Traduzido por: Rodrigo Jensen, Unidade de Medicina Baseada em Evidências da Unesp, Brasil Contato: portuguese.ebm.unit@gmail.com