Intervention Review

Interventions to improve the use of systematic reviews in decision-making by health system managers, policy makers and clinicians

  1. Lakshmi Murthy1,
  2. Sasha Shepperd2,*,
  3. Mike J Clarke3,
  4. Sarah E Garner4,
  5. John N Lavis5,
  6. Laure Perrier6,
  7. Nia W Roberts7,
  8. Sharon E Straus8

Editorial Group: Cochrane Effective Practice and Organisation of Care Group

Published Online: 12 SEP 2012

Assessed as up-to-date: 28 MAR 2012

DOI: 10.1002/14651858.CD009401.pub2

How to Cite

Murthy L, Shepperd S, Clarke MJ, Garner SE, Lavis JN, Perrier L, Roberts NW, Straus SE. Interventions to improve the use of systematic reviews in decision-making by health system managers, policy makers and clinicians. Cochrane Database of Systematic Reviews 2012, Issue 9. Art. No.: CD009401. DOI: 10.1002/14651858.CD009401.pub2.

Author Information

  1. 1

    National Institute for Health Research, UK Cochrane Centre, Oxford, UK

  2. 2

    University of Oxford, Department of Public Health, Oxford, Oxfordshire, UK

  3. 3

    Queens University Belfast, Centre for Public Health, Belfast, Northern Ireland, UK

  4. 4

    National Institute for Health and Clinical Excellence (NICE), Research and Development, London, UK

  5. 5

    McMaster University, McMaster Health Forum, Department of Clinical Epidemilogy and Biostatistics and Department of Political Science, Hamilton, ON, Canada

  6. 6

    St. Michael's Hospital, Li Ka Shing Knowledge Institute, Toronto, Ontario, Canada

  7. 7

    University of Oxford, Bodleian Health Care Libraries, Oxford, Oxfordshire, UK

  8. 8

    Li Ka Shing Knowledge Institute, St. Michael's Hospital and University of Toronto, Knowledge Translation Program, Toronto, Ontario, Canada

*Sasha Shepperd, Department of Public Health, University of Oxford, Rosemary Rue Building, Headington, Oxford, Oxfordshire, OX3 7LF, UK. sasha.shepperd@dph.ox.ac.uk.

Publication History

  1. Publication Status: New
  2. Published Online: 12 SEP 2012

SEARCH

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Background

Systematic reviews provide a transparent and robust summary of existing research. However, health system managers, national and local policy makers and healthcare professionals can face several obstacles when attempting to utilise this evidence. These include constraints operating within the health system, dealing with a large volume of research evidence and difficulties in adapting evidence from systematic reviews so that it is locally relevant. In an attempt to increase the use of systematic review evidence in decision-making a number of interventions have been developed. These include summaries of systematic review evidence that are designed to improve the accessibility of the findings of systematic reviews (often referred to as information products) and changes to organisational structures, such as employing specialist groups to synthesise the evidence to inform local decision-making.

Objectives

To identify and assess the effects of information products based on the findings of systematic review evidence and organisational supports and processes designed to support the uptake of systematic review evidence by health system managers, policy makers and healthcare professionals.

Search methods

We searched The Cochrane Library, MEDLINE, EMBASE, CINAHL, Web of Science, and Health Economic Evaluations Database. We also handsearched two journals (Implementation Science and Evidence and Policy), Cochrane Colloquium abstracts, websites of key organisations and reference lists of studies considered for inclusion. Searches were run from 1992 to March 2011 on all databases, an update search to March 2012 was run on MEDLINE only. 

Selection criteria

Randomised controlled trials (RCTs), interrupted time-series (ITS) and controlled before-after studies (CBA) of interventions designed to aid the use of systematic reviews in healthcare decision-making were considered.

Data collection and analysis

Two review authors independently extracted the data and assessed the study quality. We extracted the median value across similar outcomes for each study and reported the range of values for each median value. We calculated the median of the two middlemost values if an even number of outcomes were reported. 

Main results

We included eight studies evaluating the effectiveness of different interventions designed to support the uptake of systematic review evidence. The overall quality of the evidence was very low to moderate.

Two cluster RCTs evaluated the effectiveness of multifaceted interventions, which contained access to systematic reviews relevant to reproductive health, to change obstetric care; the high baseline performance in some of the key clinical indicators limited the findings of these studies. There were no statistically significant effects on clinical practice for all but one of the clinical indicators in selected obstetric units in Thailand (median effect size 4.2%, range -11.2% to 18.2%) and none in Mexico (median effect size 3.5%, range 0.1% to 19.0%). In the second cluster RCT there were no statistically significant differences in selected obstetric units in the UK (median effect RR 0.92; range RR 0.57 to RR 1.10). One RCT evaluated the perceived understanding and ease of use of summary of findings tables in Cochrane Reviews. The median effect of the differences in responses for the acceptability of including summary of findings tables in Cochrane Reviews versus not including them was 16%, range 1% to 28%. One RCT evaluated the effect of an analgesic league table, derived from systematic review evidence, and there was no statistically significant effect on self-reported pain. Only one RCT evaluated an organisational intervention (which included a knowledge broker, access to a repository of systematic reviews and provision of tailored messages), and reported no statistically significant difference in evidence informed programme planning.

Three interrupted time series studies evaluated the dissemination of printed bulletins based on evidence from systematic reviews. A statistically significant reduction in the rates of surgery for glue ear in children under 10 years (mean annual decline of -10.1%; 95% CI -7.9 to -12.3) and in children under 15 years (quarterly reduction -0.044; 95% CI -0.080 to -0.011) was reported. The distribution to general practitioners of a bulletin on the treatment of depression was associated with a statistically significant lower prescribing rate each quarter than that predicted by the rates of prescribing observed before the distribution of the bulletin (8.2%; P = 0.005).

Authors' conclusions

Mass mailing a printed bulletin which summarises systematic review evidence may improve evidence-based practice when there is a single clear message, if the change is relatively simple to accomplish, and there is a growing awareness by users of the evidence that a change in practice is required. If the intention is to develop awareness and knowledge of systematic review evidence, and the skills for implementing this evidence, a multifaceted intervention that addresses each of these aims may be required, though there is insufficient evidence to support this approach.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Interventions to improve the use of findings from systematic reviews

Healthcare decision-makers have to deal with a large volume of evidence and may or may not have the capacity to use this evidence in decision-making. Systematic reviews can help with this process by bringing together the relevant evidence and using clear methods which seek to minimise bias. Interventions to help improve the uptake of systematic review evidence have been developed to help with improving the use of evidence. We identified eight studies which evaluated the effectiveness of these types of interventions. There was some evidence to show that a clear message, based on systematic review evidence, which is targeted and disseminated to the relevant healthcare professionals may improve evidence-based practice. If the aim is to help decision-makers increase their awareness and knowledge of systematic review evidence, and evidence-based practice, then interventions that address some of these aims have been evaluated but have shown little effect on practice.

 

Résumé

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Interventions pour améliorer l'utilisation des revues systématiques dans la prise de décision par les responsables de santé, les décideurs politiques et les cliniciens

Contexte

Les revues systématiques fournissent un résumé transparent et solide d'une recherche existante. Cependant, les responsables de santé, les décideurs politiques nationaux et locaux, et le personnel de santé peuvent rencontrer plusieurs obstacles lorsqu'ils essayent d'utiliser ces preuves. Parmi ces obstacles, sont comprises les contraintes liées au fonctionnement du système de santé et au traitement d'un large volume de preuves de recherches, ainsi que les difficultés d'adaptation des preuves provenant des revues systématiques pour les rendre pertinentes selon le contexte. Dans une tentative d'augmenter l'utilisation des résultats de revues systématiques dans la prise de décision, un certain nombre d'interventions ont été développées. Ces interventions incluent des résumés de preuves de revues systématiques conçus pour améliorer l'accessibilité des résultats des revues systématiques (que l'on désigne souvent par produits d'information) et les changements apportés aux structures organisationnelles, telles que l'emploi de groupes de spécialistes pour synthétiser les preuves afin d'éclairer la prise de décision locale.

Objectifs

Identifier et évaluer les effets des produits d'information basés sur les résultats des preuves de revues systématiques, et les supports et processus organisationnels conçus pour favoriser le recours aux preuves de revues systématiques par les responsables de santés, les décideurs politiques et le personnel médical.

Stratégie de recherche documentaire

Nous avons effectué des recherches dans The Cochrane Library, MEDLINE, EMBASE, CINAHL, Web of Science et la base d'évaluation économique du NHS. Nous avons également effectué des recherches manuelles dans deux journaux (Implementation Science et Evidence and Policy), dans des extraits de Cochrane Colloquium, sur les sites Web des organisations clés et dans les bibliographies d'études pris en compte pour l'inclusion. Les recherches ont été effectuées de 1992 à mars 2011 sur toutes les bases de données, une mise à jour des recherches jusqu'à mars 2012 a été effectuée uniquement sur MEDLINE.

Critères de sélection

Des essais contrôlés randomisés (ECR), des séries temporelles interrompues (STI) et des études contrôlées avant-après (CAA) sur les interventions conçues pour favoriser l'utilisation des revues systématiques dans la prise de décisions de santé ont été pris en compte.

Recueil et analyse des données

Deux auteurs de la revue extrait les données et évalué la qualité des études, de manière indépendante. Nous avons extrait la valeur médiane sur des résultats similaires pour chaque étude et signalé les plages de valeurs de chaque valeur médiane. Nous avons ensuite calculé la médiane des deux valeurs médianes lorsqu'un nombre pair de résultats était rapporté.

Résultats Principaux

Nous avons inclus huit études évaluant l'efficacité de différentes interventions conçues pour favoriser le recours aux preuves de revues systématiques. La qualité globale des preuves était très faible à modérée.

Deux ECR en grappes ont évalué l'efficacité des interventions à multiples facettes, qui comprennent l'accès aux revues systématiques concernant la santé reproductive, pour modifier les soins obstétriques ; la performance initiale élevée dans certains des indicateurs cliniques clés a limité les résultats de ces études. Aucun effet statistiquement significatif n'a été observé sur la pratique clinique sauf pour un des indicateurs cliniques dans des unités obstétriques sélectionnées en Thaïlande (ampleur de l'effet médian 4,2 %, plage de -11,2 % à 18,2 %) et aucun au Mexique (ampleur de l'effet médian 3,5 %, plage de 0,1 % à 19,0 %). Dans le second ECR en grappes, aucune différence statistiquement significative n'a été rapportée dans les unités obstétriques sélectionnées au Royaume-Uni (effet médian RR 0,92 ; plage RR 0,57 à RR 1,10). Un ECR a évalué la compréhension perçue et la simplicité d'utilisation du résumé des tables de résultats dans les revues Cochrane. L'effet médian des différences au niveau des réponses pour l'acceptabilité d'inclure le résumé des tables de résultats dans les revues Cochrane versus ne pas les inclure était de 16 %, plage 1 % à 28 %. Un ECR a évalué l'effet d'un classement des analgésiques, dérivé de preuves de revues systématiques, et aucun effet statistiquement significatif n'a été observé sur la douleur signalée par le patient. Seul un ECR a évalué une intervention organisationnelle (qui inclut un courtier du savoir, l'accès à un référentiel des revues systématiques et une provision de messages personnalisés). Celui-ci n'a rapporté aucune différence statistiquement significative sur la planification de programmes de preuves éclairés.

Trois études de séries temporelles interrompues ont évalué la diffusion de bulletins imprimés basés sur des preuves provenant de revues systématiques. Une diminution statistiquement significative des taux de chirurgie d'otite séreuse chez les enfants de moins de 10 ans (diminution annuelle moyenne de -10,1 % ; IC à 95 % -7,9 à -12,3) et chez les enfants de moins de 15 ans (diminution trimestrielle de -0,044 ; IC à 95 % -0,080 à -0,011) a été signalée. La diffusion d'un bulletin sur le traitement de la dépression chez les médecins généralistes a été associée à une diminution statistiquement significative du taux de prescription par trimestre par rapport aux estimations pour les taux de prescription observés avant la diffusion du bulletin (8,2 % ; P = 0,005).

Conclusions des auteurs

La diffusion en masse d'un bulletin imprimé résumant les preuves de revues systématiques pourrait améliorer la pratique basée sur les preuves si le message est clair, le changement est relativement simple à mettre en œuvre, et que les utilisateurs prennent de plus en plus conscience qu'un changement dans la pratique est nécessaire. Si l'intention est de développer la sensibilisation et la connaissance des preuves de revues systématiques, et les compétences nécessaires pour appliquer ces preuves, une intervention à multiples facettes pour répondre à chacun de ces objectifs peut être nécessaire, même si les preuves sont insuffisantes pour appuyer cette démarche.

 

Résumé simplifié

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Interventions pour améliorer l'utilisation des revues systématiques dans la prise de décision par les responsables de santé, les décideurs politiques et les cliniciens

Interventions pour améliorer l'utilisation des résultats de revues systématiques

Les décideurs des services de santé traitent un large volume de preuves et peuvent ou non avoir la capacité d'utiliser ces preuves pour prendre des décisions. Les revues systématiques peuvent favoriser ce processus en regroupant les preuves pertinentes et en utilisant des méthodes claires pour minimiser les biais. Les interventions visant à améliorer le recours aux preuves de revues systématiques ont été développées dans le but d'améliorer l'utilisation des preuves. Nous avons identifié huit études qui ont évalué l'efficacité de ces types d'intervention. Des preuves ont montré qu'un message clair, basé sur des résultats de revues systématiques, ciblé et transmis aux professionnels de santé concernés pouvait améliorer la pratique fondée sur les preuves. Si l'objectif est d'aider les décideurs à accroître leur sensibilisation et connaissance des résultats de revues systématiques, et la pratique fondée sur les preuves, alors les interventions répondant à certains de ces objectifs ont été évaluées mais n'ont montré que peu d'effet dans la pratique.

Notes de traduction

Lakshmi Murthy était employée par le Centre Cochrane au Royaume-Uni au moment où elle a travaillé sur cette revue. Elle est actuellement employée par le National Institute for Health and Clinical Excellence (NICE) au Royaume-Uni.

Traduit par: French Cochrane Centre 30th October, 2012
Traduction financée par: Ministère du Travail, de l'Emploi et de la Santé Français