Intervention Review

Teaching critical appraisal skills in healthcare settings

  1. Tanya Horsley1,*,
  2. Chris Hyde2,
  3. Nancy Santesso3,
  4. Julie Parkes4,
  5. Ruairidh Milne5,
  6. Ruth Stewart6

Editorial Group: Cochrane Effective Practice and Organisation of Care Group

Published Online: 9 NOV 2011

Assessed as up-to-date: 16 JUN 2011

DOI: 10.1002/14651858.CD001270.pub2

How to Cite

Horsley T, Hyde C, Santesso N, Parkes J, Milne R, Stewart R. Teaching critical appraisal skills in healthcare settings. Cochrane Database of Systematic Reviews 2011, Issue 11. Art. No.: CD001270. DOI: 10.1002/14651858.CD001270.pub2.

Author Information

  1. 1

    Royal College of Physicians and Surgeons of Canada, Centre for Learning in Practice, Ottawa, Ontario, Canada

  2. 2

    Peninsula College of Medicine & Dentistry, Peninsula Technology Assessment Group (PenTAG), Exeter, UK

  3. 3

    McMaster University, Department of Clinical Epidemiology and Biostatistics, Hamilton, Ontario, Canada

  4. 4

    Wessex Institute Health Research & Development, Public Health Medicine, Southampton, Hampshire, UK

  5. 5

    University of Southampton, NETSCC, Southampton, UK

  6. 6

    Institute of Education, University of London, Social Science Research Unit, London, UK

*Tanya Horsley, Centre for Learning in Practice, Royal College of Physicians and Surgeons of Canada, 774 Echo Drive, Ottawa, Ontario, K1S5N8, Canada. thorsley@rcpsc.edu.

Publication History

  1. Publication Status: New search for studies and content updated (no change to conclusions)
  2. Published Online: 9 NOV 2011

SEARCH

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Background

Critical appraisal is the process of assessing and interpreting evidence by systematically considering its validity, results and relevance to an individual's work. Within the last decade critical appraisal has been added as a topic to many medical school and UK Royal College curricula, and several continuing professional development ventures have been funded to provide further training. This is an update of a Cochrane review first published in 2001.

Objectives

To assess the effects of teaching critical appraisal skills to health professionals on the process of care, patient outcomes and knowledge of health professionals.

Search methods

We updated the search (see Appendix 1 for search strategies by database) and used those search strategies to search the Cochrane Central Register of Controlled Trials (1997 to June 2011) and MEDLINE (from 1997 to June 2011). We also searched EMBASE, CINAHL and PsycINFO (up to January 2010). We searched LISA (up to January 2010), ERIC (up to January 2010), SIGLE (up to January 2010) and Web of Knowledge (up to January 2010). We also searched the Cochrane Database of Systematic Reviews (CDSR), Database of Abstracts of Reviews of Effects (DARE) and the Cochrane Effective Practice and Organisation of Care (EPOC) Group Specialised Register up to January 2010.

Selection criteria

Randomised trials, controlled clinical trials, controlled before and after studies and interrupted time series analyses that examined the effectiveness of educational interventions teaching critical appraisal to health professionals. The outcomes included process of care, patient mortality, morbidity, quality of life and satisfaction. We included studies reporting on health professional knowledge/awareness only when based upon objective, standardised, validated instruments. We did not consider studies involving students.

Data collection and analysis

Two review authors independently extracted data and assessed risk of bias. We contacted authors of included studies to obtain missing data.

Main results

In total, we reviewed a total of 11,057 titles and abstracts, of which 148 appeared potentially relevant to the review. We included three studies involving 272 people in this review. None of the included studies evaluated process of care or patient outcomes. Statistically significant improvements in participants' knowledge were reported in domains of critical appraisal (variable approaches across studies) in two of the three studies. We determined risk of bias to be 'unclear' and as such considered this to be 'plausible bias that raises some doubt about the results'.

Authors' conclusions

Low-intensity critical appraisal teaching interventions in healthcare populations may result in modest gains. Improvements to research examining the effectiveness of interventions in healthcare populations are required; specifically rigorous randomised trials employing interventions using appropriate adult learning theories.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Teaching critical appraisal skills in healthcare settings

Critical appraisal involves interpreting information, in particular information within research papers, in a systematic and objective manner. This review looked at whether teaching critical appraisal skills to health professionals led to changes in processes of care, patient outcomes, health professionals' knowledge of how to critically appraise research papers, or all three. The review found that teaching critical appraisal skills to health professionals may improve their knowledge. However, there was a lack of good quality evidence as to whether teaching critical appraisal skills led to changes in the process of care or to changes in patient outcomes.

 

Résumé

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Teaching critical appraisal skills in healthcare settings

Contexte

L’analyse critique est un processus qui consiste à évaluer et à interpréter des données en tenant systématiquement compte de leur validité, des résultats et de leur pertinence par rapport au travail d’un individu. Au cours de la dernière décennie, l’analyse critique a été ajoutée aux programmes d’enseignement de nombreuses écoles de médecine et du Royal College britannique et plusieurs projets de formation professionnelle continue ont été financés afin d’offrir une formation complémentaire. Ceci est une mise à jour d’une revue Cochrane publiée pour la première fois en 2001.

Objectifs

Évaluer les effets de l’enseignement des compétences d’analyse critique dispensé aux professionnels de santé sur la prise en charge, les résultats des patients et les connaissances des professionnels de santé.

Stratégie de recherche documentaire

Nous avons mis la recherche à jour (voir l’Annexe 1 pour prendre connaissance des stratégies de recherche par base de données) et utilisé ces stratégies de recherche pour effectuer une recherche dans le registre Cochrane des essais contrôlés (1997 à juin 2011) et MEDLINE (1997 à juin 2011). Nous avons également effectué une recherche dans EMBASE, CINAHL et PsycINFO (jusqu’en janvier 2010). Nous avons fait des recherches dans LISA (jusqu’en janvier 2010), ERIC (jusqu’en janvier 2010), SIGLE (jusqu’en janvier 2010) et Web of Knowledge (jusqu’en janvier 2010). Nous avons également mené une recherche dans la base des revues systématiques Cochrane (CDSR), la base des résumés des revues systématiques hors Cochrane (DARE) et le registre spécialisé su groupe Cochrane sur les pratiques efficaces et l’organisation des soins (EPOC) jusqu’en janvier 2010.

Critères de sélection

Essais randomisés, essais cliniques contrôlés, études avant/après contrôlées et analyses des études de séries temporelles interrompues ayant examiné l’efficacité des interventions éducatives visant à enseigner l’analyse critique aux professionnels de santé. Les critères de jugement incluaient la prise en charge, la mortalité, la morbidité, la qualité de vie et la satisfaction des patients. Nous avons inclus les études ayant étudié les connaissances des professionnels de santé/la sensibilisation uniquement lorsqu’elles s’appuyaient sur des instruments objectifs, standardisés et validés. Nous n’avons pas pris en considération les études incluant des étudiants.

Recueil et analyse des données

Deux auteurs de revue ont extrait les données et évalué le risque de biais de manière indépendante. Nous avons contacté les auteurs des études incluses afin d’obtenir les données manquantes.

Résultats Principaux

Au total, nous avons passé en revue 11 057 titres et résumés, dont 148 semblaient potentiellement pertinents pour la revue. Nous avons inclus trois études regroupant 272 personnes dans cette revue. Aucune des études incluses n’a évalué la prise en charge ou les résultats des patients. Les améliorations statistiquement significatives des connaissances des participants ont été signalées dans des domaines de l’analyse critique (approches variables sur l’ensemble des études) dans deux études sur trois. Nous avons déterminé que le risque de biais n’était pas clair et, en tant que tel, nous avons considéré qu'il s'agissait d'un « biais plausible qui soulevait certains doutes quant aux résultats ».

Conclusions des auteurs

Les interventions d’enseignement de l’analyse critique de faible intensité dans les populations de soins de santé peuvent produire des gains modestes. Des améliorations doivent être apportées aux recherches examinant l’efficacité des interventions auprès des populations de soins de santé ; plus spécifiquement, des essais randomisés clairement rigoureux portant des interventions recourant aux théories appropriées sur l’apprentissage des adultes doivent être réalisés.

 

Résumé simplifié

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié

Teaching critical appraisal skills in healthcare settings

Enseignement des compétences d’analyse critique dans les établissements de soins de santé

L’analyse critique implique d’interpréter les informations, et plus particulièrement les informations contenues dans les articles de recherche, de manière systématique et objective. Cette revue a voulu savoir si l’enseignement de compétences d’analyse critique à des professionnels de santé entraînait des changements au niveau de la prise en charge, des résultats des patients, des connaissances des professionnels de santé en matière d'analyse critique des articles de recherche, ou bien les trois. La revue a trouvé que l’enseignement des compétences d’analyse critique dispensé à des professionnels de santé était susceptible d’améliorer leurs connaissances. Des données de bonne qualité relatives à une éventuelle modification de la prise en charge ou des résultats des patients suite à l’enseignement des compétences d’analyse critique sont toutefois inexistantes.

Notes de traduction

Traduit par: French Cochrane Centre 1st December, 2011
Traduction financée par: Ministère du Travail, de l'Emploi et de la Santé Français