Intervention Review

Audit and feedback: effects on professional practice and healthcare outcomes

  1. Noah Ivers1,*,
  2. Gro Jamtvedt2,
  3. Signe Flottorp2,
  4. Jane M Young3,
  5. Jan Odgaard-Jensen2,
  6. Simon D French4,
  7. Mary Ann O'Brien5,
  8. Marit Johansen6,
  9. Jeremy Grimshaw7,8,
  10. Andrew D Oxman6

Editorial Group: Cochrane Effective Practice and Organisation of Care Group

Published Online: 13 JUN 2012

Assessed as up-to-date: 10 DEC 2010

DOI: 10.1002/14651858.CD000259.pub3

How to Cite

Ivers N, Jamtvedt G, Flottorp S, Young JM, Odgaard-Jensen J, French SD, O'Brien MA, Johansen M, Grimshaw J, Oxman AD. Audit and feedback: effects on professional practice and healthcare outcomes. Cochrane Database of Systematic Reviews 2012, Issue 6. Art. No.: CD000259. DOI: 10.1002/14651858.CD000259.pub3.

Author Information

  1. 1

    Women's College Hospital, Department of Family Medicine, Toronto, ON, Canada

  2. 2

    Norwegian Knowledge Centre for the Health Services, Oslo, Norway

  3. 3

    Sydney School of Public Health, University of Sydney, Cancer Epidemiology and Services Research, Camperdown, Australia

  4. 4

    University of Melbourne, Primary Care Research Unit, Carlton, VIC, Australia

  5. 5

    University of Toronto, Department of Family and Community Medicine, Toronto, Ontario, Canada

  6. 6

    Norwegian Knowledge Centre for the Health Services, Global Health Unit, Oslo, Norway

  7. 7

    Ottawa Hospital Research Institute, Clinical Epidemiology Program, Ottawa, ON, Canada

  8. 8

    University of Ottawa, Department of Medicine, Ottawa, ON, Canada

*Noah Ivers, Department of Family Medicine, Women's College Hospital, 76 Grenville Street, Toronto, ON, M5S1B2, Canada. noah.ivers@utoronto.ca.

Publication History

  1. Publication Status: Edited (no change to conclusions)
  2. Published Online: 13 JUN 2012

SEARCH

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié
  6. 摘要
  7. 概要

Background

Audit and feedback is widely used as a strategy to improve professional practice either on its own or as a component of multifaceted quality improvement interventions. This is based on the belief that healthcare professionals are prompted to modify their practice when given performance feedback showing that their clinical practice is inconsistent with a desirable target. Despite its prevalence as a quality improvement strategy, there remains uncertainty regarding both the effectiveness of audit and feedback in improving healthcare practice and the characteristics of audit and feedback that lead to greater impact.

Objectives

To assess the effects of audit and feedback on the practice of healthcare professionals and patient outcomes and to examine factors that may explain variation in the effectiveness of audit and feedback.

Search methods

We searched the Cochrane Central Register of Controlled Trials (CENTRAL) 2010, Issue 4, part of The Cochrane Library. www.thecochranelibrary.com, including the Cochrane Effective Practice and Organisation of Care (EPOC) Group Specialised Register (searched 10 December 2010); MEDLINE, Ovid (1950 to November Week 3 2010) (searched 09 December 2010); EMBASE, Ovid (1980 to 2010 Week 48) (searched 09 December 2010); CINAHL, Ebsco (1981 to present) (searched 10 December 2010); Science Citation Index and Social Sciences Citation Index, ISI Web of Science (1975 to present) (searched 12-15 September 2011).

Selection criteria

Randomised trials of audit and feedback (defined as a summary of clinical performance over a specified period of time) that reported objectively measured health professional practice or patient outcomes. In the case of multifaceted interventions, only trials in which audit and feedback was considered the core, essential aspect of at least one intervention arm were included.

Data collection and analysis

All data were abstracted by two independent review authors. For the primary outcome(s) in each study, we calculated the median absolute risk difference (RD) (adjusted for baseline performance) of compliance with desired practice compliance for dichotomous outcomes and the median percent change relative to the control group for continuous outcomes. Across studies the median effect size was weighted by number of health professionals involved in each study. We investigated the following factors as possible explanations for the variation in the effectiveness of interventions across comparisons: format of feedback, source of feedback, frequency of feedback, instructions for improvement, direction of change required, baseline performance, profession of recipient, and risk of bias within the trial itself. We also conducted exploratory analyses to assess the role of context and the targeted clinical behaviour. Quantitative (meta-regression), visual, and qualitative analyses were undertaken to examine variation in effect size related to these factors.

Main results

We included and analysed 140 studies for this review. In the main analyses, a total of 108 comparisons from 70 studies compared any intervention in which audit and feedback was a core, essential component to usual care and evaluated effects on professional practice. After excluding studies at high risk of bias, there were 82 comparisons from 49 studies featuring dichotomous outcomes, and the weighted median adjusted RD was a 4.3% (interquartile range (IQR) 0.5% to 16%) absolute increase in healthcare professionals' compliance with desired practice. Across 26 comparisons from 21 studies with continuous outcomes, the weighted median adjusted percent change relative to control was 1.3% (IQR = 1.3% to 28.9%). For patient outcomes, the weighted median RD was -0.4% (IQR -1.3% to 1.6%) for 12 comparisons from six studies reporting dichotomous outcomes and the weighted median percentage change was 17% (IQR 1.5% to 17%) for eight comparisons from five studies reporting continuous outcomes. Multivariable meta-regression indicated that feedback may be more effective when baseline performance is low, the source is a supervisor or colleague, it is provided more than once, it is delivered in both verbal and written formats, and when it includes both explicit targets and an action plan. In addition, the effect size varied based on the clinical behaviour targeted by the intervention.

Authors' conclusions

Audit and feedback generally leads to small but potentially important improvements in professional practice. The effectiveness of audit and feedback seems to depend on baseline performance and how the feedback is provided. Future studies of audit and feedback should directly compare different ways of providing feedback.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié
  6. 摘要
  7. 概要

Audit and feedback: effects on professional practice and patient outcomes

Researchers in The Cochrane Collaboration conducted a review to evaluate the effect of audit and feedback on the behaviour of health professionals and the health of their patients. After searching for all relevant studies, they found 140 studies that met their requirements. Their findings are summarised below.

The use of audit and feedback to influence health professional behaviour and patient health

In an audit and feedback process, an individual’s professional practice or performance is measured and then compared to professional standards or targets. In other words, their professional performance is “audited”. The results of this comparison are then fed back to the individual. The aim of this process is to encourage the individual to follow professional standards.

Audit and feedback is often used in healthcare organisations to improve health professionals’ performance. It is often used together with other interventions, such as educational meetings or reminders.  Most of the studies in this review measured the effect of audit and feedback on doctors, although some studies measured the effect on nurses or pharmacists.  Audit and feedback was used to influence their performance in different areas, including the proper use of treatments or laboratory tests or improving the overall management of patients with chronic disease such as heart disease or diabetes. 

 After their performance had been measured, the health professionals were given feedback either verbally, in writing, or both.  In some studies, this feedback was given to them by the researchers responsible for the study, while in other studies, feedback was given by supervisors or colleagues, by professional organisations or by someone representing their employer. In some studies, health professionals were given feedback only once, while others were given feedback once a week or once a month. 

In some studies, health professionals were simply given information about their performance and how this compared to professional standards or targets. In other studies, health professionals were also given a specific target that they personally were expected to reach, or were given an action plan with suggestions or advice about how to improve their performance.

What happens when health professionals are given audit and feedback?

The effect of using audit and feedback varied widely across the included studies. Overall, the review shows that:

The effect of audit and feedback on professional behaviour and on patient outcomes ranges from little or no effect to a substantial effect. The quality of the evidence is moderate.

Audit and feedback may be most effective when:

1. the health professionals are not performing well to start out with;

2. the person responsible for the audit and feedback is a supervisor or colleague;

3. it is provided more than once;

4. it is given both verbally and in writing;

5. it includes clear targets and an action plan.

In addition, the effect of audit and feedback may be influenced by the type of behaviour it is targeting. It is uncertain whether audit and feedback is more effective when combined with other interventions.

 

Résumé

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié
  6. 摘要
  7. 概要

Audit avec retour d'information : effets sur la pratique professionnelle et sur la santé publique

Contexte

L'audit avec retour d'information est largement utilisé en tant que stratégie pour améliorer la pratique professionnelle, soit par lui-même soit comme composante des interventions multiformes visant à apporter des améliorations à la qualité. Ceci est basé sur la conviction que les professionnels de santé sont incités à modifier leur pratique lorsqu'ils reçoivent un retour d'information sur les performances indiquant que leur pratique clinique est incompatible avec un objectif souhaitable. Malgré sa prévalence en tant que stratégie d'amélioration de la qualité, il subsiste une incertitude à la fois en ce qui concerne l'efficacité de l'audit avec retour d'information dans l'amélioration de la pratique des soins de santé et les caractéristiques de l'audit avec retour d'information qui conduisent à un plus grand impact.

Objectifs

Évaluer les effets de l'audit avec retour d'information sur la pratique des professionnels de santé et l'état des patients et examiner les facteurs qui peuvent expliquer une variation de l'efficacité de l'audit avec retour d'information.

Stratégie de recherche documentaire

Nous avons effectué une recherche dans le registre Cochrane des essais contrôlés (CENTRAL) numéro 4, 2010, qui fait partie de The Cochrane Library. www.thecochranelibrary.com, y compris dans le registre spécialisé du groupe Cochrane sur l'efficacité des pratiques et l'organisation des soins (EPOC) (recherche le 10 décembre 2010) ; MEDLINE, Ovid (de 1950 à la semaine 3 du mois de novembre 2010) (recherche le 09 décembre 2010) ; EMBASE, Ovid (de 1980 à la semaine 48 de l'année 2010 ) (recherche le 09 décembre 2010) ; CINAHL, Ebsco (de 1981 à aujourd'hui) (recherche le 10 décembre 2010) ; Science Citation Index et Social Sciences Citation Index, Web of Science de l'ISI (de 1975 à aujourd'hui) (recherche du 12 au 15 septembre 2011).

Critères de sélection

Des essais randomisés sur l'audit avec retour d'information (défini comme un bilan de la performance clinique sur une certaine période) ayant rendu compte de mesures objectives de la pratique des professionnels de santé ou de l'état des patients. Dans le cas des interventions multiformes, seuls les essais dans lesquels on a considéré l'audit avec retour d'information comme l'aspect essentiel, le cœur d'au moins un groupe d'intervention, ont été inclus.

Recueil et analyse des données

Toutes les données ont été extraites par deux auteurs de revue indépendants. Pour le(les) critère(s) de jugement principal(principaux) dans chaque étude, nous avons calculé la différence de risque absolu médiane (DR) (ajustée par rapport à la performance initiale) de la conformité avec le respect de la pratique souhaitée pour les résultats dichotomiques et le pourcentage de changement médian par rapport au groupe témoin pour les résultats continus. Parmi les études, l'ampleur de l'effet médian a été pondérée par le nombre de professionnels de santé impliqués dans chaque étude. Nous avons étudié les facteurs suivants en tant qu'explications possibles de la variation de l'efficacité des interventions dans les différentes comparaisons : le format du retour d'information, la source du retour d'information, la fréquence du retour d'information, les instructions pour l'amélioration, la direction du changement nécessaire, la performance initiale, la profession du destinataire, et le risque de biais au sein de l'essai lui-même. Nous avons également effectué des analyses exploratoires afin d'évaluer le rôle du contexte et le comportement clinique ciblé. Des analyses quantitatives (méta-régression), visuelles, et qualitatives ont été menées pour examiner la variation de l'ampleur de l'effet liée à ces facteurs.

Résultats Principaux

Nous avons inclus et analysé 140 études pour cette revue. Dans les analyses principales, un total de 108 comparaisons à partir de 70 études ont comparé une intervention dans laquelle l'audit avec retour d'information était le composant essentiel, le cœur, à des soins habituels et ont évalué les effets sur la pratique professionnelle. Après exclusion des études présentant un risque de biais élevé, il y avait 82 comparaisons à partir de 49 études comportant des résultats dichotomiques, et la DR ajustée médiane pondérée était une augmentation absolue de 4,3 % (intervalle interquartile (IQR) de 0,5 % à 16 %) du respect par les professionnels de santé de la pratique souhaitée. Dans 26 comparaisons à partir de 21 études avec des résultats continus, le pourcentage de changement ajusté médian pondéré par rapport au témoin était de 1,3 % (IQR = 1,3 % à 28,9 %). Pour l'état des patients, la DR médiane pondérée était de -0,4 % (IQR de -1,3 % à 1,6 %) pour 12 comparaisons à partir de six études rendant compte de résultats dichotomiques et le pourcentage de changement médian pondéré était de 17 % (IQR de 1,5 % à 17 %) pour huit comparaisons à partir de cinq études rendant compte de résultats continus. Une méta-régression multivariable a indiqué que le retour d'information peut être plus efficace quand la performance initiale est faible, la source est un superviseur ou un collègue, il est mis en œuvre plus d'une fois, il est délivré sous forme à la fois verbale et écrite, et quand il comprend à la fois des objectifs explicites et un plan d'action. En outre, l'ampleur de l'effet varie en fonction du comportement clinique ciblé par l'intervention.

Conclusions des auteurs

L'audit avec retour d'information conduit généralement à de petites améliorations, mais potentiellement importantes dans la pratique professionnelle. L'efficacité de l'audit avec retour d'information semble dépendre de la performance initiale et de la façon dont le retour d'information est fourni. Les futures études de l'audit avec retour d'information devraient comparer directement différentes façons de fournir un retour d'information.

 

Résumé simplifié

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié
  6. 摘要
  7. 概要

Audit avec retour d'information : effets sur la pratique professionnelle et sur la santé publique

Audit avec retour d'information : effets sur la pratique professionnelle et sur l'état des patients

Les chercheurs de la Cochrane Collaboration ont procédé à une revue pour évaluer l'effet de l'audit avec retour d'information sur le comportement des professionnels de santé et la santé de leurs patients. Ils ont recherché toutes les études pertinentes et en ont trouvé 140 répondant à leurs exigences. Leurs résultats sont résumés ci-dessous.

Utilisation de l'audit avec retour d'information pour influencer le comportement des professionnels de santé et la santé des patients

Dans un processus d'audit avec retour d'information, la pratique professionnelle ou la performance d'un individu est mesurée puis comparée à des normes ou des objectifs professionnels. En d'autres termes, sa performance professionnelle est "auditée". Les résultats de cette comparaison sont ensuite rapportés à l'individu. Le but de ce processus est d'encourager l'individu à respecter les normes professionnelles.

L'audit avec retour d'information est souvent utilisé dans les organismes de soins de santé afin d'améliorer la performance des professionnels de santé. Il est souvent utilisé en association avec d'autres interventions, telles que les rencontres de formation ou les rappels.  La plupart des études dans cette revue ont mesuré l'effet de l'audit avec retour d'information sur des médecins, bien que certaines études aient mesuré l'effet sur des infirmières ou des pharmaciens.  L'audit avec retour d'information a été utilisé pour influencer leur performance dans différents domaines, y compris le bon usage des traitements ou des analyses biologiques ou l'amélioration de la prise en charge globale des patients atteints d'une maladie chronique telle qu'une cardiopathie ou un diabète. 

 Après que leur performance ait été mesurée, les professionnels de santé ont reçu un retour d'information, soit verbalement, soit par écrit, soit par ces deux voies.  Dans certaines études, ce retour d'information leur a été donné par les chercheurs responsables de l'étude, tandis que dans d'autres études, le retour d'information a été donné par des superviseurs ou des collègues, par des organismes professionnels ou par une personne représentant leur employeur. Dans certaines études, les professionnels de santé n'ont reçu qu'une seule fois le retour d'information, tandis que d'autres ont reçu un retour d'information une fois par semaine ou une fois par mois. 

Dans certaines études, les professionnels de santé ont tout simplement reçu des informations sur leur performance et la façon dont celle-ci se comparait à des normes ou des objectifs professionnels. Dans d'autres études, les professionnels de santé ont également reçu un objectif spécifique qu'ils devaient personnellement atteindre, ou bien ils ont reçu un plan d'action avec des suggestions ou des conseils sur la façon d'améliorer leur performance.

Que se passe-t-il lorsque les professionnels de santé ont un audit avec retour d'information ?

L'effet de l'utilisation de l'audit avec retour d'information variait considérablement selon les études incluses. Dans l'ensemble, la revue démontre que :

L'effet de l'audit avec retour d'information sur le comportement professionnel et sur l'état des patients varie de peu ou pas d'effet à un effet important. La qualité des preuves est modérée.

L'audit avec retour d'information peut avoir la plus grande efficacité lorsque :

1. les professionnels de santé n'ont pas de bons résultats par lesquels commencer ;

2. la personne responsable de l'audit avec retour d'information est un superviseur ou un collègue ;

3. il est mis en œuvre plus d'une fois ;

4. il est délivré à la fois verbalement et par écrit ;

5. il comprend des objectifs clairs et un plan d'action.

En outre, l'effet de l'audit avec retour d'information peut être influencé par le type de comportement qu'il cible. On ignore si l'audit avec retour d'information est plus efficace lorsqu'il est combiné à d'autres interventions.

Notes de traduction

This translation refers to an older version of the review that has been updated or amended.

Traduit par: French Cochrane Centre 25th June, 2012
Traduction financée par: Ministère du Travail, de l'Emploi et de la Santé Français

 

摘要

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié
  6. 摘要
  7. 概要

评估与反馈: 对医疗实践与医疗保健结果的影响

研究背景

作为改善医疗实践的方法,评估与反馈一直被广泛使用。如果反馈结果表明,医务人员的临床实践与同行的实践或公认的临床指南不一致,将促使他们改正行为,这似乎是符合逻辑的。然而,并未发现评估与反馈持续有效。

研究目的

评价评估与反馈对于医疗实践及医疗保健结果的影响。

检索方法

我们检索了Cochrane Effective Practice and Organisation of Care Group数据库,截止2004年1月已注册和待注册的文献。

纳入标准

我们纳入随机试验,其应用客观指标测量了评估与反馈方式在医疗环境中对医疗活动或医疗保健结果的影响。评估与反馈被定义为在一段特定时间内对临床实践的总结。

数据收集与分析

两位评价者分别提取数据并评估研究质量,进行定量Meta-回归分析和直观的定性分析。对每一项对照,我们尽可能根据基线数据进行调整,并计算其二分类变量资料的RD ( 风险差 )和 RR(相对危险度) ,连续变量的百分比,及其相对于对照组百分比的平均改变量。还考察了导致试验组和对照组中干预有效性存在差异的以下因素: 干预类型(单独评估与反馈、教育会议评估与反馈,或者包括评估与反馈的多种干预)、评估反馈的强度、目标行为的复杂性、结果的严重程度、基线数据和研究质量。

主要结果

本次更新增加了30篇研究,因此共纳入118篇。初步分析纳入了72篇研究共88个对照组,来比较所有包括了评估与反馈的干预措施与无干预措施的差异。关于二分类变量资料,与期望行为比较,调整后的RD从−0.16(绝对减少16%)增长至0.70(绝对增加70%)(中位数: 0.05, 四分位差: 0.03–0.11),且调整后相对危险度从0.71到18.3(中位数: 1.08, 四分位差: 0.99–1.30)。关于连续变量资料,相对于对照组调整后百分比改变量为−0.10( 绝对减少10%)至0.68( 增加68%)(中位数: 0.16, 四分位差: 0.05–0.37)。研究显示,最初对推荐方案的依从性低和高强度的评估反馈,这两种因素可能导致调整后更大的风险度(效果更显著)。

作者结论

评估与反馈可以有效改善医疗实践,不过其效果通常较差或是一般。当最初对推荐方案的依从性低和评估反馈强度较高时,评估与反馈的相对效果可能较好。

 

概要

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé
  5. Résumé simplifié
  6. 摘要
  7. 概要

评估与反馈: 对医疗实践与医疗保健结果的影响

评估与反馈: 对医疗实践与医疗保健结果的影响

向医务人员提供有关他们表现情况的资料(评估与反馈)可能有助于改善其实践。评估与反馈可以改善医疗实践,但效果有所差异,通常是较差至一般。本系统评价的结果不支持未经评估或强制性地使用评估与反馈作为改变医疗实践的干预措施。

翻译注解

本摘要由重庆医科大学中国循证卫生保健协作网(China Effective Health Care Network)翻译。

翻译注解":本摘要由重庆医科大学中国循证卫生保健协作网(China Effective Health Care Network)翻译。: China Effective Health Care Network