Get access

Public release of performance data in changing the behaviour of healthcare consumers, professionals or organisations

  • Review
  • Intervention

Authors


Abstract

Background

It is becoming increasingly common to release information about the performance of hospitals, health professionals or providers, and healthcare organisations into the public domain. However, we do not know how this information is used and to what extent such reporting leads to quality improvement by changing the behaviour of healthcare consumers, providers and purchasers, or to what extent the performance of professionals and providers can be affected.

Objectives

To determine the effectiveness of the public release of performance data in changing the behaviour of healthcare consumers, professionals and organisations.

Search methods

We searched the Cochrane Central Register of Controlled Trials (CENTRAL), Cochrane Effective Practice and Organisation of Care (EPOC) Trials Register, MEDLINE Ovid (from 1966), EMBASE Ovid (from 1979), CINAHL, PsycINFO Ovid (from 1806) and DARE up to 2011.

Selection criteria

We searched for randomised or quasi-randomised trials, interrupted time series and controlled before-after studies of the effects of publicly releasing data regarding any aspect of the performance of healthcare organisations or individuals. The papers had to report at least one main outcome related to selecting or changing care. Other outcome measures were awareness, attitude, views and knowledge of performance data and costs.

Data collection and analysis

Two review authors independently screened studies for eligibility and extracted data. For each study, we extracted data about the target groups (healthcare consumers, healthcare providers and healthcare purchasers), performance data, main outcomes (choice of healthcare provider and improvement by means of changes in care) and other outcomes (awareness, attitude, views, knowledge of performance data and costs).

Main results

We included four studies containing more than 35,000 consumers, and 1560 hospitals. Three studies were conducted in the USA and examined consumer behaviour after the public release of performance data. Two studies found no effect of Consumer Assessment of Healthcare Providers and Systems information on health plan choice in a Medicaid population. One interrupted time series study found a small positive effect of the publishing of data on patient volumes for coronary bypass surgery and low-complication outliers for lumbar discectomy, but these effects did not persist longer than two months after each public release. No effects on patient volumes for acute myocardial infarction were found.

One cluster-randomised controlled trial, conducted in Canada, studied improvement changes in care after the public release of performance data for patients with acute myocardial infarction and congestive heart failure. No effects for the composite process-of-care indicators for either condition were found, but there were some improvements in the individual process-of-care indicators. There was an effect on the mortality rates for acute myocardial infarction. More quality improvement activities were initiated in response to the publicly-released report cards. No secondary outcomes were reported.

Authors' conclusions

The small body of evidence available provides no consistent evidence that the public release of performance data changes consumer behaviour or improves care. Evidence that the public release of performance data may have an impact on the behaviour of healthcare professionals or organisations is lacking.

Résumé scientifique

Public release of performance data in changing the behaviour of healthcare consumers, professionals or organisations

Contexte

Il est de plus en plus courant de diffuser des informations sur les performances des hôpitaux, des professionnels ou des prestataires de santé, et des organismes de soins de santé dans le domaine public. Cependant, nous ne savons pas comment ces informations sont utilisées et dans quelle mesure ces comptes-rendus améliorent la qualité en changeant le comportement des consommateurs, prestataires et acheteurs de soins de santé, ni dans quelle mesure les performances des professionnels et des prestataires peuvent en être affectées.

Objectifs

Déterminer l’efficacité de la diffusion publique des données de performance en matière de changement du comportement des consommateurs, professionnels et organismes de soins de santé.

Stratégie de recherche documentaire

Nous avons effectué une recherche dans le registre Cochrane des essais contrôlés (CENTRAL), le registre des essais du groupe Cochrane sur l’efficacité des pratiques et l’organisation des soins (EPOC), MEDLINE Ovid (à partir de 1966), EMBASE Ovid (à partir de 1979), CINAHL, PsycINFO Ovid (à partir de 1806) et DARE jusqu’en 2011.

Critères de sélection

Nous avons recherché les essais randomisés ou quasi-randomisés, les séries temporelles interrompues et les études contrôlées avant/après sur les effets de la diffusion publique des données concernant tout aspect des performances des organismes ou des acteurs de soins. Les articles devaient rapporter au moins un critère de jugement principal lié à la sélection ou à la modification des soins. Les autres critères de jugement étaient la sensibilisation, l’attitude, les avis et la connaissance des données de performance et des coûts.

Recueil et analyse des données

Deux auteurs de la revue ont examiné indépendamment l’éligibilité des études et extrait les données. Pour chaque étude, nous avons extrait les données sur les groupes cibles (consommateurs, prestataires et acheteurs de soins de santé), les données de performances, les principaux critères de jugement (choix du prestataire de soins de santé et amélioration grâce aux modifications apportées aux soins) et d’autres critères de jugement (sensibilisation, attitude, vues, connaissance des données de performance et des coûts).

Résultats principaux

Nous avons inclus quatre études comportant plus de 35 000 consommateurs et 1 560 hôpitaux. Trois études ont été menées aux États-Unis et ont examiné le comportement des consommateurs après la diffusion publique des données de performance. Deux études n’ont trouvé aucun effet exercé par l’avis des consommateurs sur les prestataires de soins et des systèmes d’information sur les choix de santé dans la population Medicaid. Une étude de séries temporelles interrompues a trouvé un petit effet positif découlant de la publication des données sur le nombre de patients devant subir un pontage coronarien et sur les valeurs extrêmes de faible risque de complication pour la discectomie lombaire, mais ces effets n'ont pas persisté plus de deux mois après chaque diffusion publique. Aucun effet n’a été exercé sur les volumes de patients pour l’infarctus aigu du myocarde.

Un essai contrôlé randomisé en grappes, effectué au Canada, a étudié l'amélioration des soins après la diffusion publique des données de performance pour les patients souffrant d’un infarctus aigu du myocarde et d’une insuffisance cardiaque congestive. Aucun effet n’a été noté sur les indicateurs composites de processus de soins pour les deux pathologies, mais il y avait des améliorations sur les indicateurs individuels de processus de soins. Il y avait un effet sur les taux de mortalité de l’infarctus aigu du myocarde. Plus d’activités d’amélioration de la qualité ont été initiés en réponse aux rapports rendus publics. Aucun critère de jugement secondaire n’a été mentionné.

Conclusions des auteurs

Les quelques données disponibles n’apportent pas de preuves évidentes que la diffusion publique des données de performance change le comportement des consommateurs ou améliore les soins. Les éléments de preuve indiquant que la diffusion publique des données de performance est susceptible d’exercer un impact sur le comportement des professionnels ou des organismes de soins de santé sont inexistants.

Plain language summary

Public release of performance data in changing the behaviour of healthcare consumers, professionals or organisations

The objective of the review was to determine whether publicly releasing performance data changes the behaviour of healthcare consumers, professionals, providers and purchasers in a way that improves performance and quality of care. Although it is increasingly common to release information about performance in health care, its effectiveness in changing behaviour has not been determined. We searched the scientific literature for studies comparing the public release of performance data using different public release approaches. These approaches varied in type, content and presentation formats. The aim of the studies was to assess how and to what extent data release led to changes in care. We examined the effects of interventions by targeting the behaviour of healthcare consumers, professionals, providers and purchasers. We also examined the improvement effected by changes in care.

We found four relevant studies containing more than 35,000 consumers, and 1560 hospitals. Two were in health plan settings and the other two were in hospital settings. One cluster-randomised controlled trial and one cluster quasi-randomised trial reported no evidence that information from the Consumer Assessment of Healthcare Providers and System influenced the health plan choice in a Medicaid population. The interrupted time series study found a small positive effect of publishing data on patient volumes for coronary artery bypass grafting and low-complication outliers for lumbar discectomy, but these effects did not persist longer than two months after each public release. No effects on patient volumes for acute myocardial infarction were found. One cluster-randomised controlled trial studied performance and quality of care after the public release of performance data for patients with acute myocardial infarction and congestive heart failure. No effects were found for the composite process-of-care indicators for either condition, but there were some improvements in the individual indicators for acute myocardial infarction and congestive heart failure and in the acute myocardial infarction mortality rates. Further, more quality improvement activities were initiated as a result. No secondary outcomes (awareness, attitude, views and knowledge of performance data and costs) were reported. On the basis of this rather sparse evidence of low quality, we cannot draw any firm conclusions about the effects of the public release of performance data on behaviour or on improvements in the performance and quality of health care.

Résumé simplifié

Diffusion publique des données relatives à la performance pour changer le comportement des consommateurs, professionnels ou organismes de soins de santé

La revue avait pour objectif de déterminer si la diffusion publique des données de performance change le comportement des consommateurs, professionnels, prestataires et acheteurs de soins de santé de manière à améliorer les performances et la qualité des soins. Bien qu’il soit de plus en plus courant de diffuser les informations relatives aux performances dans le domaine des soins de santé, son efficacité sur le changement du comportement n’a pas été déterminée. Nous avons recherché dans la littérature scientifique des études comparant la diffusion publique des données de performance selon différentes approches de diffusion publique. Ces approches variaient quant au type, au contenu et aux formats de présentation. Les études visaient à évaluer comment et dans quelle mesure la diffusion des données entraînait des modifications des soins. Nous avons examiné les effets des interventions en ciblant le comportement des consommateurs, professionnels, prestataires et acheteurs de soins de santé. Nous avons également étudié l’amélioration apportée par les modifications des soins.

Nous avons trouvé quatre études pertinentes comportant plus de 35 000 consommateurs et 1 560 hôpitaux. Deux ont été menées dans le cadre des régimes de santé et les deux autres en milieu hospitalier. Un essai contrôlé randomisé en grappes et un essai quasi-randomisé en grappes n’ont produit aucune donnée attestant que l’avis des consommateurs sur les prestataires de soins et des systèmes d’information sur les choix de santé dans la population Medicaid. . L’étude en séries temporelles interrompues a trouvé un petit effet positif découlant de la publication des données sur les volumes de patients devant subir un pontage aorto-coronarien et sur les valeurs extrêmes à faible risque de complication pour la discectomie lombaire, mais ces effets n'ont pas persisté plus de deux mois après chaque diffusion publique. Aucun effet n’a été exercé sur le nombre de patients pour l’infarctus aigu du myocarde. Un essai contrôlé randomisé en grappes a étudié les performances et la qualité des soins après la diffusion publique des données de performance auprès des patients souffrant d’un infarctus aigu du myocarde et d’une insuffisance cardiaque congestive. Aucun effet n’a été trouvé sur les indicateurs composites de processus de soins pour les 2 maladies, mais certaines améliorations ont été notées au niveau des indicateurs individuels pour l’infarctus aigu du myocarde et l’insuffisance cardiaque congestive ainsi qu’au niveau des taux de mortalité de l’infarctus aigu du myocarde. De plus, des activités d’amélioration de la qualité ont été initiées en plus grand nombre en conséquence. Aucun critère de jugement secondaire (sensibilisation, attitude, avis et connaissance des données de performance et des coûts) n’a été communiqué. En nous fondant sur ces données plutôt rares de faible qualité, nous ne sommes pas en mesure de tirer des conclusions solides sur les effets de la diffusion publique des données de performance sur le comportement ou sur les améliorations des performances et de la qualité des soins de santé.

Notes de traduction

Traduit par: French Cochrane Centre 1st December, 2011
Traduction financée par: Ministère du Travail, de l'Emploi et de la Santé Français

Laički sažetak

Javno objavljivanje podataka o rezultatima postignutima u praksi za promjenu ponašanja pacijenata, zdravstvenih stručnjaka ili organizacija

Cilj ovog Cochrane sustavnog pregleda je bio odrediti da li javno objavljivanje podataka o učinkovitosti, odnosno rezultatima postignutima u praksi, mijenja ponašanje pacijenata, zdravstvenih radnika, organizacija i kupaca na način da poboljšava učinkovitost i kvalitetu skrbi. Premda je objavljivanje podataka o učinkovitosti u zdravstvu sve češće, učinkovitost takvih postupaka u promjeni ponašanja nije procijenjena. Autori Cochranea pretražili su znanstvenu literaturu kako bi pronašli studije koje su usporedile javno objavljivanje podataka o učinkovitosti koristeći različite pristupe javnog objavljivanja. Ti pristupi razlikuju se po vrsti, sadržaju i formatu prezentacije. Cilj studija je bio procijeniti koliko i u kojem opsegu objavljivanje podataka dovodi do promjena u skrbi. Ispitivani su učinci intervencija kojima je cilj bila promjena ponašanja pacijenata, zdravstvenih radnika, pružatelja usluga u zdravstvu i kupaca. Također je ispitan napredak (poboljšanje) ostvaren promjenama u skrbi.

Nađene su četiri relevantne studije koje su uključile više od 35.000 pacijenata i 1560 bolnica. Dvije su provedene u vanbolničkom okruženju, a dvije u bolnicama. Dvije studije su utvrdile da nema dokaza da su informacije o rezultatima o učinkovitosti u zdravstvu utjecale na izbor zdravstvenog osiguranja među osobama unutar Medicaid programa. Jedna studija je pokazala da objava podataka o učinkovitosti ima mali učinak na broj pacijenata koji su se predbilježili za presađivanje koronarne arterijske premosnice i niskorizičnu discektomiju, ali ti učinci nisu trajali dulje od dva mjeseca nakon svakog javnog objavljivanja. Pronađeno je da objava podataka o učinkovitosti nema učinaka na broj pacijenata sa srčanim udarom. Jedna studija je proučavala učinkovitost i kvalitetu skrbi nakon javnog objavljivanja podataka o učinkovitosti za pacijente sa akutnim srčanim udarom i kongestivnim zatajenjem srca. Utvrđeno je da nema učinaka za složeni proces pokazatelja skrbi za oba stanja, ali bilo je nekih poboljšanja kod individualnih pokazatelja za akutni srčani udar i kongestivno zatajenje srca i stope smrtnosti akutnog infarkta miokarda. Nadalje, kao rezultat je pokrenuto više inicijativa za poboljšanje kvalitete u zdravstvu. U uključenim studijama nisu prikazani sporedni ishodi (svjesnost, stavovi, poznavanje podataka o učinkovitosti i troškovi). Na osnovi tih malobrojnih dokaza niske kvalitete ne možemo izvući nikakve čvrste zaključke o učincima javnog objavljivanja podataka o učinkovitosti na ponašanje ili na poboljšanje učinkovitosti i kvalitete zdravstva.

Bilješke prijevoda

Hrvatski Cochrane
Prevela: Ivana Sruk
Ovaj sažetak preveden je u okviru volonterskog projekta prevođenja Cochrane sažetaka. Uključite se u projekt i pomozite nam u prevođenju brojnih preostalih Cochrane sažetaka koji su još uvijek dostupni samo na engleskom jeziku. Kontakt: cochrane_croatia@mefst.hr

Ancillary