Intervention Review

You have free access to this content

Effectiveness of external inspection of compliance with standards in improving healthcare organisation behaviour, healthcare professional behaviour or patient outcomes

  1. Gerd Flodgren2,
  2. Marie-Pascale Pomey3,
  3. Sarah A Taber4,
  4. Martin P Eccles1,*

Editorial Group: Cochrane Effective Practice and Organisation of Care Group

Published Online: 9 NOV 2011

Assessed as up-to-date: 12 MAY 2010

DOI: 10.1002/14651858.CD008992.pub2


How to Cite

Flodgren G, Pomey MP, Taber SA, Eccles MP. Effectiveness of external inspection of compliance with standards in improving healthcare organisation behaviour, healthcare professional behaviour or patient outcomes. Cochrane Database of Systematic Reviews 2011, Issue 11. Art. No.: CD008992. DOI: 10.1002/14651858.CD008992.pub2.

Author Information

  1. 1

    Newcastle University, Institute of Health and Society, Newcastle upon Tyne, UK

  2. 2

    University of Oxford, Department of Public Health, Headington, Oxford, UK

  3. 3

    University of Montreal, Department of Health Administration, IRSPUM, Faculty of Medicine, Montreal, Quebec, Canada

  4. 4

    Royal College of Physicians and Surgeons of Canada, Office of Education, Ottawa, Ontario, Canada

*Martin P Eccles, Institute of Health and Society, Newcastle University, Badiley Clark Building, Richardson Road, Newcastle upon Tyne, NE2 4AX, UK. Martin.Eccles@newcastle.ac.uk.

Publication History

  1. Publication Status: New
  2. Published Online: 9 NOV 2011

SEARCH

 

Abstract

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Laički sažetak

Background

Inspection systems are used in health care to promote quality improvements, i.e. to achieve changes in organisational structures or processes, healthcare provider behaviour and patient outcomes. These systems are based on the assumption that externally promoted adherence to evidence-based standards (through inspection/assessment) will result in higher quality of health care. However, the benefits of external inspection in terms of organisational, provider and patient level outcomes are not clear.

Objectives

To evaluate the effectiveness of external inspection of compliance with standards in improving healthcare organisation behaviour, healthcare professional behaviour and patient outcomes.

Search methods

We searched the following electronic databases for studies: the Cochrane Central Register of Controlled Trials (CENTRAL), MEDLINE, EMBASE, CINAHL, Cochrane Database of Systematic Reviews, Database of Abstracts of Reviews of Effectiveness, Scopus, HMIC, Index to Theses and Intute from their inception dates up to May 2011. There was no language restriction and studies were included regardless of publication status. We searched the reference lists of included studies and contacted authors of relevant papers, accreditation bodies and the International Organization for Standardisation (ISO), regarding any further published or unpublished work.

Selection criteria

We included randomised controlled trials (RCTs), controlled clinical trials (CCTs), interrupted time-series (ITSs) and controlled before and after studies (CBAs) evaluating the effect of external inspection against external standards on healthcare organisation change, healthcare professional behaviour or patient outcomes in hospitals, primary healthcare organisations and other community-based healthcare organisations.

Data collection and analysis

Two review authors independently applied eligibility criteria, extracted data and assessed the risk of bias of each included study. Since meta-analysis was not possible, we produced a narrative results summary.

Main results

We identified one cluster-RCT involving 20 South African public hospitals (Salmon 2003) and one ITS involving all acute trusts in England (OPM 2009) for inclusion in this review.

Salmon and colleagues (Salmon 2003) showed mixed effects of a hospital accreditation system on the compliance with COHSASA (the Council for Health Services Accreditation for South Africa) accreditation standards and eight indicators of hospital quality. Significantly improved total mean compliance score with COHSASA accreditation standards was found for 21/28 service elements: mean intervention effect (95% confidence interval (CI)) was 30% (23% to 57%) (P < 0.001). The score increased from 48% to 78% in intervention hospitals, while remaining the same in control hospitals (43%). A sub-analysis of 424 a priori identified critical criteria (19 service elements) showed significantly improved compliance with the critical standards (P < 0.001). The score increased from 41% (21% to 46%) to 75% (55% to 96%) in intervention hospitals, but was unchanged in control hospitals (37%). Only one of the nine intervention hospitals gained full accreditation status at the end of the study period, with two others reached pre-accreditation status.The median intervention effect (range) for the indicators of hospital quality of care was 2.4 (-1.9 to +11.8) and only one of the eight indicators: 'nurses perception of clinical quality, participation and teamwork' was significantly improved (mean intervention effect 5.7, P = 0.03).

Re-analysis of the MRSA (methicillin-resistant Staphylococcus aureus) data showed statistically non-significant effects of the Healthcare Commissions Infection Inspection programme.

Authors' conclusions

We only identified two studies for inclusion in this review, which highlights the paucity of high-quality controlled evaluations of the effectiveness of external inspection systems. No firm conclusions could therefore be drawn about the effectiveness of external inspection on compliance with standards.

 

Plain language summary

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Laički sažetak

Can third party inspections of whether or not healthcare organisations are fulfilling mandatory standards improve care processes, professional practice and patient recovery?

Third party (external) review systems are used within health care settings as a way to increase the compliance with evidence-based standards, but very little is known of their benefits in terms of organisational, provider and patient level outcomes, or their cost-effectiveness.

We searched the literature for evaluations of the effectiveness of external inspection of compliance with standards including; randomised controlled trials (RCTs), controlled clinical trials (CCTs), interrupted time-series (ITSs) and controlled before and after studies (CBAs). We found only two relevant studies: one RCT involving 20 hospitals in the Republic of South Africa and one uncontrolled before and after study (that required re-analysis as an ITS) involving all acute trusts in England.

The RCT evaluating the effectiveness of a hospital accreditation system showed improved compliance with COHSASA (the Council for Health Services Accreditation for South Africa) accreditation standards (involving 28 service elements), but little effect on eight indicators of hospital quality. Significantly improved compliance score with COHSASA accreditation standards was reported for 21/28 service elements: mean intervention effect (95% confidence interval (CI)) 30% (23% to 57%, P < 0.001). The score increased from 48% to 78% in intervention hospitals, while remaining the same in control hospitals (43%). A sub-analysis of 424 critical criteria, showed significantly improved mean compliance with the critical standards (P < 0.001). The score increased from 41% (21% to 46%) to 75% (55% to 96%) in hospitals with the accreditation programme, but was unchanged in control hospitals. However, only one of the nine intervention hospitals gained full accreditation status at the end of the study period, and with two others reached pre-accreditation status. Only one of eight indicators of hospital quality: 'nurses perception of clinical quality, participation and teamwork' was significantly improved (mean intervention effect 5.7%, P = 0.03).

Re-analysis of the patient MRSA (methicillin-resistant Staphylococcus aureus) infection data showed statistically non-significant effects of the Healthcare Commissions Infection Inspection programme.

Too few studies were identified for inclusion in this review to draw any firm conclusions about the effectiveness of external review of compliance with standards in improving healthcare organisation behaviour, healthcare professional behaviour or patient outcomes. Instead, this review highlights the lack of high-quality studies evaluating the effectiveness of external inspections on compliance with standards in healthcare organisations.

 

Résumé scientifique

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Laički sažetak

Effectiveness of external inspection of compliance with standards in improving healthcare organisation behaviour, healthcare professional behaviour or patient outcomes

Contexte

Les systèmes de contrôle sont utilisés dans le domaine des soins de santé pour promouvoir une amélioration de la qualité, tel que réaliser des changements organisationnels des structures ou des procédures,ou de la façon d’agir du personnel soignant ou de l'évaluation des patients. Ces systèmes sont basés sur l'hypothèse qu'une adhésion promue de l'extérieur à des normes fondées sur des données factuelles (par inspection/évaluation) se traduira par une meilleure qualité des soins. Cependant, les bénéfices du contrôle externe en terme d’organisation, pour le personnel soignant et le patient ne sont pas clairs.

Objectifs

Évaluer combien le contrôle externe de conformité aux normes est efficace pour améliorer le fonctionnement des établissements de santé, la façon d’agir du personnel soignant et l'état des patients.

Stratégie de recherche documentaire

Nous avons recherché des études dans les bases de données électroniques suivantes : le registre Cochrane des essais contrôlés (CENTRAL), MEDLINE, EMBASE, CINAHL, la base des revues systématiques Cochrane, la base de données des résumés de revues d'efficacité, Scopus, HMIC, l'index des thèses et Intute depuis leurs dates de création jusqu'à mai 2011. Il n'y avait aucune restriction de langue et les études ont été incluses indépendamment de leur statut de publication. Nous avons recherché dans les références des études incluses et contacté des auteurs d'articles pertinents, des organismes d'accréditation ainsi que l'Organisation internationale de normalisation (ISO), concernant d'autres éventuels travaux publiés ou non publiés.

Critères de sélection

Nous avons inclus des essais contrôlés randomisés (ECR), des essais cliniques contrôlés (ECC), des séries temporelles interrompues (STI) et des études comparatives avant-après évaluant l'effet du contrôle externe de conformité à des normes externes sur l'établissement de santé, le comportement du personnel soignant ou l'état des patients dans les hôpitaux, les services de santé primaires et autres services de santé locaux.

Recueil et analyse des données

Deux auteurs ont indépendamment appliqué les critères d'éligibilité, extrait les données et évalué le risque de biais pour chaque étude incluse. La méta-analyse n'étant pas possible, nous avons opté pour un résumé narratif des résultats.

Résultats principaux

Nous avons identifié pour inclusion dans cette revue, un ECR en grappe impliquant 20 hôpitaux publics sud-africains (Salmon 2003) et une série temporelle interrompue impliquant tous les consortiums de médecine intensive d'Angleterre(OPM 2009)

Salmon et ses collègues (Salmon 2003) ont montré les effets mitigés d'un système d'accréditation des hôpitaux sur la conformité avec les normes du COHSASA (le Conseil d'accréditation des services de santé pour l'Afrique du Sud) et avec huit indicateurs de qualité hospitalière. Une amélioration significative du score total moyen de conformité avec les normes d'accréditation du COHSASA a été constatée pour 21/28 éléments de service : l'effet moyen de l'intervention (intervalle de confiance (IC) de 95%) était de 30% (23% à 57%) (P < 0.001). Le score est passé de 48 % à 78 % dans les hôpitaux où l'intervention avait eu lieu, alors qu'il restait le même dans les hôpitaux de contrôle (43%). Une sous-analyse de 424 critères essentiels identifiés a priori (19 éléments de service) a montré une amélioration significative de la conformité avec les normes essentielles (P < 0.001). Le score est monté de 41 % (21% à 46%) à 75% (55% à 96%) dans les hôpitaux où l'intervention avait eu lieu, mais est resté inchangé dans les hôpitaux de contrôle (37%). Seul un des neufs hôpitaux de l'intervention avait obtenu une pleine accréditation à la fin de la période d'étude, deux autres ayant atteint un statut de pré-accréditation. L'effet médian de l'intervention (intervalle) pour les indicateurs de la qualité des soins hospitaliers était de 2,4 (-1,9 à 11,8) et un seul des huit indicateurs : la 'perception par les infirmières de la qualité clinique, de la participation et du travail d'équipe' s'était significativement amélioré (effet moyen de l'intervention 5,7 ; p=0,03).

La ré-analyse des données sur le SARM (résistant à la méticilline Staphylococcus aureus) a montré des effets non statistiquement significatifs du programme de contrôle des infections par les commissions sanitaires.

Conclusions des auteurs

Nous n'avons identifié que deux études pouvant être incluses dans cette revue, ce qui souligne la rareté des évaluations contrôlées de haute qualité portant sur l'efficacité des systèmes de contrôle externe. Aucune conclusion solide ne pouvait donc être tirée sur l'efficacité du contrôle externe de conformité aux normes.

 

Résumé simplifié

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Laički sažetak

Le contrôle par des tiers de la conformité des établissements de santé à des normes obligatoires peut-il ou non améliorer les processus de soins, la pratique professionnelle et le rétablissement des patients?

Les systèmes d'évaluation tiers (externes) sont utilisés dans les établissements de santé comme moyen d'augmenter la conformité aux normes basées sur des données factuelles, mais on sait très peu de choses sur leurs bénéfices réels au niveau de l'établissement, du personnel soignant et du patient, ni de leur rentabilité.

Nous avons recherché dans la littérature des évaluations de l'efficacité du contrôle externe de conformité aux normes, y compris : des essais contrôlés randomisés (ECR), des essais cliniques contrôlés (ECC), des séries temporelles interrompues (STI) et des études comparatives avant-après. Nous n'avons trouvé que deux études pertinentes : un ECR impliquant 20 hôpitaux en République sud-africaine et une étude non-comparative avant-après (qui a nécessité d'être ré-analysée comme une STI) impliquant tous les consortiums de médecine intensive d'Angleterre.

L'ECR évaluant l'efficacité d'un système d'accréditation des hôpitaux a montré une meilleure conformité aux normes du COHSASA (le Conseil d'accréditation des services de santé pour l'Afrique du Sud), portant sur 28 éléments de service, mais peu d'effet seulement sur huit indicateurs de qualité des hôpitaux. Une amélioration significative du score de conformité avec les normes d'accréditation du COHSASA a été constatée pour 21/28 éléments de service : effet moyen de l'intervention (intervalle de confiance (IC) de 95%) 30% (23% à 57% , P < 0.001). Le score est passé de 48 % à 78 % dans les hôpitaux où l'intervention avait eu lieu, alors qu'il restait le même dans les hôpitaux de contrôle (43%). Une sous-analyse de 424 critères essentiels a montré une amélioration significative de la conformité moyenne avec les normes essentielles (P < 0.001). Le score est monté de 41 % (21% à 46%) à 75% (55% à 96%) dans les hôpitaux bénéficiant du programme d'accréditation, mais est resté inchangé dans les hôpitaux de contrôle. Toutefois, seul un des neufs hôpitaux de l'intervention avait obtenu une pleine accréditation à la fin de la période d'étude, et deux autres avaient atteint un statut de pré- accréditation Un seul des huit indicateurs de qualité hospitalière : la 'perception par les infirmières de la qualité clinique, de la participation et du travail d'équipe' s'était significativement amélioré (effet moyen de l'intervention 5,7 ; p=0,03).

La ré-analyse des données d'infection des patients par le SARM (résistant à la méticilline Staphylococcus aureus) a montré des effets non statistiquement significatifs du programme de contrôle des infections par les commissions sanitaires.

Trop peu d'études ont pu être incluses dans cette revue pour pouvoir tirer des conclusions claires sur l'efficacité de l'examen externe de conformité aux normes pour améliorer le fonctionnement des établissements de santé, le comportement du personnel soignant ou l'état des patients. Au lieu de cela, cette étude met en évidence le manque d'études de haute-qualité évaluant l'efficacité du contrôle externe de conformité aux normes dans les établissements de santé.

Notes de traduction

Traduit par: French Cochrane Centre 1st December, 2011
Traduction financée par: Ministère du Travail, de l'Emploi et de la Santé Français

 

Laički sažetak

  1. Top of page
  2. Abstract
  3. Plain language summary
  4. Résumé scientifique
  5. Résumé simplifié
  6. Laički sažetak

Može li inspekcija koja kontrolira pridržavaju li se zdravstvene organizacije obaveznih standarda poboljšati zdravstvenu skrb, profesionalne prakse i oporavak bolesnika?

Vanjske inspekcije se koriste unutar zdravstva kao način za poboljšanje usklađenosti sa standardima koji su utemeljeni na dokazima, ali vrlo malo se zna o njihovim koristima u smislu ishoda na razini organizacije, zdravstvenog osoblja i pacijenata ili njihovoj isplativosti.

U ovom Cochrane sustavnom pregledu pretražena je literatura kako bi se pronašle studije u kojima je opisana procjena učinkovitosti vanjske inspekcije koja kontrolira usklađenosti sa standardima. Autori su tražili studije sljedećih ustroja: randomizirane kontrolirane pokuse (RCTs), kontrolirane kliničke pokuse (CCTs), prekide vremenske serije (ITSs) i kontrolirane prije-i-poslije studije (CBAs). Pronađene su samo dvije relevantne studije: jedan randomizirani pokus koji uključuje 20 bolnica u Južnoj Africi i jednu nekontroliranu prije i poslije studije (koja je zahtijevala ponovnu analizu kao ITS), u koju su bile uključene sve relevantne ustanove u Engleskoj.

Randomizirani pokus je procijenio učinkovitost bolničkog sustava akreditacije te je pokazao poboljšanu usklađenost sa COHSASA-om ( Vijeće za zdravstvene usluge akreditacije) standardima akreditacije (koji uključuju 28 službenih elemenata), ali malo učinka na osam pokazatelja bolničke kvalitete. Značajno poboljšana usklađenost ocjena sa COHSASA -om standardima akreditacije opisana je za 21/28 službenih elemenata: prosječan učinak intervencije bio je 30%. Rezultat se povećao od 48% do 78% u intervencijskim bolnicama, dok je ostao isti u kontrolnim bolnicama (43%). Dodatna analiza 424 ključna kriterija je pokazala značajno poboljšanu prosječnu usklađenost s ključnim standardima. Rezultat se poboljšao od 41% (21% do 46%) do 75% (55% to 96%) u bolnicama s programom akreditacije, ali je bio nepromijenjen u kontrolnim bolnicama. Međutim, samo jedna od devet bolničkih intervencija je dobila/stekla cijeli akreditacijski status na kraju studije, a sa druge dvije postignut je pre-akreditacijski status. Samo jedan od osam pokazatelja bolničke kvalitete: percepcija medicinskih sestara o kliničkoj kvaliteti, sudjelovanje i timski rad je bio značajno poboljšan (prosječan učinak intervencije 5,7%).

Dodatna analiza pacijenata s MRSA (meticilin-rezistentni Staphylococcus aureus) infekcijom pokazala je statistički ne-značajne učinke inspekcije od strane Zdravstvenog povjerenstva za inspekcije infekcija.

Pronađeno je premalo istraživanja za uključivanje u ovaj Cochrane sustavni pregled da se izvuku neki čvrsti zaključci o učinkovitosti vanjske revizije usklađenosti sa standardima u poboljšanju ponašanja zdravstvenih organizacija, profesionalnog ponašanja u zdravstvu ili ishoda bolesnika. Umjesto toga, ovaj je sustavni pregled pokazao da nam u tom području nedostaje visoko-kvalitetnih studija koje procjenjuju djelotvornost vanjskih inspekcija na pridržavanje standardima u zdravstvenim ustanovama.

Bilješke prijevoda

Hrvatski Cochrane
Prevela: Ivana Sruk
Ovaj sažetak preveden je u okviru volonterskog projekta prevođenja Cochrane sažetaka. Uključite se u projekt i pomozite nam u prevođenju brojnih preostalih Cochrane sažetaka koji su još uvijek dostupni samo na engleskom jeziku. Kontakt: cochrane_croatia@mefst.hr