Technology-enhanced Simulation in Emergency Medicine: A Systematic Review and Meta-Analysis

Authors


  • This work was supported by intramural funds, including an award from the Division of General Internal Medicine, Mayo Clinic.
  • The authors have no potential conflicts of interest to disclose.
  • Consensus Conference Follow-up 2008: Editor's Note: Academic Emergency Medicine highlights articles that follow up on the research agendas created at the journal's annual consensus conferences. This article relates to the 2008 AEM consensus conference, “The Science of Simulation in Healthcare: Defining and Developing Clinical Expertise.” All prior consensus conference proceedings issues are available open-access at www.aemj.org, and authors interested in submitting a consensus conference follow-up paper should consult the author guidelines. http://onlinelibrary.wiley.com/journal/10.1111/%28ISSN%291553-2712/homepage/ForAuthors.html

Address for correspondence and reprints: Jonathan S. Ilgen, MD, MCR; e-mail: ilgen@u.washington.edu.

Abstract

Objectives

Technology-enhanced simulation is used frequently in emergency medicine (EM) training programs. Evidence for its effectiveness, however, remains unclear. The objective of this study was to evaluate the effectiveness of technology-enhanced simulation for training in EM and identify instructional design features associated with improved outcomes by conducting a systematic review.

Methods

The authors systematically searched MEDLINE, EMBASE, CINAHL, ERIC, PsychINFO, Scopus, key journals, and previous review bibliographies through May 2011. Original research articles in any language were selected if they compared simulation to no intervention or another educational activity for the purposes of training EM health professionals (including student and practicing physicians, midlevel providers, nurses, and prehospital providers). Reviewers evaluated study quality and abstracted information on learners, instructional design (curricular integration, feedback, repetitive practice, mastery learning), and outcomes.

Results

From a collection of 10,903 articles, 85 eligible studies enrolling 6,099 EM learners were identified. Of these, 56 studies compared simulation to no intervention, 12 compared simulation with another form of instruction, and 19 compared two forms of simulation. Effect sizes were pooled using a random-effects model. Heterogeneity among these studies was large (I2 ≥ 50%). Among studies comparing simulation to no intervention, pooled effect sizes were large (range = 1.13 to 1.48) for knowledge, time, and skills and small to moderate for behaviors with patients (0.62) and patient effects (0.43; all p < 0.02 except patient effects p = 0.12). Among comparisons between simulation and other forms of instruction, the pooled effect sizes were small (≤0.33) for knowledge, time, and process skills (all p > 0.1). Qualitative comparisons of different simulation curricula are limited, although feedback, mastery learning, and higher fidelity were associated with improved learning outcomes.

Conclusions

Technology-enhanced simulation for EM learners is associated with moderate or large favorable effects in comparison with no intervention and generally small and nonsignificant benefits in comparison with other instruction. Future research should investigate the features that lead to effective simulation-based instructional design.

Resumen

La Simulación Mejorada por la Tecnología en La Medicina de Urgencias y Emergencias: Revisión Sistemática y Metanálisis

Objetivos

La simulación mejorada por la tecnología se usa frecuentemente en los programas de formación en Medicina de Urgencias y Emergencias (MUE). La evidencia de su efectividad, sin embargo, permanece poco clara. El objetivo de este estudio fue evaluar la efectividad de la simulación mejorada por la tecnología para la formación en MUE e identificar mediante una revisión sistemática las características del diseño didáctico asociadas con la mejoría de los resultados.

Metodología

Los autores realizaron una búsqueda sistemática en MEDLINE, EMBASE, CINAHL, ERIC, PsychINFO, Scopus, revistas clave y revisiones bibliográficas previas hasta mayo de 2011. Se seleccionaron artículos de investigación originales en cualquier lengua si comparaban simulación con no intervención u otra actividad formativa con el propósito de formar a profesionales sanitarios en MUE (incluía estudiantes y médicos en prácticas, proveedores de nivel medio, enfermeros y proveedores extrahospitalarios). Los revisores evaluaron la calidad del estudio y resumieron la información acerca de los estudiantes, el diseño didáctico (integración curricular, retroalimentación, prácticas repetitivas y dominio del aprendizaje) y los resultados.

Resultados

De una colección de 10.903 artículos, se identificaron 85 estudios elegibles que incluyeron 6.099 estudiantes de MUE. De éstos, 56 compararon simulación con no intervención, 12 compararon simulación con otra forma de formación y 19 compararon dos formas de simulación. Los tamaños del efecto (TE) se sumaron usando un modelo de efectos aleatorios. La heterogeneidad entre estos estudios fue amplia (I2 ≥ 50%). Entre los estudios que compararon la simulación con la no intervención, los tamaños del efecto fueron grandes (rango 1,13 a 1,48) para el conocimiento, el tiempo y las habilidades; y de pequeños a moderados para los comportamientos con los pacientes (0,62) y los efectos del paciente (0,43) (todos p < 0,02. excepto para los efectos del paciente que fue p = 0,12). En relación a las comparaciones entre simulación y otras formas de formación, los tamaños del efecto fueron pequeños (≤ 0.33) para el conocimiento, el tiempo y las habilidades del proceso (todas p > 0,1). Las comparaciones cualitativas de diferentes simulaciones formativas son limitadas, aunque la retroalimentación, el dominio del aprendizaje y la mayor fidelidad se asociaron con mejores resultados de aprendizaje.

Conclusiones

La simulación mejorada por la tecnología para los estudiantes de MUE se asocia con efectos favorables moderados y grandes en comparación con la no intervención, y generalmente beneficios pequeños y no significativos en comparación con otras formas de formación. Futuros estudios deberían investigar las características que conducirán a diseños formativos efectivos basados en la simulación.

Ancillary