Planning and analysis of measurement reliability studies

Authors

  • Stefan H. Steiner,

    Corresponding author
    1. Business and Industrial Statistics Research Group, Department of Statistics and Actuarial Sciences, University of Waterloo, Waterloo, Canada N2L 3G1
    • Business and Industrial Statistics Research Group, Department of Statistics and Actuarial Sciences, University of Waterloo, Waterloo, Canada N2L 3G1.
    Search for more papers by this author
  • Nathaniel T. Stevens,

    1. Business and Industrial Statistics Research Group, Department of Statistics and Actuarial Sciences, University of Waterloo, Waterloo, Canada N2L 3G1
    Search for more papers by this author
  • Ryan Browne,

    1. Department of Mathematics and Statistics, University of Guelph, Guelph, Canada N1G 2W1
    Search for more papers by this author
  • R. Jock Mackay

    1. Business and Industrial Statistics Research Group, Department of Statistics and Actuarial Sciences, University of Waterloo, Waterloo, Canada N2L 3G1
    Search for more papers by this author

Abstract

In the traditional plan for assessing the reliability of a measurement system, a number of raters each measure the same group of subjects. If the system has a large number of raters, we recommend a new set of plans that has two advantages over the traditional plan. First, the proposed plans provide greater precision for estimating the intraclass correlation coefficient with the same total number of measurements. Second, the plans are flexible and can be adapted to constraints on the number of times any subject can be assessed or the number of times any rater can make an assessment. We provide a simple tool for planning a reliability study, access to the software for the planning in the case where there are constraints and an example to demonstrate the analysis of data from the proposed plans. The Canadian Journal of Statistics 39: 344–355; 2011 © 2011 Statistical Society of Canada

Abstract

Dans un plan traditionnel pour déterminer la fiabilité d'un système de mesures, plusieurs évaluateurs mesurent tous les sujets d'un même groupe. Lorsqu'il y a un grand nombre d'évaluateurs, nous recommandons un nouvel ensemble de plans qui possède deux avantages par rapport au plan traditionnel. Premièrement, les plans proposés procurent une plus grande précision pour l'estimation du coefficient de corrélation intraclasse avec un même nombre de mesures. Deuxièmement, ces plans sont flexibles et ils peuvent être modifiés pour contraindre le nombre d'évaluations par sujet ou encore le nombre de mesures faites par un évaluateur. Nous suggérons un outil facile d'utilisation pour planifier une étude de fiabilité et pour utiliser le logiciel de planification lorsqu'il y a des contraintes. Nous présentons aussi un exemple pour illustrer l'analyse de données partir des plans proposés. La revue canadienne de statistique 39: 344–355; 2011 © 2011 Société statistique du Canada

Ancillary