Comparing the performance of indicators of hand-washing practices in rural Indian households

Summary

Objective  To compare the results obtained from 26 proxy indicators of domestic hand-washing practices with those obtained from direct, ‘structured’ observation of hand-washing in a sample of 387 households and to assess the potential of these indicators for use in the evaluation of hygiene promotion campaigns.

Methods  Fieldwork in rural India between February 2005 and April 2006. Household-level data on hand-washing practices and the availability of soap and water were collected by structured observation, questionnaire survey, pocket voting, hand-wash demonstration and environmental check. Between them these techniques produced 27 binary indicators of hand-washing practices, each of which was used to classify households as ‘hand-washing’ or ‘non-hand-washing. To assess the extent to which household classification based on each of 26 proxy indicators concurred with classification based on observation, we used the kappa statistic. The prevalence of households defined as ‘hand-washing’ according to each indicator was compared statistically with the prevalence according to structured observations by testing for a significant difference between two proportions.

Results  Agreement between all the proxy indicators and the observation data was poor and all but two of the indicators produced estimates of hand-washing prevalence that were significantly different from that resulting from observation.

Conclusion  Although some interventions may be able to use proxy indicators as a guide to the magnitude and direction of their impact, these indicators do not provide an accurate guide to the actual practice or prevalence of hand-washing. Structured observation remains the best indicator of those tested.

Objectifs  Comparer les résultats obtenus à partir de 26 indicateurs de pratiques du lavage des mains à domicile avec ceux obtenus à partir de l’observation directe et structurée du lavage des mains sur un échantillon de 387 ménages et évaluer le pouvoir de ces indicateurs pour leur usage dans l’évaluation des campagnes de promotion d’hygiène.

Méthodes  Etude sur le terrain en Inde rurale entre février 2005 et avril 2006. Des données à l’échelle des ménages sur les pratiques du lavage des mains et la disponibilité du savon et de l’eau ont été collectées par observation structurée, enquête sous forme de questionnaire, votes, démonstration du lavage des mains et vérification de l’environnement. Entre-elles, ces techniques ont produit 27 indicateurs binaires de pratiques du lavage des mains. Chacun de ces indicateurs a été employé pour classifier les ménages comme ‘lavant les mains’ ou ‘ne lavant pas les mains’. Afin d’évaluer la portée de chacun de ces 27 indicateurs dans la classification des ménages par rapport à celle basée sur l’observation, nous avons appliqué la statistique de kappa. La prévalence pour les ménages définies comme `lavant les mains’ selon chaque indicateur a été comparée statistiquement à celle selon les observations structurées en testant pour une différence significative entre deux proportions.

Résultats  La concordance entre tous indicateurs et les données d’observation était faible et tous à l’exception de deux des indicateurs ont fourni des estimations sur la prévalence du lavage des mains qui étaient significativement différentes de celles résultant de l’observation.

Conclusions  Bien que certaines interventions puissent utiliser des indicateurs comme guides pour mesurer l’ampleur et l’orientation de leur impact, ces indicateurs ne fournissent pas un guide précis de la pratique réelle et de la prévalence du lavage des mains. L’observation structurée demeure le meilleur indicateur parmi ceux examinés.

Objetivos  Comparar los resultados obtenidos con 26 indicadores sustitutos (“proxy”) de prácticas de lavado de manos con aquellos obtenidos mediante observación directa y “estructurada”, en una muestra de 387 hogares, y evaluar el potencial de estos indicadores para su uso en la evaluación de campañas de promoción de la higiene.

Métodos  Trabajo de campo realizado en la India rural, entre Febrero 2005 y Abril 2006. Se recolectaron datos a nivel de los hogares sobre prácticas de lavado de manos y disponibilidad de jabón y agua mediante observación estructurada, encuesta con cuestionario, “pocket voting”, demostración de lavado de manos y evaluación ambiental. Entre ellas, estas técnicas produjeron 27 indicadores binarios de prácticas de lavado de manos, cada una de las cuales se utilizó para clasificar los hogares como “con lavado de manos” y “sin lavado de manos”. Con el fin de evaluar hasta que punto la clasificación de los hogares basados en cada uno de los 26 indicadores sustitutos estaban de acuerdo con la clasificación basada en la observación, utilizamos la estadística de Kappa. La prevalencia de hogares definidos como “con lavado de manos” de acuerdo con cada indicador, fue comparada estadísticamente con la prevalencia según observaciones estructuradas buscando diferencias significativas entre las dos proporciones.

Resultados  La concordancia entre los indicadores sustitutos y los datos por observación era pobre, y todos excepto dos de los indicadores produjeron estimadores de la prevalencia de lavado de manos que eran significativamente diferentes de aquellos que resultaron de la observación.

Conclusiones  Aunque algunas intervenciones podrían utilizar indicadores sustitutos como una guía de la magnitud y la dirección del impacto causado, estos indicadores no proveen una guía precisa de la práctica real o de la prevalencia del lavado de manos. La observación estructurada continúa siendo el mejor indicador entre aquellos evaluados.