SEARCH

SEARCH BY CITATION

Keywords:

  • Mixed modes;
  • response process;
  • experimental design;
  • proportional odds;
  • European Social Survey

Summary

This paper discusses the challenges in assessing the effects of mixed modes on measurement. We briefly review theories about why different modes of data collection can lead to differences in survey responses and statistical methods typically used to assess mode effects. We then discuss the challenges, including which mode effects are identified, how to test for mode effects, and whether these would affect substantive conclusions. The issues raised are illustrated with examples from the European Social Survey, which is conducting a programme of experimental research to inform decisions about whether to use mixed modes of data collection. The paper concludes with general implications for mixed modes research.

Résumé

Cet article passe en revue les défis relatifs à l'évaluation de l'effet sur l'erreur mesure, de l'utilisation de plusieurs modes de collecte des données. Nous débutons par une revue succincte des théories sur la façon dont différents modes peuvent produire des réponses divergentes pour ensuite traiter des méthodes statistiques généralement utilisées afin d'évaluer l'effet du mode de collecte. Ensuite nous discutons les défis, y compris quels effets du mode de collecte sur l'erreur mesure sont identifiés, comment tester l'effet du mode et si les différences entre modes impactent sur les conclusions de fond. Les considérations sont illustrées avec des examples de l'Enquête Sociale Européenne où un programme de recherche est présentement en cours afin d'évaluer la faisabilité d'utiliser plusieurs modes de collecte des données. L'article se termine par des recommandations générales pertinentes pour la poursuite de la recherche sur les modes de collecte multiples.