A Critical Assessment of Null Hypothesis Significance Testing in Quantitative Communication Research

Authors


  • A version of this paper was presented at the Annual Meeting of the Internal Communication Association, May 2003, San Diego, CA. This paper is dedicated to the memory of John E. Hunter.

Timothy R. Levine; e-mail: levinet@msu.edu

Abstract

Null hypothesis significance testing (NHST) is the most widely accepted and frequently used approach to statistical inference in quantitative communication research. NHST, however, is highly controversial, and several serious problems with the approach have been identified. This paper reviews NHST and the controversy surrounding it. Commonly recognized problems include a sensitivity to sample size, the null is usually literally false, unacceptable Type II error rates, and misunderstanding and abuse. Problems associated with the conditional nature of NHST and the failure to distinguish statistical hypotheses from substantive hypotheses are emphasized. Recommended solutions and alternatives are addressed in a companion article.

Résumé

Une évaluation critique du test de signification basé sur l‘hypothèse nulle dans la recherche quantitative en communication

Le test de signification basé sur l’hypothèse nulle (null hypothesis significance testing ou NHST) est l‘approche d’inférence statistique la plus largement acceptée et la plus souvent utilisée dans la recherche quantitative en communication. Toutefois, le NHST est très controversé et plusieurs problèmes sérieux de cette approche ont été identifiés. Cet article passe en revue le NHST et la controverse qui l‘entoure. Des problèmes couramment reconnus comprennent la sensibilitéà la taille de l'échantillon, le fait que la nullité soit généralement littéralement fausse, des taux inacceptables d’erreurs du type II, la mauvaise compréhension et l’abus. Les problèmes associés à la nature conditionnelle du NHST et au défaut de distinguer les hypothèses statistiques des hypothèses réelles sont soulignés. Les solutions et alternatives recommandées sont commentées dans un second article.

Abstract

Eine kritische Betrachtung des Nullhypothesen-Signifikanztestens in der quantitativen Kommunikationsforschung

Das Nullhypothesen-Signifikanztesten ist die geläufigste und am weitesten akzeptierte Form des statistischen Inferenzschlusses in der quantitativen Kommunikationsforschung. Allerdings ist das Nullhypothesen-Signifikanztesten höchst widersprüchlich und birgt eine Vielzahl gravierender Probleme. Dieser Artikel setzt sich mit dem Nullhypothesen-Signifikanztesten und der damit verbundenen Kontroverse auseinander. Bereits allgemein bekannte Probleme sind die Abhängigkeit von der Stichprobengröße, die Tatsache, dass die Nullhypothese oft buchstäblich falsch ist, außerdem nicht akzeptable Typ II-Fehler-Raten sowie Missverständnisse und Anwendungsfehler. Ergänzend dazu werden Probleme, die auf die Bedingungen des Nullhypothesen-Signifikanztesten zurückzuführen sind sowie das Misslingen zwischen statistischen und substanziellen Hypothesen zu unterscheiden, besprochen. Ein weiterer Aufsatz setzt sich mit möglichen Lösungen und Alternativen auseinander.

Resumen

Una Evaluación Crítica de la Puesta a Prueba de la Significancia de la Hipótesis Nula en la Investigación de Comunicación Cuantitativa

La puesta a prueba de la significancia de la hipótesis nula (NHST) es el enfoque más ampliamente aceptado y usado con frecuencia en la inferencia estadística de la investigación de comunicación cuantitativa. NHST, no obstante, es muy controversial, y varios problemas serios de este enfoque han sido identificados. Este artículo revisa NHST y la controversia que lo rodea. Problemas comúnmente reconocidos son la sensibilidad del tamaño de la muestra, la nulidad es usualmente literalmente falsa, los índices inaceptables de error de tipo II, y el malentendido y abuso. Los problemas asociados con la condición natural de NHST y el fracaso de distinguir las hipótesis estadísticas de las hipótesis sustantivas son enfatizados. Soluciones recomendadas y alternativas son señaladas en un artículo acompañante.

ZhaiYao

inline image

Yo yak

inline image

Ancillary