Impact of Criticism of Null-Hypothesis Significance Testing on Statistical Reporting Practices in Conservation Biology

Authors


email fidlerfm@unimelb.edu.au

Abstract

Abstract: Over the last decade, criticisms of null-hypothesis significance testing have grown dramatically, and several alternative practices, such as confidence intervals, information theoretic, and Bayesian methods, have been advocated. Have these calls for change had an impact on the statistical reporting practices in conservation biology? In 2000 and 2001, 92% of sampled articles in Conservation Biology and Biological Conservation reported results of null-hypothesis tests. In 2005 this figure dropped to 78%. There were corresponding increases in the use of confidence intervals, information theoretic, and Bayesian techniques. Of those articles reporting null-hypothesis testing—which still easily constitute the majority—very few report statistical power (8%) and many misinterpret statistical nonsignificance as evidence for no effect (63%). Overall, results of our survey show some improvements in statistical practice, but further efforts are clearly required to move the discipline toward improved practices.

Abstract

Resumen: En la última década, las críticas a la prueba de significancia estadística han crecido dramáticamente, y se han propuesto varias prácticas alternativas, como los intervalos de confianza, teoría de la información y métodos Bayesianos. ¿Han tenido impacto estos llamados al cambio sobre las prácticas de reporte estadístico en biología de la conservación? En 200 y 2001, 92% de los artículos muestreados en Conservation Biology y Biological Conservation reportaron pruebas de hipótesis nulas. En 2005 esta cifra cayó a 78%. Hubo incrementos correspondientes en el uso de intervalos de confianza, teoría de la información y técnicas Bayesianas. De los artículos que reportan pruebas de hipótesis nulas—que fácilmente aun constituyen la mayoría—muy pocos (8%) reportan el poder estadístico y muchos mal interpretan la no significancia estadística como evidencia de no efecto (63%). En general, los resultados de nuestro muestreo muestran algunas mejorías en la práctica estadística, pero claramente se requieren mayores esfuerzos para que la disciplina tenga mejores prácticas.

Ancillary