¿Alguna vez has visto una noticia que afirmaba que comer chocolate todos los días ayuda a bajar de peso? En 2015, los resultados de este estudio aparecieron en medios de varios países y causaron gran revuelo. Poco después, el propio periodista que realizó el estudio, John Bohannon, confesó que había montado el experimento deliberadamente para mostrar lo fácil que se difunde la ciencia de mala calidad. Había medido a la vez 18 variables, entre ellas el peso, el colesterol y la calidad del sueño, y solo había destacado los resultados que mostraban diferencias por azar.
Analizar los datos de distintas maneras hasta obtener el resultado deseado y producir así cifras «estadísticamente significativas» se conoce como «hackeo del valor p (P-hacking)». Basta con elegir los métodos de análisis para que, aun sin manipular los datos, los resultados parezcan un hallazgo auténtico. Es una trampa en la que hasta los propios investigadores pueden caer sin darse cuenta.
Empezaremos por el significado del valor p, que es el punto de partida del hackeo del valor p. Luego veremos las formas más habituales en que ocurre, la crisis de reproducibilidad que provocó en la comunidad científica y las maneras de prevenirlo.
Si torturas a los números, confiesan. Cómo funciona el hackeo del valor p y cómo prevenirlo
¿Qué son el valor p y el nivel de significación?
Para entender el hackeo del valor p, primero hay que saber qué es el valor p. Por lo general, el investigador plantea una hipótesis nula según la cual «no hay efecto» y luego evalúa qué probabilidad hay de que el resultado obtenido se deba únicamente al azar.
- Valor p (P-value). Si se supone que no hay ningún efecto, es la probabilidad de obtener un resultado tan extremo como el observado o aún más extremo.
- Nivel de significación (Significance Level). Es el umbral que se usa para decidir que un resultado no se debe al azar. Suele fijarse en 0.05 (5 %).
- Falso positivo (False Positive). Se produce cuando, por azar, se rebasa el umbral y se concluye erróneamente que hay un efecto cuando en realidad no lo hay.
El problema es que el umbral es del 5 %. Si se realizan 20 pruebas cuando no hay ningún efecto, se obtiene por azar un resultado «significativo» en promedio 1 vez. Si se realizan 20 pruebas independientes entre sí, la probabilidad de rebasar el umbral al menos una vez ronda el 64 %. Si se hacen varios intentos y solo se muestran los que dan resultado, hasta el azar puede parecer un hallazgo.
¿Cómo se produce el hackeo del valor p?
Los psicólogos estadounidenses Uri Simonsohn, Leif Nelson y Joseph Simmons usaron por primera vez el término «hackeo del valor p» en un artículo de 2014. Antes, en 2011, ya habían denunciado el problema al demostrar cómo se podía presentar como estadísticamente «significativa» la absurda conclusión de que quienes escucharon la canción «When I'm Sixty-Four» de los Beatles habían rejuvenecido de verdad.
(1) Medir muchos resultados y elegir solo los favorables
Como en el estudio del chocolate, se aumenta considerablemente el número de variables medidas y luego solo se comunican las que rebasan el umbral.
(2) Detenerse al obtener el resultado deseado
Se recogen datos poco a poco y se realiza una prueba cada vez. En cuanto el valor p cae por debajo de 0.05, se detiene la recolección.
(3) Dividir la muestra en grupos y eliminar valores atípicos
Si no se observa ningún efecto en el conjunto de la muestra, se prueba a dividirla entre hombres y mujeres o por grupos de edad, y se excluyen los datos que estorban al resultado con el argumento de que son «valores atípicos».
(4) Reescribir la hipótesis después de ver los resultados
Se describe un patrón hallado en los datos como si se hubiera predicho desde el principio. Las hipótesis surgidas de un análisis exploratorio deben comprobarse con datos nuevos. Si se omite ese paso, un patrón fortuito acaba convertido directamente en una conclusión. Esta práctica se conoce como HARKing.
Las cifras que desencadenaron la crisis de reproducibilidad
Los resultados obtenidos mediante el hackeo del valor p son fruto del azar, por lo que a menudo no vuelven a aparecer cuando otro investigador repite el experimento de la misma manera. El problema acabó afectando a la confianza en la ciencia en su conjunto.
Efectos que desaparecieron al repetir los experimentos
En 2015, el Proyecto de Reproducibilidad (Reproducibility Project), en el que participaron más de 270 investigadores, replicó 100 estudios publicados en prestigiosas revistas de psicología. La mayoría de los estudios originales habían comunicado resultados significativos, pero al repetirlos solo se llegó a la misma conclusión en cerca del 36 % de los casos. La noticia dio a conocer ampliamente la expresión «crisis de reproducibilidad (Replication Crisis)».
Fracasos que quedan enterrados en un cajón
Las revistas académicas acogen con más interés los resultados novedosos y significativos que los que indican que no hay efecto. Por eso, los estudios que no dan el resultado esperado se quedan en un cajón sin publicarse. Este fenómeno se conoce como sesgo de publicación (Publication Bias) o problema del cajón. En ese entorno, los investigadores pueden verse tentados a hacer bajar el valor p por debajo de 0.05.
Cómo prevenir el hackeo del valor p
La Asociación Estadounidense de Estadística (ASA) publicó en 2016 una declaración oficial sobre el valor p en la que recalcó que el valor de un estudio no debe juzgarse únicamente por su valor p. Desde entonces se emplean varias medidas en conjunto.
(1) Prerregistrar el estudio
Antes de recoger los datos, se registran las hipótesis y los métodos de análisis en un repositorio público. También se está extendiendo el formato de informe registrado (Registered Report), en el que la revista se compromete a publicar el estudio con independencia de sus resultados.
(2) Endurecer el criterio en función del número de pruebas
Si se han puesto a prueba varias hipótesis, se puede aplicar un método como la corrección de Bonferroni (Bonferroni Correction), que divide el nivel de significación por el número de pruebas para hacer más estricto el criterio.
(3) Hacer públicos los datos y el proceso de análisis
Si se publican los datos originales junto con el código de análisis, otros investigadores pueden comprobar los resultados directamente y repetir los cálculos.
Como dice la frase atribuida al economista Ronald Coase, si se tortura a los datos el tiempo suficiente, se les puede hacer confesar cualquier cosa. Los números no mienten, pero quien los elige puede construir la historia que quiera. Por eso, una buena investigación empieza por mostrar con transparencia cómo se llegó al resultado, por sorprendente que este sea.
Ante los resultados de un estudio, preguntarse cuántos intentos hicieron falta para obtener la cifra es el primer paso para aprender a interpretar bien las estadísticas.
