¿Porqué muchas de las publicaciones científicas son falsas?

Con este sorprendente título abre un artículo publicado hace ya más de 4 años en la subversiva revista Plos Medicine el debate de hacia dónde va y de dónde viene el mundo de la publicación científica.

Y es que este artículo viene a analizar qué características de los artículos originales publicados en revistas en ciencias de la salud tienden a revelar con mayor probabilidad resultados que son falsos. Dicho con otras palabras: cuanto más características de las que luego veremos presente un estudio, menor es su valor predictivo positivo:

• Estudios con tamaños muestrales pequeños
  
• Resultados con tamaño del efecto pobre. Ojo, se refiere a relevancia clínica, no a significación estadística. Para distinguir ambas cosas, recomendamos esta lectura interesante del blog "El Rincón de Sísifo"
  
• Estudios realizados en fases exploratorias, preclínicas o clínicas preliminares en sujetos sanos y con fines de determinar farmacocinética, toxicidad, farmacidinámica, etc.
  
• Presencia de sesgos "creativos" y flexibilidad en el diseño, análisis estadístico e interpretación de los estudios
  
• Presencia de conflictos de interés (económicos o no) en los autores o investigadores del estudio
  
• Por último, aunque pueda resultar paradójico, la existencia de una mayor actividad investigadora en torno a ese tema, lo que generalmente indica que hay un interés comercial alto y una alta competencia entre grupos investigadores por revelar resultados novedosos y relevantes (positivos). Esto estimularía colateralmente, además, a "esconder" los estudios con resultados negativos (sesgos de publicación o divulgación)
  

(Un apunte: ahora que lo pienso, muchas de las cosillas de investigación que he hecho hasta ahora cumplen algunos de estos criterios... ¡qué poco serio soy!)

El mismo autor, Ioannidis, publicó un artículo en el JAMA ese mismo año en el que analizó algunos de los artículos más citados en las más prestigiosas revistas científicas (entre ellas la propia JAMA, NEJM, Lancet, Annals, Diabetes Care...). En el 32% de ellos los resultados habían sido exagerados o eran incorrectos...

Tanto en el artículo del Plos como en esta entrada del blog "The Endeavour" se intenta buscar el culpable de este fenómeno. Todas las pruebas inculpan a la indolente "p" (o prueba de significación estadística):

Varios metodólogos han señalado que la alta tasa de falta de confirmación de los descubrimientos de la investigación es una consecuencia de una estrategia mal fundada, basada sobre todo en emitir unas conclusiones guiados únicamente sobre un único estudio cuyos resultados son evaluados por la significación estadística, que habitualmente viene siendo el valor de p menor de 0,05.

Y es que, ¡qué sutil diferencia hay entre una p de 0.048 y otra de 0.052!

En este otro artículo interesante de "El Comprimido", además de relexionar sobre el significado de las pruebas de contraste de hipótesis, proponen comenzar a sustituir las pruebas de hipótesis por pruebas de estimación (basadas en la construcción e interpretación de intervalos de confianza) y por el enfoque bayesiano, porque está exento de las contradicciones y limitaciones de las primeras. Similares críticas a "la maldita p" se pueden encontrar en más sitios.

Así que, ya sabemos (todos), ¡a hacer cursos sobre este tipo de pruebas!