No se fíen de la ciencia 87

1 dic 2013   | Blog

 Hace apenas un par de semanas The Economist publicó un artículo titulado
Unreliable research. Trouble at the lab, que ha generado bastante debate y
preocupación entre algunos colegas.

El artículo expone, entre otras cosas, los graves problemas de replicabilidad a
los que se enfrenta la ciencia. Comienza con la psicología, contando cómo
Shanks et al. (2013) publicaron un artículo incluyendo 9 experimentos independientes donde no se
lograba demostrar que pensar en alguien inteligente antes de enfrentarse a un
test de inteligencia provocara un mejor rendimiento en la tarea que pensar en
alguien estúpido, efecto que sí fue significativo en el artículo original
(Dijksterhuis & van Knippenberg, 1998)
y que motivó la réplica de turno.

Esta falta de replicabilidad, dicen, no es exclusiva de las ciencias del
comportamiento. Por ejemplo, algunos esfuerzos por replicar estudios clave en
el campo de la investigación contra el cáncer (ciencia de la dura,
aparentemente) han arrojado tasas de replicabilidad terriblemente bajas -en
torno al 25%. El texto está plagado de ejemplos similares y todos muy
preocupantes.

El post afirma que, aunque algunos argumentan que la ciencia tiende a
auto-corregirse, el caso parece ser que se publica más basura de la que luego
se acaba limpiando. Afirman que la comisión de errores estadísticos es alta y
los revisores no son/somos tan buenos a la hora de detectar estos errores como
deberían/deberíamos. La presión del sistema académico por publicar mucho y con
resultados no nulos (y, a poder ser, sexys) nos llevaría a publicar resultados
espúreos o producto de una fishing expedition. Y otros factores como la falta
de conocimiento metodológico y estadístico por parte de los investigadores, o
incluso el fraude, también aportarían su granito de arena.

El artículo transmite la idea de que los científicos somos poco profesionales,
estamos poco preparados, somos muy ambiciosos e incluso corruptos y no tenemos
mucha idea de lo que estamos haciendo (lo que ilustran con las imágenes que
acompañan a este texto, extraídas del artículo original). Este es el panorama
que The Economist presenta a la opinión pública. Es cierto que el texto tiene
razón en muchas cosas y no dice nada que los del gremio no sepamos, pero juega
sus cartas de manera agresiva y consigue atención a base de desacreditar la
práctica científica.

En cualquier caso, y a pesar de la manera tan poco elegante en la que The
Economist retrata a los científicos, hay espacio para entonar un mea culpa por
lo bajini. Para que la ciencia “progrese adecuadamente” habrá que
seguir mejorando nuestro sistema de producción y publicación, algo que ya están
haciendo prestigiosas revistas como Cortex, que ahora incluye un nuevo formato
de publicación denominado Registered Report.

En este nuevo formato, los investigadores
publicarán primero sus hipótesis y métodos y, una vez recopilados y analizados
los datos de la manera previamente establecida, se publicarán los resultados
“salga lo que salga”. Esta iniciativa ha sido también impulsada por
un grupo de 80 científicos en una carta abierta a The Guardian.
El artículo de The Economist no se hace eco de este interesante movimiento,
aunque sí reconocen que PLoS ONE y Science Exchange han puesto en marcha la
Reproducibility Initiative: el investigador paga y su trabajo será replicado
por un laboratorio independiente.

En el terreno de la psicología, me atrevería a decir que los diferencialistas
podemos estar algo más tranquilos dada nuestra obsesión con la medición y las
grandes muestras, pero replicar es clave. Nuestro propio equipo está
especialmente sensibilizado con respecto a este asunto y ha estado tratando a
fondo el problema de la replicabilidad en los estudios de neuroimagen sobre la
inteligencia –algo de lo que hablaremos en otro momento, pero sirva para
reforzar la idea de que una buena parte de “la ciencia” sí tiende a
autorregularse. Sería interesante que este tipo de prácticas positivas
consiguieran tanta publicidad como las negativas y podamos generar así una
visión un poco más acertada de nuestra práctica profesional.

Miguel Burgaleta

Universitat Pompeu Fabra

Leave a Reply