Is there a reproducibility crisis in science? - Matt Anticole

Traductor: Carolina Becerra Merino Revisor: Lidia Cámara de la Fuente

In 2011, a team of physicists reported a startling discovery:

El 2011 un grupo de físicos dio a conocer un sorprendente descubrimiento:

neutrinos traveled faster than the speed of light

los neutrinos viajaban más rápido que la velocidad de la luz.

by 60 billionths of a second

a 60 billonésimas por segundo

in their 730 kilometer trip from Geneva to a detector in Italy.

en su viaje de 730 km desde Génova a un detector en Italia.

Despite six months of double checking, the bizarre discovery refused to yield.

Tras seis meses de doble chequeo, el raro descubrimiento permaneció inmutable.

But rather than celebrating a physics revolution,

Pero en vez de celebrar una revolución en la física,

the researchers published a cautious paper

los investigadores publicaron un cauteloso artículo

arguing for continued research in an effort to explain the observed anomaly.

pidiendo seguir investigando para explicar la anomalía observada.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

El error se rastreó hasta detectar un cable de fibra óptica conectado mal.

This example reminds us that real science is more than static textbooks.

Este ejemplo nos recuerda que la ciencia es de verdad más que libros estáticos.

Instead, researchers around the world are continuously publishing

En su lugar, los investigadores de todo el mundo están siempre publicando

their latest discoveries

los últimos descubrimientos

with each paper adding to the scientific conversation.

aportando con cada artículo a la discusión científica.

Published studies can motivate future research,

Los estudios pueden motivar más investigaciones,

inspire new products,

inspirar la creación de productos

and inform government policy.

y la formulación de políticas de gobierno.

So it's important that we have confidence in the published results.

Por lo tanto, es importante confiar en los resultados publicados.

If their conclusions are wrong,

Si sus conclusiones son erróneas,

we risk time,

arriesgamos tiempo,

resources,

recursos,

and even our health in the pursuit of false leads.

e incluso nuestra salud en la búsqueda de pistas falsas.

When findings are significant,

Si son hallazgos significativos,

they are frequently double-checked by other researchers,

se entregan a revisar a otros investigadores,

either by reanalyzing the data

que o analizan los datos

or by redoing the entire experiment.

o vuelven a hacer todo el experimento.

For example, it took repeated investigation of the CERN data

Por ejemplo, se necesitaron repetidas investigaciones sobre los datos CERN

before the timing error was tracked down.

antes de que el error del tiempo fuese detectado.

Unfortunately, there are currently neither the resources nor professional incentives

Desafortunadamente, actualmente no hay recursos ni incentivos profesionales

to double check the more than 1 million scientific papers published annually.

para volver a revisar más de un millón de artículos científicos publicados cada año.

Even when papers are challenged, the results are not reassuring.

Incluso si se cuestionan los artículos, los resultados no son tranquilizadores.

Recent studies that examined dozens of published pharmaceutical papers

Estudios recientes que examinaron decenas de artículos farmacéuticos

managed to replicate the results of less than 25% of them.

lograron replicar los resultados de menos del 25% de ellos.

And similar results have been found in other scientific disciplines.

Y resultados similares se constataron en otras disciplinas científicas.

There are a variety of sources for irreproducible results.

Hay una variedad de fuentes para resultados irreproducibles.

Errors could hide in their original design, execution, or analysis of the data.

Los errores pueden estar en el diseño, la ejecución, o el análisis de los datos.

Unknown factors,

Factores desconocidos,

such as patients' undisclosed condition in a medical study,

como la condición no revelada de los pacientes en un estudio médico,

can produce results that are not repeatable in new test subjects.

pueden producir resultados no repetibles en nuevos sujetos de una muestra.

And sometimes, the second research group can't reproduce the original results

Y a veces, el segundo grupo no puede reproducir los resultados originales

simply because they don't know exactly what the original group did.

simplemente porque no saben exactamente qué hizo el grupo original.

However, some problems might stem from systematic decisions

Sin embargo, algunos problemas emergen por decisiones sistemáticas

in how we do science.

de cómo hacemos ciencia.

Researchers,

the institutions that employ them,

De investigadores,

de instituciones contratantes

and the scientific journals that publish findings

y de revistas científicas que publican los hallazgos,

are expected to produce big results frequently.

se espera frecuentemente que entreguen grandes resultados.

Important papers can advance careers,

Artículos importantes pueden impulsar carreras,

generate media interest,

generar interés de la prensa,

and secure essential funding,

y asegurar fondos esenciales, por eso

so there's slim motivation for researchers to challenge their own exciting results.

hay poca motivación en los investigadores a desafiar sus propios resultados

In addition, little incentive exists

Además, existe poco incentivo

to publish results unsupportive of the expected hypothesis.

a publicar resultados sin el apoyo de la hipótesis esperada.

That results in a deluge of agreement between what was expected

Eso deriva en un montón de acuerdos entre lo que se esperaba

and what was found.

y lo que se encontró.

In rare occasions, this can even lead to deliberate fabrication,

En raras ocasiones, esto incluso puede llevar al engaño deliberado,

such as in 2013, when a researcher spiked rabbit blood with human blood

como cuando en 2012 un investigador inyectó sangre de conejo con sangre humana

to give false evidence that his HIV vaccine was working.

para dar una evidencia falsa de que su vacuna para el VIH funcionaba.

The publish or perish mindset

La mentalidad de "publicar o perecer"

can also compromise academic journals' traditional peer-review processes

también compromete procesos tradicionales de revisión de pares

which are safety checks

de revistas académicas que son revisiones seguras

where experts examine submitted papers for potential shortcomings.

donde expertos examinan artículos posibles deficiencias.

The current system,

El sistema actual,

which might involve only one or two reviewers,

que incluye solo uno o dos revisores,

can be woefully ineffective.

puede ser lamentablemente ineficaz.

That was demonstrated in a 1998 study

Eso se demostró en un estudio de 1998

where eight weaknesses were deliberately inserted into papers,

donde las debilidades se incluyeron deliberadamente en artículos,

but only around 25% were caught upon review.

pero sólo cerca de un 25% se detectaron en la revisión.

Many scientists are working toward improving reproducibility in their fields.

Muchos científicos trabaja para mejorar la replicabilidad en sus disciplinas.

There's a push to make researchers raw data,

Hay presión para lograr que los datos duros investigados,

experimental procedures,

los procedimientos experimentales,

and analytical techniques more openly available

y las técnicas analíticas sean más abiertamente disponibles

in order to ease replication efforts.

para así facilitar los esfuerzos de replicación.

The peer review process can also be strengthened

El proceso de revisión de pares puede también fortalecerse

to more efficiently weed out weak papers prior to publication.

para eliminar más eficientemente los artículos débiles antes de su publicación.

And we could temper the pressure to find big results

Y podríamos mitigar la presión de encontrar grandes resultados

by publishing more papers that fail to confirm the original hypothesis,

publicando más artículos que fallen en confirmar la hipótesis original,

an event that happens far more than current scientific literature suggests.

algo que ocurre mucho más de lo que la literatura científica actual indica.

Science always has, and always will, encounter some false starts

La ciencia siempre ha encontrado y encontrará comienzos falsos

as part of the collective acquisition of new knowledge.

como parte de la adquisición colectiva de nuevo conocimiento.

Finding ways to improve the reproducibility of our results

Encontrar las vías para mejorar la replicabilidad de nuestros resultados

can help us weed out those false starts more effectively,

puede ayudarnos a deshacernos mejor de los comienzos falsos,

keeping us moving steadily toward exciting new discoveries.

manteniéndonos en movimiento hacia nuevos descubrimientos emocionantes.