Is there a reproducibility crisis in science? - Matt Anticole

Une crise de reproductibilité en science ? - Matt Anticole

Traducteur: Aurélie Goldblatt Relecteur: Elisabeth Buffard

In 2011, a team of physicists reported a startling discovery:

En 2011, une équipe de physiciens annonçaient une découverte étonnante :

les neutrinos voyagaient plus vite que la vitesse de la lumère

neutrinos traveled faster than the speed of light

by 60 billionths of a second

de 60 milliardièmes de seconde

in their 730 kilometer trip from Geneva to a detector in Italy.

lors de leur voyage de 730km entre Genève et un détecteur en Italie.

Despite six months of double checking, the bizarre discovery refused to yield.

Six mois de vérifications n'ont pas pu mettre en défaut cette étrange découverte.

But rather than celebrating a physics revolution,

Mais au lieu de célébrer une révolution de la physique,

the researchers published a cautious paper

les chercheurs ont publié un rapport prudent,

arguing for continued research in an effort to explain the observed anomaly.

plaidant pour continuer les recherches afin d'expliquer cette anomalie.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Finalement, l'erreur a été identifiée, c'était une fibre optique mal connectée.

This example reminds us that real science is more than static textbooks.

Cet exemple nous rappelle que la science ne se résume pas à des manuels statiques.

Instead, researchers around the world are continuously publishing

Les chercheurs du monde entier publient continuellement

their latest discoveries

leur dernières découvertes,

with each paper adding to the scientific conversation.

chaque rapport alimentant la discussion scientifique.

Published studies can motivate future research,

Les publications peuvent motiver des recherches futures,

inspire new products,

inspirer de nouveaux produits,

and inform government policy.

et renseigner la politique gouvernementale.

So it's important that we have confidence in the published results.

Il est donc important d'avoir confiance dans les résultats publiés.

If their conclusions are wrong,

Si les conclusions sont fausses,

we risk time,

nous risquons du temps,

resources,

des ressources,

and even our health in the pursuit of false leads.

et même notre santé dans la poursuite de fausses pistes.

When findings are significant,

Quand les découvertes sont importantes,

they are frequently double-checked by other researchers,

elles sont fréquemment vérifiées par d'autres chercheurs,

either by reanalyzing the data

soit en ré-analysant les données,

or by redoing the entire experiment.

soit en reproduisant l'expérience.

For example, it took repeated investigation of the CERN data

Par exemple, les données du CERN ont nécessité plusieurs investigations

before the timing error was tracked down.

avant que l'erreur soit finalement identifiée.

Unfortunately, there are currently neither the resources nor professional incentives

Actuellement, il n'existe aucune ressource ou incitation profesionnelle

to double check the more than 1 million scientific papers published annually.

pour vérifier le million de rapports scientifiques publiés chaque année.

Even when papers are challenged, the results are not reassuring.

Et quand ils le sont, les résultats ne sont pas rassurants.

Recent studies that examined dozens of published pharmaceutical papers

Des études récentes qui ont examiné des dizaines de rapports pharmaceutiques

managed to replicate the results of less than 25% of them.

n'ont réussi à reproduire que moins de 25% de leur résultats.

And similar results have been found in other scientific disciplines.

Et les résultats sont similaires dans d'autres disciplines scientifiques.

There are a variety of sources for irreproducible results.

Il y a de nombreux facteurs qui expliquent la non-reproductibilité des résultats.

Errors could hide in their original design, execution, or analysis of the data.

Les erreurs peuvent se cacher dans la conception,

l'exécution ou l'analyse des données.

Unknown factors,

Des facteurs inconnus,

such as patients' undisclosed condition in a medical study,

tels qu'un élément non divulgué dans une étude médicale,

can produce results that are not repeatable in new test subjects.

peuvent produire des résultats

non-reproductibles chez les nouveaux sujets de test.

And sometimes, the second research group can't reproduce the original results

Parfois, le 2ème groupe de recherche ne parvient pas à reproduire les résultats

simply because they don't know exactly what the original group did.

simplement parce qu'il ne sait pas exactement ce qu'a fait le premier groupe.

However, some problems might stem from systematic decisions

Toutefois, certains problèmes peuvent provenir de décisions systématiques,

in how we do science.

de la façon dont nous faisons de la science.

Researchers,

the institutions that employ them,

Les chercheurs,

les institutions qui les emploient

and the scientific journals that publish findings

et les journaux scientifiques qui publient les découvertes

are expected to produce big results frequently.

sont tenus de produire régulièrement des résultats majeurs.

Important papers can advance careers,

Les publications importantes peuvent promouvoir une carrière,

generate media interest,

générer l'attention des médias

and secure essential funding,

et assurer des fonds essentiels,

so there's slim motivation for researchers to challenge their own exciting results.

donc les chercheurs sont peu motivés à vérifier leurs propres résultats.

In addition, little incentive exists

De plus, il n'existe qu'une faible incitation

to publish results unsupportive of the expected hypothesis.

à publier des résultats qui ne soutiennent pas les hypothèses attendues.

That results in a deluge of agreement between what was expected

Ceci conduit à un déluge de concordances entre ce qui est attendu

and what was found.

et ce qui a été découvert.

In rare occasions, this can even lead to deliberate fabrication,

Dans de rares occasions, cela peut même conduire à la fabrication de preuves,

such as in 2013, when a researcher spiked rabbit blood with human blood

comme en 2013, lorsqu'un chercheur a ajouté du sang de lapin à du sang humain

to give false evidence that his HIV vaccine was working.

pour donner une fausse preuve que son vaccin contre le VIH fonctionnait.

The publish or perish mindset

Cet état d'esprit de vouloir publier à tout prix peut aussi compromettre

can also compromise academic journals' traditional peer-review processes

les procédures d'examen par des pairs des journaux académiques traditionnels,

which are safety checks

qui sont des contrôles

where experts examine submitted papers for potential shortcomings.

où des experts examinent les publications pour trouver de potentielles lacunes.

The current system,

Le système actuel,

which might involve only one or two reviewers,

qui n'implique qu'un ou deux examinateurs,

can be woefully ineffective.

peut s'avérer terriblement inefficace.

That was demonstrated in a 1998 study

C'est ce qu'a démontré une étude de 1998

where eight weaknesses were deliberately inserted into papers,

où huit lacunes étaient introduites de façon délibérée dans des rapports,

but only around 25% were caught upon review.

mais seulement 25% ont été identifiées lors de l'examen.

Many scientists are working toward improving reproducibility in their fields.

De nombreux scientifiques travaillent à améliorer la reproductibilité.

There's a push to make researchers raw data,

Les chercheurs sont incités à rendre les données,

experimental procedures,

les procédures expérimentales

and analytical techniques more openly available

et les techniques d'analyse plus ouvertement accessibles

in order to ease replication efforts.

afin de faciliter les efforts de reproduction des résultats.

The peer review process can also be strengthened

L'examen par des pairs pourrait aussi être renforcé

to more efficiently weed out weak papers prior to publication.

pour mieux écarter les rapports insuffisants avant leur publication.

And we could temper the pressure to find big results

Et on pourrrait modérer la pression à fournir d'importants résultats

by publishing more papers that fail to confirm the original hypothesis,

avec plus de publications ne corroborant pas l'hypothèse d'origine,

an event that happens far more than current scientific literature suggests.

fait bien plus courant que ne le suggère la littérature scientifique actuelle.

Science always has, and always will, encounter some false starts

La science a toujours pris et prendra toujours de mauvais départs,

as part of the collective acquisition of new knowledge.

cela fait partie de l'acquisition de nouvelles connaissances.

Finding ways to improve the reproducibility of our results

Trouver des moyens d'améliorer la reproductibilité de nos résultats

can help us weed out those false starts more effectively,

peut nous aider à écarter ces mauvais départs de façon plus efficace,

keeping us moving steadily toward exciting new discoveries.

et continuer de progresser vers d'excitantes découvertes.