Is there a reproducibility crisis in science? - Matt Anticole

Siamo di fronte a una crisi della riproducibilità scientifica? - Matt Anticole

Traduttore: Marco Pernigoni Revisore: Sofia Ramundo

In 2011, a team of physicists reported a startling discovery:

Nel 2011, un team di fisici rivelò un scoperta stupefacente:

neutrinos traveled faster than the speed of light

i neutrini viaggiavano 60 miliardesimi di secondo

by 60 billionths of a second

più velocemente rispetto alla velocità della luce

in their 730 kilometer trip from Geneva to a detector in Italy.

durante il loro viaggio di 730 chilometri da Ginevra ad un ricevitore italiano.

Despite six months of double checking, the bizarre discovery refused to yield.

Nonostante 6 mesi di controlli ripetuti, la curiosa scoperta non veniva smentita.

But rather than celebrating a physics revolution,

Ma invece di festeggiare una rivoluzione nella fisica

the researchers published a cautious paper

i ricercatori pubblicarono un cauto articolo

arguing for continued research in an effort to explain the observed anomaly.

proponendo di proseguire le ricerche, per poter giustificare l'anomalia emersa.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Con il tempo, l'errore fu ricondotto ad un cavo di fibra ottica mal collegato.

This example reminds us that real science is more than static textbooks.

Questo esempio ci ricorda che la vera scienza va oltre i libri di testo.

Instead, researchers around the world are continuously publishing

Invece, ricercatori di tutto il mondo pubblicano continuamente

their latest discoveries

le loro più recenti scoperte

with each paper adding to the scientific conversation.

ed ogni articolo contribuisce al dibattito scientifico.

Published studies can motivate future research,

Gli studi pubblicati possono promuovere la ricerca,

inspire new products,

ispirare la creazione di prodotti,

and inform government policy.

e guidare le politiche di amministrazione.

So it's important that we have confidence in the published results.

È quindi importante avere fiducia nei risultati pubblicati.

If their conclusions are wrong,

Se le conclusioni sono errate,

we risk time,

mettiamo a rischio tempo,

resources,

risorse,

and even our health in the pursuit of false leads.

ed anche la nostra salute, all'inseguimento di false piste.

When findings are significant,

Se le conclusioni sono rilevanti,

they are frequently double-checked by other researchers,

sono spesso verificate da altri ricercatori,

either by reanalyzing the data

attraverso la rianalisi dei dati

or by redoing the entire experiment.

oppure ripetendo l'intero esperimento.

For example, it took repeated investigation of the CERN data

Per esempio, sono state necessarie diverse analisi dei dati del CERN

before the timing error was tracked down.

prima che l'errore di tempistica fosse rilevato.

Unfortunately, there are currently neither the resources nor professional incentives

Purtroppo, al momento non esistono risorse e incentivi professionali

to double check the more than 1 million scientific papers published annually.

per revisionare l'oltre 1 milione di articoli scientifici pubblicati ogni anno.

Even when papers are challenged, the results are not reassuring.

Anche quando gli articoli sono contestati, i risultati non sono rassicuranti.

Recent studies that examined dozens of published pharmaceutical papers

Recenti studi relativi alla pubblicazione di diversi articoli farmaceutici

managed to replicate the results of less than 25% of them.

sono riusciti a replicare i risultati di meno del 25% di essi.

And similar results have been found in other scientific disciplines.

Simili risultati sono stati riscontrati in altre discipline scientifiche.

There are a variety of sources for irreproducible results.

I risultati irriproducibili possono avere varie fonti.

Errors could hide in their original design, execution, or analysis of the data.

Gli errori potrebbero celarsi nella struttura, procedura o analisi dei dati.

Unknown factors,

Fattori ignoti,

such as patients' undisclosed condition in a medical study,

come condizioni non rivelate da pazienti in uno studio di natura medica,

can produce results that are not repeatable in new test subjects.

possono dare risultati non riproducibili in nuovi soggetti esaminati.

And sometimes, the second research group can't reproduce the original results

A volte, il secondo gruppo di ricerca non può riprodurre i risultati originali

simply because they don't know exactly what the original group did.

semplicemente perchè non sa come il gruppo originale abbia proceduto.

However, some problems might stem from systematic decisions

Tuttavia, alcuni problemi potrebbero derivare da decisioni sistematiche

in how we do science.

legate al nostro modo di approcciare la scienza.

Researchers,

the institutions that employ them,

I ricercatori,

gli enti che li assumono,

and the scientific journals that publish findings

e le riviste scientifiche che pubblicano i risultati

are expected to produce big results frequently.

sono chiamate ad ottenere risultati importanti con grande frequenza.

Important papers can advance careers,

Articoli importanti permettono di fare carriera,

generate media interest,

creano interesse da parte dei media,

and secure essential funding,

e garantiscono i finanziamenti necessari,

so there's slim motivation for researchers to challenge their own exciting results.

quindi i ricercatori non hanno motivo di mettere in dubbio gli eccitanti risultati.

In addition, little incentive exists

Inoltre, non si hanno grandi incentivi

to publish results unsupportive of the expected hypothesis.

nel pubblicare esiti che non supportano l'ipotesi prevista.

That results in a deluge of agreement between what was expected

Questo dà luogo ad una grande concordanza tra ciò che era stato previsto

and what was found.

e ciò che è stato scoperto.

In rare occasions, this can even lead to deliberate fabrication,

In rare occasioni, questo può portare anche a false montature volontarie,

such as in 2013, when a researcher spiked rabbit blood with human blood

come nel 2013, quando un ricercatore aggiunse sangue umano a sangue di coniglio

to give false evidence that his HIV vaccine was working.

per fornire false prove che attestassero l'efficacia del suo vaccino contro l'HIV.

The publish or perish mindset

La logica del "pubblicare o morire"

can also compromise academic journals' traditional peer-review processes

può anche compromettere i processi di peer-review delle riviste accademiche,

which are safety checks

cioè controlli di sicurezza

where experts examine submitted papers for potential shortcomings.

in cui esperti esaminano articoli inviati ricercando eventuali imprecisioni.

The current system,

Il sistema attuale,

which might involve only one or two reviewers,

che potrebbe coinvolgere solo uno o due revisori,

can be woefully ineffective.

può essere tristemente inefficace.

That was demonstrated in a 1998 study

Ciò è stato dimostrato in uno studio del 1998

where eight weaknesses were deliberately inserted into papers,

in cui otto punti di debolezza furono deliberatamente inseriti negli articoli,

but only around 25% were caught upon review.

ma solo circa il 25% furono colti durante la revisione.

Many scientists are working toward improving reproducibility in their fields.

Molti scienziati stanno lavorando per migliorare la riproducibilità nei propri campi.

There's a push to make researchers raw data,

C'è una tendenza a divulgare

experimental procedures,

le procedure sperimentali,

and analytical techniques more openly available

le tecniche analitiche e i dati grezzi dei ricercatori

in order to ease replication efforts.

allo scopo di facilitare gli sforzi di riproduzione.

The peer review process can also be strengthened

Il processo di peer review si può anche potenziare

to more efficiently weed out weak papers prior to publication.

così da liberarsi più efficacemente di lavori scadenti prima della pubblicazione.

And we could temper the pressure to find big results

Potremmo mitigare la pressione ad ottenere grandi risultati

by publishing more papers that fail to confirm the original hypothesis,

pubblicando più articoli che non riescono a confermare l'ipotesi iniziale,

an event that happens far more than current scientific literature suggests.

il che avviene molto più spesso di quanto l'attuale letteratura scientifica mostri.

Science always has, and always will, encounter some false starts

La scienza si è sempre imbattuta e sempre si imbatterà in false partenze

as part of the collective acquisition of new knowledge.

in quanto parte della collettiva acquisizione di nuovi saperi.

Finding ways to improve the reproducibility of our results

Trovare vie per migliorare la riproducibilità dei risultati

can help us weed out those false starts more effectively,

può aiutarci ad eliminare queste false partenze più efficacemente

keeping us moving steadily toward exciting new discoveries.

mantenendoci in movimento verso nuove ed emozionanti scoperte.