Is there a reproducibility crisis in science? - Matt Anticole

Válságban van-e a kutatási adatok megismételhetősége? — Matt Anticole

Fordító: Péter Pallós Lektor: Beatrix Turán

In 2011, a team of physicists reported a startling discovery:

2011-ben fizikusok megdöbbentő fölfedezésről számoltak be:

neutrinos traveled faster than the speed of light

a neutrínók a fénysebességnél 60 milliárdod másodperccel

by 60 billionths of a second

gyorsabban haladtak

in their 730 kilometer trip from Geneva to a detector in Italy.

a Genftől az olaszországi detektorig tartó 730 kilométeres úton.

Despite six months of double checking, the bizarre discovery refused to yield.

A fölfedezést féléves ismételt ellenőrzéssel sem sikerült cáfolni.

But rather than celebrating a physics revolution,

De a fizikai forradalom ünneplése helyett

the researchers published a cautious paper

a kutatók óvatos cikket tettek közzé,

arguing for continued research in an effort to explain the observed anomaly.

további kutatás mellett érvelve, hogy magyarázatot leljenek az anomáliára.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Majd kiderült a hiba oka: helytelenül kötötték be az üvegszálas optikát.

This example reminds us that real science is more than static textbooks.

A példa figyelmeztet: a tudomány több, mint ami a tankönyvekben áll.

Instead, researchers around the world are continuously publishing

A kutatók állandóan közzéteszik

their latest discoveries

legújabb fölfedezéseiket,

with each paper adding to the scientific conversation.

és minden cikk hozzátesz valamit a tudományos vitákhoz.

Published studies can motivate future research,

E cikkek újabb kutatásokra sarkallnak,

inspire new products,

új termékekhez adnak ihletet,

and inform government policy.

befolyásolják az ország politikáját.

So it's important that we have confidence in the published results.

Ezért fontos, hogy számíthassunk a közzétett adatok megbízhatóságára.

If their conclusions are wrong,

Ha a következtetések hibásak,

we risk time,

kockáztatjuk időnket,

resources,

erőforrásainkat,

and even our health in the pursuit of false leads.

sőt még egészségünket is, ha hamis nyomot követünk.

When findings are significant,

A lényeges eredményeket

they are frequently double-checked by other researchers,

gyakran más kutatók is ellenőrzik:

either by reanalyzing the data

újraelemzik az adatokat,

or by redoing the entire experiment.

vagy megismétlik a teljes kísérletet.

For example, it took repeated investigation of the CERN data

Pl. a CERN adatait többször felülvizsgálták,

before the timing error was tracked down.

mielőtt az időzítési hibát megtalálták.

Unfortunately, there are currently neither the resources nor professional incentives

Sajnos, jelenleg nincs sem erőforrás, sem szakmai indíték

to double check the more than 1 million scientific papers published annually.

az évente leközölt több mint egymillió tudományos cikk ellenőrzésére.

Even when papers are challenged, the results are not reassuring.

Még az ellenőrzött cikkek eredményei sem mindig meggyőzők.

Recent studies that examined dozens of published pharmaceutical papers

Tucatnyi gyógyszerészeti tárgyú cikk eredményeinek

managed to replicate the results of less than 25% of them.

csak kevesebb mint 25%-át sikerült megismételni.

And similar results have been found in other scientific disciplines.

Más tudományágakban is hasonlók az eredmények.

There are a variety of sources for irreproducible results.

Számtalan forrása van az eredmények megismételhetetlenségének.

Errors could hide in their original design, execution, or analysis of the data.

Lehet hibás az alapelv, a kivitelezés vagy az adatok elemzése.

Unknown factors,

Vagy ismeretlen tényezők,

such as patients' undisclosed condition in a medical study,

pl. orvosi kutatásban az alany föltáratlan állapota,

can produce results that are not repeatable in new test subjects.

okozhatják, hogy más résztvevőkkel már más eredményekre jutnak.

And sometimes, the second research group can't reproduce the original results

Néha a másik kutatócsoport azért képtelen megismételni az eredményt,

simply because they don't know exactly what the original group did.

mert nem tudja, pontosan mit tett az eredeti csoport.

However, some problems might stem from systematic decisions

Lehet, hogy némely hiba a tudomány művelésének

in how we do science.

döntési rendszeréből származik.

Researchers,

the institutions that employ them,

A kutatóktól,

az őket alkalmazó intézetektől

and the scientific journals that publish findings

és az eredményeket közzétevő folyóiratoktól elvárják,

are expected to produce big results frequently.

hogy gyakran számoljanak be jelentős eredményekről.

Important papers can advance careers,

A fontos szakfolyóiratok elősegítik a karriert,

generate media interest,

fölkeltik a média érdeklődését,

and secure essential funding,

és meghozzák a szükséges finanszírozást;

so there's slim motivation for researchers to challenge their own exciting results.

ez pedig aligha ösztönzi a kutatókat saját eredményeik felülvizsgálatára.

In addition, little incentive exists

Ráadásul, nincs sok indítékuk

to publish results unsupportive of the expected hypothesis.

a bevett hipotéziseknek ellentmondó eredmények közzétételére.

That results in a deluge of agreement between what was expected

Ez eredményezi az elvárt és a kapott adatok

gyanúsan pontos és tömeges egybeesését.

and what was found.

In rare occasions, this can even lead to deliberate fabrication,

Egyes esetetekben szándékos hamisítás történik.

such as in 2013, when a researcher spiked rabbit blood with human blood

Pl. 2013-ban egy kutató emberi vérrel keverte nyúl vérét,

to give false evidence that his HIV vaccine was working.

hogy hamis bizonyítékot gyártson HIV-vakcinája hatásosságáról.

The publish or perish mindset

A "publikálj vagy pusztulj" szemlélet

can also compromise academic journals' traditional peer-review processes

engedményekre késztetheti a tudományos folyóiratok szakmai bírálóit,

which are safety checks

akik elvileg biztosítják,

where experts examine submitted papers for potential shortcomings.

hogy szakértők ellenőrizzék a leadott cikkeket hiányosságok szempontjából.

The current system,

A csak 1-2 lektort bevonó

which might involve only one or two reviewers,

jelenlegi rendszer

can be woefully ineffective.

szánalmasan hatástalan.

That was demonstrated in a 1998 study

Ezt ékesen bizonyította egy 1998-as kutatás:

where eight weaknesses were deliberately inserted into papers,

a cikkekbe szándékosan beleírt 8 hibának

but only around 25% were caught upon review.

a lektorálás során csak a negyedét vették észre.

Many scientists are working toward improving reproducibility in their fields.

Tudósok dolgoznak, hogy eredményeiket megismételhetőbbé tegyék.

There's a push to make researchers raw data,

A megismételhetőség céljából az alapadatokat,

experimental procedures,

kísérleti eljárásokat

and analytical techniques more openly available

és elemzési technikákat

in order to ease replication efforts.

hozzáférhetőbbé kell tenni.

The peer review process can also be strengthened

A szakmai lektorálás szintén erősítésre szorul,

to more efficiently weed out weak papers prior to publication.

hogy hatékonyabban szűrjük ki a gyenge cikkeket még közzététel előtt.

And we could temper the pressure to find big results

Csökkenthetjük a jelentős eredmények iránti vágyat,

by publishing more papers that fail to confirm the original hypothesis,

ha több, eredeti hipotézist igazoló cikket közlünk.

an event that happens far more than current scientific literature suggests.

Az új hipotézisek gyakoribbak, mint azt a tudományos irodalom sugallja.

Science always has, and always will, encounter some false starts

A tudományban mindig volt és lesz is "idő előtti rajt",

as part of the collective acquisition of new knowledge.

mert óhatatlanul ezzel jár az új tudás közös megszerzése.

Finding ways to improve the reproducibility of our results

Ha megtaláljuk eredményeink megismétlésének biztos módját,

can help us weed out those false starts more effectively,

ez elősegítheti az "idő előtti rajt" hatékonyabb kiszűrését,

keeping us moving steadily toward exciting new discoveries.

és így biztosabban haladhatunk lelkesítő új fölfedezések felé.