Is there a reproducibility crisis in science? - Matt Anticole

Çeviri: Sumeyra Gulsun Gözden geçirme: Cihan Ekmekçi

In 2011, a team of physicists reported a startling discovery:

2011 yılında bir grup fizikçi,

neutrinos traveled faster than the speed of light

730 km'lik Cenevre-İtalya yolculuklarında,

by 60 billionths of a second

nötrinoların, saniyenin 60 milyarda 1'iyle

in their 730 kilometer trip from Geneva to a detector in Italy.

ışık hızından daha hızlı hareket ettiğini gösteren bir keşifte bulundular.

Despite six months of double checking, the bizarre discovery refused to yield.

Altı ay süren kontrollere rağmen bu sıra dışı keşif sonuç vermedi.

But rather than celebrating a physics revolution,

Fizikte devrim açabilecek bir buluşu kutlamak yerine

the researchers published a cautious paper

araştırmacılar, gözlenen anormalliğin

arguing for continued research in an effort to explain the observed anomaly.

araştırılmasının devamına ilişkin bir rapor hazırladılar.

In time, the error was tracked to a single incorrectly connected fiber optic cable.

Zamanla, sorunun yanlış bağlanan bir fiber optik kablosu olduğu ortaya çıktı.

This example reminds us that real science is more than static textbooks.

Bu örnek, bilimin kitaplarda yazanlardan çok daha fazlası olduğunu gösteriyor.

Instead, researchers around the world are continuously publishing

Aslında dünya çapındaki araştırmacılar sürekli olarak

their latest discoveries

bilime yeni bir konu olacak

with each paper adding to the scientific conversation.

gözlemlerini yayınlamaya devam ediyor.

Published studies can motivate future research,

Yayımlanmış çalışmalar gelecek araştırmalara

inspire new products,

yeni buluşların teşvik edilmesine

and inform government policy.

ve devlet politikasını bilgilendirmeye yardımcı olurlar.

So it's important that we have confidence in the published results.

Bu yüzden araştırma sonuçlarına güven duymamız önemlidir.

If their conclusions are wrong,

Eğer bilimsel sonuçlar yanlışsa,

we risk time,

zamanımızı,

resources,

kaynaklarımızı ve

and even our health in the pursuit of false leads.

hatta yanlış yönlendirmeler uğrunda sağlığımızı riske atabiliriz.

When findings are significant,

Bulgular önemli olduğu için

they are frequently double-checked by other researchers,

sıklıkla diğer araştırmacılarca

either by reanalyzing the data

ya bilgi tekrar analiz edilerek

or by redoing the entire experiment.

ya da tüm deney tekrar yapılarak kontrol edilir.

For example, it took repeated investigation of the CERN data

Zamanlama hatasını belirlemek

before the timing error was tracked down.

CERN verilerin tekrar tekrar incelenmesiyle gerçekleşti.

Unfortunately, there are currently neither the resources nor professional incentives

Ne yazık ki yılda1 milyonu aşan bilimsel yayının kontrolü için

to double check the more than 1 million scientific papers published annually.

ne yeterli kaynak ne de profesyonel bir teşvik var.

Even when papers are challenged, the results are not reassuring.

Araştırmalara karşıt görüş sunulsa bile, sonuçlar güvenilir değil.

Recent studies that examined dozens of published pharmaceutical papers

Yayımlanmış onlarca ilaç araştırması üzerine yapılan son çalışmalar,

managed to replicate the results of less than 25% of them.

%25'inden az kısmının sonuçlarını yeniden test etmeyi başarabildi

And similar results have been found in other scientific disciplines.

ve diğer bilimsel disiplenlerde de benzer sonuçlarla karşılaşıldı.

There are a variety of sources for irreproducible results.

Gözden geçirilmemiş pek çok ürün grubu var.

Errors could hide in their original design, execution, or analysis of the data.

Hatalar verinin ilk tasarım, işleyiş veya analizinde saklı olabilir.

Unknown factors,

Bilinmeyen faktörler,

such as patients' undisclosed condition in a medical study,

örneğin hastanın tıbbi bir çalışmada belirtilmeyen durumu gibi,

can produce results that are not repeatable in new test subjects.

yeni testlerde tekrarlanamayan sonuçlar doğurabilir.

And sometimes, the second research group can't reproduce the original results

Bazen de ikincil araştırma grubu, aynı orijinal sonuçları bulamayabilir.

simply because they don't know exactly what the original group did.

Bunun sebebi birinci grubun ne yaptığını tam olarak bilmemeleridir.

However, some problems might stem from systematic decisions

Fakat bazı sorunlar, bilimle uğraşırken

in how we do science.

alınan sistemsel kararlardan kaynaklanır.

Researchers,

the institutions that employ them,

Araştırmacılar,

onları işe alan kuruluşlar,

and the scientific journals that publish findings

ve yeni bulguları konu alan bilimsel yayınların

are expected to produce big results frequently.

sık sık büyük sonuçlar çıkarması beklenir.

Important papers can advance careers,

Önemli yazılar insanların kariyerlerini ilerletip

generate media interest,

medyadaki ilgiyi canlandırır

and secure essential funding,

ve köklü yatırımlara yol açabilir,

so there's slim motivation for researchers to challenge their own exciting results.

bu yüzden araştırmacılar kendi bulgularını

sorgulamaya pek istekli olmazlar.

In addition, little incentive exists

Bununla birlikte, beklenen hipotezi desteklemeyen yayınlar

to publish results unsupportive of the expected hypothesis.

için çok az teşvik bulunmakta.

That results in a deluge of agreement between what was expected

Bu durum da beklenen ve bulunan arasında büyük bir

and what was found.

anlaşmazlıkla sonuçlanıyor.

In rare occasions, this can even lead to deliberate fabrication,

Nadiren, bu durum kasten sahtecilik yapmaya yol açabilir,

such as in 2013, when a researcher spiked rabbit blood with human blood

2013'te bir araştırmacının tavşan kanıyla insan kanını karıştırıp

to give false evidence that his HIV vaccine was working.

yaptığı AIDS aşısını işe yarıyor gibi göstermesi buna bir örnektir.

The publish or perish mindset

Yayınla veya yok et anlayışı

can also compromise academic journals' traditional peer-review processes

akademik yayınların geleneksel meslektaş değerlendirmesi sürecini de

which are safety checks

zora sokuyor ki bunlar

where experts examine submitted papers for potential shortcomings.

muhtemel eksikleri tespit etmek için güvenlik tedbirleridir.

The current system,

Sadece bir ya da iki kişinin

which might involve only one or two reviewers,

değerlendirme yaptığı şu anki sistem

can be woefully ineffective.

ne yazık ki aşırı etkisizdir.

That was demonstrated in a 1998 study

1998'de yapılan çalışmada tam da bu gerçekleşmişti.

where eight weaknesses were deliberately inserted into papers,

Sekiz zayıf nokta araştırmalara bilerek eklenmiş,

but only around 25% were caught upon review.

fakat sadece %25'lik bir bölümü değerlendirmede tespit edilmişti.

Many scientists are working toward improving reproducibility in their fields.

Pek çok bilim adamı, araştırmaların tekrarlanması için çalışıyorlar.

There's a push to make researchers raw data,

Araştırmacıları işlenmemiş veriye

experimental procedures,

deneysel süreçlere

and analytical techniques more openly available

ve analitik tekniklere daha açık olmaları için bir teşvik var,

in order to ease replication efforts.

deneysel tekrarların önünü açmak için.

The peer review process can also be strengthened

Yayımlanmadan önce sorunlu araştırmaları elemek adına

to more efficiently weed out weak papers prior to publication.

meslektaş değerlendirmesi süreci de güçlendirilebilir.

And we could temper the pressure to find big results

Şu anki bilim camiasının gösterdiğinden çok daha sık yaşanan

by publishing more papers that fail to confirm the original hypothesis,

orijinal hipotezi doğrulamayan araştırmaların yayınlanmasıyla

an event that happens far more than current scientific literature suggests.

büyük sonuçlar elde etmeye yönelik baskıyı dengeleyebiliriz.

Science always has, and always will, encounter some false starts

Bilim her zaman yeni bilginin edinimi adına

as part of the collective acquisition of new knowledge.

yanlış başlangıçlarla karşılaşmış ve karşılaşacaktır.

Finding ways to improve the reproducibility of our results

Araştırmalarımızın tekrar test edilmesi için yeni yollar bulmak

can help us weed out those false starts more effectively,

bu yanlış başlangıçları elememizde bize çok yardımcı olacaktır,

keeping us moving steadily toward exciting new discoveries.

heyecan verici yeni keşiflere yol almamızı sağlayacaktır.