The method that can "prove" almost anything - James A. Smith

Çeviri: Ebrar Batmaz Gözden geçirme: Gözde Alpçetin

In 2011, a group of researchers conducted a scientific study

2011′de bir grup araştırmacı imkansız bir sonuca varmak için

to find an impossible result:

bilimsel bir çalışma yürüttü:

that listening to certain songs can make you younger.

Belirli şarkıları dinlemek sizi gençleştirebilirdi.

Their study involved real people, truthfully reported data,

Çalışmalarında gerçek insanlar, dürüstçe rapor edilen veriler

and commonplace statistical analyses.

ve sıradan istatistiksel analizler vardı.

So how did they do it?

Peki bunu nasıl yaptılar?

The answer lies in a statistical method scientists often use

Cevap, bilim insanlarının sonuçlar önemli mi

yoksa boş gürültü mü anlasınlar diye

to try to figure out whether their results mean something or if they’re random noise.

sıkça kullandıkları istatistik bir yöntemde yatıyor.

In fact, the whole point of the music study

Aslında tüm bu müzik çalışmasının amacı,

was to point out ways this method can be misused.

bu yöntemin yanlış kullanılabileceği yerleri belirtmekti.

A famous thought experiment explains the method:

Ünlü bir düşünce deneyi bu yöntemi açıklıyor:

there are eight cups of tea,

Sekiz bardak çay var,

four with the milk added first, and four with the tea added first.

bunlardan dördüne önce süt koyulmuş ve dördüne önce çay koyulmuş.

A participant must determine which are which according to taste.

Katılımcı tadarak hangisinin hangisi olduğunu belirlemeli.

There are 70 different ways the cups can be sorted into two groups of four,

Bardakların dörderli olarak iki gruba ayrılabilmesinin 70 farklı yolu var

and only one is correct.

ve sadece biri doğru.

So, can she taste the difference?

Yani o aradaki farkı tadabilir mi?

That’s our research question.

Bu, bizim araştırma sorumuz.

To analyze her choices, we define what’s called a null hypothesis:

Seçimlerini analiz edebilmek için bu boş hipotezi oluşturuyoruz:

that she can’t distinguish the teas.

o, çayları ayırt edemiyor.

If she can’t distinguish the teas,

Çayları ayırt edemese bile,

she’ll still get the right answer 1 in 70 times by chance.

yine de doğru cevabı 70′te 1 defa tesadüfen verecektir.

1 in 70 is roughly .014.

70′te 1 aşağı yukarı .014′tür.

That single number is called a p-value.

Bu sayıya p değeri denir.

In many fields, a p-value of .05 or below is considered statistically significant,

Çoğu alanda .05 veya altı bir p değeri, boş hipotezi çürütmek için

meaning there’s enough evidence to reject the null hypothesis.

yeterince kanıtın olduğu anlamına gelir ve istatiksel olarak önemli görülür.

Based on a p-value of .014,

.014′lük bir p değerine dayanarak

they’d rule out the null hypothesis that she can’t distinguish the teas.

çayları ayırt edememesiyle ilgili boş hipotezi hariç tutarlardı.

Though p-values are commonly used by both researchers and journals

P değerleri hem araştırmacılar hem de dergiler tarafından

to evaluate scientific results,

bilimsel sonuçları değerlendirmek için

they’re really confusing, even for many scientists.

sık sık kullanılsa da bilim insanları için dahi karışıktır.

That’s partly because all a p-value actually tells us

Bu kısmen, p değerinin aslında yaptığı tek şeyin

is the probability of getting a certain result,

boş hipotezin doğru olduğunu varsayarak

assuming the null hypothesis is true.

kesin bir sonuca varma ihtimali oluşturmasıdır.

So if she correctly sorts the teas,

Yani çayları doğru bir şekilde sıralarsa

the p-value is the probability of her doing so

p değeri, tatları ayırt edemediği için

assuming she can’t tell the difference.

böyle yaptığı ihtimalini oluşturacaktır.

But the reverse isn’t true:

Fakat bunun tersi doğru değildir:

the p-value doesn’t tell us the probability

P değeri, öğrenmeye çalıştığımız

that she can taste the difference,

onun tatları ayırt edebildiği ihtimalini oluşturmaz.

which is what we’re trying to find out.

So if a p-value doesn’t answer the research question,

Yani eğer bir p değeri araştırma sorusuna cevap veremiyorsa

why does the scientific community use it?

bilim camiası neden bunu kullanıyor?

Well, because even though a p-value doesn’t directly state the probability

Çünkü bir p değeri sonuçların tesadüfe bağlı olduğu ihtimalini

that the results are due to random chance,

doğrudan belirtmese de

it usually gives a pretty reliable indication.

genellikle oldukça güvenilir ölçümler sunuyor.

At least, it does when used correctly.

En azından doğru kullanıldığı zaman.

And that’s where many researchers, and even whole fields,

Zaten çoğu araştırmacının, hatta tüm alanların bu noktada başı sıkışıyor.

have run into trouble.

Most real studies are more complex than the tea experiment.

Çoğu gerçek çalışma çay deneyinden daha karışık oluyor.

Scientists can test their research question in multiple ways,

Bilim insanları araştırma sorularını birçok şekilde test edebilirler

and some of these tests might produce a statistically significant result,

ve bu testlerin bazıları istatistiksel olarak önemli sonuçlar verirken

while others don’t.

bazıları vermez.

It might seem like a good idea to test every possibility.

Her olasılığı test etmek iyi bir fikirmiş gibi gözükebilir.

But it’s not, because with each additional test,

Fakat öyle değildir çünkü fazladan yapılan her testle

the chance of a false positive increases.

yanlış pozitif çıkma oranı yükselir.

Searching for a low p-value, and then presenting only that analysis,

Düşük bir p değeri aramaya ve sonrasında sadece bu analizi sunmaya

is often called p-hacking.

p-hackleme denir.

It’s like throwing darts until you hit a bullseye

Bu dart oynarken merkezi tutturana kadar dart atmak

and then saying you only threw the dart that hit the bull’s eye.

ve sonra sadece merkezdeki dartın size ait olduğunu söylemek gibi.

This is exactly what the music researchers did.

Müzik araştırmacılarının yaptığı da tam olarak buydu.

They played three groups of participants each a different song

Üç grup katılımcının hepsine farklı bir şarkı çaldılar

and collected lots of information about them.

ve onlarla ilgili bir sürü bilgi topladılar.

The analysis they published included only two out of the three groups.

Yayınladıkları analiz üç gruptan sadece ikisini içeriyordu.

Of all the information they collected,

Analizde, topladıkları bilgilerin içinden

their analysis only used participants’ fathers’ age—

sadece ″katılımcıların arasındaki temel yaş farklarını kontrol etmek için″

to “control for variation in baseline age across participants.”

babalarının yaşını kullanmışlardı.

They also paused their experiment after every ten participants,

Ayrıca her on katılımcıdan sonra deneylerini durdurup

and continued if the p-value was above .05,

p değeri .05′in üstündeyse devam ediyorlar

but stopped when it dipped below .05.

fakat .05′in altındaysa durduruyorlardı.

They found that participants who heard one song were 1.5 years younger

.04′lük bir p değeri ile katılımcılardan bir şarkı duyanların

than those who heard the other song, with a p-value of .04.

diğer şarkıyı duyanlardan sadece 1.5 yıl küçük olduğunu buldular.

Usually it’s much tougher to spot p-hacking,

Genellikle p-hackleme olduğunu fark etmek, çok daha zordur

because we don’t know the results are impossible:

çünkü sonuçların imkansız olduğunu bilmeyiz:

the whole point of doing experiments is to learn something new.

Deney yapmanın tek nedeni yeni bir şey öğrenmektir.

Fortunately, there’s a simple way to make p-values more reliable:

Neyse ki p değerlerini daha güvenilir kılmanın basit bir yolu var:

pre-registering a detailed plan for the experiment and analysis

Araştırmacılar önemli bir sonuç alana kadar sürekli analiz yapamayacağından

beforehand that others can check,

deney ve analiz için detaylı bir planı

so researchers can’t keep trying different analyses

diğerleri de kontrol edebilsin diye

until they find a significant result.

önceden ön kayıt etmek.

And, in the true spirit of scientific inquiry,

Bilimsel sorgulamanın ruhuna göre konuşacak olursak

there’s even a new field that’s basically science doing science on itself:

bilimin kendi üstünde bilim yaptığı yeni bir alan var bile diyebiliriz:

studying scientific practices in order to improve them.

geliştirme amacıyla bilimsel uygulamaları araştırmak.