The method that can "prove" almost anything - James A. Smith

Translator: Lavan Smael Reviewer: Daban Q. Jaff

In 2011, a group of researchers conducted a scientific study

لە ٢٠١١،کۆمەڵێک تویژەر توێژینەوەیەکی زانستیان کرد

to find an impossible result:

بۆ دۆزینەوەی ئەنجامێکی مەحاڵ:

that listening to certain songs can make you younger.

کە گوێگرتن بۆ گۆرانیە دیاریکراوەکان دەتوانێت وات لێبکات گەنجتر بی.

Their study involved real people, truthfully reported data,

توێژینەوەکەیان خەڵکی ڕاستەقینەی دەگرتەوە، کە بە دڵسۆزی زانیاریان دەدا،

and commonplace statistical analyses.

و شیکردنەوەی ئامارە دەگمەنەکان.

So how did they do it?

کەواتە چۆن ئەوەیان کرد؟

The answer lies in a statistical method scientists often use

وەڵامەکە لەو ڕێگایە زانستیەدا خۆی دەبینێتەوە کە زاناکان زۆر جار بەکاری دەهێنن

to try to figure out whether their results mean something or if they’re random noise.

وەک هەوڵێک بۆ زانینی ئەوەی کە ئایا ئامانجەکانیان مانای شتێکە یان تەنها دەنگێکی هەڕەمەکین.

In fact, the whole point of the music study

لە راستیدا، هەموو مەبەستەکە لە لێکۆڵینەوە لە گۆرانیەکان

was to point out ways this method can be misused.

بریتی بوو لە دەستنیشانکردنی ئەو ڕێگایانەی کە دەکرێت بە هەڵە بەکاربهێندرێن.

A famous thought experiment explains the method:

تاقیکردنەوەیەکی فکری بەناوبانگ شێوازەکە ڕوون دەکاتەوە:

there are eight cups of tea,

هەشت کوپی چا هەیە،

four with the milk added first, and four with the tea added first.

چواریان لەگەڵ شیر تێکەڵ دەکرێن، و چواریان لەگەڵ چا تێکەڵ دەکرێن.

A participant must determine which are which according to taste.

بەشداربوویەک پێویستە دیاری بکا کە کامە کامەیە بەپێی تامەکان.

There are 70 different ways the cups can be sorted into two groups of four,

٧٠ ڕێگای جیاواز هەیە، کوپەکان دەتواندرێت پۆلێن بکرێن بۆ دوو گرووپی چواری،

and only one is correct.

و تەنها یەکان ڕاستە.

So, can she taste the difference?

کەواتە کچەکە دەتوانێت تامی جیاوازیەکە بکات؟

That’s our research question.

ئەوە پرسیاری توێژینەوەکەمانە.

To analyze her choices, we define what’s called a null hypothesis:

بۆ شیکردنەوەی هەڵبژاردەکانی، ئەوە پێناسە دەکەین کە پییدەگوترێ گریمانەی بەتاڵ:

that she can’t distinguish the teas.

کە کچەکە ناتوانێت چایەکان لێک جیابکاتەوە.

If she can’t distinguish the teas,

ئەگەر کچەکە نەتوانیت چایەکان لێک جیابکاتەوە،

she’ll still get the right answer 1 in 70 times by chance.

هێشتا دەتوانێت هەلی بەدەستهێنانی یەک لە حەفتای وەڵامە ڕاستەکەی هەبێت.

1 in 70 is roughly .014.

یەک لە حەفتا نزیکەی (٠.٠١٤)یە.

That single number is called a p-value.

ئەو ژمارە سادەیە پێی دەگوترێ بەهای-پ.

In many fields, a p-value of .05 or below is considered statistically significant,

لە زۆر بواردا، بەهای (٠.٠٥) یاخود کەمتر، لە ڕووی ئامارەوە بە گەورە دادەندریت،

meaning there’s enough evidence to reject the null hypothesis.

واتە بەڵگەی تەواو هەیە بۆ ڕەتکردنەوەی گریمانە باتاڵەکە.

Based on a p-value of .014,

لەسەر بنەمای بەهای-پ لە (٠.٠١٤)،

they’d rule out the null hypothesis that she can’t distinguish the teas.

ئەوان بنەما بەتاڵەکەیان بەلانا کە کچەکە نەتوانیت چایەکان لێک جیا بکاتەوە.

Though p-values are commonly used by both researchers and journals

هەرچەندە بەهاکانی-پ بە بەربڵاوی لەلایەن توێژەر و ڕۆژنامەکانەوە بەکاردەهێندرین

to evaluate scientific results,

بۆ هەڵسەنگاندنی ئەنجامە ڕاستیەکان،

they’re really confusing, even for many scientists.

ئەوان بە تەواوی تێکەڵ و پێکەڵن، تەنانەت بۆ زۆریک لە زاناکانیش.

That’s partly because all a p-value actually tells us

بەشێکی لەبەر ئەوەیە کە لە ڕاستیدا پێمان دەڵێت هەموو بەهایەکی-پ

is the probability of getting a certain result,

ئەگەری بەدەستهینانی ئەنجامێکی دیاریکراوە،

assuming the null hypothesis is true.

گریمان گریمانە پوچەکە ڕاستە.

So if she correctly sorts the teas,

کەواتە ئەگەر کچەکە بەشێوەیەکی دروست چایەکان پۆلێن بکات،

the p-value is the probability of her doing so

بەهای-پ بریتییە لەو ئەگەرەی کە کچەکە ئەو کارە دەکات

assuming she can’t tell the difference.

گریمان کچەکە ناتوانێت جیاوازیەکە بکات.

But the reverse isn’t true:

بەڵام پێچەوانەکەی ڕاست نیە:

the p-value doesn’t tell us the probability

بەهای-پ ئەگەرەکەمان پیناڵیت

that she can taste the difference,

کە کچەکە دەتوانێت تامی جیاوازیەکان بکات،

which is what we’re trying to find out.

کە ئەو شتەیە کە ئێمە هەوڵدەدەین بیدۆزینەوە.

So if a p-value doesn’t answer the research question,

کەواتە ئەگەر بەهای-پ وەڵامی پرسیاری توێژینەوەکە نەداتەوە،

why does the scientific community use it?

کۆمەڵگەی زانستی بۆجی بەکاری دەهێنێت؟

Well, because even though a p-value doesn’t directly state the probability

باشە، لەبەرئەوەی هەرچەندە بەهای-پ بە شێوەیەکی ڕاستەوخۆ ئەگەرەکە ناپێکێت

that the results are due to random chance,

کە ئەنجامەکان بەهۆی هەلی هەڕەمەکیەوەیە،

it usually gives a pretty reliable indication.

ئەوا، ئەو زۆر جار تاڕادەیەکی باش ئاماژەیەکی باوەڕپێکراو دەدات بە دەستەوە.

At least, it does when used correctly.

بە لایەنی کەم ئەوە دەکات کاتێک بە ڕاستی بەکارهاتبێت.

And that’s where many researchers, and even whole fields,

و ئەوەش ئەو شوێنەیە کە زۆرێک لە توێژەران و تەنانەت هەموو بوارەکان،

have run into trouble.

توشی کێشە بوون.

Most real studies are more complex than the tea experiment.

زۆربەی توێژینەوە ڕاستەقینەکان زۆر ئاڵۆزترن لە تاقیکردنەوەی چا.

Scientists can test their research question in multiple ways,

زاناکان دەتوانن پرسیاری توێژینەوەکەیان تاقیبکەنەوە بە چەندین ڕێگەی جیاواز،

and some of these tests might produce a statistically significant result,

و هەندێک لەو تاقیکردنەوانە ڕەنگە ئەنجامی گرینگ لە ڕووی ئامارییەوە پێشکەش بکەن،

while others don’t.

لە کاتێکدا ئەوانیتر ئەوە ناکەن.

It might seem like a good idea to test every possibility.

ڕەنگە بیرۆکەی تاقیکردنەوەی هەموو ئەگەرەکان وا دەربکەوێ کە بیرۆکەیەکی باش بێت.

But it’s not, because with each additional test,

بەڵام وانیە، چونکە لەگەڵ هەر تاقیکردنەوەیەکی تر،

the chance of a false positive increases.

ئەگەری (ئەرێنی هەڵە) زیاد دەکات.

Searching for a low p-value, and then presenting only that analysis,

گەڕان بەدوای بەهایەکی-پ نزم، و دواتر بە تەنها خستنەڕوی ئەو شیکردنەوەیە،

is often called p-hacking.

زۆر جار پێی دەگوترێ هاککردنی-پ.

It’s like throwing darts until you hit a bullseye

وەک فڕێدانی تیرەکانە تاکو لە ئامانجی دەدەی

and then saying you only threw the dart that hit the bull’s eye.

و دواتر بڵێی تۆ تەنها ئەو تیرەت هاوێشتووە کە ناوەڕاستی ئامانجەکەی گرتووە.

This is exactly what the music researchers did.

ئەوە بە تەواوی ئەوەیە کە توێژەرانی مۆسیقا کردیان.

They played three groups of participants each a different song

ئەوان سێ گروپی بەژداربووانیان هەبوو، کە هەر یەکێکیان گۆرانیەکی جیاوازیان بۆ لێدەدا

and collected lots of information about them.

و زانیاری زۆریان کۆکردەوە دەربارەی ئەوان.

The analysis they published included only two out of the three groups.

ئەو شیکارییانەی بڵاویان کردۆتەوە تەنها دوو گروپی لەخۆگرتبوو لە نێوان سێ گروپەکەدا.

Of all the information they collected,

لە ناو هەموو ئەو زانیاریانەی کە کۆیان کردیتەوە،

their analysis only used participants’ fathers’ age—

شیکردنەوەکەیان تەنها تەمەنی باوکی بەژداربووەکانی بەکار دەهێنا

to “control for variation in baseline age across participants.”

بۆ کۆنتڕۆڵکردنی دروستبوونی جیاوازی لە تەمەنی بنچینەیی هەموو بەژداربووەکان.”

They also paused their experiment after every ten participants,

ئەوا ئەوان دوای هەموو دە بەژداربوویەک یاقیکردنەوەکەیان دەوەستاند،

and continued if the p-value was above .05,

و بەردەوام دەبوون ئەگەر بەهای-پ لە سەرووی .٠٥ بوایا،

but stopped when it dipped below .05.

بەڵام دەوەستا کاتێک کەم دەبوویەوە بۆ خوار ٠.٠٥.

They found that participants who heard one song were 1.5 years younger

بۆیان دەرکەوت ئەو بەژداربووانەی کە گوێیان لە یەک گۆرانی گرتووە ١.٥ ساڵ گەنجتر بوون

than those who heard the other song, with a p-value of .04.

لەوانەی کە گوێیان لەگۆرانیەکی تر گرتبوو بە بەهای.٠٤ی (پ).

Usually it’s much tougher to spot p-hacking,

زۆربەی کات زۆر قورسترە کە درک بە پ-هاکینگ بکەی،

because we don’t know the results are impossible:

لەبەرئەوەی ئێمە نازانین ئەنجامەکان مەحاڵن:

the whole point of doing experiments is to learn something new.

هەموو مەبەستەکە لە ئەنجامدانی تاقیکردنەوەکان بۆ فێربوونی شتێکی نوێیە.

Fortunately, there’s a simple way to make p-values more reliable:

خۆشبەختانە، ڕێگایەکی ئاسان هەیە تاکو وا لە بەهای-پ بکەیت کە زیاتر پشت پێبەستراو بێ:

pre-registering a detailed plan for the experiment and analysis

تۆمارکردنی پلانێکی ورد بە شێوەی پێشەکی بە مەبەستی تاقیکردنەوە و شیکاری

beforehand that others can check,

لە پێشەوە کە ئەوانیتر بتوانن بیپشکنن،

so researchers can’t keep trying different analyses

لەبەر ئەوە توێژەرەکان ناتوانن بەردەوام بن لە شیکردنەوەی جیاواز

until they find a significant result.

هەتا ئەنجامێکی گرنگ دەدۆزنەوە.

And, in the true spirit of scientific inquiry,

و، بە ڕۆحێکی ڕاستەقینەی بەدواداچونی زانستی،

there’s even a new field that’s basically science doing science on itself:

تەنانەت بوارێکی نوێ هەیە لە بنەڕەتدا بریتیە لەوەی زانست تاقیکردنەوە لەسەر خۆی دەکات:

studying scientific practices in order to improve them.

خوێندنی ڕاهێنانە زانستییەکان لە پێناو گەشە پێدانیان.