The method that can "prove" almost anything - James A. Smith

Translator: Mohammad Badsar Reviewer: Leila Ataei

In 2011, a group of researchers conducted a scientific study

در سال ۲۰۱۱، گروهی از محققان یک پژوهش علمی انجام دادند

to find an impossible result:

تا نتیجه غیر ممکنی بیابند:

that listening to certain songs can make you younger.

گوش دادن به آواهای خاصی می‌تواند شما را جوان‌تر کند.

Their study involved real people, truthfully reported data,

تحقیق‌شان افراد واقعی، داده‌های گزارش‌شده صحیح

and commonplace statistical analyses.

و تحلیل‌های آماری معمول را در بر می‌گرفت.

So how did they do it?

چطور این کار را انجام دادند؟

The answer lies in a statistical method scientists often use

پاسخ به روش‌های آماری که اغلب دانشمندان استفاده می‌کنند عرضه می‌شود

to try to figure out whether their results mean something or if they’re random noise.

تا تلاش کنند بفهمند آیا نتایجشان معنای خاصی دارد یا اینکه یک سری نویز تصادفی است.

In fact, the whole point of the music study

در حقیقت، کل هدف مطالعه موسیقی

was to point out ways this method can be misused.

این بود که راه‌های سوء استفاده از این روش را نشان دهد.

A famous thought experiment explains the method:

یک آزمایش استدلالی معروف این روش را توضیح می‌دهد:

there are eight cups of tea,

هشت فنجان چای وجود دارد،

four with the milk added first, and four with the tea added first.

چهار تا اول شیر به آن افزوده شده و چهار تا اول چای افزوده شده است.

A participant must determine which are which according to taste.

شرکت‌کننده با چشیدن باید هر نوع را تشخیص دهد.

There are 70 different ways the cups can be sorted into two groups of four,

۷۰ روش چیدمان فنجان‌ها به دو گروه مذکور وجود دارد،

and only one is correct.

و فقط یکی صحیح است.

So, can she taste the difference?

خوب آیا او می‌تواند با چشیدن تفاوت را تشخیص دهد؟

That’s our research question.

این سوال تحقیق ماست.

To analyze her choices, we define what’s called a null hypothesis:

برای تحلیل انتخاب‌های وی چیزی تحت عنوان فرضیه پوچ را تعریف می‌کنیم:

that she can’t distinguish the teas.

او نمی‌تواند چای‌ها را تمییز دهد.

If she can’t distinguish the teas,

گرچه نمی‌تواند چای‌ها را تمییز دهد،

she’ll still get the right answer 1 in 70 times by chance.

همچنان یک بار از ۷۰ بار انتخاب بطور شانسی گزینه درست است.

1 in 70 is roughly .014.

یک از ۷۰ تقریبا ۰/۰۱۴ است.

That single number is called a p-value.

این تک عدد، ارزش پی نام دارد.

In many fields, a p-value of .05 or below is considered statistically significant,

در بسیاری از زمینه‌ها ارزش پی ۰.۰۵ یا کمتر به لحاظ آماری قابل توجه است،

meaning there’s enough evidence to reject the null hypothesis.

یعنی شواهد کافی برای رد فرضیه پوچ وجود دارد.

Based on a p-value of .014,

بر اساس ارزش پی معادل ۰/۰۱۴،

they’d rule out the null hypothesis that she can’t distinguish the teas.

فرضیه پوچ نقض می‌شود و وی نمی‌تواند چای‌ها را تمییز دهد.

Though p-values are commonly used by both researchers and journals

اگر چه ارزش‌های پی معمولا هم توسط محققین و هم روزنامه‌ها

to evaluate scientific results,

برای ارزیابی نتایج علمی استفاده می‌شود،

they’re really confusing, even for many scientists.

اما حتی برای بسیاری از دانشمندان هم گیج‌کننده هستند.

That’s partly because all a p-value actually tells us

بخشی از آن به این علت است که همه ارزش‌های پی در واقع به ما

is the probability of getting a certain result,

احتمال کسب نتیجه مشخصی را می‌گویند،

assuming the null hypothesis is true.

با این فرض که فرضیه پوچ صحیح است.

So if she correctly sorts the teas,

بنابراین اگر او چای‌ها را درست مرتب کند،

the p-value is the probability of her doing so

ارزش پی احتمال انجام این کار است

assuming she can’t tell the difference.

با این فرض که او نمی‌تواند اختلاف را بگوید.

But the reverse isn’t true:

اما عکس آن درست نیست:

the p-value doesn’t tell us the probability

ارزش پی احتمال اینکه وی بتواند

that she can taste the difference,

تفاوت را تشخیص دهد به ما نمی‌گوید،

which is what we’re trying to find out.

چیزی که برای یافتن آن تلاش می‌کنیم.

So if a p-value doesn’t answer the research question,

خوب اگر ارزش پی به سوال تحقیق پاسخ ندهد،

why does the scientific community use it?

چرا جامعه علمی از آن استفاده می‌کند؟

Well, because even though a p-value doesn’t directly state the probability

خوب، چون حتی اگر ارزش پی مستقیما احتمال را بیان نکند

that the results are due to random chance,

که این نتایج به خاطر انتخاب تصادفی هستند،

it usually gives a pretty reliable indication.

اما معمولا بیان قابل اتکایی را عرضه می‌کند.

At least, it does when used correctly.

حداقل هنگامی که درست مورد استفاده قرار گیرد.

And that’s where many researchers, and even whole fields,

و این جاست که بسیاری از محققان و حتی کل حوزه‌ها،

have run into trouble.

به مشکل بر می‌خورند.

Most real studies are more complex than the tea experiment.

بیشتر مطالعات واقعی از آزمایش چای پیچیده‌تر هستند.

Scientists can test their research question in multiple ways,

دانشمندان می‌توانند سوال تحقیق خود را به چند روش آزمایش کنند،

and some of these tests might produce a statistically significant result,

و برخی از این آزمایش‌ها ممکن است نتیجه آماری مهمی تولید کند،

while others don’t.

در حالی که برخی دیگر خیر.

It might seem like a good idea to test every possibility.

این روش ممکن است ایده خوبی برای آزمایش هر احتمالی به نظر برسد.

But it’s not, because with each additional test,

اما این طور نیست. چون با هر آزمایش اضافه،

the chance of a false positive increases.

شانس نتیجه غلط هم افزایش می‌یابد.

Searching for a low p-value, and then presenting only that analysis,

جستجوی ارزش پی کم و ارائه تنها همان تحلیل،

is often called p-hacking.

اغلب هک کردن پی نامیده می‌شود.

It’s like throwing darts until you hit a bullseye

مثل اینکه دارت پرتاب کنید تا زمان برخورد به مرکز هدف

and then saying you only threw the dart that hit the bull’s eye.

و سپس بگویید که من فقط یک دارت پرتاب کردم و به مرکز هدف اصابت کرد.

This is exactly what the music researchers did.

این دقیقا کاری است که محققین موسیقی انجام دادند.

They played three groups of participants each a different song

آنها برای سه گروه متفاوت از شرکت‌کنندگان سه آهنگ مختلف پخش کردند

and collected lots of information about them.

و اطلاعات زیادی در این مورد جمع کردند.

The analysis they published included only two out of the three groups.

تحلیلی که چاپ کردند فقط دو تا از سه گروه را شامل می‌شد.

Of all the information they collected,

از میان تمام اطلاعاتی که جمع‌اوری کرده بودند.

their analysis only used participants’ fathers’ age—

در تحلیل آن‌ها فقط سن پدر استفاده شده بود -

to “control for variation in baseline age across participants.”

تا «انواع پایه سنی شرکت‌کنندگان را کنترل کنند.»

They also paused their experiment after every ten participants,

آن‌ها همچنین پس از هر ده شرکت‌کننده، آزمایش را متوقف می‌کردند،

and continued if the p-value was above .05,

و اگر ارزش پی بیش از ۰/۰۵ بود ادامه می‌دادند،

but stopped when it dipped below .05.

اما اگر زیر ۰/۰۵ می‌شد کل آزمایش نفی می‌شد.

They found that participants who heard one song were 1.5 years younger

آنها دریافتند که شرکت‌کنندگانی که آهنگ خاصی شنیده بودند ۱/۵ سال

than those who heard the other song, with a p-value of .04.

از کسانی که آهنگ دیگری شنیده بودند جوانتر بودند با ارزش پی ۰/۰۴.

Usually it’s much tougher to spot p-hacking,

معمولا تشخیص هک کردن پی بسیار سخت‌تر است،

because we don’t know the results are impossible:

چون نمی‌دانیم آیا این نتایج غیر ممکن هستند:

the whole point of doing experiments is to learn something new.

کل هدف انجام آزمایش، آموختن چیز جدیدی است.

Fortunately, there’s a simple way to make p-values more reliable:

خوشبختانه روش ساده‌ای برای قابل اتکاتر کردن ارزش پی وجود دارد:

pre-registering a detailed plan for the experiment and analysis

پیش تثبیت یک نقشه پرجزئیات برای آزمایش و تحلیل

beforehand that others can check,

در معرض دیگران تا بتوانند چک کنند،

so researchers can’t keep trying different analyses

پس محققین نمی‌توانند تحلیل‌های مختلف را بررسی کنند

until they find a significant result.

تا زمانی که نتیجه قابل توجهی پیدا کنند.

And, in the true spirit of scientific inquiry,

و در ماهیت خالص جستجوی علمی،

there’s even a new field that’s basically science doing science on itself:

حتی زمینه جدیدی وجود دارد که علم با خودش می‌کند:

studying scientific practices in order to improve them.

مطالعه کارهای علمی به منظور بهبود آنها.