The method that can "prove" almost anything - James A. Smith

المترجم: aya fawzy المدقّق: omar idmassaoud

In 2011, a group of researchers conducted a scientific study

في عام 2011، أجرى مجموعة من الباحثين دراسة

to find an impossible result:

وتوصلوا لنتيجة مستحيلة:

that listening to certain songs can make you younger.

يمكن للاستماع لبعض الأغاني أن يجعلك أصغر سنا!

Their study involved real people, truthfully reported data,

اشتملت الدراسة على أشخاص حقيقين وبيانات موثوقة،

and commonplace statistical analyses.

وطرق تحليل إحصائية شائعة.

So how did they do it?

إذا كيف توصلوا لتلك النتيجة؟

The answer lies in a statistical method scientists often use

تكمن الإجابة في الطرق التحليلية المعتادة التي يستخدمها العلماء عادة،

to try to figure out whether their results mean something or if they’re random noise.

لمحاولة استنتاج إذا كانت نتائجهم صحيحة أم لا.

In fact, the whole point of the music study

في الواقع، المغزى الحقيقي للدراسة الموسيقية

was to point out ways this method can be misused.

هو إظهار كيف يمكن أن تُستخدم تلك الطريقة بشكل خاطئ.

A famous thought experiment explains the method:

يمكن شرح تلك الطريقة بتجربة مشهورة:

there are eight cups of tea,

تُوضع ثمانية أكواب من الشاي بالحليب،

four with the milk added first, and four with the tea added first.

أُضيف لأربعة أكواب منها الحليب أولا، وأُضيف لأربعة الشاي أولا.

A participant must determine which are which according to taste.

يجب على المشترك أن يحدد أيهما أُضيف أولاً طبقا للطعم.

There are 70 different ways the cups can be sorted into two groups of four,

توجد 70 طريقة يمكن بها تقسيم الأكواب لمجموعتين تحتوي كل منها على أربعة أكواب.

and only one is correct.

وطريقه واحدة فقط من الـ70 صحيحة.

So, can she taste the difference?

إذا، هل يمكن للمشاركة أن تلاحظ الفرق؟

That’s our research question.

هذا هو مغزى الدراسة.

To analyze her choices, we define what’s called a null hypothesis:

لتحليل خياراتها، يجب علينا أولا تعريف ما يدعى بفرضية العدم.

that she can’t distinguish the teas.

هي لا تستطيع ملاحظة الفرق في الطعم بينها.

If she can’t distinguish the teas,

إذا لم تستطع معرفة الفرق،

she’ll still get the right answer 1 in 70 times by chance.

إذا احتمالية وصولها للإجابة الصحيحة هي 1 من 70.

1 in 70 is roughly .014.

ناتج قسمة 1 على 70 هو 0,014 تقريبا.

That single number is called a p-value.

هذا الرقم المنفرد يدعى بالقيمة الاحتمالية.

In many fields, a p-value of .05 or below is considered statistically significant,

إذا كانت القيمة الاحتمالية تساوي 0,05 أو أقل إذا إحصائيا تلك النتيجة مقبولة،

meaning there’s enough evidence to reject the null hypothesis.

أي أنه من الممكن استخدام تلك النتيجة لدحض نظريه العدم.

Based on a p-value of .014,

إذا بناء على القيمة 0,014،

they’d rule out the null hypothesis that she can’t distinguish the teas.

يمكن دحض فرضية العدم القائلة بأنه لا يمكنها التفريق بين الأكواب

Though p-values are commonly used by both researchers and journals

وعلى الرغم من استخدام القيم الاحتمالية بشكل واسع بواسطه الباحثين والصحفيين،

to evaluate scientific results,

لتقييم النتائج العلمية

they’re really confusing, even for many scientists.

إلا أنها يمكن أن تحير العديد من الناس، منهم كثير من العلماء.

That’s partly because all a p-value actually tells us

ويرجع ذلك إلى أن كل ما يمكن للقيمة الاحتمالية أن تظهره لنا

is the probability of getting a certain result,

هي احتمالية حدوث نتيجة معينة،

assuming the null hypothesis is true.

على افتراض أن فرضية العدم صحيحة.

So if she correctly sorts the teas,

لذا إذا استطاعت ترتيب الأكواب بشكل صحيح،

the p-value is the probability of her doing so

فإن القيمة الاحتمالية تمثل احتمالية نجاحها في ذلك،

assuming she can’t tell the difference.

على افتراض أنها لا تستطيع إيجاد الفرق بين الأكواب.

But the reverse isn’t true:

إلا أن العكس ليس صحيحاً:

the p-value doesn’t tell us the probability

القيمة الاحتمالية لا تضع في الحسبان

that she can taste the difference,

إمكانية معرفتها للفرق بين الأكواب،

which is what we’re trying to find out.

وهو ما نحاول معرفته.

So if a p-value doesn’t answer the research question,

إذا لم تستطع القيمة الاحتمالية إجابة سؤال الدراسة،

why does the scientific community use it?

لم يستخدمها العلماء بشكل كبير؟

Well, because even though a p-value doesn’t directly state the probability

لأنه على الرغم من أن القيمة الاحتمالية لا تصرح بشكل صريح أحتمالية،

that the results are due to random chance,

أن النتائج قائمة على اختيارات عشوائية.

it usually gives a pretty reliable indication.

إلا أنها عاده ما تعطي نتائج موثوقة،

At least, it does when used correctly.

إذا استخدمت بشكل صحيح.

And that’s where many researchers, and even whole fields,

وهذا ما أوقع العديد من الباحثين بل وحتى العديد من المجالات

have run into trouble.

في العديد من المشاكل.

Most real studies are more complex than the tea experiment.

معظم الدراسات التي يتم إجراءها أكثر تعقيداً من تجربة الشاي.

Scientists can test their research question in multiple ways,

ويمكن للعلماء اختبار فرضياتهم بعدة طرق،

and some of these tests might produce a statistically significant result,

يمكن لبعض تلك الطرق أن تصدر نتائج إحصائية صحيحة،

while others don’t.

بينما قد تفشل أخرى.

It might seem like a good idea to test every possibility.

قد تبدو لوهلة فكره جيدة أن يتم اختبار جميع الاحتمالات.

But it’s not, because with each additional test,

لكن الأمر غير صحيح. لأنه مع كل اختبار جديد،

the chance of a false positive increases.

تزداد احتمالية الحصول على نتائج صحيحة زائفة.

Searching for a low p-value, and then presenting only that analysis,

إن البحث عن قيمة احتمالية منخفضة ومن ثم تقديم تلك النتيجة المنفردة

is often called p-hacking.

غالبا ما يدعى بالتلاعب بالقيمة الاحتمالية.

It’s like throwing darts until you hit a bullseye

الأمر أشبه برمي السهام إلى أن تصل للمركز،

and then saying you only threw the dart that hit the bull’s eye.

ومن ثم القول بأنك قد رميت السهم الذي أصاب المنتصف فقط.

This is exactly what the music researchers did.

هذا هو ما فعله الباحثون في دراسة الموسيقى بالضبط.

They played three groups of participants each a different song

لقد شغلوا أغنية مختلفة لثلاثة مجموعات من المتطوعين.

and collected lots of information about them.

وقاموا بتجميع العديد من المعلومات عنهم.

The analysis they published included only two out of the three groups.

ومن ثم قاموا بنشر النتائج الخاصة بمجموعتين فقط من الثلاثة.

Of all the information they collected,

من بين جميع المعلومات التي تم جمعها،

their analysis only used participants’ fathers’ age—

ثم استخدام معلومات المشتركين الأكبر سنا،

to “control for variation in baseline age across participants.”

للتحكم في ”متوسطات أعمار المشاركين في التجربة”.

They also paused their experiment after every ten participants,

كما أنهم قاموا بإيقاف التجربة بعد الوصول إلى عشرة متطوعين.

and continued if the p-value was above .05,

وتابعوا التجربة إذا وجدوا القيمة الاحتمالية أكبر من 0,05.

but stopped when it dipped below .05.

ولكنهم أوقفوا التجربة إذا وصلت القيمة الاحتمالية إلى أقل من 0,05.

They found that participants who heard one song were 1.5 years younger

ثم استنتجوا أن المتطوعين الذين سمعوا أغنية معينة كانوا أصغر بمعدل سنة ونصف عن البقية.

than those who heard the other song, with a p-value of .04.

أما الباقين الذين استمعوا للأغنية الأخرى كانت القيمة الاحتمالية لديهم 0,04.

Usually it’s much tougher to spot p-hacking,

في العادة، يكون من الصعب جدا رصد التلاعب في القيمة الاحتمالية.

because we don’t know the results are impossible:

لأننا لا نعرف أن النتائج مستحيلة:

the whole point of doing experiments is to learn something new.

إن الغرض الأساسي من إجراء التجارب هو معرفه أشياء جديدة.

Fortunately, there’s a simple way to make p-values more reliable:

لكن من حسن الحظ توجد طريقه بسيطة للحفاظ على مصداقية القيم الاحتمالية:

pre-registering a detailed plan for the experiment and analysis

وضع جدول مفصل للتجربة والتحليل مسبقا

beforehand that others can check,

والذي يمكن للآخرين التحقق منه.

so researchers can’t keep trying different analyses

لمنع الباحثين من إجراء تحليلات مختلفة

until they find a significant result.

للوصول لنتيجة معينة.

And, in the true spirit of scientific inquiry,

وللحفاظ على روح الاستقصاء العلمي الصحيحة

there’s even a new field that’s basically science doing science on itself:

تم استحداث علم جديد قد يوصف ببساطه بأنه علم مراقبة العلوم:

studying scientific practices in order to improve them.

أي مراقبة الطرق العلمية بغرض تحسينها.