The method that can "prove" almost anything - James A. Smith

Translator: Faizan Ansari 19BME035 Reviewer: Samridh Aggarwal

In 2011, a group of researchers conducted a scientific study

2011 में, शोधकर्ताओं के एक समूह ने एक वैज्ञानिक अध्ययन आयोजित किया

to find an impossible result:

एक असंभव परिणाम खोजने के लिए:

that listening to certain songs can make you younger.

कि कुछ गाने सुनना आपको जवां बना सकता है।

Their study involved real people, truthfully reported data,

उनके अध्ययन में वास्तविक लोग शामिल थे, सच्चाई से रिपोर्ट किया गया डेटा,

and commonplace statistical analyses.

और सामान्य सांख्यिकीय विश्लेषण।

So how did they do it?

तो वो यह कैसे करते हैं?

The answer lies in a statistical method scientists often use

इसका उत्तर सांख्यिकीय पद्धति में निहित है जिसका इस्तेमाल वैज्ञानिक अक्सर करते हैं

to try to figure out whether their results mean something or if they’re random noise.

यह पता लगाने के लिए कि, क्या उनके परिणाम का कुछ मतलब है या वे अनियमित शोर हैं।

In fact, the whole point of the music study

वास्तव में, संगीत अध्ययन का पूरा उद्देश्य यह था कि

was to point out ways this method can be misused.

इस पद्धति का दुरुपयोग कैसे किया जा सकता है।

A famous thought experiment explains the method:

एक प्रसिद्ध विचार प्रयोग इसका तरीका बताता है:

there are eight cups of tea,

मान लीजिए, आठ कप चाय है,

four with the milk added first, and four with the tea added first.

चार कप में, पहले दूध मिलाया , और चार में पहले चाय।

A participant must determine which are which according to taste.

एक प्रतिभागी को स्वाद के अनुसार निर्धारित करना है कि कौन वाला कप कौन सा है

There are 70 different ways the cups can be sorted into two groups of four,

70 अलग-अलग तरीके हैं जिनसे कपों को चार के दो समूहों में क्रमबद्ध किया जा सकता है,

and only one is correct.

और केवल एक ही सही है।

So, can she taste the difference?

तो, क्या वह अंतर का स्वाद ले सकती है?

That’s our research question.

यही हमारा शोध प्रश्न है।

To analyze her choices, we define what’s called a null hypothesis:

उसके विकल्पों का विश्लेषण करने के लिए, हम शून्य परिकल्पना को परिभाषित करते हैं:

that she can’t distinguish the teas.

कि वह चाय में अंतर नहीं कर सकती।

If she can’t distinguish the teas,

हालाँकि वह चाय में अंतर नहीं कर सकती,

she’ll still get the right answer 1 in 70 times by chance.

संयोग से उसे अभी भी 70 में से 1 बार, सही उत्तर मिलेगा

1 in 70 is roughly .014.

70 में से 1 मोटे तौर पर .014 है।

That single number is called a p-value.

उस एकल संख्या को p-वैल्यू कहा जाता है।

In many fields, a p-value of .05 or below is considered statistically significant,

कई क्षेत्रों में, .05 या उससे कम का p-मान सांख्यिकीय रूप से महत्वपूर्ण माना जाता है,

meaning there’s enough evidence to reject the null hypothesis.

मतलब, शून्य परिकल्पना अस्वीकार करने के लिए पर्याप्त सबूत मौजूद हैं

Based on a p-value of .014,

0.014 के पी-वैल्यू के आधार पर

they’d rule out the null hypothesis that she can’t distinguish the teas.

वे शून्य परिकल्पना को खारिज करेंगे कि वह चाय में अंतर नहीं कर सकती।

Though p-values are commonly used by both researchers and journals

हालांकि p -वैल्यू आमतौर पर शोधकर्ताओं और पत्रिकाओं दोनों द्वारा उपयोग किया जाता है

to evaluate scientific results,

वैज्ञानिक परिणामों का मूल्यांकन के लिए,

they’re really confusing, even for many scientists.

वे वास्तव में भ्रमित करने वाले हैं, कई वैज्ञानिकों के लिए भी।

That’s partly because all a p-value actually tells us

यह आंशिक रूप से इसलिए है क्योंकि एक p-मान वास्तव में हमें बताता है कि

is the probability of getting a certain result,

एक निश्चित परिणाम प्राप्त करने की संभावना,

assuming the null hypothesis is true.

शून्य परिकल्पना को सत्य मानते हुए।

So if she correctly sorts the teas,

तो अगर वह चाय को सही ढंग से पहचान लेती है,

the p-value is the probability of her doing so

तो उसके ऐसा करने की संभावना ही p-मान है

assuming she can’t tell the difference.

यह मानते हुए कि वह अंतर नहीं बता सकती।

But the reverse isn’t true:

लेकिन इसका उल्टा सच नहीं है:

the p-value doesn’t tell us the probability

p-मान हमें प्रायिकता नहीं बताता

that she can taste the difference,

कि वह अंतर का स्वाद ले सकती है,

which is what we’re trying to find out.

जिसका हम पता लगाने की कोशिश कर रहे हैं।

So if a p-value doesn’t answer the research question,

तो अगर कोई पी-वैल्यू शोध प्रश्न का उत्तर नहीं देता है,

why does the scientific community use it?

तो वैज्ञानिक समुदाय इसका इस्तेमाल क्यों करता है?

Well, because even though a p-value doesn’t directly state the probability

ठीक है, क्योंकि भले ही एक पी-मान सीधे तौर पर प्रायिकता नहीं बताता

that the results are due to random chance,

कि परिणाम अनियमित संयोग के कारण हैं,

it usually gives a pretty reliable indication.

यह आमतौर पर काफी विश्वसनीय संकेत देता है।

कम से कम, यह तब होता है जब इसका सही तरीके से उपयोग किया जाता है।

At least, it does when used correctly.

And that’s where many researchers, and even whole fields,

और यहीं पर कई शोधकर्ता, और यहां तक कि पूरे पूरे क्षेत्र भी,

have run into trouble.

मुसीबत में पड़ गए हैं।

Most real studies are more complex than the tea experiment.

अधिकांश वास्तविक अध्ययन चाय के प्रयोग से अधिक जटिल होते हैं।

Scientists can test their research question in multiple ways,

वैज्ञानिक अपने शोध प्रश्न का कई तरीकों से परीक्षण कर सकते हैं,

and some of these tests might produce a statistically significant result,

और इनमें से कुछ परीक्षण सांख्यिकीय रूप से महत्वपूर्ण परिणाम दे सकते हैं,

while others don’t.

जबकि अन्य नहीं देते हैं।

It might seem like a good idea to test every possibility.

हर संभावना का परीक्षण करना, एक अच्छे विचार की तरह लग सकता है।

But it’s not, because with each additional test,

लेकिन ऐसा नहीं है, क्योंकि प्रत्येक अतिरिक्त परीक्षण के साथ,

the chance of a false positive increases.

झूठी सकारात्मक वृद्धि की संभावना बढ़ जाती है।

Searching for a low p-value, and then presenting only that analysis,

कम p-मान की खोजना, और फिर केवल उस विश्लेषण को प्रस्तुत करना,

is often called p-hacking.

इसे अक्सर पी-हैकिंग कहा जाता है।

It’s like throwing darts until you hit a bullseye

यह डार्ट फेंकने जैसा है जब तक वे केंद्र से नहीं टकराते

and then saying you only threw the dart that hit the bull’s eye.

और फिर मान लो कि आपने डार्ट को फेंका जो लक्ष्य के केंद्र पर जा लगा।

This is exactly what the music researchers did.

यह ठीक वैसा ही है जैसा संगीत शोधकर्ताओं ने किया।

They played three groups of participants each a different song

उन्होंने प्रतिभागियों के तीन समूहों के लिए अलग-अलग गीत बजाया

and collected lots of information about them.

और उनके बारे में काफी जानकारी जुटाई।

The analysis they published included only two out of the three groups.

उनके द्वारा प्रकाशित विश्लेषण में तीन समूहों में से केवल दो शामिल थे।

Of all the information they collected,

उनके द्वारा एकत्र की गई सभी सूचनाओं में से

their analysis only used participants’ fathers’ age—

उनके विश्लेषण में केवल प्रतिभागियों के पिता की उम्र इस्तेमाल की गयी

to “control for variation in baseline age across participants.”

“प्रतिभागियों में आधारभूत आयु में भिन्नता को नियंत्रित करने के लिए।”

They also paused their experiment after every ten participants,

उन्होंने हर दस प्रतिभागियों के बाद अपना प्रयोग भी रोका

and continued if the p-value was above .05,

और जारी रखा यदि p-मान 0.05 से ऊपर था,

but stopped when it dipped below .05.

लेकिन जब यह .05 से नीचे गिर गया तो रोक दिया।

They found that participants who heard one song were 1.5 years younger

उन्होंने पाया कि जिन प्रतिभागियों ने एक गाना सुना, वे 1.5 साल छोटे थे

than those who heard the other song, with a p-value of .04.

फिर जिन्होंने 0.04 के पी-वैल्यू के साथ दूसरा गाना सुना,

Usually it’s much tougher to spot p-hacking,

आमतौर पर पी-हैकिंग का पता लगाना बहुत कठिन होता है,

because we don’t know the results are impossible:

क्योंकि हम नहीं जानते कि परिणाम असंभव हैं:

the whole point of doing experiments is to learn something new.

प्रयोग करने का पूरा उद्देश्य कुछ नया सीखना होता है।

Fortunately, there’s a simple way to make p-values more reliable:

सौभाग्य से, पी-मानों को अधिक विश्वसनीय बनाने का एक आसान तरीका है:

pre-registering a detailed plan for the experiment and analysis

प्रयोग और विश्लेषण के लिए एक विस्तृत योजना का पूर्व-पंजीकरण

beforehand that others can check,

इससे पहले कि दूसरे इसकी जाँच कर सकें,

so researchers can’t keep trying different analyses

इसलिए शोधकर्ता अलग-अलग विश्लेषण करने की कोशिश नहीं कर सकते हैं

until they find a significant result.

जब तक वे एक महत्वपूर्ण परिणाम नहीं पाते।

And, in the true spirit of scientific inquiry,

और, वैज्ञानिक जांच की सच्ची भावना में,

there’s even a new field that’s basically science doing science on itself:

यहां तक ​​कि एक नया क्षेत्र भी है जो विज्ञान अपने आप में विज्ञान कर रहा है

studying scientific practices in order to improve them.

वैज्ञानिक पद्धतियों का अध्ययन करना ताकि उनमें सुधार हो सके।