The method that can "prove" almost anything - James A. Smith

Translator: Sanntint Tint Reviewer: Myo Aung

In 2011, a group of researchers conducted a scientific study

၂၀၁၁ မှာ သုသေတီတစ်ဖွဲ့ဟာ မဖြစ်နိုင်တဲ့ ရလဒ်တစ်ခုကို ရှာဖွေဖို့ ပုံစံထုတ်ထားတဲ့

to find an impossible result:

လေ့လာမှုတစ်ခုကို ဆောင်ရွက်ခဲ့ကြတယ်။

that listening to certain songs can make you younger.

သီချင်းတချို့ကို နားထောင်ခြင်းက သင့်ကို ပိုနုပျိုစေနိုင်တယ်ဆိုတာပါ။

Their study involved real people, truthfully reported data,

သူတို့ရဲ့လေ့လာမှုမှာ ဒေတာတွေနဲ့ ထူးမခြားနား စာရင်းအင်း စိစစ်မှုတွေကို

and commonplace statistical analyses.

အရင်းအတိုင်း သတင်းပို့ပေးတဲ့ လူတွေပါဝင်တယ်။

So how did they do it?

ဒီတော့ ဘယ်လို လုပ်ခဲ့ကြတာလဲ။

The answer lies in a statistical method scientists often use

အဖြေက သူတို့ ရလဒ်တွေက တစ်ခုခုကို ဆိုလို တာလား၊ ကျပန်း ဆူညံသံတွေလားဆိုတာကို

to try to figure out whether their results mean something or if they’re random noise.

ကြိုးစားအဖြေထုတ်ဖို့ သိပ္ပံပညာရှင်တွေ မကြာခဏသုံးတဲ့ စာရင်းအင်းနည်းစနစ်မှာရှိတယ်။

In fact, the whole point of the music study

အမှန်က ဂီတလေ့လာမှုရဲ့ တင်ပြချက်တစ်ခုလုံးက

was to point out ways this method can be misused.

ဒီနည်းလမ်းကို တလွဲသုံးနိုင်ပုံတွေကို ထောက်ပြဖို့ပါ။

A famous thought experiment explains the method:

ကျော်ကြားတဲ့ အတွေးစမ်းသပ်မှုတစ်ခုက ဒီနည်းလမ်းကို ရှင်းပြတာက

there are eight cups of tea,

လက်ဖက်ရည်ခွက် ရှစ်ခွက်ရှိတယ်။

four with the milk added first, and four with the tea added first.

လေးခွက်က နွားနို့ အရင် ထည့်ထားပြီး လေးခွက်က လက်ဖက်ရည် အရင်ထည့်ထားတယ်။

A participant must determine which are which according to taste.

ပါဝင်သူက ဘယ်ဟာက ဘာဆိုတာကို အရသာအလိုက် ဆုံးဖြတ်ရမယ်။

There are 70 different ways the cups can be sorted into two groups of four,

ခွက်တွေကို လေးခွက် နှစ်စုအဖြစ် ခွဲနိုင်တဲ့ မတူတဲ့ နည်းပေါင်း ၇၀ ရှိပြီး

and only one is correct.

မှန်တာ တစ်ခုပဲရှိတယ်။

So, can she taste the difference?

ဒီတော့ မတူတာကို သူ အရသာခံနိုင်မလား။

That’s our research question.

ဒါက သုတေသန မေးခွန်းပါ။

To analyze her choices, we define what’s called a null hypothesis:

ရွေးချယ်မှုတွေကို သရုပ်ခွဲဖို့ null hypothesis ဆိုတာကို အဓိပ္ပာယ်သတ်မှတ်တယ်။

that she can’t distinguish the teas.

လက်ဖက်ရည်တွေကို မခွဲခြားနိုင်တာပါ။

If she can’t distinguish the teas,

သူဟာ လက်ဖက်ရည်တွေကို မခွဲခြားနိုင်ရင်

she’ll still get the right answer 1 in 70 times by chance.

အခွင့်အလမ်းအနေနဲ့ အကြိမ် ၇၀ မှာ တစ်ကြိမ် အဖြေမှန် ရနိုင်သေးတယ်။

1 in 70 is roughly .014.

၇၀ မှာ ၁ က အကြမ်းဖျင်း ၀.၀၁၄ ပါ။

That single number is called a p-value.

ဒီတစ်ခုတည်းသောကိန်းကို p-value လို့ ခေါ်ပါတယ်။

In many fields, a p-value of .05 or below is considered statistically significant,

နယ်ပယ်များစွာမှာ ၀.၀၅(သို့)အောက် p-value ကို ကိန်းဂဏန်းအရ အရေးပါတယ်လို့ ယူဆတယ်။

meaning there’s enough evidence to reject the null hypothesis.

ဆိုလိုတာက null hypothesis ကို ပယ်ချဖို့ လုံလောက်တဲ့ အထောက်အထားရှိတာပါ။

Based on a p-value of .014,

၀.၀၁၄ ရဲ့ p-value ကို အခြေခံကာ

they’d rule out the null hypothesis that she can’t distinguish the teas.

သူဟာ လက်ဖက်ရည်တွေကို မခွဲခြားနိုင်တဲ့ null hypothesis ကို စာရင်းကနေ ပယ်ဖျက်တယ်။

Though p-values are commonly used by both researchers and journals

သုတေသီတွေနဲ့ ဂျာနယ်တွေက p-values တွေကို သိပ္ပံဆိုင်ရာ ရလဒ်တွေကို

to evaluate scientific results,

ချင့်တွက်ဖို့ အသုံးများကြပေမဲ့

they’re really confusing, even for many scientists.

သိပ္ပံပညာရှင်များစွာအတွက်တောင် တကယ်ကို နားလည်ရန်ခက်ပါတယ်။

That’s partly because all a p-value actually tells us

တစ်စိတ်တစ်ပိုင်းအနေနဲ့ p-value တစ်ခုက ပြောပြတာက

is the probability of getting a certain result,

null hypothesis ဟာ မှန်တယ်လို့ ယူဆရတဲ့

assuming the null hypothesis is true.

ရလဒ်တစ်ခုခု ရရှိနိုင်ခြေ ဖြစ်တာကြောင့်ပါ။

So if she correctly sorts the teas,

ဒီတော့ သူဟာ လက်ဖက်ရည်တွေကို မှန်ကန်စွာ ရွေးချယ်ရင်

the p-value is the probability of her doing so

p-value က သူဟာ ခြားနားမှုကို မခွဲခြားနိုင်ဘူးလို့

assuming she can’t tell the difference.

ထင်ရတဲ့ သူ့ရဲ့ ရွေးချယ်ခြင်းရဲ့ ဖြစ်နိုင်ခြေပါ။

But the reverse isn’t true:

ဒါပေမဲ့ ပြောင်းပြန်ကတော့ မမှန်ပါ။

the p-value doesn’t tell us the probability

p-value က သူဟာ ခြားနားမှုကို အရသာမခံနိုင်ဘူးဆိုတဲ့

that she can taste the difference,

ဖြစ်နိုင်ခြေကို မပြောပြဘူး။

which is what we’re trying to find out.

ဒါက ကျွန်ုပ်တို့ ရှာဖွေဖို့ ကြိုးစားနေတာပါ။

So if a p-value doesn’t answer the research question,

ဒီတော့ p-value က သုတေသန မေးခွန်းကို မဖြေရင် သိပ္ပံ အသိုင်းအဝိုင်းက

why does the scientific community use it?

ဘာလို့ ဒါကို အသုံးပြုတာလဲ။

Well, because even though a p-value doesn’t directly state the probability

ဘာလို့လဲဆိုတော့ ရလဒ်တွေဟာ ကျပန်း တိုက်ဆိုင်မှုကြောင့် ဖြစ်တယ်ဆိုတဲ့

that the results are due to random chance,

ဖြစ်နိုင်ခြေကို p-value က တိုက်ရိုက် မဖော်ပြတာတောင်

it usually gives a pretty reliable indication.

ဒါက အမြဲလိုလို အတော်လေး စိတ်ချနိုင်တဲ့ အရိပ်နိမိတ်တစ်ခုကို ပေးလို့ပါ။

At least, it does when used correctly.

အနည်းဆုံးတော့ မှန်ကန်စွာ သုံးတဲ့အခါ ပေးပါတယ်။

And that’s where many researchers, and even whole fields,

ဒါက သုတေသီအများအပြားနဲ့ နယ်ပယ်တွေ အားလုံးကိုတောင်

have run into trouble.

ဒုက္ခတွေ့စေတာပါ။

Most real studies are more complex than the tea experiment.

တကယ့် လေ့လာမှုအများစုက လက်ဖက်ရည် စမ်းသပ်မှုထက် အများကြီး ပိုရှုပ်တယ်။

Scientists can test their research question in multiple ways,

သိပ္ပံပညာရှင်တွေဟာ သုတေသန မေးခွန်းကို နည်းလမ်းစုံနဲ့ စမ်းသပ်နိုင်ပြီး

and some of these tests might produce a statistically significant result,

ဒီစမ်းသပ်မှုတချို့က ကိန်းဂဏန်းအရ အရေးပါတဲ့ ရလဒ်တစ်ခုကို ထုတ်ပေးနိုင်လောက်ပေမဲ့

while others don’t.

အခြားဟာတွေက မထုတ်ပေးဘူး။

It might seem like a good idea to test every possibility.

ဖြစ်နိုင်ခြေအားလုံးကို စမ်းသပ်ဖို့ စိတ်ကူးကောင်းလို့ ထင်ရလောက်တယ်။

But it’s not, because with each additional test,

ဒါပေမဲ့ မဟုတ်ဘူး။ ဘာလို့လဲဆိုတော့ အပိုစမ်းသပ်မှုတိုင်းနဲ့ဆို

the chance of a false positive increases.

မှားယွင်းတဲ့ အပြုသဘောတစ်ခု တိုးနိုင်ခြေရှိလို့ပါ။

Searching for a low p-value, and then presenting only that analysis,

နိမ့်တဲ့ p-value တစ်ခုကို ရှာပြီးနောက် ဒီသရုပ်ခွဲမှုကိုပဲ တင်ပြခြင်းကို

is often called p-hacking.

မကြာခဏတော့ p-hacking လို့ခေါ်တယ်။

It’s like throwing darts until you hit a bullseye

ဒါက စက်ကွင်းကို မမှန်မချင်း လက်ပစ်မြားတွေ ပစ်နေပြီး

and then saying you only threw the dart that hit the bull’s eye.

စက်ကွင်းကို မှန်တဲ့ မြားကိုသာ ပစ်တာပါလို့ ပြောနေတာမျိုးပါ။

This is exactly what the music researchers did.

ဒါက ဂီတ သုတေသီတွေ လုပ်ခဲ့တာ အတိအကျပါ။

They played three groups of participants each a different song

မတူတဲ့ သီချင်းတစ်ပုဒ်စီကို ပါဝင်သူ သုံးဖွဲ့ကို ဖွင့်ပြပြီး သူတို့အကြောင်း

and collected lots of information about them.

သတင်းအချက်အလက် အများအပြားကို ကောက်ယူတယ်။

The analysis they published included only two out of the three groups.

သူတို့ ထုတ်ဝေတဲ့ သရုပ်ခွဲမှုမှာ သုံးဖွဲ့ထဲက နှစ်ဖွဲ့သာ ပါဝင်တယ်။

Of all the information they collected,

ကောက်ယူခဲ့တဲ့ သတင်းအချက်အလက်တွေ အနက်ပါ ဝင်သူတွေ

their analysis only used participants’ fathers’ age—

အသီးသီးရဲ့ အခြေခံ အသက် ကွဲပြားမှုကို ထိန်းချုပ်ဖို့

to “control for variation in baseline age across participants.”

သရုပ်ခွဲမှုက ပါဝင်သူတွေရဲ့ အဖေ အရွယ်ကိုသာ အသုံးပြုခဲ့တယ်။

They also paused their experiment after every ten participants,

ပါဝင်သူ ဆယ်ယောက်ပြည့်တိုင်း စမ်းသပ်မှုကို ခဏရပ်ပြီး

and continued if the p-value was above .05,

p-value က ၀.၀၅ အထက်ဖြစ်ရင် ဆက်လုပ်ပေမဲ့

but stopped when it dipped below .05.

၀.၀၅ အောက် ကျသွားတဲ့အခါ ရပ်လိုက်တယ်။

They found that participants who heard one song were 1.5 years younger

သီချင်းတစ်ပုဒ်ကို ကြားတဲ့ ပါဝင်သူတွေဟာ p-value ၀.၀၄ ရှိတဲ့

than those who heard the other song, with a p-value of .04.

အခြား သီချင်းကို ကြားသူတွေထက် တစ်နှစ်ခွဲ ပိုနုပျိုသွားတာ တွေ့ရှိရတယ်။

Usually it’s much tougher to spot p-hacking,

အမြဲလိုလို p-hacking ကို တွေ့ရှိဖို့က အများကြီး ပိုခက်ပါတယ်။

because we don’t know the results are impossible:

ဘာလို့လဲဆိုတော့ ရလဒ်တွေက မဖြစ်နိုင်ဘူးဆိုတာ မသိလို့ပါ။

the whole point of doing experiments is to learn something new.

စမ်းသပ်မှု လုပ်ခြင်းရဲ့တင်ပြချက်တစ်ခုလုံးက အသစ်တစ်ခုခုကို သိရှိဖို့ပါ။

Fortunately, there’s a simple way to make p-values more reliable:

ကံကောင်းချင်တော့ p-value တွေကို ပိုစိတ်ချ ရဖို့ ရိုးရှင်းတဲ့ နည်းလမ်းတစ်ခုရှိတာပါ။

pre-registering a detailed plan for the experiment and analysis

စမ်းသပ်မှုနဲ့ သရုပ်ခွဲမှုအတွက် အသေးစိတ် အစီအစဉ်ကို အခြားသူတွေ

beforehand that others can check,

ကြိုတင် စစ်ဆေးနိုင်အောင် ကြိုတင်မှတ်တမ်းတင်ခြင်းပါ။

so researchers can’t keep trying different analyses

ဒါကြောင့် သုတေသီတွေဟာ သိသာတဲ့ ရလဒ် မတွေ့မချင်း

until they find a significant result.

မတူတဲ့သရုပ်ခွဲမှုတွေကို ဆက်စမ်းနေလို့မရဘူး။

And, in the true spirit of scientific inquiry,

သိပ္ပံဆိုင်ရာ စုံစမ်းမှုရဲ့ စစ်မှန်တဲ့ စိတ်ဓာတ်အရ

there’s even a new field that’s basically science doing science on itself:

အခြေခံအနေနဲ့ သိပ္ပံက သိပ္ပံကို ၎င်းဘာသာ လုပ်တယ်ဆိုတဲ့ နယ်ပယ်သစ်တစ်ခုတောင် ရှိတယ်။

studying scientific practices in order to improve them.

ဒါတွေ တိုးတက်ကောင်းမွန်စေဖို့ သိပ္ပံနည်းကျ အလေ့အထတွေကို လေ့လာခြင်းပါ။