The method that can "prove" almost anything - James A. Smith

Translator: Dhini Wahyu Utami Reviewer: Maria Nainggolan

In 2011, a group of researchers conducted a scientific study

Tahun 2011, sekelompok peneliti melakukan penelitian

to find an impossible result:

untuk mencari tahu

that listening to certain songs can make you younger.

bahwa mendengarkan musik tertentu bisa membuat kita lebih muda.

Their study involved real people, truthfully reported data,

Penelitian mereka melibatkan partisipan, data asli dan terpercaya,

and commonplace statistical analyses.

dan menggunakan analisis statistika umum.

So how did they do it?

Bagaimana caranya?

The answer lies in a statistical method scientists often use

Jawabannya ada pada metode statistik yang sering dipakai para ilmuwan

to try to figure out whether their results mean something or if they’re random noise.

untuk mencari tahu apakah hasil penelitian mereka itu benar atau semu belaka.

In fact, the whole point of the music study

Malah, inti dari penelitian ini adalah

was to point out ways this method can be misused.

untuk menunjukan bagaimana metode ini bisa disalahgunakan.

A famous thought experiment explains the method:

Metode ini dijelaskan oleh eksperimen pikiran terkenal:

there are eight cups of tea,

ada delapan cangkir teh,

four with the milk added first, and four with the tea added first.

empat gelas diisi susu terlebih dulu, dan empat lainnya diisi teh terlebih dulu.

A participant must determine which are which according to taste.

Partisipan harus mengkategorikan mereka berdasarkan rasanya.

There are 70 different ways the cups can be sorted into two groups of four,

Ada 70 cara berbeda yang bisa digunakan untuk membagi gelas tersebut dalam 2 grup,

and only one is correct.

dan hanya satu cara yang benar.

So, can she taste the difference?

Bisakah ia merasakan perbedaannya?

That’s our research question.

Itu adalah pertanyaan kita.

To analyze her choices, we define what’s called a null hypothesis:

Guna menganalisis pilihannya, kita akan menentukan hipotesis nol:

that she can’t distinguish the teas.

bahwa dia tidak dapat menemukan perbedaannya.

If she can’t distinguish the teas,

Jika dia tidak bisa membedakannya,

she’ll still get the right answer 1 in 70 times by chance.

dia akan tetap punya 1 dari 70 peluang untuk menjawab benar.

1 in 70 is roughly .014.

1 dalam 70 kurang lebih adalah .014

That single number is called a p-value.

Angka tersebut disebut p-value.

In many fields, a p-value of .05 or below is considered statistically significant,

Dalam banyak bidang, hasil dianggap signifikan jika p-value = .05 atau kurang,

meaning there’s enough evidence to reject the null hypothesis.

artinya ada cukup bukti untuk menolak hipotesis nol.

Based on a p-value of .014,

Berdasarkan p-value .014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

mereka akan mengeliminasi hipotesis nolnya dimana ia tidak bisa membedakan tehnya.

Though p-values are commonly used by both researchers and journals

Meskipun p-value sering digunakan oleh banyak penelitian dan jurnal

to evaluate scientific results,

untuk mengevaluasi hasil penelitian,

they’re really confusing, even for many scientists.

mereka begitu membingungkan, bahkan bagi para saintis.

That’s partly because all a p-value actually tells us

Salah satu alasannya adalah karena informasi yang diberikan p-value adalah

is the probability of getting a certain result,

sekadar probabilitas dari tercapainya suatu hasil tertentu,

assuming the null hypothesis is true.

dengan anggapan hipotesis nol adalah benar.

So if she correctly sorts the teas,

Jadi jika dia bisa mengelompokkan tehnya dengan benar,

the p-value is the probability of her doing so

p-value yang muncul adalah probabilitas keberhasilannya

assuming she can’t tell the difference.

dengan anggapan dia tidak dapat membedakannya.

But the reverse isn’t true:

Namun fakta ini tidak bisa dibalik:

the p-value doesn’t tell us the probability

p-value tidak memberi tahu kita kemungkinan

that she can taste the difference,

bahwa dia dapat menemukan bedanya,

which is what we’re trying to find out.

sesuatu yang sedang kita cari.

So if a p-value doesn’t answer the research question,

Jadi jika p-value tidak bisa menjawab pertanyaan penelitian,

why does the scientific community use it?

mengapa masih dipakai dalam penelitian?

Well, because even though a p-value doesn’t directly state the probability

Ya, karena meskipun p-value tidak secara langsung memberi tahu kita

that the results are due to random chance,

bahwa hasil didapat secara acak,

it usually gives a pretty reliable indication.

ia biasanya memberikan indikasi yang bisa dipertanggungjawabkan.

At least, it does when used correctly.

Setidaknya, jika digunakan dengan benar.

And that’s where many researchers, and even whole fields,

Dan itulah saat di mana banyak peneliti, dan bahkan seluruh praktisi bidang,

have run into trouble.

menemui masalah.

Most real studies are more complex than the tea experiment.

Kebanyakan penelitian sebenarnya lebih kompleks dari eksperimen teh ini.

Scientists can test their research question in multiple ways,

Peneliti dapat menguji pertanyaan riset mereka dengan banyak cara,

and some of these tests might produce a statistically significant result,

dan beberapa tes mungkin bisa menghasilkan hasil yang signifikan secara statistikal,

while others don’t.

sementara lainnya tidak.

It might seem like a good idea to test every possibility.

Menguji semua kemungkinan ini terdengar seperti sebuah ide bagus.

But it’s not, because with each additional test,

Tapi sebetulnya tidak, karena seiring dengan tiap tes tambahan,

the chance of a false positive increases.

kesempatan bagi hasil positif palsu untuk muncul semakin meningkat.

Searching for a low p-value, and then presenting only that analysis,

Proses mencari p-value, dan kemudian hanya menampilkan analisis tersebut,

is often called p-hacking.

sering disebut sebagai p-hacking.

It’s like throwing darts until you hit a bullseye

Layaknya berkali-kali menembak panah sampai tepat sasaran

and then saying you only threw the dart that hit the bull’s eye.

lalu mengaku kalau panah hanya ditembakkan sekali.

This is exactly what the music researchers did.

Inilah yang dilakukan oleh para peneliti musik itu.

They played three groups of participants each a different song

Mereka memainkan tiga musik berbeda untuk tiga grup yang berbeda pula

and collected lots of information about them.

dan mengumpulkan banyak informasi tentang mereka.

The analysis they published included only two out of the three groups.

Analisis yang mereka publikasikan hanya melibatkan dua grup.

Of all the information they collected,

Dari sekian informasi yang mereka ambil,

their analysis only used participants’ fathers’ age—

analisis mereka hanya menggunakan usia dari ayah para partisipan—

to “control for variation in baseline age across participants.”

untuk “mengontrol variasi usia rata-rata para partisipan.”

They also paused their experiment after every ten participants,

Mereka juga menghentikan eksperimen mereka setelah setiap 10 partisipan,

and continued if the p-value was above .05,

dan melanjutkannya hanya jika p-valuenya di atas .05,

but stopped when it dipped below .05.

namun berhenti jika p-valuenya anjlok di bawah .05.

They found that participants who heard one song were 1.5 years younger

Mereka menemukan peserta yang mendengar lagu itu bertambah muda 1.5 tahun

than those who heard the other song, with a p-value of .04.

dari mereka yang mendengarkan lagu lain, dengan p-value .04.

Usually it’s much tougher to spot p-hacking,

Biasanya p-hacking cukup sulit untuk dideteksi,

because we don’t know the results are impossible:

karena kita tidak tahu kalau hasilnya itu mustahil:

the whole point of doing experiments is to learn something new.

tujuan dari eksperimen ini adalah untuk mempelajari sesuatu yang baru.

Fortunately, there’s a simple way to make p-values more reliable:

Untungnya, ada cara lebih simpel untuk membuat p-value lebih meyakinkan:

pre-registering a detailed plan for the experiment and analysis

menambahkan rencana detil pada awal eksperimen dan analisis

beforehand that others can check,

yang bisa diperiksa oleh pihak lain,

so researchers can’t keep trying different analyses

jadi peneliti tidak bisa memakai analisis yang berbeda-beda

until they find a significant result.

untuk mendapat hasil yang diinginkan.

And, in the true spirit of scientific inquiry,

Dan, dengan semangat model inkuiri ilmiah,

there’s even a new field that’s basically science doing science on itself:

bahkan muncul bidang baru yang dikhusukan untuk meneliti bidang penelitian ini:

studying scientific practices in order to improve them.

bidang yang mempelajari praktek ilmiah sebagai upaya evaluasi.