The method that can "prove" almost anything - James A. Smith

Kääntäjä: Elina Martin Oikolukija: Ulla Vainio

In 2011, a group of researchers conducted a scientific study

Vuonna 2011 ryhmä tutkijoita toteutti tieteellisen tutkimuksen

to find an impossible result:

löytääkseen mahdottoman tuloksen:

that listening to certain songs can make you younger.

että tiettyjen laulujen kuuntelu tekee sinusta nuoremman.

Their study involved real people, truthfully reported data,

Tutkimus sisälsi oikeita ihmisiä, todenmukaista dataa,

and commonplace statistical analyses.

sekä tavanomaisia tilastollisia analyysejä.

So how did they do it?

Miten he siis tekivät sen?

The answer lies in a statistical method scientists often use

Vastaus on tilastollisessa metodissa, jota tutkijat usein käyttävät selvittääksen

to try to figure out whether their results mean something or if they’re random noise.

merkitsevätkö heidän tuloksensa jotain vai ovatko ne satunnaisia.

In fact, the whole point of the music study

Itse asiassa koko musiikkitutkimuksen tarkoitus

was to point out ways this method can be misused.

oli tuoda esille tapoja, miten tätä metodia voidaan väärinkäyttää.

A famous thought experiment explains the method:

Kuuluisa ajatuskoe selittää tämän metodin:

there are eight cups of tea,

on kahdeksan kuppia teetä,

four with the milk added first, and four with the tea added first.

neljä, joihin maitoa on lisätty ensin, ja neljä, joihin teetä on lisätty ensin.

A participant must determine which are which according to taste.

Osallistujan tulee maun perusteella selvittää kumpi on kumpi.

There are 70 different ways the cups can be sorted into two groups of four,

On 70 eri tapaa lajitella kupit kahteen neljän ryhmään

and only one is correct.

ja vain yksi on oikein.

So, can she taste the difference?

Maistaako hän eron?

That’s our research question.

Tämä on tutkimuskysymyksemme.

To analyze her choices, we define what’s called a null hypothesis:

Analysoidaksemme vaihtoehtoja, määrittelemme “nollahypoteesin”:

that she can’t distinguish the teas.

ettei hän pysty erottamaan teet toisistaan.

If she can’t distinguish the teas,

Jos hän ei pysty erottamaan teitä,

she’ll still get the right answer 1 in 70 times by chance.

hän saa silti oikean vastauksen sattumalta 1/70 kertaa.

1 in 70 is roughly .014.

1/70 on noin 0,014.

That single number is called a p-value.

Tämä luku on nimeltään p-arvo.

In many fields, a p-value of .05 or below is considered statistically significant,

Monilla aloilla p-arvo, joka on 0,05 tai alle, on tilastollisesti merkittävä

meaning there’s enough evidence to reject the null hypothesis.

tarkoittaen, että todisteita on tarpeeksi ja nollahypoteesi voidaan hylätä.

Based on a p-value of .014,

P-arvon 0,014 perusteella

they’d rule out the null hypothesis that she can’t distinguish the teas.

nollahypoteesi, jonka mukaan hän ei kykene erottamaan teitä, hylätään.

Though p-values are commonly used by both researchers and journals

Vaikka sekä tutkijat että lehdet käyttävät p-arvoja usein

to evaluate scientific results,

arvioidessaan tieteellisiä tutkimuksia,

they’re really confusing, even for many scientists.

ne ovat todella hämmentäviä jopa monille tutkijoille.

That’s partly because all a p-value actually tells us

Tämä on osittain sen takia, että p-arvo oikeastaan ainoastaan kertoo meille

is the probability of getting a certain result,

tietyn tuloksen saamisen todennäköisyyden olettaen,

assuming the null hypothesis is true.

että nollahypoteesi on totta.

So if she correctly sorts the teas,

Eli jos hän lajittelee teet oikein,

the p-value is the probability of her doing so

p-arvo kertoo tämän todennäköisyyden,

assuming she can’t tell the difference.

kun oletetaan, ettei hän osaa tehdä niin.

But the reverse isn’t true:

Mutta päinvastainen ei ole totta:

the p-value doesn’t tell us the probability

p-arvo ei kerro meille, kuinka todennäköistä on,

that she can taste the difference,

että hän kykenee maistamaan eron,

which is what we’re trying to find out.

jonka haluamme juurikin tietää.

So if a p-value doesn’t answer the research question,

Jos p-arvo ei vastaa tutkimuskysymykseen,

why does the scientific community use it?

miksi tiedeyhteisö käyttää sitä?

Well, because even though a p-value doesn’t directly state the probability

Siitä huolimatta, ettei p-arvo suoraan totea kuinka todennäköistä on,

that the results are due to random chance,

että tulokset ovat satunnaisia,

it usually gives a pretty reliable indication.

se on yleensä melko luotettava arvio.

At least, it does when used correctly.

Ainakin oikein käytettynä.

And that’s where many researchers, and even whole fields,

Ja tässä monet tutkijat, jopa kokonaiset alat,

have run into trouble.

ovat törmänneet ongelmiin.

Most real studies are more complex than the tea experiment.

Todelliset tutkimukset ovat yleensä monimutkaisempia kuin teetutkimus.

Scientists can test their research question in multiple ways,

Tutkijat voivat testata tutkimuskysymystään monilla tavoin,

and some of these tests might produce a statistically significant result,

ja jotkut näistä testeistä voivat tuottaa tilastollisesti merkittäviä tuloksia,

while others don’t.

kun taas toiset eivät.

It might seem like a good idea to test every possibility.

Voi vaikuttaa hyvältä idealta testata jokaista mahdollisuutta.

But it’s not, because with each additional test,

Mutta näin ei ole, koska jokaisen ylimääräisen testin kanssa,

the chance of a false positive increases.

väärän positiivisen tuloksen todennäköisyys lisääntyy.

Searching for a low p-value, and then presenting only that analysis,

Alhaisen p-arvon etsintää ja vain tämän analyysin esittelyä

is often called p-hacking.

kutsutaan p-hakkeroinniksi.

It’s like throwing darts until you hit a bullseye

Se on sama kuin tikkojen heitto, kunnes osut napakymppiin

and then saying you only threw the dart that hit the bull’s eye.

ja sitten sanot, että heitit vain tikan, joka osui napakymppiin.

This is exactly what the music researchers did.

Juuri näin musiikin tutkijat tekivät.

They played three groups of participants each a different song

He soittivat kolmelle osallistujaryhmälle kaikille eri laulun

and collected lots of information about them.

ja keräsivät paljon tietoa heistä.

The analysis they published included only two out of the three groups.

Julkaistu analyysi sisälsi vain kaksi kolmesta ryhmästä.

Of all the information they collected,

Kaikesta tiedosta mitä he keräsivät,

their analysis only used participants’ fathers’ age—

analyysi sisälsi vain osallistujien isän iän—

to “control for variation in baseline age across participants.”

“jotta osallistujien lähtöiän vaihtelua voidaan hallita.”

They also paused their experiment after every ten participants,

He myös pysäyttivät tutkimuksensa kymmenen osallistujan välein

and continued if the p-value was above .05,

ja jatkoivat, jos p-arvo ylitti 0,05,

but stopped when it dipped below .05.

mutta lopettivat, jos se alitti 0,05.

They found that participants who heard one song were 1.5 years younger

He löysivät, että osallistujat, jotka kuulivat toisen laulun olivat 1,5 vuotta

than those who heard the other song, with a p-value of .04.

nuorempia kuin ne, jotka kuulivat toisen laulun, p-arvolla 0,04.

Usually it’s much tougher to spot p-hacking,

Yleensä on paljon haastavampaa huomata p-hakkerointi,

because we don’t know the results are impossible:

koska emme tiedä, että tulokset ovat mahdottomia:

the whole point of doing experiments is to learn something new.

tutkimusten koko tarkoitus on oppia jotakin uutta.

Fortunately, there’s a simple way to make p-values more reliable:

Onneksi, on yksinkertainen tapa tehdä p-arvoista luotettavampia:

pre-registering a detailed plan for the experiment and analysis

Suunnitelman ja analyysin yksityiskohtainen ilmoittaminen ennakkoon,

beforehand that others can check,

jotta muut voivat tarkistaa sen

so researchers can’t keep trying different analyses

ja, jotta tutkivat eivät voi kokeilla eri analyyseja,

until they find a significant result.

kunnes he löytävät merkittävän tuloksen.

And, in the true spirit of scientific inquiry,

Ja tieteellisen tutkinnan todellisessa hengessä,

there’s even a new field that’s basically science doing science on itself:

on jopa uusi ala, jossa tiede käytännössä tutkii tiedettä itseään:

studying scientific practices in order to improve them.

tieteellisten käytäntöjen tutkinta niitä parantaakseen.