The method that can "prove" almost anything - James A. Smith

832,599 views ・ 2021-08-05

TED-Ed


Toista video kaksoisnapsauttamalla alla olevaa englanninkielistä tekstitystä.

Kääntäjä: Elina Martin Oikolukija: Ulla Vainio
00:06
In 2011, a group of researchers conducted a scientific study
0
6371
4167
Vuonna 2011 ryhmä tutkijoita toteutti tieteellisen tutkimuksen
00:10
to find an impossible result:
1
10538
2125
löytääkseen mahdottoman tuloksen:
00:12
that listening to certain songs can make you younger.
2
12663
3500
että tiettyjen laulujen kuuntelu tekee sinusta nuoremman.
00:16
Their study involved real people, truthfully reported data,
3
16663
3625
Tutkimus sisälsi oikeita ihmisiä, todenmukaista dataa,
00:20
and commonplace statistical analyses.
4
20288
3000
sekä tavanomaisia tilastollisia analyysejä.
00:23
So how did they do it?
5
23288
1416
Miten he siis tekivät sen?
00:24
The answer lies in a statistical method scientists often use
6
24704
4125
Vastaus on tilastollisessa metodissa, jota tutkijat usein käyttävät selvittääksen
00:28
to try to figure out whether their results mean something or if they’re random noise.
7
28829
4875
merkitsevätkö heidän tuloksensa jotain vai ovatko ne satunnaisia.
00:33
In fact, the whole point of the music study
8
33704
2625
Itse asiassa koko musiikkitutkimuksen tarkoitus
00:36
was to point out ways this method can be misused.
9
36329
3917
oli tuoda esille tapoja, miten tätä metodia voidaan väärinkäyttää.
00:40
A famous thought experiment explains the method:
10
40746
2791
Kuuluisa ajatuskoe selittää tämän metodin:
00:43
there are eight cups of tea,
11
43746
1750
on kahdeksan kuppia teetä,
00:45
four with the milk added first, and four with the tea added first.
12
45496
4416
neljä, joihin maitoa on lisätty ensin, ja neljä, joihin teetä on lisätty ensin.
00:50
A participant must determine which are which according to taste.
13
50162
3625
Osallistujan tulee maun perusteella selvittää kumpi on kumpi.
00:53
There are 70 different ways the cups can be sorted into two groups of four,
14
53871
4583
On 70 eri tapaa lajitella kupit kahteen neljän ryhmään
00:58
and only one is correct.
15
58454
2000
ja vain yksi on oikein.
01:00
So, can she taste the difference?
16
60662
2584
Maistaako hän eron?
01:03
That’s our research question.
17
63246
1625
Tämä on tutkimuskysymyksemme.
01:04
To analyze her choices, we define what’s called a null hypothesis:
18
64871
4625
Analysoidaksemme vaihtoehtoja, määrittelemme “nollahypoteesin”:
01:09
that she can’t distinguish the teas.
19
69496
2167
ettei hän pysty erottamaan teet toisistaan.
01:11
If she can’t distinguish the teas,
20
71871
2042
Jos hän ei pysty erottamaan teitä,
01:13
she’ll still get the right answer 1 in 70 times by chance.
21
73913
5166
hän saa silti oikean vastauksen sattumalta 1/70 kertaa.
01:19
1 in 70 is roughly .014.
22
79079
3334
1/70 on noin 0,014.
01:22
That single number is called a p-value.
23
82746
3292
Tämä luku on nimeltään p-arvo.
01:26
In many fields, a p-value of .05 or below is considered statistically significant,
24
86038
6916
Monilla aloilla p-arvo, joka on 0,05 tai alle, on tilastollisesti merkittävä
01:32
meaning there’s enough evidence to reject the null hypothesis.
25
92954
3792
tarkoittaen, että todisteita on tarpeeksi ja nollahypoteesi voidaan hylätä.
01:36
Based on a p-value of .014,
26
96996
3375
P-arvon 0,014 perusteella
01:40
they’d rule out the null hypothesis that she can’t distinguish the teas.
27
100371
4125
nollahypoteesi, jonka mukaan hän ei kykene erottamaan teitä, hylätään.
01:44
Though p-values are commonly used by both researchers and journals
28
104913
3916
Vaikka sekä tutkijat että lehdet käyttävät p-arvoja usein
01:48
to evaluate scientific results,
29
108829
2084
arvioidessaan tieteellisiä tutkimuksia,
01:50
they’re really confusing, even for many scientists.
30
110913
2958
ne ovat todella hämmentäviä jopa monille tutkijoille.
01:54
That’s partly because all a p-value actually tells us
31
114329
4042
Tämä on osittain sen takia, että p-arvo oikeastaan ainoastaan kertoo meille
01:58
is the probability of getting a certain result,
32
118371
3000
tietyn tuloksen saamisen todennäköisyyden olettaen,
02:01
assuming the null hypothesis is true.
33
121371
2917
että nollahypoteesi on totta.
02:04
So if she correctly sorts the teas,
34
124663
2791
Eli jos hän lajittelee teet oikein,
02:07
the p-value is the probability of her doing so
35
127454
3417
p-arvo kertoo tämän todennäköisyyden,
02:10
assuming she can’t tell the difference.
36
130871
2458
kun oletetaan, ettei hän osaa tehdä niin.
02:13
But the reverse isn’t true:
37
133329
2459
Mutta päinvastainen ei ole totta:
02:15
the p-value doesn’t tell us the probability
38
135788
2416
p-arvo ei kerro meille, kuinka todennäköistä on,
02:18
that she can taste the difference,
39
138204
1625
että hän kykenee maistamaan eron,
02:19
which is what we’re trying to find out.
40
139829
2084
jonka haluamme juurikin tietää.
02:22
So if a p-value doesn’t answer the research question,
41
142329
3250
Jos p-arvo ei vastaa tutkimuskysymykseen,
02:25
why does the scientific community use it?
42
145579
2292
miksi tiedeyhteisö käyttää sitä?
02:28
Well, because even though a p-value doesn’t directly state the probability
43
148329
4709
Siitä huolimatta, ettei p-arvo suoraan totea kuinka todennäköistä on,
02:33
that the results are due to random chance,
44
153038
2500
että tulokset ovat satunnaisia,
02:35
it usually gives a pretty reliable indication.
45
155538
3333
se on yleensä melko luotettava arvio.
02:39
At least, it does when used correctly.
46
159204
2792
Ainakin oikein käytettynä.
02:41
And that’s where many researchers, and even whole fields,
47
161996
3917
Ja tässä monet tutkijat, jopa kokonaiset alat,
02:45
have run into trouble.
48
165913
1458
ovat törmänneet ongelmiin.
02:47
Most real studies are more complex than the tea experiment.
49
167538
3458
Todelliset tutkimukset ovat yleensä monimutkaisempia kuin teetutkimus.
02:51
Scientists can test their research question in multiple ways,
50
171288
3375
Tutkijat voivat testata tutkimuskysymystään monilla tavoin,
02:54
and some of these tests might produce a statistically significant result,
51
174663
4375
ja jotkut näistä testeistä voivat tuottaa tilastollisesti merkittäviä tuloksia,
02:59
while others don’t.
52
179038
1208
kun taas toiset eivät.
03:00
It might seem like a good idea to test every possibility.
53
180454
3167
Voi vaikuttaa hyvältä idealta testata jokaista mahdollisuutta.
03:03
But it’s not, because with each additional test,
54
183913
3083
Mutta näin ei ole, koska jokaisen ylimääräisen testin kanssa,
03:07
the chance of a false positive increases.
55
187163
3208
väärän positiivisen tuloksen todennäköisyys lisääntyy.
03:10
Searching for a low p-value, and then presenting only that analysis,
56
190996
4500
Alhaisen p-arvon etsintää ja vain tämän analyysin esittelyä
03:15
is often called p-hacking.
57
195496
2750
kutsutaan p-hakkeroinniksi.
03:18
It’s like throwing darts until you hit a bullseye
58
198246
2750
Se on sama kuin tikkojen heitto, kunnes osut napakymppiin
03:20
and then saying you only threw the dart that hit the bull’s eye.
59
200996
3333
ja sitten sanot, että heitit vain tikan, joka osui napakymppiin.
03:24
This is exactly what the music researchers did.
60
204746
3208
Juuri näin musiikin tutkijat tekivät.
03:28
They played three groups of participants each a different song
61
208079
3709
He soittivat kolmelle osallistujaryhmälle kaikille eri laulun
03:31
and collected lots of information about them.
62
211788
2500
ja keräsivät paljon tietoa heistä.
03:34
The analysis they published included only two out of the three groups.
63
214288
4250
Julkaistu analyysi sisälsi vain kaksi kolmesta ryhmästä.
03:38
Of all the information they collected,
64
218538
2208
Kaikesta tiedosta mitä he keräsivät,
03:40
their analysis only used participants’ fathers’ age—
65
220746
3542
analyysi sisälsi vain osallistujien isän iän—
03:44
to “control for variation in baseline age across participants.”
66
224288
4541
“jotta osallistujien lähtöiän vaihtelua voidaan hallita.”
03:49
They also paused their experiment after every ten participants,
67
229246
4208
He myös pysäyttivät tutkimuksensa kymmenen osallistujan välein
03:53
and continued if the p-value was above .05,
68
233454
4459
ja jatkoivat, jos p-arvo ylitti 0,05,
03:57
but stopped when it dipped below .05.
69
237913
3291
mutta lopettivat, jos se alitti 0,05.
04:01
They found that participants who heard one song were 1.5 years younger
70
241746
5208
He löysivät, että osallistujat, jotka kuulivat toisen laulun olivat 1,5 vuotta
04:06
than those who heard the other song, with a p-value of .04.
71
246954
4375
nuorempia kuin ne, jotka kuulivat toisen laulun, p-arvolla 0,04.
04:12
Usually it’s much tougher to spot p-hacking,
72
252163
2833
Yleensä on paljon haastavampaa huomata p-hakkerointi,
04:14
because we don’t know the results are impossible:
73
254996
2667
koska emme tiedä, että tulokset ovat mahdottomia:
04:17
the whole point of doing experiments is to learn something new.
74
257663
3416
tutkimusten koko tarkoitus on oppia jotakin uutta.
04:21
Fortunately, there’s a simple way to make p-values more reliable:
75
261329
4209
Onneksi, on yksinkertainen tapa tehdä p-arvoista luotettavampia:
04:25
pre-registering a detailed plan for the experiment and analysis
76
265913
4708
Suunnitelman ja analyysin yksityiskohtainen ilmoittaminen ennakkoon,
04:30
beforehand that others can check,
77
270621
2458
jotta muut voivat tarkistaa sen
04:33
so researchers can’t keep trying different analyses
78
273079
3417
ja, jotta tutkivat eivät voi kokeilla eri analyyseja,
04:36
until they find a significant result.
79
276496
2125
kunnes he löytävät merkittävän tuloksen.
04:38
And, in the true spirit of scientific inquiry,
80
278788
2458
Ja tieteellisen tutkinnan todellisessa hengessä,
04:41
there’s even a new field that’s basically science doing science on itself:
81
281246
5375
on jopa uusi ala, jossa tiede käytännössä tutkii tiedettä itseään:
04:46
studying scientific practices in order to improve them.
82
286621
3667
tieteellisten käytäntöjen tutkinta niitä parantaakseen.
Tietoja tästä verkkosivustosta

Tällä sivustolla esitellään YouTube-videoita, jotka ovat hyödyllisiä englannin oppimisessa. Näet englannin oppitunteja, joita opettavat huippuluokan opettajat ympäri maailmaa. Kaksoisnapsauta kullakin videosivulla näkyvää englanninkielistä tekstitystä, niin voit toistaa videon sieltä. Tekstitykset vierivät synkronoidusti videon toiston kanssa. Jos sinulla on kommentteja tai toiveita, ota meihin yhteyttä käyttämällä tätä yhteydenottolomaketta.

https://forms.gle/WvT1wiN1qDtmnspy7