The method that can "prove" almost anything - James A. Smith

Překladatel: Václav Macko Korektor: Vladimír Harašta

In 2011, a group of researchers conducted a scientific study

V roce 2011 provedla skupina badatelů vědeckou studii,

to find an impossible result:

aby dospěli k nemožnému závěru:

that listening to certain songs can make you younger.

že poslechem určitých písní můžete omládnout.

Their study involved real people, truthfully reported data,

Jejich studie zahrnovala skutečné lidi a pravdivě vykazovaná data

and commonplace statistical analyses.

a běžnou statistickou analýzu.

So how did they do it?

Jak se jim to podařilo?

The answer lies in a statistical method scientists often use

Odpověď spočívá ve statistické metodě, kterou vědci často používají,

to try to figure out whether their results mean something or if they’re random noise.

aby zjistili, zda výsledky dávají smysl, nebo zda jsou jen náhodným šumem.

In fact, the whole point of the music study

Celou pointou této hudební studie ve skutečnosti bylo

was to point out ways this method can be misused.

upozornit na způsoby, jak může být tato metoda zneužita.

A famous thought experiment explains the method:

Slavný myšlenkový experiment vysvětluje metodu takto:

there are eight cups of tea,

máme 8 šálků čaje,

four with the milk added first, and four with the tea added first.

do 4 nalijeme nejprve mléko a do 4 zase nejprve čaj.

A participant must determine which are which according to taste.

Účastníci studie musí rozeznat šálky na základě chuti.

There are 70 different ways the cups can be sorted into two groups of four,

Existuje 70 různých způsobů jak tyto šálky rozdělit do 2 skupin po 4

and only one is correct.

a jenom jeden způsob je správný.

So, can she taste the difference?

Dokážou účastníci poznat rozdíl?

That’s our research question.

To je naše výzkumná otázka.

To analyze her choices, we define what’s called a null hypothesis:

Abychom dokázali analyzovat, co zvolí, definujeme nulovou hypotézu:

that she can’t distinguish the teas.

totiž že je nedokážou rozlišit.

If she can’t distinguish the teas,

Pokud nedokážou čaje rozlišit,

she’ll still get the right answer 1 in 70 times by chance.

tak čistě náhodou stejně vyberou správně v 1 případu ze 70.

1 in 70 is roughly .014.

1 ze 70 je zhruba 0,014.

That single number is called a p-value.

Toto číslo se nazývá p-hodnota.

In many fields, a p-value of .05 or below is considered statistically significant,

V mnoha oborech se p-hodnota menší než 0,05 bere jako statisticky významná,

meaning there’s enough evidence to reject the null hypothesis.

což znamená, že existuje dost důkazů k odmítnutí nulové hypotézy.

Based on a p-value of .014,

Na základě p-hodnoty 0,014

they’d rule out the null hypothesis that she can’t distinguish the teas.

by se vyloučila nulová hypotéza, že čaje nedokážou rozlišit.

Though p-values are commonly used by both researchers and journals

Přestože p-hodnoty pro vyhodnocení věděckých výsledků

to evaluate scientific results,

běžně používají výzkumníci i časopisy,

they’re really confusing, even for many scientists.

jsou velice matoucí, a to i pro mnohé vědce.

That’s partly because all a p-value actually tells us

Částečně je to kvůli tomu, že jediné, co nám p-hodnota říká,

is the probability of getting a certain result,

je pravděpodobnost získání určitého výsledku,

assuming the null hypothesis is true.

pokud by byla nulová hypotéza pravdivá.

So if she correctly sorts the teas,

V případě, že účastníci správně roztřídí šálky s čajem,

the p-value is the probability of her doing so

pak p-hodnota určuje pravděpodobnost, že tak učiní,

assuming she can’t tell the difference.

ačkoliv nedokážou rozeznat rozdíl.

But the reverse isn’t true:

Opačně to ale neplatí,

the p-value doesn’t tell us the probability

p-hodnota neudává pravděpodobnost toho, že dokážou rozeznat rozdíl,

that she can taste the difference,

which is what we’re trying to find out.

což je to, na co se snažíme přijít.

So if a p-value doesn’t answer the research question,

Když ale p-hodnota neodpovídá na výzkumnou otázku,

why does the scientific community use it?

proč ji vědecké obce používají?

Well, because even though a p-value doesn’t directly state the probability

No, protože ačkoli neudává přímo pravděpodobnost,

that the results are due to random chance,

že určité výsledky jsou důsledkem náhody,

it usually gives a pretty reliable indication.

je obvykle docela spolehlivým ukazatelem.

At least, it does when used correctly.

Tedy v případě, že je použita správně.

And that’s where many researchers, and even whole fields,

A tady naráží nejen badatelé, ale celé vědní obory na problém.

have run into trouble.

Most real studies are more complex than the tea experiment.

Většina skutečných studií je složitějších než tento čajový experiment.

Scientists can test their research question in multiple ways,

Vědci mohou otestovat své výzkumné otázky různými způsoby

and some of these tests might produce a statistically significant result,

a některé z těchto způsobů mohou přinést statisticky významné výsledky,

while others don’t.

zatímco ostatní nemusí.

It might seem like a good idea to test every possibility.

Může se zdát jako dobrý nápad vyzkoušet všechny možnosti,

But it’s not, because with each additional test,

ale není tomu tak, protože každý další test

the chance of a false positive increases.

s sebou přináší možnost falešně pozitivního výsledku.

Searching for a low p-value, and then presenting only that analysis,

Hledání nízké p-hodnoty a pak prezentace jen takové analýzy

is often called p-hacking.

se nazývá p-hacking.

It’s like throwing darts until you hit a bullseye

Je to jako házet šipky, dokud netrefíte střed terče,

and then saying you only threw the dart that hit the bull’s eye.

a pak říkat, že jste hodili jen tu jednu šipku.

This is exactly what the music researchers did.

Přesně tak to udělali badatelé ze studie o hudbě.

They played three groups of participants each a different song

Každé ze 3 skupin účastníků pustili jinou píseň

and collected lots of information about them.

a nasbírali o nich množství informací.

The analysis they published included only two out of the three groups.

Analýza, kterou publikovali, však obsahovala jen 2 ze 3 skupin.

Of all the information they collected,

Ze všech informací, které nasbírali,

their analysis only used participants’ fathers’ age—

používala analýza pouze věk otce účastníka,

to “control for variation in baseline age across participants.”

aby „ověřila odchylky s ohledem na referenční věk účastníků“.

They also paused their experiment after every ten participants,

Taktéž pozastavili experiment po každých 10 účastnících

and continued if the p-value was above .05,

a pokračovali pouze pokud byla p-hodnota větší než 0,05,

but stopped when it dipped below .05.

a přestali, když se dostala pod 0,05.

They found that participants who heard one song were 1.5 years younger

Zjistili, že účastníci, kteří poslouchali jednu píseň,

byli o 1,5 roku mladší než ti,

than those who heard the other song, with a p-value of .04.

kteří poslouchali jinou píseň s p-hodnotou 0,04.

Usually it’s much tougher to spot p-hacking,

Obvykle je daleko těžší p-hacking odhalit,

because we don’t know the results are impossible:

protože nevíme, že určitý výsledek není možný.

the whole point of doing experiments is to learn something new.

Celá pointa experimentů spočívá v tom, abychom se naučili něco nového.

Fortunately, there’s a simple way to make p-values more reliable:

Naštěstí existuje jednoduchý způsob jak zvýšit spolehlivosti p-hodnot:

pre-registering a detailed plan for the experiment and analysis

předem ohlásit detailní plán experimentu a analýzy,

beforehand that others can check,

aby je ostatní mohli ověřit,

so researchers can’t keep trying different analyses

protože badatelé nemohou neustále zkoušet různé analýzy,

until they find a significant result.

aby našli nějaký významný výsledek.

And, in the true spirit of scientific inquiry,

A v ryzím duchu vědeckého bádání

there’s even a new field that’s basically science doing science on itself:

dokonce existuje nový obor, kde věda v podstatě zkoumá sama sebe

studying scientific practices in order to improve them.

a studuje vědecké postupy za účelem jejich zlepšování.