The method that can "prove" almost anything - James A. Smith

Tłumaczenie: Paulina Kaniewska Korekta: Ola Królikowska

In 2011, a group of researchers conducted a scientific study

W 2011 roku grupa naukowców przeprowadziła badanie,

to find an impossible result:

którego wynik wydawał się niemożliwy.

that listening to certain songs can make you younger.

Okazało się, że słuchanie pewnych piosenek działa odmładzająco.

Their study involved real people, truthfully reported data,

Do badania zaproszono ludzi, zebrano prawdziwe dane

and commonplace statistical analyses.

i użyto powszechnie stosowanych analiz statystycznych.

So how did they do it?

Jak więc do tego doszło?

The answer lies in a statistical method scientists often use

Odpowiedź na to pytanie leży w popularnej wśród naukowców metodzie statystycznej,

to try to figure out whether their results mean something or if they’re random noise.

która pozwala stwierdzić, czy uzyskane wyniki coś znaczą,

czy są tylko losowym szumem.

In fact, the whole point of the music study

Prawdziwym celem badań nad wpływem muzyki na wiek

was to point out ways this method can be misused.

było pokazanie, jak dane mogą być nadużywane.

A famous thought experiment explains the method:

Pokazuje to słynny eksperyment myślowy.

there are eight cups of tea,

Mamy osiem kubków z bawarką.

four with the milk added first, and four with the tea added first.

Do czterech najpierw wlano mleko, a do czterech najpierw herbatę.

A participant must determine which are which according to taste.

Na podstawie smaku osoba badana ma stwierdzić, które są które.

There are 70 different ways the cups can be sorted into two groups of four,

Istnieje 70 różnych sposobów, żeby otrzymać dwie grupy po cztery kubki,

and only one is correct.

i tylko jeden jest tym właściwym.

So, can she taste the difference?

Czy badana poczuje różnicę?

That’s our research question.

To nasze pytanie badawcze.

To analyze her choices, we define what’s called a null hypothesis:

Do analiz wyników najpierw stawiamy hipotezę zerową,

that she can’t distinguish the teas.

czyli bawarek nie da się odróżnić.

If she can’t distinguish the teas,

Jeśli herbata z mlekiem smakuje jak mleko z herbatą,

she’ll still get the right answer 1 in 70 times by chance.

badana strzeli i zgadnie która jest która raz na 70 przypadków.

1 in 70 is roughly .014.

1 na 70 to około 0,014.

That single number is called a p-value.

Ta liczba to wartość p.

In many fields, a p-value of .05 or below is considered statistically significant,

W wielu dyscyplinach wartość p mniejsza albo równa 0,05

jest uważana za statystycznie istotną,

meaning there’s enough evidence to reject the null hypothesis.

co pozwala odrzucić hipotezę zerową.

Based on a p-value of .014,

Przy wartości p równej 0,014

they’d rule out the null hypothesis that she can’t distinguish the teas.

można wykluczyć hipotezę zerową, że nie da się rozróżnić bawarek.

Though p-values are commonly used by both researchers and journals

Choć wartości p do oceny wyników badań

używają naukowcy i czasopisma naukowe,

to evaluate scientific results,

they’re really confusing, even for many scientists.

może się ona okazać myląca nawet dla wielu badaczy.

That’s partly because all a p-value actually tells us

Częściowo jest tak dlatego, że wartość p podaje tylko

is the probability of getting a certain result,

prawdopodobieństwo uzyskania danego wyniku

assuming the null hypothesis is true.

przy założeniu, że hipoteza zerowa jest prawdziwa.

So if she correctly sorts the teas,

Jeśli badana dobrze posortuje kubki z bawarką,

the p-value is the probability of her doing so

wartość p będzie prawdopodobieństwiem na właściwe posortowanie

assuming she can’t tell the difference.

w sytuacji, kiedy nie da się odróżnić bawarek.

But the reverse isn’t true:

Na odwrót to nie działa.

the p-value doesn’t tell us the probability

Wartość p nie poda prawdopodobieństwa,

that she can taste the difference,

że badana poczuje różnicę,

which is what we’re trying to find out.

a tego właśnie chcemy się dowiedzieć.

So if a p-value doesn’t answer the research question,

Jeśli więc wartość p nie odpowiada na postawione pytanie badawcze,

why does the scientific community use it?

to dlaczego naukowcy jej używają?

Well, because even though a p-value doesn’t directly state the probability

Chociaż wartość p nie mówi wprost, jakie jest prawdopodobieństwo tego,

that the results are due to random chance,

że uzyskane wyniki są przypadkowe,

it usually gives a pretty reliable indication.

to stanowi zwykle wiarygodną wskazówkę.

At least, it does when used correctly.

Przynajmniej kiedy poprawnie się ją zinterpretuje.

And that’s where many researchers, and even whole fields,

Tu zaczynają się kłopoty wielu badaczy, a nawet całych dyscyplin naukowych.

have run into trouble.

Most real studies are more complex than the tea experiment.

Prawdziwe badania są dużo bardziej złożone niż eksperyment z bawarką.

Scientists can test their research question in multiple ways,

Naukowcy mogą testować pytania badawcze na wiele sposobów.

and some of these tests might produce a statistically significant result,

Niektóre z testów mogą prowadzić do wyników statystycznie istotnych,

while others don’t.

podczas gdy inne nie.

It might seem like a good idea to test every possibility.

Testowanie każdej ewentualności może się wydawać dobrym pomysłem,

But it’s not, because with each additional test,

jednak tak nie jest, bo z każdym dodatkowym testem

the chance of a false positive increases.

wzrasta szansa uzyskania fałszywie dodatniego wyniku.

Searching for a low p-value, and then presenting only that analysis,

Szukanie porównań o niskiej wartości p i przedstawienie tylko takich

is often called p-hacking.

jest często nazywane hakowaniem p.

It’s like throwing darts until you hit a bullseye

To jakbyśmy rzucali lotkami, aż trafimy w tarczę,

and then saying you only threw the dart that hit the bull’s eye.

i twierdzili potem, że rzuciliśmy jedynie tą lotką, która trafiła w tarczę.

This is exactly what the music researchers did.

Właśnie tak postąpili naukowcy badający wpływ muzyki na wiek.

They played three groups of participants each a different song

Włączyli inną piosenkę każdej z trzech grup badanych

and collected lots of information about them.

i zebrali mnóstwo informacji na temat uczestników.

The analysis they published included only two out of the three groups.

Opublikowana analiza zawierała dane tylko dwóch z trzech grup.

Of all the information they collected,

Ze wszystkich zebranych informacji

their analysis only used participants’ fathers’ age—

w analizie wykorzystano jedynie wiek ojca uczestnika,

to “control for variation in baseline age across participants.”

co miało umożliwić “kontrolę zmienności wieku badanych”.

They also paused their experiment after every ten participants,

Co więcej, badacze wstrzymywali eksperyment po 10 uczestnikach

and continued if the p-value was above .05,

i kontynuowali badanie, jeśli wartość p była większa niż 0,05,

but stopped when it dipped below .05.

a jeśli spadała poniżej tej wartości, przerywali.

They found that participants who heard one song were 1.5 years younger

Odkryli, że badani słuchający jednej z piosenek byli o 1,5 roku młodsi

than those who heard the other song, with a p-value of .04.

niż ci, którzy słuchali innej przy wartości p równej 0,04.

Usually it’s much tougher to spot p-hacking,

Trudno dostrzec zhakowanie wartości p,

because we don’t know the results are impossible:

kiedy nie wiadomo, że uzyskane wyniki są niemożliwe.

the whole point of doing experiments is to learn something new.

W końcu sensem prowadzenia badań jest odkrycie czegoś nowego.

Fortunately, there’s a simple way to make p-values more reliable:

Na szczęście istnieje prosty sposób, żeby wartość p była bardziej wiarygodna.

pre-registering a detailed plan for the experiment and analysis

Zarejestrować plan zbierania i analizy danych przed przystąpieniem do badania,

beforehand that others can check,

żeby można to było potem sprawdzić,

so researchers can’t keep trying different analyses

a badacze nie mogli dokonywać analiz, aż znajdą wynik istotny statystycznie.

until they find a significant result.

And, in the true spirit of scientific inquiry,

Zgodne z duchem prawdziwych dociekań

there’s even a new field that’s basically science doing science on itself:

powstała nowa dziedzina nauki, której przedmiotem jest nauka.

studying scientific practices in order to improve them.

To badanie metod badawczych w celu ich udoskonalenia.