The method that can "prove" almost anything - James A. Smith

Översättare: Lisbeth Pekkari Granskare: Annika Bidner

In 2011, a group of researchers conducted a scientific study

2011 utförde en grupp forskare en vetenskaplig studie

to find an impossible result:

för att få ett omöjligt resultat:

that listening to certain songs can make you younger.

att man kan bli yngre av att lyssna på vissa låtar.

Their study involved real people, truthfully reported data,

Studien omfattade riktiga människor, sanningsenligt rapporterade data,

and commonplace statistical analyses.

och vanligt förekommande statistiska analyser.

So how did they do it?

Så, hur gick de tillväga?

The answer lies in a statistical method scientists often use

Svaret finns i en statistisk metod som forskare ofta använder

to try to figure out whether their results mean something or if they’re random noise.

för att ta reda på om deras resultat betyder något eller om de är slumpmässiga.

In fact, the whole point of the music study

Hela poängen med musikstudien

was to point out ways this method can be misused.

var att visa på vilka sätt den här metoden kan missbrukas.

A famous thought experiment explains the method:

Ett känt tankeexperiment förklarar metoden:

there are eight cups of tea,

Det finns åtta muggar te.

four with the milk added first, and four with the tea added first.

I fyra av dem har mjölken hällts i först, i fyra av dem har teet hällts i först.

A participant must determine which are which according to taste.

En deltagare ska avgöra vilken som är vilken utifrån smaken.

There are 70 different ways the cups can be sorted into two groups of four,

Det finns 70 olika sätt att sortera muggarna i grupper om fyra,

and only one is correct.

och bara ett sätt är rätt.

So, can she taste the difference?

Så, kan hon känna skillnad?

That’s our research question.

Det är studiens frågeställning.

To analyze her choices, we define what’s called a null hypothesis:

För att analysera hennes val ställer vi upp en nollhypotes:

that she can’t distinguish the teas.

Att hon inte kan känna skillnad.

If she can’t distinguish the teas,

Om hon inte kan känna skillnad,

she’ll still get the right answer 1 in 70 times by chance.

kommer hon ändå att svara rätt 1 gång av 70, på ren tur.

1 in 70 is roughly .014.

1 av 70 är ungefär 0,014.

That single number is called a p-value.

Den siffran kallas p-värdet.

In many fields, a p-value of .05 or below is considered statistically significant,

Inom många områden ses ett p-värde på 0,05 eller lägre som statistiskt säkerställt,

meaning there’s enough evidence to reject the null hypothesis.

vilket innebär att det finns grund för att avfärda nollhypotesen.

Based on a p-value of .014,

Baserat på p-värdet 0,014

they’d rule out the null hypothesis that she can’t distinguish the teas.

kan de avfärda nollhypotesen att hon inte kan känna skillnad.

Though p-values are commonly used by both researchers and journals

Trots att p-värde ofta används av forskare och tidskrifter

to evaluate scientific results,

för att utvärdera vetenskapliga resultat,

they’re really confusing, even for many scientists.

så är de väldigt förvirrande, även för många vetenskapsmän.

That’s partly because all a p-value actually tells us

Det beror delvis på att det enda p-värdet egentligen säger

is the probability of getting a certain result,

är sannolikheten för att få ett visst resultat,

assuming the null hypothesis is true.

förutsatt att nollhypotesen stämmer.

So if she correctly sorts the teas,

Så om hon sorterar teerna rätt,

the p-value is the probability of her doing so

är p-värdet sannolikheten för att hon ska göra det

assuming she can’t tell the difference.

förutsatt att hon inte kan känna skillnad.

But the reverse isn’t true:

Men det omvända är inte sant:

the p-value doesn’t tell us the probability

P-värdet säger inget om sannolikheten

that she can taste the difference,

att hon kan känna skillnad, vilket är det vi försöker ta reda på.

which is what we’re trying to find out.

So if a p-value doesn’t answer the research question,

Men om p-värdet inte besvarar studiens frågeställning,

why does the scientific community use it?

varför används det inom vetenskapen?

Well, because even though a p-value doesn’t directly state the probability

Jo, även om p-värdet inte direkt anger sannolikheten

that the results are due to random chance,

för att resultaten är slumpmässiga,

it usually gives a pretty reliable indication.

så ger det oftast en ganska tillförlitlig indikation.

At least, it does when used correctly.

Åtminstone när det används på rätt sätt.

And that’s where many researchers, and even whole fields,

Och det är där många forskare, och hela forskningsområden,

have run into trouble.

har stött på problem.

Most real studies are more complex than the tea experiment.

De flesta riktiga studier är mer komplexa än te-experimentet.

Scientists can test their research question in multiple ways,

Forskare kan testa sina frågeställningar på många olika sätt,

and some of these tests might produce a statistically significant result,

och vissa av de sätten kanske ger ett statistiskt säkerställt resultat,

while others don’t.

medan andra inte gör det.

It might seem like a good idea to test every possibility.

Det kan verka som en god idé att testa alla möjligheter.

But it’s not, because with each additional test,

Men det är det inte, för med varje ytterligare test,

the chance of a false positive increases.

ökar risken för falskt positivt resultat.

Searching for a low p-value, and then presenting only that analysis,

Att söka ett lågt p-värde och sedan enbart presentera den analysen,

is often called p-hacking.

kallas ofta för p-hacking.

It’s like throwing darts until you hit a bullseye

Det är som att kasta pil tills man träffar bullseye

and then saying you only threw the dart that hit the bull’s eye.

och sedan säga att man bara kastade den pilen som träffade mitt i prick.

This is exactly what the music researchers did.

Det var precis så musikforskarna gjorde.

They played three groups of participants each a different song

De spelade olika låtar för tre deltagargrupper

and collected lots of information about them.

och samlade in massor av information om dem.

The analysis they published included only two out of the three groups.

Analysen som publicerades tog bara med två av de tre grupperna.

Of all the information they collected,

Av all insamlad information,

their analysis only used participants’ fathers’ age—

tog analysen bara med deltagarens fars ålder

to “control for variation in baseline age across participants.”

för att “kontrollera för baslinjevariationer i deltagarnas ålder.”

They also paused their experiment after every ten participants,

De pausade också experimentet efter var tionde deltagare

and continued if the p-value was above .05,

och fortsatte om p-värdet var högre än 0,05,

but stopped when it dipped below .05.

men avbröt när det var lägre.

They found that participants who heard one song were 1.5 years younger

De kunde se att de deltagare som hörde den ena låten var 1,5 år yngre

than those who heard the other song, with a p-value of .04.

än de som hörde den andra låten, med ett p-värde på 0,04.

Usually it’s much tougher to spot p-hacking,

Det är oftast mycket svårare än så att upptäcka p-hacking

because we don’t know the results are impossible:

eftersom vi inte vet att resultaten är omöjliga.

the whole point of doing experiments is to learn something new.

Hela poängen med att utföra experiment är att lära sig nya saker.

Fortunately, there’s a simple way to make p-values more reliable:

Som tur är, finns det ett enkelt sätt att göra p-värden mer tillförlitliga:

pre-registering a detailed plan for the experiment and analysis

Förregistrering av en plan för experimentet och analyserna

beforehand that others can check,

på förhand, som andra kan granska,

so researchers can’t keep trying different analyses

så att forskare inte kan byta analysmetod

until they find a significant result.

tills de får det önskade resultatet.

And, in the true spirit of scientific inquiry,

Och i den sanna, vetenskapliga utforskningens anda,

there’s even a new field that’s basically science doing science on itself:

finns det ett nytt forskningsfält där vetenskapen vetenskapar sig själv:

studying scientific practices in order to improve them.

Studier av vetenskapliga metoder i syfte att förbättra dem.