The method that can "prove" almost anything - James A. Smith

Traduttore: Federica Bruno Revisore: Chiara Polesinanti

In 2011, a group of researchers conducted a scientific study

Nel 2011, un gruppo di ricercatori condusse uno studio scientifico

to find an impossible result:

per trovare un risultato impossibile:

that listening to certain songs can make you younger.

ascoltare certe canzoni rende più giovani.

Their study involved real people, truthfully reported data,

lo studio implicò persone reali, dati riportati fedelmente,

and commonplace statistical analyses.

e comuni analisi statistiche.

So how did they do it?

Allora, come lo fecero?

The answer lies in a statistical method scientists often use

La risposta sta in un metodo statistico che gli scienziati spesso usano

to try to figure out whether their results mean something or if they’re random noise.

per capire se i loro risultati sono significativi o sono solo casuali.

In fact, the whole point of the music study

Infatti, l’obiettivo dello studio sulla musica

was to point out ways this method can be misused.

era evidenziare i modi in cui tale metodo può essere usato impropriamente.

A famous thought experiment explains the method:

Un famoso esperimento mentale spiega il metodo:

there are eight cups of tea,

ci sono otto tazze di tè,

four with the milk added first, and four with the tea added first.

quattro in cui è stato messo prima il latte

e quattro in cui è stato messo prima il tè.

A participant must determine which are which according to taste.

Un partecipante deve distinguerle in base al sapore.

There are 70 different ways the cups can be sorted into two groups of four,

Si possono dividere le tazze in due gruppi di quattro in 70 modi diversi,

and only one is correct.

ma solo uno è corretto.

So, can she taste the difference?

Si può sentire la differenza? Questa è la domanda della nostra ricerca.

That’s our research question.

To analyze her choices, we define what’s called a null hypothesis:

Per analizzare le scelte, definiamo quella che si chiama ipotesi nulla:

that she can’t distinguish the teas.

non si possono distinguere i tè.

If she can’t distinguish the teas,

Anche se non si possono distinguere i tè,

she’ll still get the right answer 1 in 70 times by chance.

si otterrà comunque la risposta corretta 1 volta su 70 per caso.

1 in 70 is roughly .014.

1 su 70 è circa 0.014.

That single number is called a p-value.

Quel numero si chiama valore p.

In many fields, a p-value of .05 or below is considered statistically significant,

In molti campi, un valore p di 0.05 o inferiore

è considerato statisticamente significativo,

meaning there’s enough evidence to reject the null hypothesis.

ovvero ci sono abbastanza prove per rigettare l’ipotesi nulla.

Based on a p-value of .014,

Con un valore p di 0.014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

si escluderebbe l’ipotesi nulla che non si riesce a distinguere i tè.

Though p-values are commonly used by both researchers and journals

Anche se il valore p è comunemente usato sia dai ricercatori che dalle riviste

to evaluate scientific results,

per valutare i risultati scientifici,

they’re really confusing, even for many scientists.

il suo significato è poco chiaro, anche per molti scienziati.

That’s partly because all a p-value actually tells us

In parte perché quello che un valore p ci dice veramente

è la probabilità di ottenere un certo risultato,

is the probability of getting a certain result,

assuming the null hypothesis is true.

assumendo che l’ipotesi nulla sia vera.

So if she correctly sorts the teas,

Se si distinguono correttamente i tè,

the p-value is the probability of her doing so

il valore p è la probabilità che lo si faccia

assuming she can’t tell the difference.

assumendo che non si possa dire la differenza.

But the reverse isn’t true:

Ma non è vero il contrario:

the p-value doesn’t tell us the probability

il valore p non ci dice la probabilità

that she can taste the difference,

che si possa sentire la differenza, che è ciò che stiamo cercando di scoprire.

which is what we’re trying to find out.

So if a p-value doesn’t answer the research question,

Quindi se il valore p non risponde alla domanda della nostra ricerca,

why does the scientific community use it?

perché la comunità scientifica lo usa?

Well, because even though a p-value doesn’t directly state the probability

Perché anche se il valore p non indica direttamente la probabilità

that the results are due to random chance,

che i risultati siano dovuti alla casualità,

it usually gives a pretty reliable indication.

solitamente fornisce un’indicazione abbastanza affidabile.

At least, it does when used correctly.

O almeno lo fa quando usato correttamente.

And that’s where many researchers, and even whole fields,

E qui è dove molti ricercatori, e anche interi campi,

have run into trouble.

hanno avuto problemi.

Most real studies are more complex than the tea experiment.

Gran parte degli studi reali è più complessa dell’esperimento sul tè.

Scientists can test their research question in multiple ways,

Gli scienziati possono testare la loro domanda in molti modi

and some of these tests might produce a statistically significant result,

e alcuni di questi test possono produrre risultati statisticamente significativi,

while others don’t.

mentre altri no.

It might seem like a good idea to test every possibility.

Sembra una buona idea provare ogni possibilità

But it’s not, because with each additional test,

ma non lo è,

perché con ogni test aggiuntivo,

the chance of a false positive increases.

la possibilità di un falso positivo aumenta.

Searching for a low p-value, and then presenting only that analysis,

Cercare un valore p basso e poi presentare solo quell’analisi

is often called p-hacking.

è spesso chiamato p-hacking.

It’s like throwing darts until you hit a bullseye

È come tirare dardi fino a quando colpisci il centro

and then saying you only threw the dart that hit the bull’s eye.

e poi dire che hai tirato solo il dardo che ha colpito il centro.

This is exactly what the music researchers did.

Questo è proprio ciò che fecero con la ricerca sulla musica.

They played three groups of participants each a different song

Suonaronouna canzone diversa a ciascuno dei tre gruppi di partecipanti

and collected lots of information about them.

e raccolsero molte informazioni su di loro.

The analysis they published included only two out of the three groups.

L’analisi che pubblicarono incluse solo due dei tre gruppi.

Of all the information they collected,

Di tutte le informazioni che avevano raccolto,

their analysis only used participants’ fathers’ age—

la loro analisi incluse solo l’eta del padre del partecipante,

to “control for variation in baseline age across participants.”

per aggiustare la variazione rispetto all’età di riferimento tra i partecipanti.

They also paused their experiment after every ten participants,

Inoltre sospesero l’esperimento ogni dieci partecipanti

and continued if the p-value was above .05,

per riprenderlo poi se il valore di p era superiore a 0.05,

but stopped when it dipped below .05.

e fermarlo quando scendeva al di sotto di 0.05.

They found that participants who heard one song were 1.5 years younger

Trovarono che chi sentiva una certa canzone era più giovane di un anno e mezzo

than those who heard the other song, with a p-value of .04.

di chi sentiva un’altra canzone,

con valore p di 0.04.

Usually it’s much tougher to spot p-hacking,

Solitamente è più difficile scoprire il p-hacking,

because we don’t know the results are impossible:

perché non sappiamo che i risultati sono impossibili:

the whole point of doing experiments is to learn something new.

l’obiettivo di fare esperimenti è di imparare qualcosa di nuovo.

Fortunately, there’s a simple way to make p-values more reliable:

Fortunatamente, esiste un modo per rendere il valore p più affidabile:

pre-registering a detailed plan for the experiment and analysis

pre-registrare un piano dettagliato per l’esperimento e l’analisi

beforehand that others can check,

prima che gli altri possano controllare,

so researchers can’t keep trying different analyses

così che i ricercatori non possano continuare a provare analisi diverse

until they find a significant result.

finché non trovano un risultato significativo.

And, in the true spirit of scientific inquiry,

E nel vero spirito della ricerca scientifica,

there’s even a new field that’s basically science doing science on itself:

c’è perfino un nuovo campo

che essenzialmente è la scienza che studia sé stessa,

studying scientific practices in order to improve them.

studiando le pratiche scientifiche con lo scopo di migliorarle.