The method that can "prove" almost anything - James A. Smith

Translator: Mario Cal Reviewer: Xusto Rodriguez

In 2011, a group of researchers conducted a scientific study

En 2011, un equipo de investigadores realizou un estudo científico

to find an impossible result:

para descubrir algo imposible:

that listening to certain songs can make you younger.

que se escoitas certas cancións podes rexuvenecer.

Their study involved real people, truthfully reported data,

No estudo empregaron persoas reais, describiron datos auténticos

and commonplace statistical analyses.

e aplicaron probas estatísticas correntes.

So how did they do it?

Como fixeron entón?

The answer lies in a statistical method scientists often use

A resposta está no médodo estatístico que usan a miúdo os científicos

to try to figure out whether their results mean something or if they’re random noise.

para determinar se os seus resultados significan algo ou son só ruído aleatorio.

In fact, the whole point of the music study

En realidade, o obxectivo daquel estudo sobre a música

was to point out ways this method can be misused.

era sinalar como é posible empregar mal este método.

A famous thought experiment explains the method:

Un coñecido exercicio mental explica o método.

there are eight cups of tea,

Temos oito cuncas de té.

four with the milk added first, and four with the tea added first.

En catro botamos o leite primeiro, e en catro botamos o té primeiro.

A participant must determine which are which according to taste.

Unha participante debe descubrir cal é cal segundo o sabor.

There are 70 different ways the cups can be sorted into two groups of four,

Hai 70 formas distintas de ordenar as cuncas en dous grupos de catro,

and only one is correct.

pero só unha é correcta.

So, can she taste the difference?

Poderá notar a diferenza?

That’s our research question.

Esa é a pregunta de investigación.

To analyze her choices, we define what’s called a null hypothesis:

Para analizar as súas escollas, definimos o que se denomina hipótese nula:

that she can’t distinguish the teas.

a persoa non é quen de distinguir os tés.

If she can’t distinguish the teas,

Se non é quen de distinguilos,

she’ll still get the right answer 1 in 70 times by chance.

aínda así acertará por azar nunha de cada 70 ocasións.

1 in 70 is roughly .014.

1 de 70 é máis ou menos o 0,014.

That single number is called a p-value.

Ese número denomínase “valor p”.

In many fields, a p-value of .05 or below is considered statistically significant,

En moitos campos, un valor p de 0,05 ou inferior considérase significativo,

meaning there’s enough evidence to reject the null hypothesis.

o que quere dicir que hai probas abondas para rexeitar a hipótese nula.

Based on a p-value of .014,

Cun valor p de 0,014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

poderían desbotar a hipótese nula de que a persoa non pode distinguir os tés.

Though p-values are commonly used by both researchers and journals

Aínda que os valores p son de uso habitual entre investigadores e xornais

to evaluate scientific results,

para avaliar os resultados científicos,

they’re really confusing, even for many scientists.

son bastante confusos, mesmo para moitos científicos.

That’s partly because all a p-value actually tells us

En parte, iso é porque, en realidade, un valor p só nos di

is the probability of getting a certain result,

a probabilidade de obter certo resultado,

assuming the null hypothesis is true.

partindo de que a hipótese nula é certa.

So if she correctly sorts the teas,

Así que se ordena os tés correctamente,

the p-value is the probability of her doing so

o valor p é a probabilidade de que acertase

assuming she can’t tell the difference.

a pesar de non distinguilos.

But the reverse isn’t true:

O contrario, no entanto, non é certo:

the p-value doesn’t tell us the probability

o valor p non nos dá a probabilidade

that she can taste the difference,

de que note a diferenza no sabor,

which is what we’re trying to find out.

que é o que tratamos de descubrir.

So if a p-value doesn’t answer the research question,

Entón, se un valor p non responde a pregunta de investigación,

why does the scientific community use it?

por que o emprega a comunidade científica?

Well, because even though a p-value doesn’t directly state the probability

Pois porque aínda que un valor p non confirma directamente a probabilidade

that the results are due to random chance,

de que os resultados se deban ao azar,

it usually gives a pretty reliable indication.

é, en xeral, un indicio bastante fiable.

At least, it does when used correctly.

Polo menos, cando se usa correctamente.

And that’s where many researchers, and even whole fields,

E aí é onde moitos investigadores, mesmo disciplinas enteiras,

have run into trouble.

teñen dificultades.

Most real studies are more complex than the tea experiment.

A maioría dos estudos reais son máis complexos có experimento do té.

Scientists can test their research question in multiple ways,

Os científicos poden comprobar a súa investigación de moitas formas.

and some of these tests might produce a statistically significant result,

Algunhas desas probas darán un resultado estatisticamente significativo

while others don’t.

e outras non.

It might seem like a good idea to test every possibility.

Podería parecer boa idea comprobar todas as posibilidades.

But it’s not, because with each additional test,

Pero non o é, porque con cada proba adicional,

the chance of a false positive increases.

aumenta a probabilidade dun falso positivo.

Searching for a low p-value, and then presenting only that analysis,

Procurar un valor p baixo para logo presentar só esa análise

is often called p-hacking.

coñécese como “p-hacking”.

It’s like throwing darts until you hit a bullseye

É como lanzar dardos ata facer diana

and then saying you only threw the dart that hit the bull’s eye.

e logo dicir que só tiraches o que deu no centro.

This is exactly what the music researchers did.

Iso foi precisamente o que fixeron os do experimento da música.

They played three groups of participants each a different song

Puxéronlles cadansúa canción a tres grupos de participantes

and collected lots of information about them.

e recolleron moita información sobre cada un deles.

The analysis they published included only two out of the three groups.

Na análise que publicaron incluíron só dous dos tres grupos.

Of all the information they collected,

De toda a información recollida,

their analysis only used participants’ fathers’ age—

na análise só empregaron a idade do pai do participante,

to “control for variation in baseline age across participants.”

para “controlar a variación na idade de referencia entre participantes”.

They also paused their experiment after every ten participants,

Ademais detiñan o experimento cada dez participantes,

and continued if the p-value was above .05,

e continuaban se o valor p superaba o 0,05,

but stopped when it dipped below .05.

pero paraban cando baixaba de 0,05.

They found that participants who heard one song were 1.5 years younger

Descubriron que os que escoitaran unha das cancións eran 1,5 anos máis novos

than those who heard the other song, with a p-value of .04.

cós que escoitaran a outra, cun valor p de 0,04.

Usually it’s much tougher to spot p-hacking,

Xeralmente é moito máis difícil detectar o p-hacking,

because we don’t know the results are impossible:

porque non sabemos que os resultados son imposibles:

the whole point of doing experiments is to learn something new.

o obxectivo de experimentar é precisamente descubrir algo novo.

Fortunately, there’s a simple way to make p-values more reliable:

Por sorte, hai un modo sinxelo de facer máis fiables os valores p:

pre-registering a detailed plan for the experiment and analysis

rexistrar previamente un plan detallado do experimento e a análise,

beforehand that others can check,

de xeito que outros poidan comprobalo con antelación

so researchers can’t keep trying different analyses

e os investigadores non poidan ir probando distintas análises

until they find a significant result.

ata atopar un resultado significativo.

And, in the true spirit of scientific inquiry,

E no auténtico espírito da investigación científica,

there’s even a new field that’s basically science doing science on itself:

hai unha nova disciplina que consiste en facer ciencia sobre a propia ciencia:

studying scientific practices in order to improve them.

estudar as prácticas científicas co obxectivo de melloralas.