The method that can "prove" almost anything - James A. Smith

Tradutor: Ana Sofia Ferreira Revisora: Margarida Ferreira

In 2011, a group of researchers conducted a scientific study

Em 2011, um grupo de investigadores levou a cabo um estudo científico

to find an impossible result:

para descobrir um resultado impossível:

that listening to certain songs can make you younger.

ouvir determinadas músicas pode tornar-nos mais jovens.

Their study involved real people, truthfully reported data,

Este estudo incluiu pessoas reais, dados relatados honestamente

and commonplace statistical analyses.

e análises estatísticas comuns.

So how did they do it?

Como é que o fizeram?

The answer lies in a statistical method scientists often use

A resposta reside num método estatístico que os cientistas usam frequentemente

to try to figure out whether their results mean something or if they’re random noise.

para tentar descobrir se os resultados significam algo ou são ruído aleatório.

In fact, the whole point of the music study

De facto, o grande objetivo do estudo da música

was to point out ways this method can be misused.

era apontar formas como este método pode ser mal utilizado.

A famous thought experiment explains the method:

Um famoso exercício mental explica o método:

there are eight cups of tea,

há oito copos de chá,

four with the milk added first, and four with the tea added first.

quatro onde se adicionou primeiro o leite e quatro onde se adicionou primeiro o chá.

A participant must determine which are which according to taste.

Um participante tem de os distinguir pelo sabor.

There are 70 different ways the cups can be sorted into two groups of four,

Há 70 formas diferentes de organizar os copos em dois grupos de 4

and only one is correct.

e só uma está certa.

So, can she taste the difference?

Será que ela consegue sentir a diferença?

That’s our research question.

É a nossa pergunta de pesquisa.

To analyze her choices, we define what’s called a null hypothesis:

Para analisar as escolhas dela, definimos o que se chama uma hipótese nula:

that she can’t distinguish the teas.

que ela não consegue distinguir os chás.

If she can’t distinguish the teas,

Mesmo que ela não consiga distinguir os chás,

she’ll still get the right answer 1 in 70 times by chance.

continua a poder acertar a resposta 1 em 70 vezes por acaso.

1 in 70 is roughly .014.

1 em 70 é aproximadamente 0,014.

That single number is called a p-value.

Esse número chama-se o valor-p.

In many fields, a p-value of .05 or below is considered statistically significant,

Em muitas áreas, um valor-p de 0,05 ou menos

é considerado estaticamente significativo,

meaning there’s enough evidence to reject the null hypothesis.

o que significa que há indícios suficientes

para rejeitar a hipótese nula.

Based on a p-value of .014,

Com base num valor-p de 0,014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

eliminaram a hipótese nula de ela não conseguir distinguir os chás.

Though p-values are commonly used by both researchers and journals

Embora os valores-p sejam geralmente usados tanto por cientistas como revistas

to evaluate scientific results,

para avaliar resultados científicos,

they’re really confusing, even for many scientists.

são muito confusos, até para muitos cientistas.

That’s partly because all a p-value actually tells us

Isto deve-se parcialmente ao facto de um valor-p na verdade só nos dizer

is the probability of getting a certain result,

a probabilidade de obter um determinado resultado:

assuming the null hypothesis is true.

assumir que a hipótese nula é verdadeira.

So if she correctly sorts the teas,

Então, se ela organizar corretamente os chás,

the p-value is the probability of her doing so

o valor-p é a probabilidade de ela o fazer,

assuming she can’t tell the difference.

assumindo que ela os consegue distinguir.

But the reverse isn’t true:

Mas o contrário não é verdade:

the p-value doesn’t tell us the probability

o valor-p não nos diz a probabilidade de ela conseguir sentir a diferença,

that she can taste the difference,

which is what we’re trying to find out.

que é o que estamos a tentar descobrir.

So if a p-value doesn’t answer the research question,

Então se um valor-p não responde à pergunta de pesquisa,

why does the scientific community use it?

porque é que a comunidade científica o usa?

Well, because even though a p-value doesn’t directly state the probability

Bem, porque embora um valor-p não indique diretamente

a probabilidade de os resultados se deverem a mero acaso,

that the results are due to random chance,

it usually gives a pretty reliable indication.

geralmente dá uma indicação bastante fiável.

At least, it does when used correctly.

Pelo menos quando é usado corretamente.

And that’s where many researchers, and even whole fields,

E é aqui que muitos cientistas, e até áreas inteiras,

have run into trouble.

se deparam com problemas.

Most real studies are more complex than the tea experiment.

A maioria dos estudos reais são mais complexos que a experiência do chá.

Scientists can test their research question in multiple ways,

Os cientistas podem testar a pergunta de pesquisa de várias formas,

and some of these tests might produce a statistically significant result,

e alguns desses testes podem originar resultados estatisticamente significativos

while others don’t.

enquanto outros não.

It might seem like a good idea to test every possibility.

Pode parecer uma boa ideia testar todas as possibilidades.

But it’s not, because with each additional test,

Mas não é, porque a cada teste adicional

the chance of a false positive increases.

aumenta a possibilidade de um falso positivo.

Searching for a low p-value, and then presenting only that analysis,

Procurar um valor-p baixo e depois apresentar só essa análise

is often called p-hacking.

é geralmente chamado um ”p-hacking”.

It’s like throwing darts until you hit a bullseye

É como atirar dardos até acertar no alvo

and then saying you only threw the dart that hit the bull’s eye.

e depois dizer que só atirámos o dardo que acertou no alvo.

This is exactly what the music researchers did.

Foi precisamente isto que os investigadores da música fizeram.

They played three groups of participants each a different song

Tocaram uma música diferente em três grupos de participantes

and collected lots of information about them.

e recolheram muita informação sobre eles.

The analysis they published included only two out of the three groups.

A análise que publicaram incluiu apenas dois desses três grupos.

Of all the information they collected,

De todas as informações que recolheram,

their analysis only used participants’ fathers’ age—

a análise deles só usou a idade dos pais dos participantes

to “control for variation in baseline age across participants.”

para “controlar a variação na idade de base entre os participantes.”

They also paused their experiment after every ten participants,

Também fizeram uma pausa na experiência a cada dez participantes

and continued if the p-value was above .05,

e continuaram se o valor-p fosse acima de 0,05,

but stopped when it dipped below .05.

mas paravam quando caía para menos de 0.05.

They found that participants who heard one song were 1.5 years younger

Descobriram que os participantes que ouviram uma música

eram um ano e meio mais novos que os que ouviram a outra,

than those who heard the other song, with a p-value of .04.

com um valor-p de 0,04.

Usually it’s much tougher to spot p-hacking,

Geralmente, é muito mais difícil detetar uma manipulação,

because we don’t know the results are impossible:

porque não sabemos que os resultados são impossíveis:

the whole point of doing experiments is to learn something new.

o principal objetivo de fazer experiências é aprender algo novo.

Fortunately, there’s a simple way to make p-values more reliable:

Felizmente, há uma forma simples de tornar os valores-p mais fiáveis:

pre-registering a detailed plan for the experiment and analysis

pré-registar um plano detalhado da experiência e análise de antemão

beforehand that others can check,

que os outros possam confirmar,

so researchers can’t keep trying different analyses

de modo que os investigadores não possam tentar análises diferentes

until they find a significant result.

até encontrarem um resultado significativo.

And, in the true spirit of scientific inquiry,

E, no verdadeiro espírito da investigação científica,

there’s even a new field that’s basically science doing science on itself:

até há uma nova área que é basicamente a ciência a fazer ciência sobre si mesma:

studying scientific practices in order to improve them.

estudar práticas científicas para as melhorar.