The method that can "prove" almost anything - James A. Smith

Tradutor: Revisor: Ruy Lopes Pereira

In 2011, a group of researchers conducted a scientific study

Em 2011, um grupo de pesquisadores realizou um estudo científico

to find an impossible result:

para chegar ao resultado impossível

that listening to certain songs can make you younger.

de que ouvir certas músicas pode rejuvenescer.

Their study involved real people, truthfully reported data,

O estudo envolveu pessoas reais, dados confiáveis

and commonplace statistical analyses.

e análises estatísticas comuns.

So how did they do it?

Então como eles fizeram?

The answer lies in a statistical method scientists often use

A resposta é um método estatístico muito usado por cientistas

to try to figure out whether their results mean something or if they’re random noise.

para calcular se um resultado significa algo ou é apenas aleatório.

In fact, the whole point of the music study

Na verdade, o ponto principal do estudo sobre músicas

was to point out ways this method can be misused.

era destacar os usos equivocados desse método.

A famous thought experiment explains the method:

Um famoso experimento imaginário explica o método:

there are eight cups of tea,

vamos usar oito xícaras de chá,

four with the milk added first, and four with the tea added first.

quatro com leite adicionado primeiro e quatro com chá adicionado primeiro.

A participant must determine which are which according to taste.

Uma participante precisa determinar a ordem de acordo com o gosto.

There are 70 different ways the cups can be sorted into two groups of four,

Existem 70 formas diferentes de separar as xícaras em dois grupos de quatro,

and only one is correct.

e apenas uma está correta.

So, can she taste the difference?

Será que ela consegue perceber a diferença?

That’s our research question.

Essa é a pergunta da pesquisa.

To analyze her choices, we define what’s called a null hypothesis:

Para analisar as opções, definimos a chamada hipótese nula

that she can’t distinguish the teas.

de que ela não consegue diferenciar os chás.

If she can’t distinguish the teas,

Se ela não conseguir diferenciar os chás,

she’ll still get the right answer 1 in 70 times by chance.

ainda assim chegará à resposta certa 1 em 70 vezes, por acaso.

1 in 70 is roughly .014.

Um em 70 equivale a cerca de 0,014.

That single number is called a p-value.

Esse número é chamado de valor-p.

In many fields, a p-value of .05 or below is considered statistically significant,

Muitas vezes, um valor-p menor ou igual a 0,05 é estatisticamente considerável,

meaning there’s enough evidence to reject the null hypothesis.

o que significa que há prova suficiente para rejeitar a hipótese nula.

Based on a p-value of .014,

Com base em um valor-p de 0,014

they’d rule out the null hypothesis that she can’t distinguish the teas.

os cientistas descartaram a hipótese nula de que ela não pode diferenciar os chás.

Though p-values are commonly used by both researchers and journals

Embora valores-p sejam muito usados por pesquisadores e revistas científicas

to evaluate scientific results,

para avaliar resultados científicos,

they’re really confusing, even for many scientists.

eles são confusos até para muitos cientistas.

That’s partly because all a p-value actually tells us

Em parte porque tudo o que um valor-p representa

is the probability of getting a certain result,

é a probabilidade de se chegar a um certo resultado,

assuming the null hypothesis is true.

supondo que a hipótese nula seja verdadeira.

So if she correctly sorts the teas,

Então se ela classificar os chás corretamente

the p-value is the probability of her doing so

o valor-p é a probabilidade de que faça isso

assuming she can’t tell the difference.

sem perceber a diferença.

But the reverse isn’t true:

Mas o inverso não é verdadeiro:

the p-value doesn’t tell us the probability

o valor-p não informa a probabilidade

that she can taste the difference,

de que ela perceba a diferença,

which is what we’re trying to find out.

que é o que está se tentando descobrir.

So if a p-value doesn’t answer the research question,

Então se um valor-p não responde à pergunta da pesquisa,

why does the scientific community use it?

por que a comunidade cientifica o usa?

Well, because even though a p-value doesn’t directly state the probability

Bem, porque embora um valor-p não estabeleça diretamente a probabilidade

that the results are due to random chance,

de que os resultados sejam aleatórios,

it usually gives a pretty reliable indication.

ele costuma ser um indicador bastante confiável.

At least, it does when used correctly.

Ao menos, quando usado corretamente.

And that’s where many researchers, and even whole fields,

E é nesse ponto que muitos pesquisadores, e até campos da ciência inteiros,

have run into trouble.

esbarraram em problemas.

Most real studies are more complex than the tea experiment.

Os estudos reais costumam ser mais complexos do que o experimento do chá.

Scientists can test their research question in multiple ways,

Os cientistas conseguem testar a pergunta da pesquisa de várias formas,

and some of these tests might produce a statistically significant result,

e alguns desses testes conseguem produzir resultado estatisticamente significativo,

while others don’t.

enquanto outros não.

It might seem like a good idea to test every possibility.

Parece ser uma boa ideia testar todas as possibilidades.

But it’s not, because with each additional test,

Mas não é, porque a cada novo teste

the chance of a false positive increases.

a possibilidade de um falso positivo aumenta.

Searching for a low p-value, and then presenting only that analysis,

Buscar um valor-p baixo e só apresentar essa análise

is often called p-hacking.

costuma ser chamado de p-hacking.

It’s like throwing darts until you hit a bullseye

É como atirar dardos até acertar o alvo

and then saying you only threw the dart that hit the bull’s eye.

e depois dizer que só atirou o dardo que acertou o alvo.

This is exactly what the music researchers did.

Isso é exatamente o que os pesquisadores de músicas fizeram.

They played three groups of participants each a different song

Eles tocaram uma música diferente para cada grupo de participantes

and collected lots of information about them.

e coletaram muitas informações sobre eles.

The analysis they published included only two out of the three groups.

A análise que publicaram incluiu apenas dois dos três grupos.

Of all the information they collected,

De todas as informações coletadas

their analysis only used participants’ fathers’ age—

a análise só usou a idade dos pais dos participantes

to “control for variation in baseline age across participants.”

para “controlar a variação na idade padrão entre os participantes”.

They also paused their experiment after every ten participants,

Eles também interrompiam o experimento a cada dez participantes,

and continued if the p-value was above .05,

e continuavam caso o valor-p ficasse acima de 0,05,

but stopped when it dipped below .05.

mas encerravam quando ele era menor que 0,05.

They found that participants who heard one song were 1.5 years younger

Eles concluíram que os participantes que ouviam uma música tinham 1,5 ano a menos

than those who heard the other song, with a p-value of .04.

do que os que ouviam uma outra música, com um valor-p de 0,04.

Usually it’s much tougher to spot p-hacking,

Costuma ser mais difícil detectar p-hacking,

because we don’t know the results are impossible:

porque não sabemos que os resultados são impossíveis:

the whole point of doing experiments is to learn something new.

a ideia de realizar experimentos é aprender algo novo.

Fortunately, there’s a simple way to make p-values more reliable:

Felizmente, existe uma forma simples de tornar valores-p mais confiáveis:

pre-registering a detailed plan for the experiment and analysis

pré-registrar um plano detalhado para o experimento e a análise

beforehand that others can check,

antes para que outros possam verificar,

so researchers can’t keep trying different analyses

de modo que os pesquisadores não persistam em diferentes análises

until they find a significant result.

até encontrarem um resultado significativo.

And, in the true spirit of scientific inquiry,

E, no verdadeiro espírito da pesquisa científica,

there’s even a new field that’s basically science doing science on itself:

há até um novo campo que é basicamente a ciência investigando a si mesma:

studying scientific practices in order to improve them.

o estudo de práticas científicas para aperfeiçoá-las.