The method that can "prove" almost anything - James A. Smith

Traducteur: Eva Marxer Relecteur: eric vautier

In 2011, a group of researchers conducted a scientific study

En 2011, un groupe de chercheurs a réalité une étude scientifique

to find an impossible result:

pour trouver un résultat impossible :

that listening to certain songs can make you younger.

écouter certaines chansons peut vous rajeunir.

Their study involved real people, truthfully reported data,

Leur étude incluait des vraies personnes, des données véridiques,

and commonplace statistical analyses.

et des analyses statistiques banales.

So how did they do it?

Comment ont-ils fait ?

The answer lies in a statistical method scientists often use

La réponse repose dans une méthode statistique

que les scientifiques utilisent souvent

to try to figure out whether their results mean something or if they’re random noise.

pour tenter de savoir si leurs résultats sont pertinents ou aléatoires.

In fact, the whole point of the music study

En fait, l’idée derrière l’étude de la musique

was to point out ways this method can be misused.

était de montrer les manières dont cette méthode pouvait être mal utilisée.

A famous thought experiment explains the method:

Une célèbre expérimentation explique cette méthode :

there are eight cups of tea,

il y a huit tasses de thé,

four with the milk added first, and four with the tea added first.

quatre avec du lait mis en premier, et quatre avec le thé mis en premier.

A participant must determine which are which according to taste.

Une participante doit déterminer au goût lesquelles sont lesquelles.

There are 70 different ways the cups can be sorted into two groups of four,

Il y a 70 moyens différents de trier les tasses en deux groupes de quatre,

and only one is correct.

et seule une est correcte.

So, can she taste the difference?

Donc, peut-elle sentir la différence ?

That’s our research question.

C’est notre question de recherche.

To analyze her choices, we define what’s called a null hypothesis:

Pour analyser ses choix, nous définissons ce qu’on appelle une hypothèse zéro :

that she can’t distinguish the teas.

elle ne peut pas distinguer les thés.

If she can’t distinguish the teas,

Si elle ne peut pas distinguer les thés,

she’ll still get the right answer 1 in 70 times by chance.

il y a quand même 1 chance sur 70 qu’elle ait la bonne réponse.

1 in 70 is roughly .014.

1 sur 70 signifie 0,014.

That single number is called a p-value.

Ce chiffre est appelé une valeur p.

In many fields, a p-value of .05 or below is considered statistically significant,

Dans plein de domaines, une valeur p de 0,05 ou moins

est considérée comme statistiquement significative,

meaning there’s enough evidence to reject the null hypothesis.

ce qui signifie qu’il y a assez de preuves pour rejeter l’hypothèse zéro.

Based on a p-value of .014,

En se basant sur une valeur p de 0,014,

they’d rule out the null hypothesis that she can’t distinguish the teas.

ils ont écarté l’hypothèse zéro qu’elle ne peut pas distinguer les thés.

Though p-values are commonly used by both researchers and journals

Bien que les valeurs p soient communément utilisées

par les chercheurs et les journalistes pour évaluer les résultats scientifiques,

to evaluate scientific results,

they’re really confusing, even for many scientists.

elles sont très déroutantes même pour de nombreux scientifiques.

That’s partly because all a p-value actually tells us

C’est aussi partiellement parce que tout ce qu’une valeur p nous dit vraiment,

is the probability of getting a certain result,

c’est la probabilité d’avoir un certain résultat,

assuming the null hypothesis is true.

en partant du principe que l’hypothèse zéro est vraie.

So if she correctly sorts the teas,

Donc si elle trie correctement les thés,

the p-value is the probability of her doing so

la valeur p est la probabilité qu’elle le fasse

assuming she can’t tell the difference.

en partant du principe qu’elle ne peut pas faire la différence.

But the reverse isn’t true:

Mais l’inverse n’est pas vrai :

the p-value doesn’t tell us the probability

la valeur p ne nous dit pas la probabilité

qu’elle puisse sentir la différence -

that she can taste the difference,

which is what we’re trying to find out.

qui est ce que nous essayons de trouver.

So if a p-value doesn’t answer the research question,

Donc si une valeur p ne répond pas à la question de recherche,

why does the scientific community use it?

pourquoi la communauté scientifique l’utilise ?

Well, because even though a p-value doesn’t directly state the probability

Eh bien, même si une valeur p ne donne pas directement la probabilité

that the results are due to random chance,

que les résultats soient dus à un choix aléatoire,

it usually gives a pretty reliable indication.

elle donne généralement une indication plutôt fiable.

Au moins, elle le fait quand elle est correctement utilisée.

At least, it does when used correctly.

And that’s where many researchers, and even whole fields,

Et c’est là que beaucoup de chercheurs, et même des domaines entiers,

have run into trouble.

ont eu des problèmes.

Most real studies are more complex than the tea experiment.

La plupart des études sont plus complexes que l’expérience des thés.

Les scientifiques peuvent tester leur question de recherche de bien des manières

Scientists can test their research question in multiple ways,

and some of these tests might produce a statistically significant result,

et certains de ces tests peuvent produire un résultat statistiquement significatif,

while others don’t.

tandis que d’autres non.

It might seem like a good idea to test every possibility.

Cela peut sembler être une bonne idée de tester toutes les possibilités.

But it’s not, because with each additional test,

Mais ça ne l’est pas car avec chaque nouveau test,

the chance of a false positive increases.

la chance d’obtenir un faux positif augmente.

Searching for a low p-value, and then presenting only that analysis,

Chercher une valeur p basse et présenter ensuite seulement cette analyse,

is often called p-hacking.

est souvent appelé piratage p.

C’est comme jeter des fléchettes jusqu’à atteindre le centre

It’s like throwing darts until you hit a bullseye

and then saying you only threw the dart that hit the bull’s eye.

et dire ensuite que vous assez seulement jeté la fléchette qui l’a atteint.

This is exactly what the music researchers did.

C’est exactement ce que les chercheurs de la musique ont fait.

They played three groups of participants each a different song

Ils ont fait écouté une musique différente à trois groupes de participants

and collected lots of information about them.

et ont collecté beaucoup d’informations sur ces derniers.

The analysis they published included only two out of the three groups.

L’analyse publiée comprenait seulement deux des trois groupes.

Of all the information they collected,

De toutes les informations qu’ils avaient collectées,

their analysis only used participants’ fathers’ age—

leur analyse utilisait seulement l’âge des pères des participants --

to “control for variation in baseline age across participants.”

pour « contrôler la variation de l’âge de référence entre les participants ».

They also paused their experiment after every ten participants,

Ils ont aussi suspendu leur expérience tous les dix participants,

and continued if the p-value was above .05,

et ont continué si la valeur p était au-dessus de 0,05,

but stopped when it dipped below .05.

mais ont arrêté quand elle est passée dessous.

They found that participants who heard one song were 1.5 years younger

Ils ont trouvé que les participants qui écoutaient une musique

étaient un an et demi plus jeunes

than those who heard the other song, with a p-value of .04.

que ceux qui écoutaient l’autre musique avec une valeur p de 0,04.

Usually it’s much tougher to spot p-hacking,

Souvent c’est plus dur de déceler le piratage p,

because we don’t know the results are impossible:

car nous ne savons pas que les résultats sont impossibles :

the whole point of doing experiments is to learn something new.

le but de faire des expérimentations est d’apprendre quelque chose de nouveau.

Fortunately, there’s a simple way to make p-values more reliable:

Heureusement, il y a une manière simple de rendre les valeurs p plus fiables :

pre-registering a detailed plan for the experiment and analysis

préenregistrer d’avance un plan détaillé pour l’expérimentation et les analyses,

beforehand that others can check,

que les autres peuvent vérifier,

afin que les chercheurs ne puissent continuer à tenter différentes analyses

so researchers can’t keep trying different analyses

until they find a significant result.

jusqu’à trouver un résultat significatif.

And, in the true spirit of scientific inquiry,

Et, dans le vrai esprit de l’enquête scientifique,

there’s even a new field that’s basically science doing science on itself:

il existe même un nouveau domaine qui est la science

faisant de la science sur elle-même :

studying scientific practices in order to improve them.

étudier les pratiques scientifiques afin de les améliorer.