How statistics can be misleading - Mark Liddell

Traducteur: Jerome Bohec Relecteur: eric vautier

Statistics are persuasive.

Les statistiques sont convaincantes.

So much so that people, organizations, and whole countries

Si bien que des personnes, organisations et pays,

base some of their most important decisions on organized data.

prennent d'importantes décisions en se fondant sur ces données.

But there's a problem with that.

Mais il y a un problème.

Any set of statistics might have something lurking inside it,

Toute statistique peut cacher quelque chose,

something that can turn the results completely upside down.

qui peut complètement transformer les résultats.

For example, imagine you need to choose between two hospitals

Par exemple, imaginez que vous deviez choisir entre deux hôpitaux

for an elderly relative's surgery.

pour une opération sur une personne âgée.

Out of each hospital's last 1000 patient's,

Sur les 1000 derniers patients, de chaque hôpital,

900 survived at Hospital A,

900 ont survécu dans l'hôpital A,

while only 800 survived at Hospital B.

contre seulement 800 dans l'hôpital B.

So it looks like Hospital A is the better choice.

Il semble donc que l'hôpital A est le meilleur choix.

But before you make your decision,

Mais avant de décider,

remember that not all patients arrive at the hospital

rappelez-vous que tous les patients n'arrivent pas à l'hôpital

with the same level of health.

dans le même état de santé.

And if we divide each hospital's last 1000 patients

Et si l'on sépare les 1000 derniers patients

into those who arrived in good health and those who arrived in poor health,

entre ceux arrivés en bonne santé et ceux arrivés en mauvaise santé,

the picture starts to look very different.

la situation diffère significativement.

Hospital A had only 100 patients who arrived in poor health,

L'hôpital A ne comptait que 100 patients arrivés en mauvaise santé,

of which 30 survived.

dont 30 ont survécu.

But Hospital B had 400, and they were able to save 210.

Mais l'hôpital B en comptait 400, et 210 purent être sauvés.

So Hospital B is the better choice

Donc l'hôpital B est le meilleur choix

for patients who arrive at hospital in poor health,

pour les patients qui arrivent à l'hôpital en mauvaise santé,

with a survival rate of 52.5%.

avec un taux de survie de 52,5 %.

And what if your relative's health is good when she arrives at the hospital?

Et si la santé de votre parente est bonne quand elle arrive à l'hôpital ?

Strangely enough, Hospital B is still the better choice,

Curieusement, l'hôpital B est toujours meilleur,

with a survival rate of over 98%.

avec un taux de survie de 98%.

So how can Hospital A have a better overall survival rate

Comment l'hôpital A peut-il avoir un meilleur taux de survie global

if Hospital B has better survival rates for patients in each of the two groups?

si l'hôpital B a de meilleurs taux de survie

pour les patients en bonne et mauvaise santé ?

What we've stumbled upon is a case of Simpson's paradox,

C'est le paradoxe de Simpson !

where the same set of data can appear to show opposite trends

Un même ensemble de données peut montrer des tendances opposées,

depending on how it's grouped.

selon la façon dont elles sont regroupées.

This often occurs when aggregated data hides a conditional variable,

Lorsque des données agrégées masquent une variable conditionnelle,

sometimes known as a lurking variable,

parfois appelée variable cachée,

which is a hidden additional factor that significantly influences results.

ce facteur caché influence significativement les résultats.

Here, the hidden factor is the relative proportion of patients

Ici, le facteur caché est la proportion relative des patients

who arrive in good or poor health.

qui arrivent en bonne ou mauvaise santé.

Simpson's paradox isn't just a hypothetical scenario.

Le paradoxe de Simpson n'est pas qu'un scénario hypothétique.

It pops up from time to time in the real world,

Il apparaît dans le monde réel,

sometimes in important contexts.

parfois dans des contextes importants.

One study in the UK appeared to show

Une étude au Royaume-Uni semblait montrer

that smokers had a higher survival rate than nonsmokers

que les fumeurs avaient un taux de survie plus élevé que les non-fumeurs

over a twenty-year time period.

sur une période de vingt ans.

That is, until dividing the participants by age group

Mais répartir les participants par groupe d'âge

showed that the nonsmokers were significantly older on average,

a montré que les non-fumeurs étaient en moyenne plus âgés,

and thus, more likely to die during the trial period,

et donc, plus susceptibles de décéder durant l'étude,

precisely because they were living longer in general.

justement parce qu'ils vivaient plus longtemps en général.

Here, the age groups are the lurking variable,

Ici, les groupes d'âge sont la variable cachée,

and are vital to correctly interpret the data.

et sont essentiels pour interpréter les données.

In another example,

Dans un autre exemple,

an analysis of Florida's death penalty cases

une étude sur la peine de mort en Floride

seemed to reveal no racial disparity in sentencing

semblait ne révéler aucune disparité raciale,

between black and white defendants convicted of murder.

entre accusés noirs et blancs, reconnus coupables d'assassinat.

But dividing the cases by the race of the victim told a different story.

Mais, en répartissant selon la couleur des victimes, l'histoire était tout autre.

In either situation,

Dans les deux cas,

black defendants were more likely to be sentenced to death.

les accusés noirs étaient plus susceptibles d'être condamnés.

The slightly higher overall sentencing rate for white defendants

Le taux de condamnation légèrement supérieur pour les accusés blancs

was due to the fact that cases with white victims

était dû au fait que les cas avec des victimes blanches

were more likely to elicit a death sentence

étaient plus susceptibles d'entraîner la peine de mort

than cases where the victim was black,

que les cas où la victime était noire.

and most murders occurred between people of the same race.

Et la plupart des meurtres avaient eu lieu entre des gens de même couleur.

So how do we avoid falling for the paradox?

Alors, comment éviter de tomber dans ce paradoxe ?

Unfortunately, there's no one-size-fits-all answer.

Malheureusement, il n'y a pas de réponse unique.

Data can be grouped and divided in any number of ways,

Les données peuvent être regroupées et divisées de plein de façons,

and overall numbers may sometimes give a more accurate picture

et les chiffres globaux peuvent parfois donner une image plus précise

than data divided into misleading or arbitrary categories.

que des données divisées en catégories trompeuses ou arbitraires.

All we can do is carefully study the actual situations the statistics describe

Il faut étudier attentivement

les situations décrites par les statistiques

and consider whether lurking variables may be present.

et se demander s'il peut y avoir des variables cachées.

Otherwise, we leave ourselves vulnerable to those who would use data

Faute de quoi, nous serions vulnérables aux tentatives de manipulation

to manipulate others and promote their own agendas.

de personnes désirant utiliser ces données à des fins personnelles.