3 ways to spot a bad statistic | Mona Chalabi

Traducteur: py carre Relecteur: Morgane Quilfen

I'm going to be talking about statistics today.

Aujourd'hui, je vais vous parler de statistiques.

If that makes you immediately feel a little bit wary, that's OK,

Si cela vous rend tout de suite méfiant, c'est bien,

that doesn't make you some kind of crazy conspiracy theorist,

ça ne fait pas de vous une sorte de fou conspirationniste,

it makes you skeptical.

mais quelqu'un de sceptique.

And when it comes to numbers, especially now, you should be skeptical.

Et en matière de chiffres, surtout maintenant, vous devriez être sceptique.

But you should also be able to tell which numbers are reliable

Mais vous devez aussi pouvoir distinguer les chiffres fiables

and which ones aren't.

et ceux qui ne le sont pas.

So today I want to try to give you some tools to be able to do that.

Donc, je veux essayer de vous donner quelques outils pour le faire.

But before I do,

Mais avant de commencer,

I just want to clarify which numbers I'm talking about here.

je veux préciser les chiffres dont je parle ici.

I'm not talking about claims like,

Pas d'affirmations comme :

"9 out of 10 women recommend this anti-aging cream."

« 90% des femmes conseillent cette crème anti-âge ».

I think a lot of us always roll our eyes at numbers like that.

On est nombreux à lever les yeux au ciel avec ces chiffres.

What's different now is people are questioning statistics like,

La nouveauté, c'est que les gens doutent de statistiques comme :

"The US unemployment rate is five percent."

« Le taux de chômage américain est de 5% ».

What makes this claim different is it doesn't come from a private company,

Cette affirmation est différente, elle ne vient pas d'une société privée,

it comes from the government.

elle vient du gouvernement.

About 4 out of 10 Americans distrust the economic data

4 Américains sur 10 ne font pas confiance aux données économiques

that gets reported by government.

fournies par le gouvernement.

Among supporters of President Trump it's even higher;

Pour les partisans du président Trump, c'est même plus,

it's about 7 out of 10.

ils sont à peu près 7 sur 10.

I don't need to tell anyone here

Je n'ai pas besoin de vous le dire,

that there are a lot of dividing lines in our society right now,

il y a de nombreuses divisions dans notre société actuelle

and a lot of them start to make sense,

et elles commencent à prendre sens

once you understand people's relationships with these government numbers.

quand on comprend les rapports des gens à ces données gouvernementales.

On the one hand, there are those who say these statistics are crucial,

D'un côté, il y a ceux qui disent qu'elles sont essentielles

that we need them to make sense of society as a whole

pour appréhender la société dans son ensemble,

in order to move beyond emotional anecdotes

pour dépasser les anecdotes émouvantes

and measure progress in an [objective] way.

et mesurer le progrès de façon subjective.

And then there are the others,

Et il y a les autres

who say that these statistics are elitist,

qui disent ces statistiques élitistes,

maybe even rigged;

peut-être trafiquées ;

they don't make sense and they don't really reflect

elles n'ont pas de sens et ne montrent pas vraiment

what's happening in people's everyday lives.

ce qui arrive dans la vie quotidienne des gens.

It kind of feels like that second group is winning the argument right now.

Il semblerait que ce second groupe gagne dans le débat aujourd'hui.

We're living in a world of alternative facts,

Nous vivons entourés de faits alternatifs,

where people don't find statistics this kind of common ground,

où l'on ne trouve pas dans les chiffres un terrain d'entente,

this starting point for debate.

ce point de départ du débat.

This is a problem.

C'est un problème.

There are actually moves in the US right now

Il y a de vrais mouvements aux États-Unis

to get rid of some government statistics altogether.

pour se passer entièrement des statistiques gouvernementales.

Right now there's a bill in congress about measuring racial inequality.

Une loi est présentée au Congrès sur la mesure des inégalités raciales.

The draft law says that government money should not be used

Pour le projet de loi, l'argent public ne saurait servir

to collect data on racial segregation.

à collecter des données sur ce sujet.

This is a total disaster.

C'est une véritable catastrophe.

If we don't have this data,

Si nous n'avons pas ces données,

how can we observe discrimination,

comment observer la discrimination

let alone fix it?

et a fortiori la réduire ?

In other words:

En d'autres mots :

How can a government create fair policies

comment créer des politiques équitables

if they can't measure current levels of unfairness?

sans mesurer les niveaux d'injustice actuels ?

This isn't just about discrimination,

Ce n'est pas que la discrimination,

it's everything -- think about it.

ça touche tout -- pensez-y.

How can we legislate on health care

Comment légiférer sur la santé

if we don't have good data on health or poverty?

sans données précises sur la santé, la pauvreté ?

How can we have public debate about immigration

Comment mener un débat sur l'immigration

if we can't at least agree

sans s'accorder au moins

on how many people are entering and leaving the country?

sur le nombre de gens entrant et sortant du pays ?

Statistics come from the state; that's where they got their name.

Les statistiques viennent de l'État ; c'est leur étymologie.

The point was to better measure the population

Le but en était de mieux mesurer la population

in order to better serve it.

pour mieux la servir.

So we need these government numbers,

Il nous faut ces chiffres publics,

but we also have to move beyond either blindly accepting

il nous faut aussi dépasser leur acceptation aveugle

or blindly rejecting them.

ou leur rejet aveugle.

We need to learn the skills to be able to spot bad statistics.

Nous devons apprendre à détecter les mauvaises statistiques.

I started to learn some of these

J'ai appris cela

when I was working in a statistical department

en travaillant dans un service statistique

that's part of the United Nations.

des Nations-Unies.

Our job was to find out how many Iraqis had been forced from their homes

Notre boulot : savoir combien d'Irakiens avaient dû fuir leurs domiciles

as a result of the war,

du fait de la guerre,

and what they needed.

connaître leurs besoins.

It was really important work, but it was also incredibly difficult.

C'était un travail important, mais aussi incroyablement difficile.

Every single day, we were making decisions

Chaque jour, nous prenions des décisions

that affected the accuracy of our numbers --

affectant la précision de nos chiffres --

decisions like which parts of the country we should go to,

des décisions comme les régions du pays où nous rendre,

who we should speak to,

nos interlocuteurs,

which questions we should ask.

les questions à poser.

And I started to feel really disillusioned with our work,

J'ai commencé à être vraiment déçue par notre travail

because we thought we were doing a really good job,

parce que nous faisions un vraiment bon boulot,

but the one group of people who could really tell us were the Iraqis,

mais les seules personnes pouvant nous le dire étaient les Irakiens.

and they rarely got the chance to find our analysis, let alone question it.

Ils trouvaient rarement nos analyses, les critiquaient encore moins.

So I started to feel really determined

Je me sentais donc vraiment convaincue

that the one way to make numbers more accurate

qu'un moyen de rendre ces chiffres plus fiables

is to have as many people as possible be able to question them.

est de permettre au plus grand nombre possible de les critiquer.

So I became a data journalist.

Journaliste de données,

My job is finding these data sets and sharing them with the public.

mon travail consiste à trouver ces données et à les partager avec le public.

Anyone can do this, you don't have to be a geek or a nerd.

Tout le monde peut le faire, sans être un geek ou un binoclard.

You can ignore those words; they're used by people

Ignorez ces mots : ils sont utilisés par des gens

trying to say they're smart while pretending they're humble.

tentant de dire leur intelligence en prétendant être humbles.

Absolutely anyone can do this.

Tout le monde peut le faire.

I want to give you guys three questions

Je vais vous présenter trois questions

that will help you be able to spot some bad statistics.

qui vont vous aider à repérer quelques mauvaises statistiques.

So, question number one is: Can you see uncertainty?

Donc, la question numéro un est : pouvez-vous voir une incertitude ?

One of things that's really changed people's relationship with numbers,

Une des choses ayant vraiment modifié la relation des gens aux nombres,

and even their trust in the media,

leur confiance dans les médias,

has been the use of political polls.

a été l'utilisation des sondages politiques.

I personally have a lot of issues with political polls

J'ai des problèmes avec les sondages politiques

because I think the role of journalists is actually to report the facts

parce que le rôle des journalistes est de rapporter des faits,

and not attempt to predict them,

pas d'essayer de les prédire,

especially when those predictions can actually damage democracy

surtout quand ces prédictions peuvent endommager la démocratie

by signaling to people: don't bother to vote for that guy,

en disant : ne vous embêtez pas à voter pour ce type,

he doesn't have a chance.

il n'a aucune chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

Laissons ce point pour l'instant, parlons de la justesse de cette activité.

Based on national elections in the UK, Italy, Israel

En se basant sur les élections nationales au Royaume Uni, en Italie, en Israël

and of course, the most recent US presidential election,

et bien sûr, les récentes présidentielles américaines,

using polls to predict electoral outcomes

prévoir les résultats par des sondages

is about as accurate as using the moon to predict hospital admissions.

est aussi utile que d'interroger la lune pour prédire les admissions à l'hôpital.

No, seriously, I used actual data from an academic study to draw this.

Sérieusement, j'ai utilisé les données d'une étude universitaire pour faire ça.

There are a lot of reasons why polling has become so inaccurate.

Les sondages sont devenus si inexacts pour de nombreuses raisons.

Our societies have become really diverse,

Nos sociétés sont devenues diverses,

which makes it difficult for pollsters to get a really nice representative sample

cela rend difficile pour les sondeurs d'obtenir d'un échantillon représentatif

of the population for their polls.

de la population.

People are really reluctant to answer their phones to pollsters,

Les gens sont vraiment réticents à répondre aux sondeurs

and also, shockingly enough, people might lie.

et fait choquant : ils peuvent mentir.

But you wouldn't necessarily know that to look at the media.

Mais vous ne le sauriez pas forcément en suivant les médias.

For one thing, the probability of a Hillary Clinton win

D'une part, la probabilité d'une victoire de Clinton

was communicated with decimal places.

a été présentée à la décimale près.

We don't use decimal places to describe the temperature.

On n'utilise pas les décimales pour les températures.

How on earth can predicting the behavior of 230 million voters in this country

Comment prédire le comportement de 230 millions d'électeurs dans ce pays

be that precise?

avec cette précision ?

And then there were those sleek charts.

Et il y avait aussi ces beaux graphiques.

See, a lot of data visualizations will overstate certainty, and it works --

Beaucoup de visualisations des données surestiment la certitude et ça marche --

these charts can numb our brains to criticism.

ces graphiques peuvent engourdir notre esprit critique.

When you hear a statistic, you might feel skeptical.

En entendant un chiffre, vous devez être sceptique.

As soon as it's buried in a chart,

Traduit dans un graphique,

it feels like some kind of objective science,

il semble être une science objective

and it's not.

et il ne l'est pas.

So I was trying to find ways to better communicate this to people,

Je cherchais des moyens pour mieux communiquer ça aux gens,

to show people the uncertainty in our numbers.

leur montrer l'incertitude des chiffres.

What I did was I started taking real data sets,

J'ai commencé par prendre de vraies données,

and turning them into hand-drawn visualizations,

à les transcrire en graphiques dessinés à la main,

so that people can see how imprecise the data is;

pour que les gens voient l'imprécision des données ;

so people can see that a human did this,

pour qu'ils voient qu'un humain a fait ça,

a human found the data and visualized it.

qu'il a trouvé et présenté des données.

For example, instead of finding out the probability

Par exemple, plutôt que de trouver la probabilité

of getting the flu in any given month,

d'attraper la grippe pour chaque mois donné,

you can see the rough distribution of flu season.

vous voyiez la distribution des saisons de la grippe.

This is --

C'est --

(Laughter)

(Rires)

a bad shot to show in February.

à ne pas présenter en février.

But it's also more responsible data visualization,

C'est aussi une présentation plus responsable,

because if you were to show the exact probabilities,

parce que si l'on montrait les probabilités exactes,

maybe that would encourage people to get their flu jabs

cela encouragerait peut-être les gens à se vacciner au mauvais moment.

at the wrong time.

The point of these shaky lines

Le but de ces lignes tremblantes

is so that people remember these imprecisions,

est que les gens se souviennent de ces imprécisions,

but also so they don't necessarily walk away with a specific number,

mais aussi qu'ils ne retiennent pas un chiffre spécifique,

but they can remember important facts.

qu'ils retiennent les faits importants.

Facts like injustice and inequality leave a huge mark on our lives.

Que l'injustice et les inégalités marquent fortement notre vie.

Facts like Black Americans and Native Americans have shorter life expectancies

Des faits comme l'espérance de vie réduite des Afro-Américains et des Indiens

than those of other races,

par rapport aux autres races

and that isn't changing anytime soon.

et que ce n'est pas près de changer.

Facts like prisoners in the US can be kept in solitary confinement cells

Qu'aux États-Unis les prisonniers peuvent être dans des cellules de confinement

that are smaller than the size of an average parking space.

plus petites que la taille moyenne d'un emplacement de parking.

The point of these visualizations is also to remind people

Le but de ces visualisations est aussi de rappeler aux gens

of some really important statistical concepts,

quelques principes statistiques importants,

concepts like averages.

des concepts comme les moyennes.

So let's say you hear a claim like,

Disons que vous entendiez :

"The average swimming pool in the US contains 6.23 fecal accidents."

« La piscine moyenne aux États-Unis contient 6,23 accidents fécaux. »

That doesn't mean every single swimming pool in the country

Ça ne veut pas dire que chaque piscine dans le pays

contains exactly 6.23 turds.

contient exactement 6,23 crottes.

So in order to show that,

Donc, pour le montrer,

I went back to the original data, which comes from the CDC,

je suis revenue aux données originales, fournies par le CDC,

who surveyed 47 swimming facilities.

qui a étudié 47 piscines.

And I just spent one evening redistributing poop.

J'ai passé une soirée à redistribuer les crottes.

So you can kind of see how misleading averages can be.

que vous voyiez combien les moyennes sont trompeuses.

(Laughter)

(Rires)

OK, so the second question that you guys should be asking yourselves

Bien, donc la seconde question que vous devez vous poser

to spot bad numbers is:

pour les mauvais chiffres :

Can I see myself in the data?

puis-je me retrouver dans ces données ?

This question is also about averages in a way,

Cette question est aussi en relation avec les moyennes,

because part of the reason why people are so frustrated

la frustration des gens face à ces statistiques nationales

with these national statistics,

vient en partie du fait

is they don't really tell the story of who's winning and who's losing

qu'elles ne disent pas vraiment qui gagne et qui perd

from national policy.

avec ces politiques.

It's easy to understand why people are frustrated with global averages

Il est facile de comprendre pourquoi les moyennes les frustrent

when they don't match up with their personal experiences.

si elles ne collent pas à leur expérience personnelle.

I wanted to show people the way data relates to their everyday lives.

Je voulais montrer comment les données sont liées à leur vie.

I started this advice column called "Dear Mona,"

J'ai commencé cette chronique « Chère Mona, »

where people would write to me with questions and concerns

dans laquelle ils me posent des questions, des craintes

and I'd try to answer them with data.

et je réponds avec des données.

People asked me anything.

On me demande tout :

questions like, "Is it normal to sleep in a separate bed to my wife?"

« Est-il normal de dormir dans un lit séparé de ma femme ? »,

"Do people regret their tattoos?"

« Regrette-t-on les tatouages ? »,

"What does it mean to die of natural causes?"

« Qu'est-ce que mourir de cause naturelle ? »

All of these questions are great, because they make you think

Toutes ces questions sont bonnes, parce qu'elles font penser

about ways to find and communicate these numbers.

au moyen de trouver et communiquer ces chiffres.

If someone asks you, "How much pee is a lot of pee?"

Pour « Quel volume d'urine fait beaucoup d'urine ? »

which is a question that I got asked,

une question que l'on m'a posée,

you really want to make sure that the visualization makes sense

vous voulez vraiment être sûr que la visualisation ait du sens

to as many people as possible.

pour le plus grand nombre de gens.

These numbers aren't unavailable.

Ces chiffres sont disponibles.

Sometimes they're just buried in the appendix of an academic study.

Ils sont parfois enterrés dans les annexes d'une étude universitaire.

And they're certainly not inscrutable;

Et ne sont pas impénétrables ;

if you really wanted to test these numbers on urination volume,

pour vraiment tester ces chiffres sur les volumes d'urine,

you could grab a bottle and try it for yourself.

vous prenez une bouteille et essayez vous-même.

(Laughter)

(Rires)

The point of this isn't necessarily

Le but n'est pas nécessairement

that every single data set has to relate specifically to you.

que chaque groupe de données ait un lien précis avec vous.

I'm interested in how many women were issued fines in France

Je m'intéresse au nombre de femmes verbalisées en France

for wearing the face veil, or the niqab,

pour le port du voile, ou du niqab,

even if I don't live in France or wear the face veil.

même sans vivre en France, sans porter de voile.

The point of asking where you fit in is to get as much context as possible.

En déterminant sa place, le but est d'avoir le plus de contexte possible.

So it's about zooming out from one data point,

C'est de s'éloigner d'un point de données,

like the unemployment rate is five percent,

comme le taux de chômage de 5%,

and seeing how it changes over time,

de voir son évolution dans le temps

or seeing how it changes by educational status --

ou de voir son évolution selon les niveaux d'études --

this is why your parents always wanted you to go to college --

ce pourquoi on a toujours insisté pour que vous alliez à la fac--

or seeing how it varies by gender.

ou de voir comment il varie avec le genre.

Nowadays, male unemployment rate is higher

Le taux de chômage des hommes est plus élevé

than the female unemployment rate.

que celui des femmes.

Up until the early '80s, it was the other way around.

Jusqu'au début des années 80, c'était le contraire.

This is a story of one of the biggest changes

C'est un des plus grands changements

that's happened in American society,

dans la société américaine,

and it's all there in that chart, once you look beyond the averages.

elle est dans ce graphique, une fois que vous dépassez les moyennes.

The axes are everything;

Les axes sont tout ;

once you change the scale, you can change the story.

en changeant l'échelle, vous pouvez changer le sens.

OK, so the third and final question that I want you guys to think about

La troisième et dernière question à laquelle je veux que vous pensiez

when you're looking at statistics is:

en regardant des statistiques est :

How was the data collected?

comment sont collectées les données ?

So far, I've only talked about the way data is communicated,

Jusqu'ici, je n'ai parlé que de leur communication,

but the way it's collected matters just as much.

la question de la collecte est aussi importante.

I know this is tough,

Je sais que c'est dur,

because methodologies can be opaque and actually kind of boring,

les méthodologies peuvent être opaques et vraiment ennuyeuses,

but there are some simple steps you can take to check this.

mais il y a quelques étapes simples que vous pouvez suivre.

I'll use one last example here.

J'utiliserai ici un dernier exemple.

One poll found that 41 percent of Muslims in this country support jihad,

Un sondage a trouvé que 41% des musulmans de ce pays soutiennent le djihad,

which is obviously pretty scary,

ce qui est assez effrayant

and it was reported everywhere in 2015.

et il a été repris partout en 2015.

When I want to check a number like that,

Quand je veux vérifier un tel chiffre,

I'll start off by finding the original questionnaire.

je commence par trouver le questionnaire original.

It turns out that journalists who reported on that statistic

Il se trouve que les journalistes ayant présenté ce chiffre

ignored a question lower down on the survey

ont ignoré un item en aval dans le questionnaire

that asked respondents how they defined "jihad."

demandant aux sondés leur définition du « djihad ».

And most of them defined it as,

La majorité parmi eux l'a défini comme :

"Muslims' personal, peaceful struggle to be more religious."

« La lutte pacifique personnelle des musulmans pour être plus religieux. »

Only 16 percent defined it as, "violent holy war against unbelievers."

Seuls 16% ont parlé d' « une guerre sainte violente contre les incroyants ».

This is the really important point:

C'est le point vraiment important :

based on those numbers, it's totally possible

avec ces chiffres, il est très possible

that no one in the survey who defined it as violent holy war

qu'aucun sondé l'ayant défini comme une guerre sainte violente

also said they support it.

ait aussi dit l'encourager.

Those two groups might not overlap at all.

Ces deux groupes peuvent être différents.

It's also worth asking how the survey was carried out.

Il est bon de se demander comment l'étude a été menée.

This was something called an opt-in poll,

C'est un sondage à consentement préalable,

which means anyone could have found it on the internet and completed it.

ce qui veut dire que chacun pouvait le trouver sur Internet, y répondre.

There's no way of knowing if those people even identified as Muslim.

On ne peut pas savoir si les sondés s'identifient comme musulmans.

And finally, there were 600 respondents in that poll.

Finalement, il y a eu 600 répondants pour ce sondage.

There are roughly three million Muslims in this country,

Il y a près de 3 millions de musulmans dans ce pays,

according to Pew Research Center.

selon le Pew Research Center.

That means the poll spoke to roughly one in every 5,000 Muslims

Ce sondage parlait d'à peu près un musulman sur 5 000

in this country.

dans ce pays.

This is one of the reasons

C'est l'une des raisons pour lesquelles

why government statistics are often better than private statistics.

les statistiques publiques sont souvent meilleures que les privées.

A poll might speak to a couple hundred people, maybe a thousand,

Un sondage peut interroger quelques centaines ou mille personnes

or if you're L'Oreal, trying to sell skin care products in 2005,

ou si vous êtes Loréal, tentant de vendre des produits de beauté,

then you spoke to 48 women to claim that they work.

vous prenez 48 femmes pour affirmer que ça marche.

(Laughter)

(Rires)

Private companies don't have a huge interest in getting the numbers right,

Les entreprises privées n'ont pas intérêt à obtenir des chiffres fiables,

they just need the right numbers.

il leur faut des bons chiffres.

Government statisticians aren't like that.

Les statisticiens publics sont différents.

In theory, at least, they're totally impartial,

En théorie au moins, ils sont totalement impartiaux,

not least because most of them do their jobs regardless of who's in power.

ne fût-ce parce qu'ils font leur boulot indépendamment du pouvoir.

They're civil servants.

Ils sont fonctionnaires.

And to do their jobs properly,

Pour bien faire leur travail,

they don't just speak to a couple hundred people.

ils n'interrogent pas 200 personnes.

Those unemployment numbers I keep on referencing

Ces chiffres de l'emploi que j'utilise

come from the Bureau of Labor Statistics,

viennent du Bureau of Labors Statistics,

and to make their estimates,

et pour leurs estimations,

they speak to over 140,000 businesses in this country.

ils interrogent plus de 140 000 entreprises dans le pays.

I get it, it's frustrating.

Je le sais, c'est frustrant.

If you want to test a statistic that comes from a private company,

Pour tester une statistique fournie par une entreprise privée,

you can buy the face cream for you and a bunch of friends, test it out,

vous pouvez acheter la crème, pour vous et quelques amies, la tester,

if it doesn't work, you can say the numbers were wrong.

si ça ne va pas, vous saurez : les chiffres sont faux.

But how do you question government statistics?

Comment douter des statistiques publiques ?

You just keep checking everything.

En continuant à tout vérifier,

Find out how they collected the numbers.

à interroger la collecte des données,

Find out if you're seeing everything on the chart you need to see.

à voir si tout ce dont vous avez besoin est bien dans le graphique.

But don't give up on the numbers altogether, because if you do,

Mais n'oubliez pas les chiffres, parce que si vous le faites,

we'll be making public policy decisions in the dark,

nos décisions politiques seront prises dans le noir,

using nothing but private interests to guide us.

avec les seuls intérêts privés comme guides.

Thank you.

Merci.

(Applause)

(Applaudissements)