3 ways to spot a bad statistic | Mona Chalabi

Traduttore: Silvia Fornasiero Revisore: Maria Carmina Distratto

I'm going to be talking about statistics today.

Oggi parlerò di statistiche.

If that makes you immediately feel a little bit wary, that's OK,

Se questo vi fa sentire subito un po' sospettosi, va bene,

that doesn't make you some kind of crazy conspiracy theorist,

non siete una specie di pazzi terroristi della cospirazione,

it makes you skeptical.

siete scettici.

And when it comes to numbers, especially now, you should be skeptical.

Quando si tratta di numeri, specialmente adesso, dovreste essere scettici.

But you should also be able to tell which numbers are reliable

Ma dovreste essere in grado di dire quali numeri sono affidabili

and which ones aren't.

e quali non lo sono.

So today I want to try to give you some tools to be able to do that.

Oggi voglio provare a darvi degli strumenti per farlo.

But before I do,

Ma prima che lo faccia,

I just want to clarify which numbers I'm talking about here.

voglio chiarire di che numeri sto parlando qui.

I'm not talking about claims like,

Non sto parlando di affermazioni come:

"9 out of 10 women recommend this anti-aging cream."

"9 donne su 10 raccomandano questa crema anti età".

I think a lot of us always roll our eyes at numbers like that.

Penso che molti alzino gli occhi al cielo per numeri come questi.

What's different now is people are questioning statistics like,

La differenza è che ora la gente contesta statistiche del tipo:

"The US unemployment rate is five percent."

"la disoccupazione negli Stati Uniti è al 5%".

What makes this claim different is it doesn't come from a private company,

Quest'affermazione è diversa perché non viene da un gruppo privato,

it comes from the government.

viene dal governo.

About 4 out of 10 Americans distrust the economic data

Circa 4 americani su 10 non si fidano dei dati economici

that gets reported by government.

diffusi dal governo.

Among supporters of President Trump it's even higher;

Tra i sostenitori di Trump il dato è ancora più alto;

it's about 7 out of 10.

è di circa 7 su 10.

I don't need to tell anyone here

Non ho bisogno di dirvi

that there are a lot of dividing lines in our society right now,

che ci sono tante linee di divisione nella nostra società oggi

and a lot of them start to make sense,

e molte iniziano ad avere senso

once you understand people's relationships with these government numbers.

quando si capisce la relazione della gente con i numeri dati dal governo.

On the one hand, there are those who say these statistics are crucial,

Da un lato, c'è chi dice che queste statistiche sono fondamentali,

that we need them to make sense of society as a whole

che servono per avere un'idea della società nell'insieme

in order to move beyond emotional anecdotes

per andare al di là degli aneddoti emotivi

and measure progress in an [objective] way.

e misurare il progresso in maniera [oggettiva].

And then there are the others,

Poi ci sono altri,

who say that these statistics are elitist,

che dicono che le statistiche sono elitarie,

maybe even rigged;

forse persino manipolate;

they don't make sense and they don't really reflect

non hanno senso e non riflettono in realtà

what's happening in people's everyday lives.

quello che accade nella vita di ogni giorno.

It kind of feels like that second group is winning the argument right now.

Si ha la sensazione che il secondo gruppo prevalga in questo momento.

We're living in a world of alternative facts,

Viviamo in un mondo di alternative,

where people don't find statistics this kind of common ground,

dove la gente non trova un terreno comune nelle statistiche,

this starting point for debate.

un punto di partenza per discutere.

This is a problem.

Questo è un problema.

There are actually moves in the US right now

Ora negli Stati Uniti ci sono dei tentativi

to get rid of some government statistics altogether.

per liberarsi completamente di alcune statistiche del governo.

Right now there's a bill in congress about measuring racial inequality.

Adesso c'è un progetto di legge per misurare la diseguaglianza sociale.

The draft law says that government money should not be used

La bozza della legge dice che non si dovrebbero usare soldi

per raccogliere dati sulla segregazione razziale.

to collect data on racial segregation.

This is a total disaster.

Questo è un totale disastro.

If we don't have this data,

Se non abbiamo questi dati,

how can we observe discrimination,

come si può osservare la discriminazione

let alone fix it?

o combatterla?

In other words:

In altre parole:

How can a government create fair policies

come può un governo fare una politica equa

if they can't measure current levels of unfairness?

se non può misurare il livello di ingiustizia?

This isn't just about discrimination,

Non si tratta solo di discriminazione,

it's everything -- think about it.

si tratta di tutto; pensateci.

How can we legislate on health care

Come si può legiferare sulla sanità

se non ci sono dati su salute o povertà?

if we don't have good data on health or poverty?

How can we have public debate about immigration

Come si fa un dibattito pubblico sull'immigrazione

if we can't at least agree

se non si concorda almeno

on how many people are entering and leaving the country?

su quanta gente entra o esce dal paese?

Statistics come from the state; that's where they got their name.

Le statistiche vengono dallo stato; da lì prendono il loro nome.

The point was to better measure the population

Il punto era misurare meglio la popolazione

in order to better serve it.

per poterla servire meglio.

So we need these government numbers,

C'è bisogno di questi numeri ufficiali

but we also have to move beyond either blindly accepting

ma dobbiamo andare oltre la loro ceca accettazione

or blindly rejecting them.

o la loro ceca negazione.

We need to learn the skills to be able to spot bad statistics.

Dobbiamo imparare l'abilità di individuare le cattive statistiche.

I started to learn some of these

Io ho iniziato a imparare

when I was working in a statistical department

mentre lavoravo in un dipartimento di statistica

that's part of the United Nations.

che fa parte delle Nazioni Unite.

Our job was to find out how many Iraqis had been forced from their homes

Il nostro lavoro era trovare quanti iracheni erano stati cacciati di casa

as a result of the war,

a causa della guerra

and what they needed.

e di cosa avevano bisogno.

It was really important work, but it was also incredibly difficult.

Un lavoro veramente importante, ma anche estremamente difficile.

Every single day, we were making decisions

Ogni singolo giorno prendevamo decisioni

that affected the accuracy of our numbers --

che riguardavano l'accuratezza dei numeri.

decisions like which parts of the country we should go to,

Decisioni come in che parte del paese dovevamo andare,

who we should speak to,

a chi dovevamo parlare,

which questions we should ask.

che domande dovevamo fare.

And I started to feel really disillusioned with our work,

Cominciai a sentirmi demoralizzata sul nostro lavoro,

because we thought we were doing a really good job,

perché pensavamo di fare veramente un ottimo lavoro,

but the one group of people who could really tell us were the Iraqis,

ma le persone che potevano confermarcelo erano gli iracheni

and they rarely got the chance to find our analysis, let alone question it.

che non avevano l'opportunità di vedere le nostre analisi, figurarsi contestarle.

So I started to feel really determined

Cominciai a sentirmi veramente sicura

that the one way to make numbers more accurate

che il modo di rendere i numeri più precisi

is to have as many people as possible be able to question them.

è avere quanta più gente possibile capace di metterli in dubbio.

So I became a data journalist.

Così divenni una giornalista di dati

My job is finding these data sets and sharing them with the public.

e il mio lavoro è trovare dati e renderli pubblici.

Anyone can do this, you don't have to be a geek or a nerd.

Chiunque può farlo, non solo i fissati del computer, i geek o i nerd.

You can ignore those words; they're used by people

Potete ignorare quelle parole; vengono usate

trying to say they're smart while pretending they're humble.

per esprimere la propria forza fingendo di essere umili.

Absolutely anyone can do this.

Sicuramente tutti possono farlo.

I want to give you guys three questions

Voglio darvi tre domande

that will help you be able to spot some bad statistics.

che vi aiuteranno a individuare alcune cattive statistiche.

So, question number one is: Can you see uncertainty?

La domanda numero uno è: sapete vedere l'incertezza?

One of things that's really changed people's relationship with numbers,

Una delle cose che ha cambiato la relazione della gente con i numeri

and even their trust in the media,

e la sua fiducia nei media,

has been the use of political polls.

è stato l'uso dei sondaggi politici.

I personally have a lot of issues with political polls

Personalmente ho molti problemi con i sondaggi

because I think the role of journalists is actually to report the facts

perché credo che il ruolo del giornalista sia quello di riferire i fatti

and not attempt to predict them,

e non tentare di predirli,

especially when those predictions can actually damage democracy

soprattutto quando le previsioni possono danneggiare la democrazia

by signaling to people: don't bother to vote for that guy,

segnalando alla gente: è inutile votare per quel tizio,

he doesn't have a chance.

non ha nessuna chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

Ma lasciamo stare per ora e parliamo dell'accuratezza di questo tentativo.

Based on national elections in the UK, Italy, Israel

Considerando le elezioni nazionali nel Regno Unito, Italia, Israele

and of course, the most recent US presidential election,

e naturalmente le più recenti elezioni americane,

using polls to predict electoral outcomes

usare i sondaggi per predire l'esito elettorale

is about as accurate as using the moon to predict hospital admissions.

è preciso come usare la luna per predire i ricoveri ospedalieri.

No, seriously, I used actual data from an academic study to draw this.

Seriamente, ho usato i dati di uno studio universitario per questo schema.

There are a lot of reasons why polling has become so inaccurate.

Ci sono un sacco di ragioni per cui i sondaggi sono diventati così scorretti.

Our societies have become really diverse,

Le società sono diventate molto diverse,

which makes it difficult for pollsters to get a really nice representative sample

il che rende difficile per i sondaggisti ottenere un buon campione rappresentativo

of the population for their polls.

della popolazione per i sondaggi.

People are really reluctant to answer their phones to pollsters,

La gente non risponde volentieri ai sondaggi telefonici

and also, shockingly enough, people might lie.

e inoltre, incredibile, la gente può mentire.

But you wouldn't necessarily know that to look at the media.

Ma non si viene necessariamente a sapere guardando i media.

For one thing, the probability of a Hillary Clinton win

Prima cosa, le probabilità di vincita di Hillary Clinton

was communicated with decimal places.

è stata data con posizioni decimali.

We don't use decimal places to describe the temperature.

Non usiamo posizioni decimali per parlare di temperatura.

How on earth can predicting the behavior of 230 million voters in this country

Come diavolo si può predire il comportamento di 230 milioni di votanti

be that precise?

in modo così preciso?

And then there were those sleek charts.

E poi c'erano quei grafici raffinati.

See, a lot of data visualizations will overstate certainty, and it works --

Vedete, la visualizzazione dei dati spesso enfatizza la certezza, e funziona --

these charts can numb our brains to criticism.

i grafici possono rendere il nostro cervello acritico.

When you hear a statistic, you might feel skeptical.

Quando sentite una statistica, potete essere scettici.

As soon as it's buried in a chart,

Quando è nascosta in un grafico,

it feels like some kind of objective science,

ha l'aspetto di una scienza obiettiva,

and it's not.

ma non lo è.

So I was trying to find ways to better communicate this to people,

Stavo provando a trovare modi migliori per comunicarlo alla gente,

to show people the uncertainty in our numbers.

per mostrare alla gente l'incertezza dei numeri.

What I did was I started taking real data sets,

Ho iniziato a prendere dei gruppi di dati reali

and turning them into hand-drawn visualizations,

e trasformarli in visualizzazioni disegnate a mano

so that people can see how imprecise the data is;

perché la gente vedesse quanto imprecisi sono i dati;

so people can see that a human did this,

perché vedesse che li aveva fatti un umano,

a human found the data and visualized it.

li aveva trovati e visualizzati un umano.

For example, instead of finding out the probability

Per esempio, invece di trovare le probabilità

of getting the flu in any given month,

di prendere l'influenza in un dato mese,

you can see the rough distribution of flu season.

si vede l'andamento approssimativo dell'influenza stagionale.

This is --

Questo è --

(Laughter)

(Risate)

a bad shot to show in February.

un brutto colpo per Febbraio.

But it's also more responsible data visualization,

È una visualizzazione dei dati più responsabile,

because if you were to show the exact probabilities,

perché se dovessimo mostrare le esatte probabilità,

maybe that would encourage people to get their flu jabs

forse si incoraggerebbero le vaccinazioni antinfluenzali

al momento sbagliato.

at the wrong time.

The point of these shaky lines

Il punto di queste linee incerte

is so that people remember these imprecisions,

è che la gente si ricorda di queste imprecisioni,

but also so they don't necessarily walk away with a specific number,

e non se ne va necessariamente con un numero specifico,

but they can remember important facts.

ma si ricorda dei fatti importanti.

Facts like injustice and inequality leave a huge mark on our lives.

Fatti come l'ingiustizia e l'ineguaglianza lasciano enormi segni nelle nostre vite.

Facts like Black Americans and Native Americans have shorter life expectancies

Fatti come l'aspettativa di vita più breve per neri e nativi americani

than those of other races,

rispetto ad altre razze,

and that isn't changing anytime soon.

e questo non cambierà a breve.

Facts like prisoners in the US can be kept in solitary confinement cells

Fatti come la possibilità di isolare i carcerati americani in celle

that are smaller than the size of an average parking space.

più piccole dello spazio medio previsto per un parcheggio.

The point of these visualizations is also to remind people

Lo scopo di queste visualizzazioni è anche ricordare alla gente

of some really important statistical concepts,

alcuni concetti statistici importanti,

concepts like averages.

concetti come le medie.

So let's say you hear a claim like,

Per esempio, affermare:

"The average swimming pool in the US contains 6.23 fecal accidents."

"Una piscina media in America contiene 6,23 evacuazioni accidentali".

That doesn't mean every single swimming pool in the country

Non significa che ogni singola piscina del paese

contains exactly 6.23 turds.

contiene esattamente 6,23 stronzi.

So in order to show that,

Per mostrarlo,

I went back to the original data, which comes from the CDC,

sono tornata ai dati originali del Centro di Prevenzione

who surveyed 47 swimming facilities.

che ha ispezionato 47 piscine.

And I just spent one evening redistributing poop.

Ho passato una sera a redistribuire la cacca.

So you can kind of see how misleading averages can be.

Potete vedere quanto possono essere fuorvianti le medie.

(Laughter)

(Risate)

OK, so the second question that you guys should be asking yourselves

La seconda domanda che dovreste farvi

to spot bad numbers is:

per notare un brutto numero è:

Can I see myself in the data?

Io mi ritrovo in quel dato?

This question is also about averages in a way,

Questa domanda è in qualche modo legata alle medie,

because part of the reason why people are so frustrated

perché parte della ragione per cui la gente è frustrata

with these national statistics,

dalle statistiche nazionali,

is they don't really tell the story of who's winning and who's losing

è che non dicono veramente la storia di chi sta vincendo o perdendo

from national policy.

nella politica nazionale.

It's easy to understand why people are frustrated with global averages

È facile capire perché la gente è frustrata dalle medie globali

when they don't match up with their personal experiences.

quando non fanno parte delle loro esperienze personali.

I wanted to show people the way data relates to their everyday lives.

Volevo mostrare il modo in cui i dati si legano alla vita quotidiana.

I started this advice column called "Dear Mona,"

Ho iniziato questa rubrica chiamata "Cara Mona",

where people would write to me with questions and concerns

dove la gente mi scriveva con domande e preoccupazioni

e io provavo a rispondere con dei dati.

and I'd try to answer them with data.

People asked me anything.

Chiedevano di tutto,

domande tipo: "È normale dormire in letti separati con mia moglie?"

questions like, "Is it normal to sleep in a separate bed to my wife?"

"Do people regret their tattoos?"

"La gente si pente dei tatuaggi?"

"What does it mean to die of natural causes?"

"Cosa vuol dire morire per cause naturali?"

All of these questions are great, because they make you think

Tutte queste domande sono grandiose perché ti fanno pensare

about ways to find and communicate these numbers.

ai modi da trovare per comunicare questi numeri.

If someone asks you, "How much pee is a lot of pee?"

Se qualcuno vi domanda: "Quanta pipì è tanta pipì?"

which is a question that I got asked,

e questa è una domanda che mi hanno fatto,

you really want to make sure that the visualization makes sense

vorrete essere proprio sicuri che la visualizzazione abbia senso

to as many people as possible.

per più gente possibile.

These numbers aren't unavailable.

Questi numeri non sono indisponibili.

Sometimes they're just buried in the appendix of an academic study.

Alle volte sono sepolti nelle appendici di uno studio universitario.

And they're certainly not inscrutable;

Non sono certo imperscrutabili;

if you really wanted to test these numbers on urination volume,

se vuoi testare veramente questi numeri sul volume dell'urina,

you could grab a bottle and try it for yourself.

puoi prendere una bottiglia e provarci.

(Laughter)

(Risate)

The point of this isn't necessarily

Il punto è che non necessariamente

that every single data set has to relate specifically to you.

ogni singolo dato deve riferirsi specificamente a te.

I'm interested in how many women were issued fines in France

Sono interessata a quante donne sono state multate in Francia

for wearing the face veil, or the niqab,

per aver il velo sul viso o il niqab,

even if I don't live in France or wear the face veil.

anche se non vivo in Francia o indosso il velo sul viso.

The point of asking where you fit in is to get as much context as possible.

Domandarsi dove ci si colloca significa avere più contesto possibile.

So it's about zooming out from one data point,

Si tratta di allontanarsi dal singolo dato,

like the unemployment rate is five percent,

come il tasso di disoccupazione del 5%,

and seeing how it changes over time,

e vedere come cambia nel tempo,

or seeing how it changes by educational status --

o vedere come cambia in base al grado di educazione --

this is why your parents always wanted you to go to college --

per questo i genitori vogliono che andiamo all'università --

or seeing how it varies by gender.

o vedere come cambia in base al genere.

Nowadays, male unemployment rate is higher

Oggi la disoccupazione maschile è più alta

than the female unemployment rate.

di quella femminile.

Up until the early '80s, it was the other way around.

Fino ai primi anni 80 era il contrario.

This is a story of one of the biggest changes

Questa è uno dei più grandi cambiamenti

that's happened in American society,

verificatisi nella società americana

and it's all there in that chart, once you look beyond the averages.

ed è tutto in quel grafico, una volta che si guarda oltre la media.

The axes are everything;

Le assi sono tutto;

once you change the scale, you can change the story.

se cambi la scala, puoi cambiare la storia.

OK, so the third and final question that I want you guys to think about

La terza e ultima domanda alla quale voglio che pensiate

when you're looking at statistics is:

quando guardate le statistiche è:

How was the data collected?

come sono stati raccolti i dati?

So far, I've only talked about the way data is communicated,

Finora ho parlato solo di come si comunicano i dati,

but the way it's collected matters just as much.

ma come si raccolgono è altrettanto importante.

I know this is tough,

So che è difficile,

because methodologies can be opaque and actually kind of boring,

perché i metodi possono essere opachi e abbastanza noiosi,

but there are some simple steps you can take to check this.

ma ci sono dei passi semplici per verificare.

I'll use one last example here.

Uso un ultimo esempio.

One poll found that 41 percent of Muslims in this country support jihad,

Un sondaggio dice che in questo paese il 41% dei mussulmani sostiene la jihad,

which is obviously pretty scary,

il che è abbastanza allarmante,

and it was reported everywhere in 2015.

ed è stato riportato ovunque nel 2015.

When I want to check a number like that,

Quando voglio controllare un numero come quello,

I'll start off by finding the original questionnaire.

inizio trovando il questionario originale.

It turns out that journalists who reported on that statistic

Risultò che i giornalisti che riferirono la statistica

ignored a question lower down on the survey

ignorarono una domanda in basso nel questionario

that asked respondents how they defined "jihad."

che chiedeva agli intervistati di definire "jihad".

And most of them defined it as,

Molti di loro la definirono:

"Muslims' personal, peaceful struggle to be more religious."

"Lotta pacifica e personale dei musulmani per essere più religiosi".

Only 16 percent defined it as, "violent holy war against unbelievers."

Solo il 6% la definì: "violenta guerra santa contro gli infedeli".

This is the really important point:

Questo è un punto molto importante:

based on those numbers, it's totally possible

basandosi su quei numeri, è davvero possibile

that no one in the survey who defined it as violent holy war

che nessuno di quelli che l'ha definita una violenta guerra santa

also said they support it.

abbia anche detto che la appoggiano.

Those two groups might not overlap at all.

Quei due gruppi possono non coincidere.

It's also worth asking how the survey was carried out.

È bene anche chiedersi com'è stato fatto il sondaggio.

This was something called an opt-in poll,

Questo è un sondaggio chiamato opt-in,

which means anyone could have found it on the internet and completed it.

significa che chiunque lo trovi su internet può farlo.

There's no way of knowing if those people even identified as Muslim.

Non c'è modo di sapere se chi ha risposto fosse musulmano.

And finally, there were 600 respondents in that poll.

Infine, hanno risposto in 600 a quel sondaggio.

There are roughly three million Muslims in this country,

Ci sono circa 3 milioni di musulmani in questo paese,

according to Pew Research Center.

secondo il Pew Research Center.

That means the poll spoke to roughly one in every 5,000 Muslims

Significa che il sondaggio ha consultato un musulmano su 5.000

in this country.

in questo paese.

This is one of the reasons

Questa è una delle ragioni

why government statistics are often better than private statistics.

per cui le statistiche del governo sono spesso migliori di quelle dei privati.

A poll might speak to a couple hundred people, maybe a thousand,

Un sondaggio può includere 200, forse mille persone,

or if you're L'Oreal, trying to sell skin care products in 2005,

o, se sei L'Oreal che prova a vendere prodotti di bellezza nel 2005,

then you spoke to 48 women to claim that they work.

consulti 48 donne per affermare che funzionano.

(Laughter)

(Risate)

Private companies don't have a huge interest in getting the numbers right,

Le compagnie private non hanno un grande interesse nel rilevare i numeri giusti,

they just need the right numbers.

a loro bastano i numeri giusti.

Government statisticians aren't like that.

Le statistiche del governo non sono così.

In theory, at least, they're totally impartial,

Almeno in teoria, sono completamente imparziali,

not least because most of them do their jobs regardless of who's in power.

perché molti fanno il loro lavoro senza preoccuparsi di chi è al potere.

They're civil servants.

Sono impiegati statali.

And to do their jobs properly,

E per far bene il loro lavoro,

they don't just speak to a couple hundred people.

non parlano con solo duecento persone.

Those unemployment numbers I keep on referencing

I dati sulla disoccupazione a cui mi riferivo

come from the Bureau of Labor Statistics,

vengono dall'Ufficio di Statistica del Lavoro,

and to make their estimates,

e per fare le loro stime

they speak to over 140,000 businesses in this country.

parlano con più di 140.000 aziende in questo paese.

I get it, it's frustrating.

Lo so, è frustrante.

If you want to test a statistic that comes from a private company,

Se vuoi testare la statistica di una compagnia privata,

you can buy the face cream for you and a bunch of friends, test it out,

puoi comprare la crema da viso per te e un pugno di amici, provarla,

if it doesn't work, you can say the numbers were wrong.

e se non funziona, puoi dire che era sbagliata.

Ma come contesti le statistiche del governo?

But how do you question government statistics?

Continui a controllare tutto?

You just keep checking everything.

Scopri come raccolgono i numeri.

Find out how they collected the numbers.

Find out if you're seeing everything on the chart you need to see.

Scopri se sullo schema c'è tutto quello che si deve vedere.

Ma non perdere tutta la fiducia nei numeri perché, se lo fai,

But don't give up on the numbers altogether, because if you do,

prenderemo le decisioni di politica pubblica al buio,

we'll be making public policy decisions in the dark,

usando solo gli interessi privati come guida.

using nothing but private interests to guide us.

Thank you.

Grazie.

(Applause)

(Applausi)