3 ways to spot a bad statistic | Mona Chalabi

Traductor: Claudia Viveros Revisor: Ciro Gomez

I'm going to be talking about statistics today.

Hoy les hablaré de estadísticas.

If that makes you immediately feel a little bit wary, that's OK,

Si eso les hace sentir recelosos de inmediato, está bien,

that doesn't make you some kind of crazy conspiracy theorist,

eso no los vuelve unos locos de teorías de conspiración,

it makes you skeptical.

los vuelve escépticos.

And when it comes to numbers, especially now, you should be skeptical.

Cuando se trata de números, en especial actualmente, deberían ser escépticos.

But you should also be able to tell which numbers are reliable

Pero también deberían poder distinguir números fiables

and which ones aren't.

de los que no lo son.

So today I want to try to give you some tools to be able to do that.

Así que hoy quiero darles herramientas para poder hacer eso.

But before I do,

Pero antes de hacerlo,

I just want to clarify which numbers I'm talking about here.

quiero aclarar sobre qué números les hablaré.

I'm not talking about claims like,

No haré aseveraciones como,

"9 out of 10 women recommend this anti-aging cream."

"9 de 10 mujeres recomiendan esta crema antiedad".

I think a lot of us always roll our eyes at numbers like that.

Creo que todos ponen los ojos en blanco con números como esos.

What's different now is people are questioning statistics like,

La gente ahora cuestiona estadísticas como,

"The US unemployment rate is five percent."

"La tasa de desempleo en EE. UU. es del 5 %".

What makes this claim different is it doesn't come from a private company,

Esta aseveración es distinta porque no proviene de una compañía privada,

it comes from the government.

proviene del gobierno.

About 4 out of 10 Americans distrust the economic data

Cerca de 4 de 10 estadounidenses desconfían de los datos económicos

that gets reported by government.

que publica el gobierno.

Among supporters of President Trump it's even higher;

El número aumenta entre los adeptos del presidente Trump,

it's about 7 out of 10.

alrededor de 7 de 10.

I don't need to tell anyone here

No necesito decirles

that there are a lot of dividing lines in our society right now,

que hay muchas líneas divisoras en nuestra sociedad actualmente,

and a lot of them start to make sense,

y muchas comienzan a cobrar sentido,

once you understand people's relationships with these government numbers.

cuando se comprende la relación entre la gente y los números del gobierno.

On the one hand, there are those who say these statistics are crucial,

Por una parte, hay quienes dicen que estas estadísticas son cruciales,

that we need them to make sense of society as a whole

y necesarias para entender la sociedad como un todo

in order to move beyond emotional anecdotes

para superar anécdotas emocionales

and measure progress in an [objective] way.

y medir el progreso de manera objetiva.

And then there are the others,

Por otra parte, hay quienes

who say that these statistics are elitist,

dicen que estas estadísticas son elitistas,

maybe even rigged;

incluso manipuladas;

they don't make sense and they don't really reflect

que no tienen sentido y que no reflejan en realidad

what's happening in people's everyday lives.

lo que ocurre en la vida cotidiana de la gente.

It kind of feels like that second group is winning the argument right now.

Pareciera que el segundo grupo va ganando la pelea hasta ahora.

We're living in a world of alternative facts,

Vivimos en un mundo de hechos alternativos

where people don't find statistics this kind of common ground,

donde la gente no se identifica con estas estadísticas,

this starting point for debate.

el punto de partida para el debate.

This is a problem.

Esto es un problema.

There are actually moves in the US right now

Hay movimientos en EE. UU. actualmente

to get rid of some government statistics altogether.

para eliminar algunas estadísticas gubernamentales.

Right now there's a bill in congress about measuring racial inequality.

Hay un proyecto de ley en el congreso para medir la inequidad racial.

The draft law says that government money should not be used

La proposición dice que el dinero del gobierno no debe usarse

to collect data on racial segregation.

para recolectar datos sobre la segregación racial.

This is a total disaster.

Es un desastre total.

If we don't have this data,

Si no obtenemos esta información,

how can we observe discrimination,

¿cómo observar la discriminación,

let alone fix it?

para solucionarla?

In other words:

En otras palabras:

How can a government create fair policies

¿Cómo creará un gobierno políticas justas

if they can't measure current levels of unfairness?

si no puede medir los actuales niveles de injusticia?

This isn't just about discrimination,

No solo se trata de discriminación,

it's everything -- think about it.

sino de todo, piénsenlo.

How can we legislate on health care

¿Cómo legislar los servicios sanitarios sin datos sobre salud o pobreza?

if we don't have good data on health or poverty?

¿Cómo tener un debate público sobre inmigración

How can we have public debate about immigration

if we can't at least agree

si no concordamos

on how many people are entering and leaving the country?

sobre cuánta gente entra y sale del país?

Statistics come from the state; that's where they got their name.

Las estadísticas provienen del estado; de allí viene su nombre.

The point was to better measure the population

El objetivo era medir mejor la población

in order to better serve it.

a fin de servirle mejor.

Así que necesitamos los números del gobierno,

So we need these government numbers,

but we also have to move beyond either blindly accepting

pero no tenemos que aceptarlos ciegamente

o rechazarlos ciegamente.

or blindly rejecting them.

We need to learn the skills to be able to spot bad statistics.

Necesitamos tener las habilidades para detectar malas estadísticas.

I started to learn some of these

Comencé a aprender de esto

when I was working in a statistical department

trabajando en un departamento de estadísticas

that's part of the United Nations.

de Naciones Unidas.

Mi trabajo era averiguar cuántos iraquíes se vieron forzados

Our job was to find out how many Iraqis had been forced from their homes

a dejar sus casas como resultado de la guerra,

as a result of the war,

and what they needed.

y qué necesitaban.

It was really important work, but it was also incredibly difficult.

Era un trabajo muy importante, pero muy difícil también.

Every single day, we were making decisions

Cada día tomábamos decisiones

that affected the accuracy of our numbers --

que afectaban la exactitud de los números,

decisions like which parts of the country we should go to,

decisiones como cuáles partes del país debíamos visitar,

who we should speak to,

con quién hablar,

which questions we should ask.

qué preguntas realizar.

And I started to feel really disillusioned with our work,

Comencé a sentirme desilusionada con nuestro trabajo,

because we thought we were doing a really good job,

porque pensábamos que hacíamos un buen trabajo

but the one group of people who could really tell us were the Iraqis,

pero los únicos que podían decírnoslo eran los iraquíes,

and they rarely got the chance to find our analysis, let alone question it.

y ellos casi nunca tenían oportunidad de ver o cuestionar nuestro análisis.

So I started to feel really determined

Así que me convencí

that the one way to make numbers more accurate

de que para obtener números exactos

is to have as many people as possible be able to question them.

se debía interrogar a cuanta gente se pudiera.

Así me convertí en periodista de datos.

So I became a data journalist.

My job is finding these data sets and sharing them with the public.

Mi trabajo es encontrar series de datos y compartirlas con el público.

Anyone can do this, you don't have to be a geek or a nerd.

Cualquiera lo puede hacer, no se necesita ser un nerdo.

You can ignore those words; they're used by people

Pueden ignorar esas palabras; la gente las usa

trying to say they're smart while pretending they're humble.

para decir que son inteligentes pretendiendo ser modestos.

En definitiva, cualquiera puede hacerlo.

Absolutely anyone can do this.

I want to give you guys three questions

Quiero darles tres preguntas

that will help you be able to spot some bad statistics.

que les ayudarán a detectar malas estadísticas.

So, question number one is: Can you see uncertainty?

Pregunta número uno, ¿Se distingue incertidumbre?

One of things that's really changed people's relationship with numbers,

Una cosa que ha cambiado la relación de la gente con los números,

and even their trust in the media,

incluso su confianza en los medios,

has been the use of political polls.

ha sido el uso de las encuestas políticas.

I personally have a lot of issues with political polls

Personalmente tengo muchos problemas con las encuestas políticas

because I think the role of journalists is actually to report the facts

porque creo que el rol de los periodistas es informar sobre hechos

and not attempt to predict them,

y no intentar predecirlos,

especially when those predictions can actually damage democracy

en especial cuando esas predicciones pueden dañar la democracia

by signaling to people: don't bother to vote for that guy,

al decirle a la gente: ni voten por ese tipo,

he doesn't have a chance.

no tiene oportunidad.

Let's set that aside for now and talk about the accuracy of this endeavor.

Dejemos eso a un lado y hablemos de la exactitud de esta tarea.

Based on national elections in the UK, Italy, Israel

Basándose en elecciones nacionales en el Reino Unido, Italia, Israel

and of course, the most recent US presidential election,

y claro, en la más reciente elección presidencial de EE. UU.,

using polls to predict electoral outcomes

usar encuestas para predecir resultados electorales

is about as accurate as using the moon to predict hospital admissions.

es tan preciso como usar la Luna para predecir admisiones hospitalarias.

No, seriously, I used actual data from an academic study to draw this.

No, en serio, usé información real de un estudio académico para sacarlo.

There are a lot of reasons why polling has become so inaccurate.

Hay muchas razones por las que las encuestas se han vuelto inexactas.

Nuestras sociedades son diversas,

Our societies have become really diverse,

lo que hace difícil a los encuestadores obtener un muestreo representativo

which makes it difficult for pollsters to get a really nice representative sample

of the population for their polls.

de la población en sus encuestas.

People are really reluctant to answer their phones to pollsters,

La gente es reacia a contestar por teléfonos encuestas,

and also, shockingly enough, people might lie.

y también, sorprendentemente, la gente miente.

But you wouldn't necessarily know that to look at the media.

Pero no se necesita saberlo para mirar los medios.

For one thing, the probability of a Hillary Clinton win

La probabilidad de que Hillary Clinton ganara

was communicated with decimal places.

se comunicó con cifras decimales.

We don't use decimal places to describe the temperature.

No usamos cifras decimales para describir la temperatura.

How on earth can predicting the behavior of 230 million voters in this country

¿Cómo es que predecir la conducta de 230 millones de votantes en este país

be that precise?

es algo tan preciso?

And then there were those sleek charts.

Y luego tenemos esas gráficas elegantes.

See, a lot of data visualizations will overstate certainty, and it works --

Muchas visualizaciones de datos exageran exactitud, y funciona;

these charts can numb our brains to criticism.

esas gráficas nos insensibilizan a la crítica.

When you hear a statistic, you might feel skeptical.

Cuando escuchan un número pueden sentirse escépticos.

As soon as it's buried in a chart,

Cuando se pone en una gráfica

it feels like some kind of objective science,

se siente como ciencia objetiva,

and it's not.

y no lo es.

So I was trying to find ways to better communicate this to people,

Así que busqué mejores maneras de comunicar esto a la gente,

to show people the uncertainty in our numbers.

de mostrarles la inexactitud en los números.

What I did was I started taking real data sets,

Comencé a tomar grupos de información real,

and turning them into hand-drawn visualizations,

y a convertirlos en visualizaciones hechas a mano,

so that people can see how imprecise the data is;

para que la gente viera cuán imprecisos son los datos;

so people can see that a human did this,

que estaban hechos por un humano,

a human found the data and visualized it.

que encontró la información y la visualizó.

For example, instead of finding out the probability

Por ejemplo, en lugar de encontrar la probabilidad

of getting the flu in any given month,

de enfermarse de gripa en algún mes,

you can see the rough distribution of flu season.

verían la distribución bruta de la temporada de gripa.

This is --

Esta es...

(Laughter)

(Risas)

a bad shot to show in February.

una mala toma mostrada en febrero.

But it's also more responsible data visualization,

Pero es una visualización de datos más responsable,

because if you were to show the exact probabilities,

porque si mostraran las probabilidades exactas

maybe that would encourage people to get their flu jabs

quizá alentaría a la gente a tomar sus vacunas

at the wrong time.

en el momento equivocado.

The point of these shaky lines

El punto de estas líneas inestables

is so that people remember these imprecisions,

es que la gente recuerda estas imprecisiones,

but also so they don't necessarily walk away with a specific number,

pero no necesariamente se quedan con un número específico,

but they can remember important facts.

pero recuerdan datos importantes.

Facts like injustice and inequality leave a huge mark on our lives.

Datos como injusticia e inequidad marcan nuestras vidas.

Facts like Black Americans and Native Americans have shorter life expectancies

Datos como que afroamericanos y nativos americanos tienen menos esperanza de vida

than those of other races,

que los de otras razas,

and that isn't changing anytime soon.

y eso no cambiará pronto.

Facts like prisoners in the US can be kept in solitary confinement cells

Datos como se puede confinar a prisioneros en EE. UU. en aislamiento

that are smaller than the size of an average parking space.

en celdas más pequeñas que un espacio de aparcamiento promedio.

The point of these visualizations is also to remind people

El punto de estas visualizaciones es también recordarle a la gente

of some really important statistical concepts,

algunos conceptos estadísticos muy importantes,

concepts like averages.

conceptos como promedios.

So let's say you hear a claim like,

Supongamos que escuchan,

"The average swimming pool in the US contains 6.23 fecal accidents."

"La piscina promedio en EE. UU. sufre de 6,23 accidentes fecales".

That doesn't mean every single swimming pool in the country

No significa que cada alberca en el país

contains exactly 6.23 turds.

tiene 6,23 mojones.

So in order to show that,

Para mostrar eso,

I went back to the original data, which comes from the CDC,

revisé la información original, provenientes de la CDC,

who surveyed 47 swimming facilities.

ellos estudiaron 47 instalaciones acuáticas.

And I just spent one evening redistributing poop.

Invertí una tarde redistribuyendo excremento.

So you can kind of see how misleading averages can be.

Para que pudieran ver cuán engañosos son los promedios.

(Laughter)

(Risas)

OK, so the second question that you guys should be asking yourselves

La segunda pregunta que se deben hacer

to spot bad numbers is:

para detectar un número erróneo:

Can I see myself in the data?

¿Me reflejo en los datos?

This question is also about averages in a way,

Esta pregunta también es acerca de los promedios,

because part of the reason why people are so frustrated

porque la gente se frustra

with these national statistics,

con las estadísticas nacionales

is they don't really tell the story of who's winning and who's losing

porque estas no dicen quién va ganando o perdiendo

from national policy.

en una política nacional.

It's easy to understand why people are frustrated with global averages

Se comprende por qué la gente se frustra con los promedios globales

when they don't match up with their personal experiences.

cuando no coinciden con sus experiencias personales.

I wanted to show people the way data relates to their everyday lives.

Quería mostrarles cómo los datos se relacionan con la vida cotidiana.

I started this advice column called "Dear Mona,"

Comencé una columna de consejos "Querida Mona,"

where people would write to me with questions and concerns

donde la gente me escribe preguntas y preocupaciones

and I'd try to answer them with data.

e intento responderles con datos.

People asked me anything.

La gente pregunta de todo,

questions like, "Is it normal to sleep in a separate bed to my wife?"

como, "¿Es normal que duerma en camas separadas con mi esposa?",

"Do people regret their tattoos?"

"¿La gente se arrepiente de tatuarse?",

"What does it mean to die of natural causes?"

"¿Qué significa morir por causas naturales?".

All of these questions are great, because they make you think

Todas las preguntas son buenas, porque te hacen pensar

about ways to find and communicate these numbers.

en maneras de encontrar y comunicar estos números.

If someone asks you, "How much pee is a lot of pee?"

Si alguien pregunta, "¿Cuánta orina es demasiada orina?",

which is a question that I got asked,

que es una pregunta que me hicieron,

you really want to make sure that the visualization makes sense

quieres asegurarte de que la visualización tenga sentido

to as many people as possible.

para tanta gente como sea posible.

These numbers aren't unavailable.

Estos números están disponibles.

Sometimes they're just buried in the appendix of an academic study.

A veces están enterrados en el apéndice de un estudio académico.

And they're certainly not inscrutable;

Y ciertamente no son inescrutables;

if you really wanted to test these numbers on urination volume,

si realmente quieren probar estos números de volumen de orina,

you could grab a bottle and try it for yourself.

podrían probarlo Uds. mismos con una botella.

(Laughter)

(Risas)

The point of this isn't necessarily

El punto de esto no es necesariamente

that every single data set has to relate specifically to you.

que cada grupo de datos se relacione con Uds.

I'm interested in how many women were issued fines in France

Me interesa cuántas mujeres recibieron multas en Francia

for wearing the face veil, or the niqab,

por usar velo facial, o el nicab,

even if I don't live in France or wear the face veil.

incluso si no vivo en Francia o no uso el velo facial.

The point of asking where you fit in is to get as much context as possible.

El punto es lograr tanto contexto como sea posible

So it's about zooming out from one data point,

Se trata de alejarse del punto de datos,

like the unemployment rate is five percent,

como la tasa de desempleo es del 5 %,

y ver cómo cambia con el tiempo,

and seeing how it changes over time,

o ver cómo cambia según el estatus educativo,

or seeing how it changes by educational status --

this is why your parents always wanted you to go to college --

--por eso sus padres siempre quisieron que fueran a la universidad--

or seeing how it varies by gender.

o ver cómo varía según el género.

Nowadays, male unemployment rate is higher

Hoy la tasa de desempleo de varones es mayor

than the female unemployment rate.

que la de las mujeres.

Up until the early '80s, it was the other way around.

Hasta principios de los ochenta, era al revés.

This is a story of one of the biggest changes

Este es uno de los mayores cambios

that's happened in American society,

en la sociedad estadounidense,

and it's all there in that chart, once you look beyond the averages.

y todo está en la gráfica, si ven más allá de los promedios.

The axes are everything;

Los ejes lo son todo;

once you change the scale, you can change the story.

si se cambia la escala, se puede cambiar la historia.

OK, so the third and final question that I want you guys to think about

La tercera y última pregunta que quiero que piensen

when you're looking at statistics is:

cuando miren una estadística es:

How was the data collected?

¿Cómo se recopiló la información?

So far, I've only talked about the way data is communicated,

Hasta ahora, solo he hablado de cómo se comunican los datos,

pero el cómo se recopilaron es igual de importante.

but the way it's collected matters just as much.

I know this is tough,

Sé que es difícil,

because methodologies can be opaque and actually kind of boring,

porque la metodología puede ser opaca y un tanto aburrida,

but there are some simple steps you can take to check this.

pero hay unos pasos sencillos para revisar esto.

I'll use one last example here.

Usaré un último ejemplo.

Una encuesta encontró que el 41 % de los musulmanes del país apoyaban la yihad,

One poll found that 41 percent of Muslims in this country support jihad,

which is obviously pretty scary,

lo cual obviamente asusta,

and it was reported everywhere in 2015.

y se reportó en todos lados en 2015.

When I want to check a number like that,

Cuando quiero revisar un número como ese,

I'll start off by finding the original questionnaire.

comenzaré por encontrar el cuestionario original.

It turns out that journalists who reported on that statistic

Resulta que los periodistas que reportaron esa estadística

ignored a question lower down on the survey

ignoraron una pregunta posterior en la encuesta

that asked respondents how they defined "jihad."

que pedía a los encuestados definir "yihad".

And most of them defined it as,

Y la mayoría lo definían como,

"Muslims' personal, peaceful struggle to be more religious."

"La lucha personal y pacífica para ser más religioso".

Only 16 percent defined it as, "violent holy war against unbelievers."

El 16 % lo definió como "guerra santa y violenta contra los no creyentes".

This is the really important point:

Este es un punto importante:

based on those numbers, it's totally possible

basándose en esos números es posible que nadie

that no one in the survey who defined it as violent holy war

en la encuesta que lo definió como guerra santa

also said they support it.

dijera que también lo apoyaba.

Those two groups might not overlap at all.

Esos dos grupos quizá no coincidan.

It's also worth asking how the survey was carried out.

También es pertinente preguntar cómo se realizó la encuesta.

This was something called an opt-in poll,

Esta fue encuesta fue de participación libre,

which means anyone could have found it on the internet and completed it.

cualquiera pudo encontrarla en internet y responderla.

There's no way of knowing if those people even identified as Muslim.

No se puede saber si esas personas se identificaban como musulmanes.

And finally, there were 600 respondents in that poll.

Finalmente, hubo 600 encuestados en esa encuesta.

Hay cerca de tres millones de musulmanes en este país,

There are roughly three million Muslims in this country,

according to Pew Research Center.

según el Centro de Investigación Pew.

That means the poll spoke to roughly one in every 5,000 Muslims

Significa que se encuestó a uno de cada 5000 musulmanes

in this country.

en este país.

This is one of the reasons

Esta es una de las tres razones por las que

why government statistics are often better than private statistics.

las estadísticas gubernamentales son mejores que las privadas.

A poll might speak to a couple hundred people, maybe a thousand,

Una encuesta puede hablar con unos cientos, o miles,

or if you're L'Oreal, trying to sell skin care products in 2005,

o como L'Oreal en 2005, para vender productos para el cuidado de la piel,

then you spoke to 48 women to claim that they work.

hablaron con 48 mujeres para decir que trabajaron.

(Laughter)

(Risas)

Private companies don't have a huge interest in getting the numbers right,

Las compañías privadas no tienen gran interés por obtener bien los números,

they just need the right numbers.

solo necesitan los números correctos.

Government statisticians aren't like that.

Los estadísticos gubernamentales no son así.

In theory, at least, they're totally impartial,

En teoría, al menos, son imparciales,

not least because most of them do their jobs regardless of who's in power.

porque la mayoría hace su trabajo sin importar quién esté en el poder.

They're civil servants.

Son servidores públicos.

And to do their jobs properly,

Y hacen su trabajo apropiadamente,

they don't just speak to a couple hundred people.

no solo hablan con un par de cientos.

Esos números de desempleo de los que he hablando

Those unemployment numbers I keep on referencing

come from the Bureau of Labor Statistics,

vienen de la administración de Estadísticas Laborales,

and to make their estimates,

y para sacar sus estimaciones,

they speak to over 140,000 businesses in this country.

hablan con cerca de 140 000 negocios en el país.

Lo comprendo, es frustrante.

I get it, it's frustrating.

Si quieren comprobar una estadística de una compañía privada,

If you want to test a statistic that comes from a private company,

compren la crema facial y pruébenla

you can buy the face cream for you and a bunch of friends, test it out,

si no funciona, pueden decir que los números se equivocan.

if it doesn't work, you can say the numbers were wrong.

Pero ¿cómo cuestionar estadísticas gubernamentales?

But how do you question government statistics?

Solo continúen revisando todo.

You just keep checking everything.

Averigüen cómo recopilaron los números.

Find out how they collected the numbers.

Find out if you're seeing everything on the chart you need to see.

Averigüen si en la estadística ven todo lo que necesitan ver.

Pero no se rindan ante los números porque si lo hacen,

But don't give up on the numbers altogether, because if you do,

estaremos tomando decisiones sobre políticas públicas ciegamente,

we'll be making public policy decisions in the dark,

usando solo intereses privados para guiarnos.

using nothing but private interests to guide us.

Thank you.

Gracias.

(Aplausos)

(Applause)