3 ways to spot a bad statistic | Mona Chalabi

Tradutor: Flavia Gutmann Revisor: Wanderley Jesus

I'm going to be talking about statistics today.

Hoje vou falar de estatísticas.

If that makes you immediately feel a little bit wary, that's OK,

E se você já estiver se sentindo com o pé atrás, tudo bem,

that doesn't make you some kind of crazy conspiracy theorist,

isto não faz de você um maluco conspirador,

it makes you skeptical.

mas sim um cético.

And when it comes to numbers, especially now, you should be skeptical.

E quando o assunto é números, principalmente agora, seja cético.

But you should also be able to tell which numbers are reliable

Mas você precisa saber diferenciar números confiáveis

and which ones aren't.

de números não confiáveis.

So today I want to try to give you some tools to be able to do that.

Então hoje vou tentar dar a vocês ferramentas para fazer isso.

But before I do,

Mas antes disso, quero esclarecer sobre quais números estou falando aqui.

I just want to clarify which numbers I'm talking about here.

I'm not talking about claims like,

Não estou falando de dados como

"9 out of 10 women recommend this anti-aging cream."

"nove entre dez mulheres recomendam cremes anti-idade".

I think a lot of us always roll our eyes at numbers like that.

Acho que muitos de nós já sabem disso.

What's different now is people are questioning statistics like,

A diferença é que hoje as pessoas questionam estatísticas como:

"The US unemployment rate is five percent."

"A taxa de desemprego nos EUA é de 5%".

What makes this claim different is it doesn't come from a private company,

Este dado é diferente porque ele não vem de uma empresa privada,

it comes from the government.

mas sim do governo.

About 4 out of 10 Americans distrust the economic data

Cerca de quatro entre dez americanos não confiam nos dados econômicos

that gets reported by government.

fornecidos pelo governo.

Among supporters of President Trump it's even higher;

Entre os apoiadores do presidente Trump, esse número é ainda maior:

it's about 7 out of 10.

cerca de sete entre dez.

I don't need to tell anyone here

Não preciso lembrar vocês

that there are a lot of dividing lines in our society right now,

que temos muitas linhas divisórias em nossa sociedade hoje,

and a lot of them start to make sense,

e muitas delas começam a fazer sentido,

once you understand people's relationships with these government numbers.

quando se entende o relacionamento das pessoas com os números do governo.

On the one hand, there are those who say these statistics are crucial,

Por um lado, há aqueles que dizem que as estatísticas são cruciais,

that we need them to make sense of society as a whole

e que precisamos delas para entender a sociedade como um todo,

in order to move beyond emotional anecdotes

a fim de deixar de lado questões emocionais

and measure progress in an [objective] way.

e medir o progresso de forma objetiva.

And then there are the others,

E há outros que dizem que as estatísticas são elitistas, talvez até manipuladas;

who say that these statistics are elitist,

maybe even rigged;

they don't make sense and they don't really reflect

que elas não fazem sentido e realmente não mostram

what's happening in people's everyday lives.

o que está acontecendo no dia a dia das pessoas.

It kind of feels like that second group is winning the argument right now.

E parece que este último grupo está vencendo a discussão.

We're living in a world of alternative facts,

Vivemos em um mundo de fatos alternativos,

where people don't find statistics this kind of common ground,

onde não há um consenso sobre as estatísticas

this starting point for debate.

serem um ponto de partida para os debates.

This is a problem.

Isso é um problema.

There are actually moves in the US right now

Há na verdade movimentos nos Estados Unidos

to get rid of some government statistics altogether.

para acabar de vez com as estatísticas do governo.

Right now there's a bill in congress about measuring racial inequality.

Tramita no Congresso um projeto de lei sobre medição de desigualdades raciais.

The draft law says that government money should not be used

Esse projeto defende que recursos do governo

não sejam usados para coletar dados sobre segregação racial.

to collect data on racial segregation.

This is a total disaster.

Isso é um desastre total.

If we don't have this data,

Sem esses dados,

how can we observe discrimination,

como poderemos identificar discriminações, e até corrigi-las?

let alone fix it?

In other words:

Em outras palavras, como um governo pode criar políticas justas,

How can a government create fair policies

if they can't measure current levels of unfairness?

se não consegue medir os atuais níveis de injustiça?

This isn't just about discrimination,

Não se trata apenas de discriminação, é sobre tudo, pensem bem.

it's everything -- think about it.

Como podemos legislar na área da saúde,

How can we legislate on health care

se não temos bons dados sobre saúde ou pobreza?

if we don't have good data on health or poverty?

Como podemos debater publicamente sobre imigração,

How can we have public debate about immigration

if we can't at least agree

se não concordamos nem sobre o número de pessoas que entram e saem do país?

on how many people are entering and leaving the country?

Statistics come from the state; that's where they got their name.

As estatísticas vêm do governo, é daí que o nome se originou.

The point was to better measure the population

O propósito era medir melhor a população, para poder servi-la melhor.

in order to better serve it.

Então, precisamos dos números do governo,

So we need these government numbers,

but we also have to move beyond either blindly accepting

mas também temos que ir além de simplesmente aceitá-los ou rejeitá-los.

or blindly rejecting them.

We need to learn the skills to be able to spot bad statistics.

Precisamos aprender as técnicas para identificar estatísticas ruins.

I started to learn some of these

Comecei a aprender algumas delas,

when I was working in a statistical department

quando trabalhei em um departamento de estatística das Nações Unidas.

that's part of the United Nations.

Our job was to find out how many Iraqis had been forced from their homes

Nosso trabalho era descobrir quantos iraquianos

foram expulsos de seus lares devido à guerra, e do que eles precisavam.

as a result of the war,

and what they needed.

Era um trabalho muito importante, mas também incrivelmente difícil.

It was really important work, but it was also incredibly difficult.

Every single day, we were making decisions

Todos os dias tomávamos decisões

that affected the accuracy of our numbers --

que afetavam a exatidão dos nossos números;

decisions like which parts of the country we should go to,

decisões como para que parte do país deveríamos ir,

who we should speak to,

com quem deveríamos falar, que perguntas deveríamos fazer.

which questions we should ask.

And I started to feel really disillusioned with our work,

E comecei a ficar bem desiludida com o nosso trabalho,

because we thought we were doing a really good job,

pois achávamos que estávamos fazendo um bom trabalho,

but the one group of people who could really tell us were the Iraqis,

mas os únicos que poderiam realmente nos dizer isso eram os iraquianos,

and they rarely got the chance to find our analysis, let alone question it.

e eles raramente tinham a chance de ver nossas análises, e sequer questioná-las.

So I started to feel really determined

Então eu decidi que o único modo de ter números mais precisos,

that the one way to make numbers more accurate

is to have as many people as possible be able to question them.

é ter o maior número de pessoas questionando esses números.

So I became a data journalist.

Então me tornei uma jornalista de dados.

My job is finding these data sets and sharing them with the public.

Meu trabalho é encontrar esses grupos de dados e partilhá-los com o público.

Anyone can do this, you don't have to be a geek or a nerd.

Qualquer um pode fazer isso, não precisa ser "geek" ou "nerd".

You can ignore those words; they're used by people

Ignorem essas palavras, usadas por pessoas

trying to say they're smart while pretending they're humble.

que tentam passar por espertas enquanto fingem ser humildes.

Qualquer um pode fazer isso.

Absolutely anyone can do this.

I want to give you guys three questions

Vou fazer três perguntas que vão ajudá-los a identificar estatísticas ruins.

that will help you be able to spot some bad statistics.

So, question number one is: Can you see uncertainty?

A primeira pergunta é: você consegue identificar a incerteza?

One of things that's really changed people's relationship with numbers,

Uma das coisas que realmente mudou a relação das pessoas com os números

and even their trust in the media,

e até a confiança na mídia, tem sido o uso de pesquisas de intenção de voto.

has been the use of political polls.

I personally have a lot of issues with political polls

Eu pessoalmente tenho alguns problemas com essa pesquisas,

because I think the role of journalists is actually to report the facts

pois o papel dos jornalistas, na verdade,

é reportar os fatos e não tentar prevê-los,

and not attempt to predict them,

especially when those predictions can actually damage democracy

especialmente quando essas previsões podem prejudicar a democracia

by signaling to people: don't bother to vote for that guy,

ao sinalizar às pessoas:

nem votem naquele candidato, ele não tem a menor chance.

he doesn't have a chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

Vamos deixar isso de lado agora e falar sobre a exatidão dessas pesquisas.

Based on national elections in the UK, Italy, Israel

Baseando-se nas eleições nacionais no Reino Unido, Itália, Israel

and of course, the most recent US presidential election,

e, é claro, a mais recente eleição presidencial americana,

using polls to predict electoral outcomes

usar pesquisas para prever o resultado das eleições

is about as accurate as using the moon to predict hospital admissions.

é tão preciso como usar a Lua para prever hospitalizações.

No, seriously, I used actual data from an academic study to draw this.

É sério, eu usei dados reais de estudos acadêmicos para concluir isso.

There are a lot of reasons why polling has become so inaccurate.

Há muitas razões para as pesquisas eleitorais terem ficado tão imprecisas.

Our societies have become really diverse,

Nossas sociedades tornaram-se bastante diversas,

which makes it difficult for pollsters to get a really nice representative sample

o que torna difícil aos pesquisadores conseguirem uma amostra representativa

of the population for their polls.

da população para suas pesquisas.

People are really reluctant to answer their phones to pollsters,

As pessoas estão hesitando em responder pesquisas por telefone,

and also, shockingly enough, people might lie.

e também, o que surpreende, as pessoas podem mentir.

But you wouldn't necessarily know that to look at the media.

Mas você não precisa saber disso para olhar os dados.

For one thing, the probability of a Hillary Clinton win

Uma das razões é que a probabilidade da Hillary Clinton vencer

was communicated with decimal places.

foi divulgada em casas decimais.

We don't use decimal places to describe the temperature.

Não usamos casas decimais para mostrar a temperatura.

How on earth can predicting the behavior of 230 million voters in this country

Como o comportamento de 230 milhões de eleitores neste país

be that precise?

poderia ser previsto de forma tão precisa?

And then there were those sleek charts.

E havia também aqueles gráficos sofisticados.

See, a lot of data visualizations will overstate certainty, and it works --

Muitos gráficos vão exagerar a certeza, e isso funciona.

these charts can numb our brains to criticism.

Esses gráficos podem entorpecer nosso julgamento.

When you hear a statistic, you might feel skeptical.

Ao ouvir uma estatística, você pode se sentir cético.

As soon as it's buried in a chart,

E assim que elas aparecem num gráfico, assumem uma áurea de ciência objetiva,

it feels like some kind of objective science,

and it's not.

e na verdade não são.

So I was trying to find ways to better communicate this to people,

Então, estava buscando formas de explicar isso às pessoas,

to show people the uncertainty in our numbers.

mostrar-lhes a incerteza nos nossos números.

What I did was I started taking real data sets,

O que fiz foi pegar conjuntos reais de dados,

and turning them into hand-drawn visualizations,

e transformá-los em visualizações manuais,

so that people can see how imprecise the data is;

para que as pessoas consigam ver como esses dados são imprecisos,

so people can see that a human did this,

para que as pessoas vejam que alguém fez isso,

a human found the data and visualized it.

obteve os dados e fez os gráficos.

For example, instead of finding out the probability

Se em vez de descobrir a probabilidade de ficar gripado em um determinado mês,

of getting the flu in any given month,

you can see the rough distribution of flu season.

você visse a incidência aproximada de casos de gripe na época de alta.

This is --

(Laughter)

Melhor não...

a bad shot to show in February.

(Risos)

...mostrar em fevereiro.

But it's also more responsible data visualization,

Mas é também uma visualização mais responsável dos dados,

because if you were to show the exact probabilities,

pois se você mostrasse as probabilidades exatas,

maybe that would encourage people to get their flu jabs

talvez encorajasse as pessoas a se vacinarem contra a gripe

no momento errado.

at the wrong time.

The point of these shaky lines

Ressalto essas linhas duvidosas

is so that people remember these imprecisions,

para que as pessoas se lembrem dessas imprecisões,

but also so they don't necessarily walk away with a specific number,

mas também para que elas não descartem simplesmente um número qualquer,

but they can remember important facts.

e sim se lembrem dos fatos importantes.

Facts like injustice and inequality leave a huge mark on our lives.

Fatos como injustiça e desigualdade deixam marcas profundas em nossas vidas.

Facts like Black Americans and Native Americans have shorter life expectancies

Fatos como o de americanos negros e nativos terem expectativa de vida menor

than those of other races,

que as outras raças, e que isso não deve mudar no curto prazo.

and that isn't changing anytime soon.

Facts like prisoners in the US can be kept in solitary confinement cells

Fatos como o de prisioneiros nos EUA poderem ser mantidos em celas solitárias

that are smaller than the size of an average parking space.

menores que o espaço de uma vaga de estacionamento de carro.

The point of these visualizations is also to remind people

O sentido dessas visualizações é para lembrar às pessoas

of some really important statistical concepts,

alguns conceitos estatísticos muito importantes,

concepts like averages.

conceitos como médias.

So let's say you hear a claim like,

Digamos que você ouve uma alegação como:

"The average swimming pool in the US contains 6.23 fecal accidents."

"Em média uma piscina nos EUA contém 6,23 acidentes fecais".

That doesn't mean every single swimming pool in the country

Isso não significa que cada piscina no país

contains exactly 6.23 turds.

contenha exatamente 6,23 cocôs.

So in order to show that,

Para mostrar isso, voltei aos dados originais, que vieram

I went back to the original data, which comes from the CDC,

do Controle e Prevenção de Doenças, que pesquisou 47 locais com piscina.

who surveyed 47 swimming facilities.

And I just spent one evening redistributing poop.

E fiquei apenas uma tarde redistribuindo o cocô.

So you can kind of see how misleading averages can be.

Já deu para ver como as médias podem enganar.

(Laughter)

(Risos)

OK, so the second question that you guys should be asking yourselves

Certo, então a segunda questão que vocês devem se perguntar

to spot bad numbers is:

para identificar números ruins é:

Can I see myself in the data?

posso me ver neste dado?

This question is also about averages in a way,

Essa questão também é, de certa forma, sobre médias,

because part of the reason why people are so frustrated

pois em parte as pessoas estão tão frustradas

with these national statistics,

com as estatísticas nacionais,

porque elas realmente não dizem quem está ganhando e quem está perdendo

is they don't really tell the story of who's winning and who's losing

from national policy.

na política nacional.

It's easy to understand why people are frustrated with global averages

É fácil entender que as pessoas se frustrem com médias globais,

quando elas não refletem suas experiências pessoais.

when they don't match up with their personal experiences.

I wanted to show people the way data relates to their everyday lives.

Eu queria mostrar às pessoas como dados se relacionam com suas vidas diárias.

I started this advice column called "Dear Mona,"

Criei a coluna de conselhos "Dear Mona",

where people would write to me with questions and concerns

onde as pessoas enviavam questões e preocupações

e eu tentaria respondê-las com dados.

and I'd try to answer them with data.

People asked me anything.

As pessoas me perguntavam qualquer coisa,

questions like, "Is it normal to sleep in a separate bed to my wife?"

questões como: "É normal eu dormir em cama separada da minha esposa?"

"Do people regret their tattoos?"

"As pessoas se arrependem das tatuagens?"

"What does it mean to die of natural causes?"

"O que significa morte por causas naturais?"

All of these questions are great, because they make you think

E todas essas perguntas são ótimas,

pois nos fazem pensar em modos de encontrar e comunicar esses números.

about ways to find and communicate these numbers.

If someone asks you, "How much pee is a lot of pee?"

Se alguém te perguntasse: "Quanto é muito xixi?",

which is a question that I got asked,

uma pergunta, aliás, que recebi,

you really want to make sure that the visualization makes sense

você ia querer que a resposta fizesse sentido

to as many people as possible.

ao maior número de pessoas possível.

These numbers aren't unavailable.

Esses números estão disponíveis.

Sometimes they're just buried in the appendix of an academic study.

Às vezes estão apenas escondidos no apêndice de um trabalho acadêmico.

And they're certainly not inscrutable;

E eles certamente não são impenetráveis.

if you really wanted to test these numbers on urination volume,

Se você quer realmente validar os números do volume de urina,

you could grab a bottle and try it for yourself.

basta pegar uma garrafa e tentar você mesmo.

(Laughter)

(Risos)

The point of this isn't necessarily

A questão é que não necessariamente

that every single data set has to relate specifically to you.

toda pesquisa vai se relacionar especificamente com você.

I'm interested in how many women were issued fines in France

Estou interessada em saber quantas mulheres foram multadas na França

for wearing the face veil, or the niqab,

por usarem burcas ou nicabes,

mesmo que eu não more na França ou use a burca.

even if I don't live in France or wear the face veil.

The point of asking where you fit in is to get as much context as possible.

A razão de perguntar como isso te afeta é entender o máximo do contexto.

So it's about zooming out from one data point,

Então trata-se de dar um close em um dado específico,

like the unemployment rate is five percent,

como a taxa de desemprego de 5%,

e ver como ela se comporta com o tempo,

and seeing how it changes over time,

or seeing how it changes by educational status --

ou como ela se modifica por status educacional;

this is why your parents always wanted you to go to college --

é por esta razão que seus pais sempre quiseram que você fosse à faculdade;

or seeing how it varies by gender.

ou ver como ela varia por gênero.

Nowadays, male unemployment rate is higher

Hoje, a taxa de desemprego dos homens é mais alta que a das mulheres.

than the female unemployment rate.

Up until the early '80s, it was the other way around.

Até o início dos anos 80, era o contrário.

This is a story of one of the biggest changes

É a história de uma das maiores mudanças na sociedade americana,

that's happened in American society,

and it's all there in that chart, once you look beyond the averages.

e está tudo lá nos gráficos, uma vez que você enxerga além das médias.

The axes are everything;

Os eixos são tudo, uma vez que você muda a escala, você muda a história.

once you change the scale, you can change the story.

OK, so the third and final question that I want you guys to think about

Certo, então a terceira e última questão em que quero que você pensem

when you're looking at statistics is:

quando estiverem olhando estatísticas é: como esses dados foram coletados?

How was the data collected?

So far, I've only talked about the way data is communicated,

Até agora só falei de como os dados são mostrados,

mas como são coletados é tão importante quanto.

but the way it's collected matters just as much.

I know this is tough,

Eu sei que isso é difícil, metodologias podem ser obscuras e até meio chatas,

because methodologies can be opaque and actually kind of boring,

mas há alguns passos bem simples para verificar isso.

but there are some simple steps you can take to check this.

I'll use one last example here.

Vou usar um último exemplo aqui.

One poll found that 41 percent of Muslims in this country support jihad,

Uma pesquisa mostrou que 41% dos muçulmanos dos EUA apoiam as "jihads",

which is obviously pretty scary,

o que é obviamente bem assustador, e foi amplamente divulgado em 2015.

and it was reported everywhere in 2015.

When I want to check a number like that,

Quando quero validar números como esses,

I'll start off by finding the original questionnaire.

começo procurando o questionário original.

It turns out that journalists who reported on that statistic

Acontece que os jornalistas que divulgaram aquela estatística,

ignored a question lower down on the survey

ignoraram uma questão mais abaixo na pesquisa,

that asked respondents how they defined "jihad."

que perguntava aos entrevistados como eles definiam "jihad".

And most of them defined it as,

E a maioria deles definiu como:

"Muslims' personal, peaceful struggle to be more religious."

"Luta pacífica e pessoal dos muçulmanos para serem mais religiosos".

Only 16 percent defined it as, "violent holy war against unbelievers."

Apenas 16% definiu "jihad" como: "guerra santa e violenta contra céticos".

This is the really important point:

Este é o ponto mais importante:

based on those numbers, it's totally possible

baseado naqueles números, é totalmente possível

that no one in the survey who defined it as violent holy war

que nenhum que definiu "jihad" como guerra santa violenta

also said they support it.

também tenha dito que a apoia.

Those two groups might not overlap at all.

Aqueles dois grupos podem não se sobrepor.

It's also worth asking how the survey was carried out.

Vale a pena perguntar também como a pesquisa foi feita.

This was something called an opt-in poll,

Essa foi um tipo de pesquisa voluntária,

which means anyone could have found it on the internet and completed it.

o que significa que estava disponível para qualquer um na internet.

Não há como saber se essas pessoas são realmente muçulmanas.

There's no way of knowing if those people even identified as Muslim.

And finally, there were 600 respondents in that poll.

E, finalmente, 600 pessoas responderam à pesquisa.

Há aproximadamente 3 milhões de muçulmanos no país,

There are roughly three million Muslims in this country,

according to Pew Research Center.

de acordo com o Pew Research Center.

That means the poll spoke to roughly one in every 5,000 Muslims

Ou seja, a pesquisa alcançou, aproximadamente,

1 em cada 5 mil muçulmanos deste país.

in this country.

This is one of the reasons

Essa é uma das razões

why government statistics are often better than private statistics.

pela qual estatísticas governamentais quase sempre são melhores que as privadas.

A poll might speak to a couple hundred people, maybe a thousand,

Uma pesquisa pode atingir centenas, talvez milhares de pessoas,

or if you're L'Oreal, trying to sell skin care products in 2005,

ou, se você é a L'Oreal, vendendo produtos de cuidados faciais em 2005,

then you spoke to 48 women to claim that they work.

falar com 48 mulheres para atestar que funcionam.

(Laughter)

(Risos)

Private companies don't have a huge interest in getting the numbers right,

Empresas privadas não têm um grande interesse em obter números corretos,

they just need the right numbers.

elas apenas precisam dos números certos.

Government statisticians aren't like that.

Estatísticos do governo não são assim.

In theory, at least, they're totally impartial,

Pelo menos em teoria, são totalmente imparciais.

not least because most of them do their jobs regardless of who's in power.

Também porque a maioria deles trabalha independentemente de quem está no poder.

They're civil servants.

Eles são funcionários públicos.

And to do their jobs properly,

E para fazer o trabalho direito,

they don't just speak to a couple hundred people.

não pesquisam apenas algumas centenas de pessoas.

Those unemployment numbers I keep on referencing

Os números de desemprego que fico citando

come from the Bureau of Labor Statistics,

vieram do Bureau of Labor Statistics,

and to make their estimates,

e para fazer essas estimativas, eles falam com mais de 140 mil empresas neste país.

they speak to over 140,000 businesses in this country.

I get it, it's frustrating.

Eu sei, é frustrante.

If you want to test a statistic that comes from a private company,

Para validar estatísticas de uma empresa privada,

você e um grupo de amigas compram o creme facial, testam,

you can buy the face cream for you and a bunch of friends, test it out,

e, se não funcionar, os números estavam errados.

if it doesn't work, you can say the numbers were wrong.

Mas como questionar as estatísticas do governo?

But how do you question government statistics?

Verifique tudo.

You just keep checking everything.

Descubra como eles coletaram os números.

Find out how they collected the numbers.

Descubra se o gráfico está mostrando tudo o que você precisa ver.

Find out if you're seeing everything on the chart you need to see.

Mas não desista totalmente dos números, porque se você desistir,

But don't give up on the numbers altogether, because if you do,

estaremos tomando decisões de políticas públicas no escuro,

we'll be making public policy decisions in the dark,

sem nada para nos guiar a não ser o interesse privado.

using nothing but private interests to guide us.

Thank you.

Obrigada.

(Aplausos)

(Applause)