3 ways to spot a bad statistic | Mona Chalabi

Tradutor: Margarida Ferreira Revisora: Isabel Vaz Belchior

I'm going to be talking about statistics today.

Hoje vou falar de estatísticas.

If that makes you immediately feel a little bit wary, that's OK,

Se isso vos faz sentir desconfiados, tudo bem,

that doesn't make you some kind of crazy conspiracy theorist,

isso não quer dizer que sejam um louco conspirador.

it makes you skeptical.

mas apenas que são céticos.

And when it comes to numbers, especially now, you should be skeptical.

Quando se trata de números, sobretudo agora, devemos ser céticos.

But you should also be able to tell which numbers are reliable

Mas também temos que poder dizer quais os números fiáveis

and which ones aren't.

e quais os que não são.

So today I want to try to give you some tools to be able to do that.

Hoje vou tentar dar-vos ferramentas para o poderem fazer.

But before I do,

Mas, antes disso,

I just want to clarify which numbers I'm talking about here.

quero esclarecer quais os números de que estou a falar.

I'm not talking about claims like,

Não estou a falar de afirmações como:

"9 out of 10 women recommend this anti-aging cream."

"Nove em dez mulheres recomendam este creme antirrugas".

I think a lot of us always roll our eyes at numbers like that.

Penso que muita gente revira os olhos a números destes.

What's different now is people are questioning statistics like,

Mas a diferença, é que as pessoas questionam estatísticas como:

"The US unemployment rate is five percent."

"A taxa de desemprego nos EUA é de 5%".

What makes this claim different is it doesn't come from a private company,

Esta afirmação é diferente porque não provém de uma empresa privada,

it comes from the government.

provém do governo.

About 4 out of 10 Americans distrust the economic data

Cerca de quatro em dez americanos não confiam nos dados económicos

that gets reported by government.

que são publicados pelo governo.

Among supporters of President Trump it's even higher;

Para os apoiantes do Presidente Trump ainda são mais altos: sete em cada dez.

it's about 7 out of 10.

I don't need to tell anyone here

Não preciso de dizer a ninguém aqui

that there are a lot of dividing lines in our society right now,

que há muitas linhas de divisão, neste momento, na nossa sociedade

and a lot of them start to make sense,

e começam a fazer sentido,

once you understand people's relationships with these government numbers.

quando percebemos as relações das pessoas com estes números do governo.

On the one hand, there are those who say these statistics are crucial,

Por um lado, há quem diga que estas estatísticas são fundamentais,

that we need them to make sense of society as a whole

para apreciar a nossa sociedade, no seu todo,

in order to move beyond emotional anecdotes

para ultrapassar as historietas emotivas

and measure progress in an [objective] way.

e medir o progresso duma forma objetiva.

And then there are the others,

Depois, há os outros,

who say that these statistics are elitist,

que dizem que estas estatísticas são elitistas,

maybe even rigged;

até talvez manipuladas;

they don't make sense and they don't really reflect

não fazem sentido e não refletem necessariamente

what's happening in people's everyday lives.

o que acontece na vida quotidiana das pessoas.

It kind of feels like that second group is winning the argument right now.

Parece que este segundo grupo está neste momento a ganhar terreno.

We're living in a world of alternative facts,

Vivemos num mundo de factos alternativos,

where people don't find statistics this kind of common ground,

em que as estatísticas não são uma base de entendimento,

this starting point for debate.

um ponto de partida para debate.

This is a problem.

Isso é um problema.

There are actually moves in the US right now

Há hoje um movimento de direita dos EUA

to get rid of some government statistics altogether.

para nos livrarmos das estatísticas do governo.

Right now there's a bill in congress about measuring racial inequality.

Há um projeto de lei no Congresso para medir a desigualdade racial.

The draft law says that government money should not be used

Esse projeto diz que o dinheiro do governo não deve ser usado

to collect data on racial segregation.

para reunir dados sobre este tema.

This is a total disaster.

Isto é um desastre total.

If we don't have this data,

Se não tivermos esses dados,

how can we observe discrimination,

como podemos observar a discriminação, e sobretudo corrigi-la?

let alone fix it?

In other words:

Por outras palavras,

How can a government create fair policies

como criar políticas justas,

se não se puder medir os atuais níveis de injustiça?

if they can't measure current levels of unfairness?

This isn't just about discrimination,

Não se trata apenas de discriminação, trata-se de tudo — pensem nisso.

it's everything -- think about it.

How can we legislate on health care

Como legislar sobre a saúde,

if we don't have good data on health or poverty?

se não houver bons dados sobre a saúde e a pobreza?

How can we have public debate about immigration

Como fazer um debate público sobre imigração

if we can't at least agree

sem saber, pelo menos, quantas pessoas entram e saem do país?

on how many people are entering and leaving the country?

Statistics come from the state; that's where they got their name.

"Estatísticas" provêm de "estado", é daí que vem o seu nome.

The point was to better measure the population

O objetivo era medir melhor a população a fim de melhor a servir.

in order to better serve it.

So we need these government numbers,

Precisamos destes números do governo,

but we also have to move beyond either blindly accepting

mas também temos que deixar de os aceitar cegamente

or blindly rejecting them.

ou de os rejeitar cegamente,

We need to learn the skills to be able to spot bad statistics.

Temos que aprender a detetar as más estatísticas.

I started to learn some of these

Comecei a aprender algumas delas

when I was working in a statistical department

ao trabalhar num serviço de estatística

that's part of the United Nations.

que faz parte das Nações Unidas.

Our job was to find out how many Iraqis had been forced from their homes

Tínhamos que saber quantos iraquianos tinham sido forçados

as a result of the war,

a sair de casa por causa da guerra e de que precisavam.

and what they needed.

It was really important work, but it was also incredibly difficult.

Era um trabalho muito importante, mas também muito difícil.

Every single day, we were making decisions

Todos os dias, estávamos a tomar decisões

that affected the accuracy of our numbers --

que afetavam o rigor dos nossos números

decisions like which parts of the country we should go to,

— decisões como, quais as partes do país onde devíamos ir,

who we should speak to,

com quem devíamos falar, que perguntas devíamos fazer.

which questions we should ask.

And I started to feel really disillusioned with our work,

Comecei a ficar desiludida com o nosso trabalho,

because we thought we were doing a really good job,

porque estávamos a fazer um trabalho muito bom,

but the one group of people who could really tell us were the Iraqis,

mas o grupo de pessoas que nos podia dizer eram os iraquianos.

and they rarely got the chance to find our analysis, let alone question it.

Mas eles raramente viam a nossa análise, quanto mais questioná-la.

So I started to feel really determined

Sentia-me deveras convencida

that the one way to make numbers more accurate

de que os números só podiam ser mais rigorosos,

is to have as many people as possible be able to question them.

se houvesse o maior número possível de pessoas a questioná-los.

So I became a data journalist.

Passei a ser jornalista de investigação.

My job is finding these data sets and sharing them with the public.

O meu trabalho é encontrar esses dados e partilhá-los com o público.

Anyone can do this, you don't have to be a geek or a nerd.

Qualquer um pode fazer isto, não é preciso ser "geek" ou "nerd".

Ignorem estas palavras, são usadas por pessoas

You can ignore those words; they're used by people

trying to say they're smart while pretending they're humble.

que tentam passar por espertas, embora finjam ser humildes.

Absolutely anyone can do this.

Toda a gente pode fazer isto.

I want to give you guys three questions

Vou fazer-vos três perguntas

that will help you be able to spot some bad statistics.

que vos ajudarão a conseguir detetar más estatísticas.

So, question number one is: Can you see uncertainty?

Pergunta número um: Conseguem ver incerteza?

One of things that's really changed people's relationship with numbers,

Uma das coisas que mudou a relação das pessoas com os números,

and even their trust in the media,

e a sua confiança nos "media",

has been the use of political polls.

tem sido o uso das sondagens políticas,

I personally have a lot of issues with political polls

Eu tenho muitos problemas com as sondagens políticas

because I think the role of journalists is actually to report the facts

porque acho que o papel dos jornalistas é relatar os factos

and not attempt to predict them,

e não tentar prevê-los,

especially when those predictions can actually damage democracy

sobretudo quando essas previsões podem prejudicar a democracia

by signaling to people: don't bother to vote for that guy,

dizendo às pessoas: não votem neste tipo,

ele não tem a mínima hipótese.

he doesn't have a chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

Mas deixemos isto de lado, por agora, e falemos o rigor desta atividade.

Based on national elections in the UK, Italy, Israel

Com base nas eleições nacionais, no Reino Unido, na Itália, em Israel

and of course, the most recent US presidential election,

e, claro, nas eleições presidenciais mais recentes nos EUA,

using polls to predict electoral outcomes

as sondagens para prever os resultados eleitorais

is about as accurate as using the moon to predict hospital admissions.

são tão rigorosas como usar a lua para prever as hospitalizações.

No, seriously, I used actual data from an academic study to draw this.

A sério, eu usei dados atuais de um estudo académico para traçar isto.

There are a lot of reasons why polling has become so inaccurate.

Há muitas razões por que as sondagens se tornaram tão pouco rigorosas.

Our societies have become really diverse,

As nossas sociedades tornaram-se muito diversas,

which makes it difficult for pollsters to get a really nice representative sample

o que torna difícil aos pesquisadores conseguir uma boa amostra representativa

of the population for their polls.

da população para as sondagens.

People are really reluctant to answer their phones to pollsters,

As pessoas têm relutância em responder por telefone,

and also, shockingly enough, people might lie.

e, por chocante que pareça, também podem mentir.

But you wouldn't necessarily know that to look at the media.

Mas não saberiam isso, forçosamente, seguindo os "media".

For one thing, the probability of a Hillary Clinton win

Por um lado, a probabilidade de Hillary Clinton ganhar

was communicated with decimal places.

foi apresentada com décimas.

We don't use decimal places to describe the temperature.

Não usamos décimas para descrever a temperatura.

How on earth can predicting the behavior of 230 million voters in this country

Como é que o comportamento de 230 milhões de votantes neste país,

be that precise?

podia ser previsto de modo tão rigoroso?

And then there were those sleek charts.

Depois, havia aqueles gráficos elegantes.

See, a lot of data visualizations will overstate certainty, and it works --

Uma data de visualizações de dados vai reforçar a certeza, e funciona

these charts can numb our brains to criticism.

— estes gráficos podem nublar o nosso cérebro quanto à crítica.

When you hear a statistic, you might feel skeptical.

Ao ouvir uma estatística, podemos sentir-nos céticos.

As soon as it's buried in a chart,

Mas, quando aparece num gráfico,

it feels like some kind of objective science,

fica com o aspeto de uma ciência objetiva mas não é.

and it's not.

So I was trying to find ways to better communicate this to people,

Por isso, tentei encontrar modos de comunicar isto às pessoas,

to show people the uncertainty in our numbers.

para mostrar às pessoas a incerteza dos nossos números.

What I did was I started taking real data sets,

Comecei a arranjar grupos de dados reais

and turning them into hand-drawn visualizations,

e transformá-los em visualizações, traçadas à mão

so that people can see how imprecise the data is;

para as pessoas verem como os dados são imprecisos,

para verem que foi um ser humano que fez isto,

so people can see that a human did this,

a human found the data and visualized it.

um homem que encontrou os dados e os visualizou.

For example, instead of finding out the probability

Por exemplo, em vez de encontrar a probabilidade

of getting the flu in any given month,

de apanhar uma gripe num determinado mês.

you can see the rough distribution of flu season.

podemos ver a distribuição grosseira da estação da gripe.

This is --

É assim... (Risos)

(Laughter)

a bad shot to show in February.

Uma imagem má para fevereiro.

But it's also more responsible data visualization,

Mas é uma visualização de dados mais responsável

because if you were to show the exact probabilities,

porque, se vos mostrarmos as reais possibilidades,

maybe that would encourage people to get their flu jabs

talvez isso encoraje as pessoas a apanhar a vacina da gripe

at the wrong time.

na altura errada.

The point of these shaky lines

O objetivo destas linhas imprecisas

is so that people remember these imprecisions,

é para as pessoas se lembrarem destas imprecisões,

but also so they don't necessarily walk away with a specific number,

mas também não contêm necessariamente um número específico,

but they can remember important facts.

mas podem relembrar factos importantes.

Facts like injustice and inequality leave a huge mark on our lives.

Factos como a injustiça e a desigualdade deixam uma marca enorme na nossa vida.

Facts like Black Americans and Native Americans have shorter life expectancies

Os americanos negros ou os nativos têm uma expetativa de vida mais curta

than those of other races,

do que os de outras etnias

and that isn't changing anytime soon.

e isso não vai mudar dentro em pouco

Facts like prisoners in the US can be kept in solitary confinement cells

Factos como os presos nos EUA podem estar em celas de isolamento

that are smaller than the size of an average parking space.

que são mais pequenas que o tamanho de um espaço vulgar para estacionamento.

The point of these visualizations is also to remind people

O objetivo destas visualizações também serve para recordar às pessoas

of some really important statistical concepts,

alguns conceitos estatísticos deveras importantes,

concepts like averages.

conceitos como médias.

So let's say you hear a claim like,

Digamos que ouvem uma afirmação como:

"The average swimming pool in the US contains 6.23 fecal accidents."

"A piscina média nos EUA contém 6,23 acidentes fecais".

That doesn't mean every single swimming pool in the country

Isto não significa que todas as piscinas no país

contains exactly 6.23 turds.

contenham exatamente 6,23 de fezes.

So in order to show that,

Para mostrar isso,

I went back to the original data, which comes from the CDC,

fui aos dados originais que provêm do CDC

who surveyed 47 swimming facilities.

que analisou 47 piscinas.

And I just spent one evening redistributing poop.

Só gastei uma tarde a redistribuir os cocós.

So you can kind of see how misleading averages can be.

Estão a ver como estas médias podem ser enganadoras.

(Laughter)

(Risos)

OK, so the second question that you guys should be asking yourselves

Ok, agora a segunda pergunta que devem fazer a vós mesmos,

to spot bad numbers is:

para detetar números maus, é:

Can I see myself in the data?

"Revejo-me nestes dados?"

This question is also about averages in a way,

Esta pergunta, de certo modo, também tem a ver com médias.

because part of the reason why people are so frustrated

Parte da razão para as pessoas se sentirem frustradas

with these national statistics,

com estas estatísticas nacionais,

is they don't really tell the story of who's winning and who's losing

é porque elas não contam a história de quem está a ganhar ou a perder

from national policy.

com a política nacional.

It's easy to understand why people are frustrated with global averages

Percebe-se porque é as pessoas se sentem frustradas com médias globais

when they don't match up with their personal experiences.

quando não se adequam às suas experiências pessoais.

I wanted to show people the way data relates to their everyday lives.

Eu queria mostrar como os dados se relacionam com a sua vida diária.

I started this advice column called "Dear Mona,"

Comecei a coluna de conselhos "Querida Mona",

where people would write to me with questions and concerns

em que as pessoas podem fazer perguntas

e eu tento responder-lhes com dados.

and I'd try to answer them with data.

People asked me anything.

As pessoas perguntam-me tudo:

"É normal dormir numa cama separada da minha mulher?"

questions like, "Is it normal to sleep in a separate bed to my wife?"

"Do people regret their tattoos?"

"As pessoas arrependem-se das suas tatuagens?"

"What does it mean to die of natural causes?"

"O que significa morrer de causas naturais?"

All of these questions are great, because they make you think

Todas estas perguntas são ótimas, porque nos fazem pensar

about ways to find and communicate these numbers.

na maneira de encontrar e comunicar esses números.

If someone asks you, "How much pee is a lot of pee?"

Se alguém perguntar: "Que quantidade de urina é muita urina?"

which is a question that I got asked,

— foi uma pergunta que me fizeram —

you really want to make sure that the visualization makes sense

queremos ter a certeza de que a visualização faça sentido

to as many people as possible.

para o maior número de pessoas possível.

These numbers aren't unavailable.

Estes números não estão indisponíveis.

Sometimes they're just buried in the appendix of an academic study.

Por vezes, estão enterrados no apêndice de um estudo académico.

And they're certainly not inscrutable;

E, certamente, não são impenetráveis;

if you really wanted to test these numbers on urination volume,

se realmente quiserem testar os números do volume da urina,

you could grab a bottle and try it for yourself.

podem agarrar numa garrafa e tentarem.

(Laughter)

The point of this isn't necessarily

A questão aqui não é necessariamente

that every single data set has to relate specifically to you.

que cada conjunto de dados se relacione especificamente convosco.

I'm interested in how many women were issued fines in France

Quero saber quantas mulheres foram multadas, em França,

for wearing the face veil, or the niqab,

por usar o véu na cara, o "niqab",

even if I don't live in France or wear the face veil.

mesmo que não viva em França nem tape a cara com um véu.

The point of asking where you fit in is to get as much context as possible.

Perguntei se vos encaixavam para encontrar o contexto, se possível

So it's about zooming out from one data point,

Trata-se de ampliar a partir de um dado,

like the unemployment rate is five percent,

como a taxa de desemprego ser de 5%

and seeing how it changes over time,

e ver como ela muda com o tempo

or seeing how it changes by educational status --

ou ver como ela muda consoante o grau de instrução

this is why your parents always wanted you to go to college --

— por isso os vossos pais queriam que fossem para a faculdade —

or seeing how it varies by gender.

ou ver como ela varia, consoante os sexos.

Nowadays, male unemployment rate is higher

Hoje, a taxa de desemprego masculina é mais alta

than the female unemployment rate.

do que a feminina.

Up until the early '80s, it was the other way around.

Até ao início dos anos 80, era o contrário.

This is a story of one of the biggest changes

Esta é a história de uma das maiores mudanças

that's happened in American society,

na sociedade norte-americana

and it's all there in that chart, once you look beyond the averages.

e está aqui tudo neste gráfico, se olharmos para além das médias.

The axes are everything;

Os eixos são tudo.

once you change the scale, you can change the story.

Se mudarmos a escala, podemos mudar a história.

OK, so the third and final question that I want you guys to think about

A terceira e última pergunta que eu queria que vocês pensassem

when you're looking at statistics is:

quando olharem para as estatísticas, é:

How was the data collected?

"Como foram recolhidos os dados?"

So far, I've only talked about the way data is communicated,

Até aqui, só falei da forma como os dados são comunicados

mas a forma como são recolhidos também é importante.

but the way it's collected matters just as much.

I know this is tough,

Sei que isto é difícil,

because methodologies can be opaque and actually kind of boring,

porque as metodologias podem ser opacas e bastante aborrecidas,

mas há uns passos simples para poderem verificar isso.

but there are some simple steps you can take to check this.

I'll use one last example here.

Vou usar um último exemplo.

One poll found that 41 percent of Muslims in this country support jihad,

Uma sondagem concluiu que 41% de muçulmanos neste país apoiam a "jiade",

which is obviously pretty scary,

o que é obviamente assustador.

and it was reported everywhere in 2015.

Isto foi relatado em toda a parte, em 2015.

When I want to check a number like that,

Quando eu quero verificar um número como este,

I'll start off by finding the original questionnaire.

começo por procurar o questionário original.

It turns out that journalists who reported on that statistic

Acontece que os jornalistas que relataram esta estatística

ignored a question lower down on the survey

ignoraram uma questão mais abaixo, no estudo,

that asked respondents how they defined "jihad."

que pedia aos inquiridos que definissem "jiade".

And most of them defined it as,

A maior parte deles definiu-o assim:

"Muslims' personal, peaceful struggle to be more religious."

"Luta pacífica, pessoal, dos muçulmanos, para serem mais religiosos".

Only 16 percent defined it as, "violent holy war against unbelievers."

Só 16% o definiram como "guerra santa violenta contra os infiéis".

This is the really important point:

Esta é a questão realmente importante:

based on those numbers, it's totally possible

com base nestes números, é totalmente possível

that no one in the survey who defined it as violent holy war

que quem a definiu como guerra santa violenta

also said they support it.

também tenha dito que não a apoiava.

Those two groups might not overlap at all.

Estes dois grupos podiam nem sequer se sobrepor.

It's also worth asking how the survey was carried out.

Também vale a pena perguntar como foi efetuado o estudo.

This was something called an opt-in poll,

Esta sondagem era voluntária,

which means anyone could have found it on the internet and completed it.

qualquer pessoa podia encontrá-la na Internet e preenchê-la.

Não se pode saber se essas pessoas se identificavam sequer como muçulmanas

There's no way of knowing if those people even identified as Muslim.

And finally, there were 600 respondents in that poll.

Por fim, houve 600 respostas a essa sondagem.

There are roughly three million Muslims in this country,

Há cerca de três milhões de muçulmanos neste país,

according to Pew Research Center.

segudo o Centro de Pesquisas Pew.

That means the poll spoke to roughly one in every 5,000 Muslims

Ou seja, o inquérito contactou um em cada 5000 muçulmanos

in this country.

neste país.

This is one of the reasons

É por isso que as estatísticas governamentais

why government statistics are often better than private statistics.

são quase sempre melhores do que as estatísticas privadas.

A poll might speak to a couple hundred people, maybe a thousand,

Uma sondagem pode falar com centenas ou milhares de pessoas

or if you're L'Oreal, trying to sell skin care products in 2005,

ou, se for a L'Oreal, a tentar vender produtos para a pele em 2005,

then you spoke to 48 women to claim that they work.

fala com 48 mulheres que afirmam que eles funcionam.

(Laughter)

(Risos)

Private companies don't have a huge interest in getting the numbers right,

As empresas privadas não têm grande interesse em ter um número correto,

they just need the right numbers.

só precisam do número bom.

Government statisticians aren't like that.

Os estatísticos governamentais não são assim.

In theory, at least, they're totally impartial,

Em teoria, pelo menos, são totalmente imparciais,

not least because most of them do their jobs regardless of who's in power.

o trabalho é realizado, seja quem for que esteja no poder.

They're civil servants.

São funcionários públicos.

And to do their jobs properly,

O trabalho é feito conscienciosamente,

they don't just speak to a couple hundred people.

não se falam apenas com umas centenas de pessoas.

Those unemployment numbers I keep on referencing

Os números do desemprego que tenho referido

come from the Bureau of Labor Statistics,

provêm do Gabinete de Estatística do Trabalho.

and to make their estimates,

Para fazer as suas estimativas, falam com mais de 140 000 empresas.

they speak to over 140,000 businesses in this country.

I get it, it's frustrating.

Eu sei, é frustrante.

Se quiserem testar uma estatística, duma empresa privada,

If you want to test a statistic that comes from a private company,

compram o creme para a pele com um grupo de amigas, e testam-no.

you can buy the face cream for you and a bunch of friends, test it out,

if it doesn't work, you can say the numbers were wrong.

Se não funcionar, os números estão errados.

Mas como questionar as estatísticas do governo?

But how do you question government statistics?

Continuem a verificar tudo.

You just keep checking everything.

Vejam como recolheram os números.

Find out how they collected the numbers.

Find out if you're seeing everything on the chart you need to see.

Vejam se estão a ver no gráfico tudo o que precisam de ver.

Mas não desistam dos números porque, se o fizerem,

But don't give up on the numbers altogether, because if you do,

contribuem para que as decisões públicas sejam tomadas no escuro,

we'll be making public policy decisions in the dark,

usando apenas os interesses privados para nos guiar.

using nothing but private interests to guide us.

Thank you.

Obrigada.

(Aplausos)

(Applause)