3 ways to spot a bad statistic | Mona Chalabi

Fordító: Zsuzsanna Lőrincz Lektor: Péter Pallós

I'm going to be talking about statistics today.

A statisztikáról tartok ma előadást.

If that makes you immediately feel a little bit wary, that's OK,

Ha máris gyanakvók, érthető,

that doesn't make you some kind of crazy conspiracy theorist,

ettől még nem lesznek megszállott összeesküvés-keresők,

it makes you skeptical.

csupán szkeptikusak.

And when it comes to numbers, especially now, you should be skeptical.

Ha számokról van szó, különösen manapság, nem árt, ha szkeptikusak.

But you should also be able to tell which numbers are reliable

Jó, ha azt is meg tudják mondani, mely számok megbízhatók,

and which ones aren't.

és melyek nem.

So today I want to try to give you some tools to be able to do that.

Ehhez próbálok ma segítséget adni önöknek.

But before I do,

De mindenekelőtt

I just want to clarify which numbers I'm talking about here.

szeretném tisztázni, milyen számokról beszélek.

I'm not talking about claims like,

Nem olyan állításokról,

"9 out of 10 women recommend this anti-aging cream."

hogy "10-ből 9 nő ajánlja ezt az öregedésgátló krémet".

I think a lot of us always roll our eyes at numbers like that.

Azt hiszem, erre sokan csak összeráncoljuk a homlokunkat.

What's different now is people are questioning statistics like,

Ma már azonban más statisztikákat is megkérdőjelezünk, pl:

"The US unemployment rate is five percent."

"Az USA-ban a munkanélküliségi ráta 5%."

What makes this claim different is it doesn't come from a private company,

Ez az állítás abban különbözik, hogy nem magáncégtől származik,

it comes from the government.

hanem a kormánytól.

About 4 out of 10 Americans distrust the economic data

10 amerikaiból 4 nem bízik a kormány által közölt

that gets reported by government.

gazdasági adatokban.

Among supporters of President Trump it's even higher;

Trump elnök támogatói között még rosszabb az arány:

it's about 7 out of 10.

10-ből 7.

I don't need to tell anyone here

Mondanom sem kell,

that there are a lot of dividing lines in our society right now,

milyen sokféle megosztottság van jelen társadalmunkban,

and a lot of them start to make sense,

és nagy részük kezd érthetővé válni,

once you understand people's relationships with these government numbers.

ha megértjük az emberek viszonyát a kormányzati számokhoz.

On the one hand, there are those who say these statistics are crucial,

Egyfelől, vannak, akik szerint a statisztika fontos,

that we need them to make sense of society as a whole

szükség van rá, hogy értelmezzük a társadalom egészét

in order to move beyond emotional anecdotes

a tudománytalan mendemondák helyett,

and measure progress in an [objective] way.

és objektívan mérjük a fejlődést.

And then there are the others,

Másfelől, vannak,

who say that these statistics are elitist,

akik szerint a statisztika elitista,

maybe even rigged;

sőt manipulált;

they don't make sense and they don't really reflect

értelmetlen és nem tükrözi

what's happening in people's everyday lives.

az emberek mindennapi életét.

It kind of feels like that second group is winning the argument right now.

Úgy tűnik, jelenleg a második csoport érvelése áll nyerésre.

We're living in a world of alternative facts,

Az alternatív tények világában élünk,

where people don't find statistics this kind of common ground,

ahol az emberek szerint a statisztika nem jelent közös alapot,

this starting point for debate.

kiinduló pontot a vitához.

This is a problem.

Ez probléma.

There are actually moves in the US right now

Vannak olyan törekvések az USA-ban,

to get rid of some government statistics altogether.

amelyek megszüntetnének egyes kormányzati statisztikákat.

Right now there's a bill in congress about measuring racial inequality.

A kongresszus előtti törvényjavaslat a faji egyenlőtlenség méréséről

The draft law says that government money should not be used

azt mondja: a kormánynak nem szabadna költenie

to collect data on racial segregation.

szegregációs adatok gyűjtésére.

This is a total disaster.

Ez lesújtó.

If we don't have this data,

Ha nincsenek erre vonatkozó adataink,

how can we observe discrimination,

hogyan tudnánk a diszkriminációt tetten érni

let alone fix it?

és főleg elkerülni?

In other words:

Más szavakkal:

How can a government create fair policies

Hogyan tudna a kormány igazságos politikát kialakítani,

if they can't measure current levels of unfairness?

ha nem tudja mérni az igazságtalanság szintjét?

This isn't just about discrimination,

Nemcsak a diszkriminációról van szó,

it's everything -- think about it.

hanem mindenről!

Hogy szabályozhatnánk az egészségügyet,

How can we legislate on health care

a szegénységet, ha nincsenek jó adataink róluk?

if we don't have good data on health or poverty?

Hogyan tudnánk megvitatni a bevándorlást,

How can we have public debate about immigration

if we can't at least agree

ha nem tudunk megegyezni,

on how many people are entering and leaving the country?

hogy hányan jönnek be, vagy mennek el az országból?

Statistics come from the state; that's where they got their name.

A statisztika az államtól ered, innen kapta nevét.

Célja volt, hogy jobban mérje a népességet,

The point was to better measure the population

in order to better serve it.

és így azt jobban szolgálja.

So we need these government numbers,

Szükségünk van a kormányzati számokra,

but we also have to move beyond either blindly accepting

de nem bölcs ezeket vakon elfogadni,

or blindly rejecting them.

vagy vakon elutasítani.

We need to learn the skills to be able to spot bad statistics.

Meg kell tanulnunk kiszúrni a rossz statisztikát.

I started to learn some of these

Én akkor kezdtem szert tenni e képességre,

when I was working in a statistical department

amikor az ENSZ

statisztikai részlegében dolgoztam.

that's part of the United Nations.

Our job was to find out how many Iraqis had been forced from their homes

Az volt a munkánk, hogy feltárjuk, hány irakinak kellett elhagynia otthonát

as a result of the war,

a háború miatt,

and what they needed.

és mire volt szükségük.

It was really important work, but it was also incredibly difficult.

Fontos munka volt, de hihetetlenül nehéz.

Every single day, we were making decisions

Minden egyes nap

a számok pontosságát befolyásoló döntéseket hoztunk:

that affected the accuracy of our numbers --

decisions like which parts of the country we should go to,

az ország melyik részébe menjünk,

who we should speak to,

kikkel beszéljünk,

which questions we should ask.

milyen kérdéseket tegyünk fel.

And I started to feel really disillusioned with our work,

Kezdtem elveszíteni a kedvem,

because we thought we were doing a really good job,

mert bár úgy gondoltuk, jó munkát végzünk,

but the one group of people who could really tell us were the Iraqis,

ezt egyedül az irakiak tudták volna igazolni,

and they rarely got the chance to find our analysis, let alone question it.

akiknek ritkán volt lehetőségük olvasni, netán felülvizsgálni az elemzést.

So I started to feel really determined

Tudtam, hogy az egyetlen módja,

that the one way to make numbers more accurate

hogy pontosítsuk számainkat,

is to have as many people as possible be able to question them.

ha minél többen vizsgálják felül őket.

So I became a data journalist.

Úgyhogy adat-újságíró lettem.

My job is finding these data sets and sharing them with the public.

Felkutatom az adatokat, és megosztom őket a nyilvánossággal.

Anyone can do this, you don't have to be a geek or a nerd.

Bárki megteheti ezt, nem kell hozzá profinak vagy ásznak lenni.

You can ignore those words; they're used by people

Felejtsék el ezeket a szavakat; azok használják,

trying to say they're smart while pretending they're humble.

akik okosnak tartják magukat, közben szerénykedni próbálnak.

Absolutely anyone can do this.

Tehát bárki érthet az adatokhoz.

I want to give you guys three questions

Három kérdést ismertetek önökkel,

that will help you be able to spot some bad statistics.

amelyek segítenek kiszúrni a rossz statisztikát.

So, question number one is: Can you see uncertainty?

Az első kérdés: Lát-e bizonytalanságot?

One of things that's really changed people's relationship with numbers,

Az emberek viszonyát a számokhoz,

and even their trust in the media,

sőt bizalmukat a média iránt

has been the use of political polls.

jelentősen megváltoztatta a közvélemény-kutatás.

I personally have a lot of issues with political polls

Sok vele a kivetnivalóm,

because I think the role of journalists is actually to report the facts

mert úgy gondolom, az újságíróknak tényekről kell tudósítaniuk,

and not attempt to predict them,

s nem jóslásokba bocsátkozni róluk,

especially when those predictions can actually damage democracy

különösen, ha ez rombolja a demokráciát, azt üzenve az embereknek,

by signaling to people: don't bother to vote for that guy,

hogy ne is szavazzanak egy jelöltre,

mert esélye sincs nyerni.

he doesn't have a chance.

De inkább beszéljünk a kutatás pontosságáról.

Let's set that aside for now and talk about the accuracy of this endeavor.

Based on national elections in the UK, Italy, Israel

Az egyesült királyságbeli, az olasz, az izraeli és természetesen

and of course, the most recent US presidential election,

a legutóbbi amerikai elnökválasztás alapján

using polls to predict electoral outcomes

a közvélemény-kutatások előrejelzése

is about as accurate as using the moon to predict hospital admissions.

kb. olyan pontos, mintha a holdfázisból jósolnánk meg a kórházba kerültek számát.

No, seriously, I used actual data from an academic study to draw this.

Komolyra fordítva, egy tanulmány adatai alapján jutottam erre a következtetésre.

There are a lot of reasons why polling has become so inaccurate.

Számos oka van, hogy miért lett ilyen pontatlan a közvélemény-kutatás.

Our societies have become really diverse,

Társadalmaink sokszínűvé váltak,

which makes it difficult for pollsters to get a really nice representative sample

emiatt a közvélemény-kutatók nehezen tudnak

of the population for their polls.

valóban reprezentatív mintához jutni.

People are really reluctant to answer their phones to pollsters,

Az emberek nem szívesen fogadják a kutatók hívásait,

and also, shockingly enough, people might lie.

és a megkérdezettek akár hazudhatnak is.

But you wouldn't necessarily know that to look at the media.

De ez nem feltétlen derül ki a médiából.

For one thing, the probability of a Hillary Clinton win

Egyrészt, Hillary Clinton győzelmének valószínűségét

was communicated with decimal places.

tizedesjegy pontossággal jelezték.

We don't use decimal places to describe the temperature.

A hőmérsékletet sem tudjuk megadni ilyen pontossággal.

How on earth can predicting the behavior of 230 million voters in this country

Hogyan tudnánk 230 millió szavazó magatartását ennyire pontosan

be that precise?

előrejelezni?

And then there were those sleek charts.

Másrészt, vannak ezek a szuper táblázatok.

See, a lot of data visualizations will overstate certainty, and it works --

Sok adatmegjelenítés felerősíti a bizonyosságot,

these charts can numb our brains to criticism.

és ügyesen elfojtja kritikus gondolkodásunkat.

When you hear a statistic, you might feel skeptical.

Ha hallunk egy statisztikát, szkeptikusan fogadjuk.

As soon as it's buried in a chart,

Amint táblázatban jelenik meg,

it feels like some kind of objective science,

valamiféle objektív tudománynak érezzük,

and it's not.

pedig nem az.

So I was trying to find ways to better communicate this to people,

Próbáltam ezt jobban elmagyarázni az embereknek,

to show people the uncertainty in our numbers.

megmutatni, hogy a számok bizonytalanságot hordoznak.

What I did was I started taking real data sets,

Fogtam néhány adathalmazt,

and turning them into hand-drawn visualizations,

és megjelenítettem kézzel rajzolt táblázatokba,

so that people can see how imprecise the data is;

hogy lássák az emberek, milyen pontatlanok az adatok;

so people can see that a human did this,

és lássák, hogy ezt egy ember készítette,

a human found the data and visualized it.

ő találta és jelenítette meg az adatot.

For example, instead of finding out the probability

Pl. ahelyett, hogy ábrázolnánk minden hónapra

of getting the flu in any given month,

az influenza gyakoriságának valószínűségét,

you can see the rough distribution of flu season.

az influenzaszezon körülbelüli eloszlását láthatják.

This is --

Az ábra szerint –

(Laughter)

(Nevetés)

a bad shot to show in February.

februárban tetőzött.

But it's also more responsible data visualization,

Ez megbízhatóbb adatmegjelenítés,

because if you were to show the exact probabilities,

mert ha valószínűségeket mutatnánk,

maybe that would encourage people to get their flu jabs

lehet, hogy az emberek rosszul döntenének

oltásuk időpontjáról.

at the wrong time.

The point of these shaky lines

Ezek a girbegurba vonalak

is so that people remember these imprecisions,

emlékeztetnek a pontatlanságra,

but also so they don't necessarily walk away with a specific number,

de arra is, hogy nem feltétlen egy konkrét számon,

but they can remember important facts.

hanem a fontos tényeken van a hangsúly:

Facts like injustice and inequality leave a huge mark on our lives.

Az igazságtalanság és az egyenlőtlenség nyomot hagy az életünkön.

Facts like Black Americans and Native Americans have shorter life expectancies

A fekete és őslakos amerikaiak várható élettartama rövidebb,

than those of other races,

mint más fajoké,

and that isn't changing anytime soon.

és nem is fog változni mostanában.

Facts like prisoners in the US can be kept in solitary confinement cells

A foglyok olyan magánzárkákban tarthatók az Egyesült Államokban,

that are smaller than the size of an average parking space.

amelyek kisebbek egy parkolóhelynél.

The point of these visualizations is also to remind people

Az adatmegjelenítésnek az is célja, hogy felhívja a figyelmet

of some really important statistical concepts,

néhány fontos statisztikai fogalomra,

concepts like averages.

pl. az átlagra.

So let's say you hear a claim like,

Tegyük fel, ezt hallják:

"The average swimming pool in the US contains 6.23 fecal accidents."

"Az USA-ban az átlagos uszoda medencéjébe 6,23 esetben kerül ürülék."

That doesn't mean every single swimming pool in the country

Ez nem azt jelenti, hogy az ország minden egyes uszodája

contains exactly 6.23 turds.

6,23 ürüléket tartalmaz.

So in order to show that,

Hogy ezt bemutassam,

I went back to the original data, which comes from the CDC,

felkutattam az eredeti adatokat, amelyek a CDC-től származnak,

who surveyed 47 swimming facilities.

amely 47 uszodát vizsgált.

And I just spent one evening redistributing poop.

Egy estét rászántam, és helyretettem a "bogyókat".

So you can kind of see how misleading averages can be.

Láthatják, hogy az átlag mennyire félrevezető lehet.

(Laughter)

(Nevetés)

OK, so the second question that you guys should be asking yourselves

Nézzük a második kérdést, amit fel kell tenniük,

to spot bad numbers is:

hogy kiszúrják a rossz számokat:

Can I see myself in the data?

Látom-e magamat az adatokban?

This question is also about averages in a way,

Ez is tulajdonképpen az átlaggal kapcsolatos,

because part of the reason why people are so frustrated

mert az emberek részben azért csalódtak

with these national statistics,

a nemzeti statisztikákban,

is they don't really tell the story of who's winning and who's losing

mert nem adnak választ arra, hogy ki nyer és ki veszít

from national policy.

a nemzet politikájával.

It's easy to understand why people are frustrated with global averages

Érthető, hogy az embereket bosszantják a világátlagok,

ha teljesen más a személyes tapasztalatuk.

when they don't match up with their personal experiences.

I wanted to show people the way data relates to their everyday lives.

Meg akartam mutatni, hogy az adat miként része az életünknek.

I started this advice column called "Dear Mona,"

"Dear Mona" néven tanácsadó rovatot indítottam,

where people would write to me with questions and concerns

az emberek megírhatták kérdéseiket, aggodalmaikat,

and I'd try to answer them with data.

én pedig adatokkal válaszoltam.

People asked me anything.

Mindenfélét kérdeztek,

questions like, "Is it normal to sleep in a separate bed to my wife?"

pl. "Normális-e, hogy nem egy ágyban alszom a feleségemmel?"

"Do people regret their tattoos?"

"Megbánják-e, akik tetováltatnak?"

"Mit jelent, hogy természetes okokból hal meg?"

"What does it mean to die of natural causes?"

All of these questions are great, because they make you think

Nagyszerű kérdések, mert arra ösztönöznek,

about ways to find and communicate these numbers.

hogy fölleljem és közzétegyem az adatokat.

If someone asks you, "How much pee is a lot of pee?"

Ha azt kérdezi valaki, "Mennyi pisi számít soknak?"

which is a question that I got asked,

mert ezt is kérdezték,

you really want to make sure that the visualization makes sense

fontos úgy megjeleníteni az adatokat,

to as many people as possible.

hogy minél többen értsék.

These numbers aren't unavailable.

Ezek a számok nem elérhetetlenek.

Sometimes they're just buried in the appendix of an academic study.

Csak néha megbújnak egy tanulmány függelékében.

And they're certainly not inscrutable;

Persze nem ellenőrizhetetlenek;

if you really wanted to test these numbers on urination volume,

ha szeretnének utánanézni a vizeletmennyiség számainak,

you could grab a bottle and try it for yourself.

fogjanak egy üvegcsét és próbálják meg.

(Laughter)

(Nevetés)

The point of this isn't necessarily

Nem feltétlen lényeges,

that every single data set has to relate specifically to you.

hogy minden adat kapcsolódjon a személyünkhöz.

I'm interested in how many women were issued fines in France

Engem érdekel, hány nőt bírságoltak meg Franciaországban

for wearing the face veil, or the niqab,

arcfátyol vagy csador viselése miatt,

even if I don't live in France or wear the face veil.

pedig nem ott élek, és nem hordok fátylat.

The point of asking where you fit in is to get as much context as possible.

A tágabb kontextus miatt érdemes vizsgálni a kapcsolódásunkat.

So it's about zooming out from one data point,

Sok mindenre ráláthatunk kiindulva egy adatból,

like the unemployment rate is five percent,

pl. hogy a munkanélküliségi ráta 5%,

and seeing how it changes over time,

láthatjuk ennek időbeli változását,

or seeing how it changes by educational status --

vagy képzettség szerinti változását –

this is why your parents always wanted you to go to college --

ezért hallottuk folyton a szüleinktől, hogy tovább kell tanulni –,

or seeing how it varies by gender.

vagy nemek szerinti alakulását.

Nowadays, male unemployment rate is higher

Ma a férfiak körében magasabb a munkanélküliség,

than the female unemployment rate.

mint a nőknél.

Up until the early '80s, it was the other way around.

A 80-as évek elejéig fordítva volt.

This is a story of one of the biggest changes

Ez az egyik legjelentősebb változás

that's happened in American society,

az amerikai társadalom életében,

and it's all there in that chart, once you look beyond the averages.

és mindez ott van a táblázatban, ha nemcsak az átlagszámokat nézzük.

The axes are everything;

A tengelyek meghatározóak:

once you change the scale, you can change the story.

ha változtatjuk a beosztást, változni fog a kép.

OK, so the third and final question that I want you guys to think about

A harmadik és utolsó kérdés, amin el kell gondolniuk,

when you're looking at statistics is:

ha szemügyre vesznek egy statisztikát:

How was the data collected?

Hogyan gyűjtötték az adatokat?

So far, I've only talked about the way data is communicated,

Eddig csak arról beszéltem, hogyan tesszük közzé,

but the way it's collected matters just as much.

de az is fontos, hogyan gyűjtjük az adatokat.

I know this is tough,

Tudom, bonyolult,

because methodologies can be opaque and actually kind of boring,

mert ennek módszertana átláthatatlan és unalmas is lehet,

but there are some simple steps you can take to check this.

de van néhány egyszerű lépés, amivel ellenőrizhetjük.

I'll use one last example here.

Egy utolsó példát hozok fel.

One poll found that 41 percent of Muslims in this country support jihad,

Egy felmérés szerint a muszlimok 41%-a támogatja a dzsihádot ebben az országban,

which is obviously pretty scary,

ami kétségkívül elég ijesztő,

and it was reported everywhere in 2015.

ezt 2015-ben mindenütt közzétették.

When I want to check a number like that,

Ha ellenőrizni akarok egy ilyen számot,

I'll start off by finding the original questionnaire.

először is megkeresem az eredeti kérdőívet.

It turns out that journalists who reported on that statistic

Kiderült, hogy az újságíró, aki tudósított a felmérésről,

ignored a question lower down on the survey

nem vett figyelembe egy kérdést a lap alján,

that asked respondents how they defined "jihad."

miszerint hogyan definiálja a válaszadó a dzsihádot.

And most of them defined it as,

Legtöbbjük definiálása szerint:

"Muslims' personal, peaceful struggle to be more religious."

"A muszlimok személyes, békés küzdelme hitük megerősítéséért."

Only 16 percent defined it as, "violent holy war against unbelievers."

16%-uk határozta meg úgy, hogy "erőszakos szent háború a hitetlenek ellen."

This is the really important point:

Ez nagyon fontos szempont:

based on those numbers, it's totally possible

a számok alapján teljességgel lehetséges,

that no one in the survey who defined it as violent holy war

hogy azok közül, akik erőszakos szent háborúnak definiálták,

also said they support it.

senki sem támogatta.

Those two groups might not overlap at all.

Lehet, hogy a két csoport nem fedi egymást.

It's also worth asking how the survey was carried out.

Azt is érdemes megkérdezni, hogyan végezték a felmérést.

This was something called an opt-in poll,

Ez szabad részvételen alapult,

which means anyone could have found it on the internet and completed it.

tehát bárki megtalálhatta és kitölthette az interneten.

There's no way of knowing if those people even identified as Muslim.

Nem tudhatjuk, hogy muszlimok voltak-e.

And finally, there were 600 respondents in that poll.

Végül pedig, 600 válaszadó vett részt a felmérésben.

There are roughly three million Muslims in this country,

Nagyjából 3 millió muszlim él ebben az országban,

according to Pew Research Center.

a Pew Research Center szerint.

That means the poll spoke to roughly one in every 5,000 Muslims

Vagyis a felmérés az ország minden ötezredik muszlim lakosát

in this country.

vonta be.

This is one of the reasons

Sok esetben

why government statistics are often better than private statistics.

részben ezért jobbak a kormányzati, mint a magánstatisztikák.

A poll might speak to a couple hundred people, maybe a thousand,

Egy felmérés néhány száz vagy ezer embert kérdez meg,

or if you're L'Oreal, trying to sell skin care products in 2005,

vagy egy L'Oreal értékesítő 2005-ben 48 nőt kérdezett meg,

then you spoke to 48 women to claim that they work.

és megállapította: a termékek beváltak.

(Laughter)

(Nevetés)

Private companies don't have a huge interest in getting the numbers right,

A magáncégeknek nincs erős érdekeltségük, hogy a számok jók legyenek,

they just need the right numbers.

nekik csak a jó számok kellenek.

Government statisticians aren't like that.

A kormányzati statisztikusok nem ilyenek.

In theory, at least, they're totally impartial,

Elméletben legalábbis teljesen pártatlanok,

not least because most of them do their jobs regardless of who's in power.

többek között, mert a munkájukban nem számít, ki van hatalomban.

They're civil servants.

Köztisztviselők.

And to do their jobs properly,

És jól végzik a munkájukat,

they don't just speak to a couple hundred people.

nem csak néhány száz emberrel beszélnek.

Those unemployment numbers I keep on referencing

A munkanélküliségi számok, amiket idéztem,

come from the Bureau of Labor Statistics,

a Bureau of Labor Statistics adatai,

and to make their estimates,

és becsléseikhez

they speak to over 140,000 businesses in this country.

több mint 140 000 vállalattal beszéltek.

I get it, it's frustrating.

Értem, hogy ez lehangoló.

If you want to test a statistic that comes from a private company,

Ha ellenőrizni akarnak egy magáncégtől származó statisztikát,

you can buy the face cream for you and a bunch of friends, test it out,

vehetnek maguknak és barátaiknak az arckrémből és kipróbálhatják.

if it doesn't work, you can say the numbers were wrong.

Ha nem válik be, mondhatják, hogy a számok nem igazak.

But how do you question government statistics?

Hogyan vonható kétségbe a kormányzati statisztika?

You just keep checking everything.

Mindent ellenőrizzenek!

Find out how they collected the numbers.

Tudják meg, hogyan gyűjtötték az adatokat.

Find out if you're seeing everything on the chart you need to see.

Minden benne van-e a táblázatban, aminek ott kell lennie?

De ne mondjanak le a számokról, mert ha így tesznek,

But don't give up on the numbers altogether, because if you do,

we'll be making public policy decisions in the dark,

a sötétben tapogatózva kell döntéseket hoznunk,

using nothing but private interests to guide us.

s csak magánérdekek fognak vezetni minket.

Thank you.

Köszönöm.

(Taps)

(Applause)