3 ways to spot a bad statistic | Mona Chalabi

Překladatel: Jan Martinek Korektor: Karel Čížek

I'm going to be talking about statistics today.

Dnes budu mluvit o statistikách

If that makes you immediately feel a little bit wary, that's OK,

a pokud to ve vás vzbuzuje určité podezření, je to v pořádku.

that doesn't make you some kind of crazy conspiracy theorist,

Neznamená to, že jste nějaký bláznivý konspirátor,

it makes you skeptical.

pouze jste skeptičtí.

And when it comes to numbers, especially now, you should be skeptical.

A pokud jde o čísla, je nezbytné být skeptický.

But you should also be able to tell which numbers are reliable

Ale také je nezbytné poznat, která čísla důvěryhodná jsou

and which ones aren't.

a která nejsou.

So today I want to try to give you some tools to be able to do that.

Zkusím vám nabídnout některé nástroje, které vám to umožní.

But before I do,

Ale než to udělám,

I just want to clarify which numbers I'm talking about here.

chtěla bych vyjasnit, o jakých číslech vlastně budu mluvit.

I'm not talking about claims like,

Nebudu rozebírat tvrzení jako:

"9 out of 10 women recommend this anti-aging cream."

„9 z 10 žen doporučuje tento krém na vrásky,“

I think a lot of us always roll our eyes at numbers like that.

většina z nás u podobných tvrzení pouze otočí oči v sloup.

What's different now is people are questioning statistics like,

Ale v současnosti lidé začínají zpochybňovat i statistiky jako:

"The US unemployment rate is five percent."

„Nezaměstnanost v USA je 5 %.“

What makes this claim different is it doesn't come from a private company,

Přitom tato tvrzení nejsou od soukromé společnosti,

it comes from the government.

ale od vlády.

About 4 out of 10 Americans distrust the economic data

4 z 10 Američanů nedůvěřují ekonomickým datům,

that gets reported by government.

zveřejněným americkou vládou.

Among supporters of President Trump it's even higher;

Mezi podporovateli prezidenta Trumpa

it's about 7 out of 10.

je tento poměr ještě vyšší: 7 z 10.

I don't need to tell anyone here

Nemusím zde nikomu říkat,

that there are a lot of dividing lines in our society right now,

že právě teď naši společnost rozděluje mnoho otázek,

and a lot of them start to make sense,

Některé z nich začnou dávat smysl,

once you understand people's relationships with these government numbers.

až když si uvědomíme vztah lidí k vládou poskytovaným informacím.

On the one hand, there are those who say these statistics are crucial,

Na jedné straně spektra jsou lidé, kteří tyto údaje považují za zásadní,

that we need them to make sense of society as a whole

tvrdí, že popisují společnost jako celek,

in order to move beyond emotional anecdotes

že jdou dále než pouhá emoční sdělení

and measure progress in an [objective] way.

a měří pokrok [objektivním] způsobem.

And then there are the others,

A potom jsou tu lidé,

who say that these statistics are elitist,

kteří je považují za elitářské,

maybe even rigged;

možná dokonce zfalšované.

they don't make sense and they don't really reflect

Nedávají podle nich smysl a nereflektují,

what's happening in people's everyday lives.

jak vypadá každodenní život běžného člověka.

It kind of feels like that second group is winning the argument right now.

Poslední dobou to vypadá, že ta druhá skupina hádku vyhrává.

We're living in a world of alternative facts,

Žijeme ve světě alternativních faktů,

where people don't find statistics this kind of common ground,

kdy nejsou ověřené statistiky považovány za vhodný základ

this starting point for debate.

pro další debatu.

This is a problem.

A to je problém.

There are actually moves in the US right now

Dokonce se nyní objevují návrhy

to get rid of some government statistics altogether.

aby se některé vládní statistiky přestaly vytvářet.

Right now there's a bill in congress about measuring racial inequality.

V Kongresu se právě řeší měření rasové nerovnosti

The draft law says that government money should not be used

a návrh zákona říká, že státní peníze by se neměly využívat

to collect data on racial segregation.

na sbírání dat o rasové segregaci.

This is a total disaster.

Což je naprostá katastrofa.

If we don't have this data,

Pokud nebudeme mít tato data,

how can we observe discrimination,

nebudeme schopni diskriminaci pozorovat,

let alone fix it?

natož ji vyřešit.

In other words:

Jinými slovy:

How can a government create fair policies

Jak by mohla vláda vytvářet spravedlivou politiku,

if they can't measure current levels of unfairness?

pokud nebude měřit současnou míru nespravedlnosti?

This isn't just about discrimination,

A nejde pouze o diskriminaci,

it's everything -- think about it.

jde o všechno - zamysleme se:

How can we legislate on health care

jak můžeme vytvářet zákony o zdravotní péči,

if we don't have good data on health or poverty?

když nemáme data o zdraví a chudobě?

How can we have public debate about immigration

Jak můžeme diskutovat o imigraci,

if we can't at least agree

když se neshodneme ani na tom,

on how many people are entering and leaving the country?

kolik lidí do naší země přichází a kolik ji opouští?

Statistics come from the state; that's where they got their name.

Pojem ‚statistika‘ vychází ze slova ‚stát‘.

The point was to better measure the population

Jejím účelem bylo lépe měřit obyvatelstvo země

in order to better serve it.

pro lepší rozhodování.

So we need these government numbers,

Tato vládní čísla potřebujeme,

but we also have to move beyond either blindly accepting

ale musíme jít dál, než je pouze slepě přijímat,

or blindly rejecting them.

nebo slepě odmítat.

We need to learn the skills to be able to spot bad statistics.

Musíme se naučit poznávat špatné statistiky.

I started to learn some of these

Některé metody jsem se naučila,

when I was working in a statistical department

když jsem pracovala v oddělení statistiky,

that's part of the United Nations.

které je součástí OSN.

Our job was to find out how many Iraqis had been forced from their homes

Naše práce bylo zjistit, kolik Íráčanů bylo vyhnáno ze svých domovů

as a result of the war,

vlivem války

and what they needed.

a co potřebovali.

It was really important work, but it was also incredibly difficult.

Byla to opravdu důležitá práce, ale bylo to neuvěřitelně obtížné.

Every single day, we were making decisions

Každý den jsme činili rozhodnutí,

that affected the accuracy of our numbers --

která ovlivňovala přesnost našich výsledků -

decisions like which parts of the country we should go to,

rozhodnutí typu: do jaké části země se vypravíme,

who we should speak to,

s kým tam budeme mluvit

which questions we should ask.

a na co přesně se budeme ptát.

And I started to feel really disillusioned with our work,

Začala jsem se cítit naši prací rozčarovaná

because we thought we were doing a really good job,

protože jsme byli přesvědčeni, že odvádíme skvělou práci,

but the one group of people who could really tell us were the Iraqis,

ale jediná skupina, která nám to mohla potvrdit, byli Íráčané,

and they rarely got the chance to find our analysis, let alone question it.

kteří se ovšem k našim analýzám stěží mohli dostat, natož vyjádřit.

So I started to feel really determined

Dospěla jsem k přesvědčení,

that the one way to make numbers more accurate

že jediná cesta, jak zpřesnit výsledky,

is to have as many people as possible be able to question them.

je umožnit co největšímu počtu lidí se k nim vyjádřit.

So I became a data journalist.

Tak jsem se stala datovou novinářkou.

My job is finding these data sets and sharing them with the public.

Moje práce je hledat soubory dat a sdílet je s veřejností.

Anyone can do this, you don't have to be a geek or a nerd.

Může to dělat úplně každý, nemusíte být geek nebo nerd.

You can ignore those words; they're used by people

Ignorujte lidi, kteří tato slova používají,

trying to say they're smart while pretending they're humble.

naznačujíc, že jsou chytří a předstírajíc, že jsou skromní.

Absolutely anyone can do this.

Může to dělat opravdu každý.

I want to give you guys three questions

Dám vám tři otázky,

that will help you be able to spot some bad statistics.

s jejichž pomocí poznáte špatné statistiky.

So, question number one is: Can you see uncertainty?

První otázka zní: „Vidíte nejistotu?“

One of things that's really changed people's relationship with numbers,

Jedna z věcí, které ovlivnily postoj a důvěru lidí vůči číslům,

and even their trust in the media,

ale i vůči médiím celkově,

has been the use of political polls.

byly předvolební průzkumy.

I personally have a lot of issues with political polls

Osobně s nimi mám závažný problém,

because I think the role of journalists is actually to report the facts

protože jsem přesvědčena, že úloha novináře je informovat

and not attempt to predict them,

a nikoliv předpovídat.

especially when those predictions can actually damage democracy

Zejména když ty předpovědi mohou ublížit demokracii naznačováním:

by signaling to people: don't bother to vote for that guy,

„Nenamáhejte se ho volit,“

„nemá žádnou šanci.“

he doesn't have a chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

Ale odhlédněme od toho a podívejme se na přesnost podobných předpovědí.

Based on national elections in the UK, Italy, Israel

Podle výsledků voleb v Británii, Itálii nebo Izraeli

and of course, the most recent US presidential election,

a pochopitelně nedávných prezidentských v Americe

using polls to predict electoral outcomes

to vypadá, že předvídat výsledek podle průzkumů

is about as accurate as using the moon to predict hospital admissions.

je asi tak přesné jako používat Měsíc pro předpovídání zdravotních poplatků.

No, seriously, I used actual data from an academic study to draw this.

Opravdu to tak je, mám aktuální data z akademických studií.

There are a lot of reasons why polling has become so inaccurate.

Je mnoho důvodů, proč jsou předvolební průzkumy tak nepřesné.

Our societies have become really diverse,

Naše společnosti jsou opravdu rozmanité.

which makes it difficult for pollsters to get a really nice representative sample

což ztěžuje nalezení pěkného reprezentativního vzorku populace

of the population for their polls.

pro jejich průzkumy.

People are really reluctant to answer their phones to pollsters,

Lidé nejsou příliš ochotni odpovídat na telefonické průzkumy

and also, shockingly enough, people might lie.

a také, překvapivě, lidé mohou lhát.

But you wouldn't necessarily know that to look at the media.

Což se ale z článku v médiích nedozvíte.

For one thing, the probability of a Hillary Clinton win

Jednak se pravděpodobnost vítězství Hillary Clinton

was communicated with decimal places.

udávala s přesností na desetinná místa.

We don't use decimal places to describe the temperature.

Takhle přesně nepopisujeme ani teplotu.

How on earth can predicting the behavior of 230 million voters in this country

Jak bychom tedy mohli odhadovat rozhodnutí 230 milionů voličů

be that precise?

s takovou přesností?

And then there were those sleek charts.

A potom tu byly ty elegantní grafy.

See, a lot of data visualizations will overstate certainty, and it works --

Mnohé vizualizace dat pro nás totiž nadhodnocují jejich pravdivost

these charts can numb our brains to criticism.

a otupují pochybnosti našeho mozku.

When you hear a statistic, you might feel skeptical.

Když o statistice jen slyšíte, snadno ji můžete zpochybnit.

As soon as it's buried in a chart,

Ale když jsou data v podobě grafu,

it feels like some kind of objective science,

hned působí objektivní věda,

and it's not.

ale tak to není.

So I was trying to find ways to better communicate this to people,

Hledala jsem cestu, jak čísla lidem lépe zprostředkovat,

to show people the uncertainty in our numbers.

abych ukázala nejistotu, která se za našimi čísly skrývá.

What I did was I started taking real data sets,

Takže jsem začala brát skutečné sady dat

and turning them into hand-drawn visualizations,

a dělat z nich ručně kreslené vizualizace,

so that people can see how imprecise the data is;

aby lidé viděli, jak nedokonalá ta data skutečně jsou.

Aby bylo na první pohled vidět, že to dělali lidé,

so people can see that a human did this,

a human found the data and visualized it.

že člověk vzal data a znázornil je.

For example, instead of finding out the probability

Například místo grafu pravděpodobnosti

of getting the flu in any given month,

v jakém měsíci chytíte chřipku,

you can see the rough distribution of flu season.

můžete vidět tuto vizualizaci chřipkové sezóny.

This is --

Je to...

(Laughter)

a bad shot to show in February.

(smích)

špatný obrázek pro únorovou prezentaci.

But it's also more responsible data visualization,

Ale je to mnohem zodpovědnější vizualizace dat,

because if you were to show the exact probabilities,

protože zobrazení přesných pravděpodobností

maybe that would encourage people to get their flu jabs

by mohlo povzbudit lidi, k onemoněcní chřipkou

ve špatné době.

at the wrong time.

The point of these shaky lines

Cílem těchto otřesných čar je,

is so that people remember these imprecisions,

aby si lidé uvědomili tyto nepřesnosti

but also so they don't necessarily walk away with a specific number,

ale také si neodnesli úplně přesná čísla,

but they can remember important facts.

spíše si zapamatovali důležité trendy a fakta.

Facts like injustice and inequality leave a huge mark on our lives.

Fakta jako nespravedlnost a nerovnost mají obrovské dopady na naše životy.

Facts like Black Americans and Native Americans have shorter life expectancies

Například, Afroameričané a domorodí Američané se dožívají nižšího věku

než ostatní rasy

than those of other races,

and that isn't changing anytime soon.

a že se to v nejbližší době nezmění

Facts like prisoners in the US can be kept in solitary confinement cells

Fakta o vězeňských celách,

that are smaller than the size of an average parking space.

které jsou menší než průměrné parkovací místo.

The point of these visualizations is also to remind people

Další cíl těchto vizualizací je připomenout lidem

of some really important statistical concepts,

některé důležité statistické koncepty,

concepts like averages.

jako je například průměrování.

So let's say you hear a claim like,

Vezměme si například toto tvrzení:

"The average swimming pool in the US contains 6.23 fecal accidents."

„Průměrně postihne plavecký bazén v USA 6,23 fekálních nehod.“

That doesn't mean every single swimming pool in the country

To neznamená, že každý plavecký bazén v naší zemi

contains exactly 6.23 turds.

obsahuje přesně 6,23 výkalů.

So in order to show that,

Abych to znázornila,

I went back to the original data, which comes from the CDC,

našla jsem si původní data od CDC,

who surveyed 47 swimming facilities.

kteří zkoumali 47 plaveckých zařízení

And I just spent one evening redistributing poop.

a jeden večer jsem věnovala rozložení hovínek.

So you can kind of see how misleading averages can be.

Zde vidíte, jak zavádějící může být zprůměrování.

(Laughter)

(smích)

OK, so the second question that you guys should be asking yourselves

Dobře, druhá otázka, kterou si můžete položit

to spot bad numbers is:

pro rozpoznání špatných statistik:

Can I see myself in the data?

„Najdu se v těch datech?“

This question is also about averages in a way,

Tato otázka se také týká průměrů,

because part of the reason why people are so frustrated

protože jedním z důvodů, proč lidi státní statistiky

with these national statistics,

tak moc frustrují,

is they don't really tell the story of who's winning and who's losing

protože neuvádějí, komu vládní politika pomáhá

from national policy.

a komu naopak škodí.

It's easy to understand why people are frustrated with global averages

Takže je snadné pochopit, proč lidem tyto průměry vadí,

když vůbec neodpovídají jejich osobním zkušenostem.

when they don't match up with their personal experiences.

I wanted to show people the way data relates to their everyday lives.

Chtěla jsem lidem ukázat, jak data souvisí s jejich životem.

I started this advice column called "Dear Mona,"

Založila jsem sloupek: „Drahá Mono,“

where people would write to me with questions and concerns

kam mi lidé mohli psát své dotazy a starosti

a já se jim snažila odpovědět pomocí dat.

and I'd try to answer them with data.

People asked me anything.

Lidé se ptali na všechno:

questions like, "Is it normal to sleep in a separate bed to my wife?"

„Je normální mít s manželkou oddělené ložnice?“

"Do people regret their tattoos?"

„Litují lidé svých tetování?“

„Co přesně znamená umřít přirozenou smrtí?“

"What does it mean to die of natural causes?"

All of these questions are great, because they make you think

Takové otázky jsou skvělé, protože vás přinutí se zamyslet,

about ways to find and communicate these numbers.

jak tato čísla najít a ukázat.

If someone asks you, "How much pee is a lot of pee?"

Když se vás někdo zeptá: „Kolik čurání je hodně čurání?“

which is a question that I got asked,

což byla jedna z položených otázek,

you really want to make sure that the visualization makes sense

opravdu si chcete být jistí, že bude zobrazení dávat smysl

to as many people as possible.

co nejvíce lidem je možné.

These numbers aren't unavailable.

Podobná čísla nejsou nepřístupná.

Sometimes they're just buried in the appendix of an academic study.

Jen jsou často pohřbena v přílohách akademických studií.

And they're certainly not inscrutable;

A určitě nejsou neuchopitelná.

if you really wanted to test these numbers on urination volume,

Pokud chcete otestovat kolik toho zvládnete vymočit,

you could grab a bottle and try it for yourself.

můžete vzít láhev a vyzkoušet si to sami.

(Laughter)

(smích)

The point of this isn't necessarily

Není nezbytně nutné,

that every single data set has to relate specifically to you.

aby se každá sada dat týkala přímo vás.

I'm interested in how many women were issued fines in France

Zkoumala jsem, kolik žen ve Francii dostalo pokutu

for wearing the face veil, or the niqab,

za zahalení tváře nebo nošení nikábu,

even if I don't live in France or wear the face veil.

i když ve Francii nežiji, ani si nezahaluji tvář.

The point of asking where you fit in is to get as much context as possible.

Otázka, jestli do dat zapadám, je zejména o uvědomění si souvislostí.

So it's about zooming out from one data point,

Je to o odhlédnutí od jediného údaje,

like the unemployment rate is five percent,

třeba od pětiprocentní nezaměstnanosti,

and seeing how it changes over time,

ale vidět, jak se vyvíjela v čase,

or seeing how it changes by educational status --

jak se liší podle dosaženého vzdělání -

this is why your parents always wanted you to go to college --

- což je důvod, proč vaši rodiče chtěli, abyste šli na univerzitu -

or seeing how it varies by gender.

- nebo jak se liší podle pohlaví.

Nowadays, male unemployment rate is higher

Dnes je mužská nezaměstnanost vyšší

than the female unemployment rate.

než nezaměstnanost ženská.

Up until the early '80s, it was the other way around.

Až do počátku 80. let to bylo naopak.

This is a story of one of the biggest changes

Tohle je jedna z největších změn,

that's happened in American society,

která se udála v americké společnosti

and it's all there in that chart, once you look beyond the averages.

vidíte ji v tomto grafu, pokud se podíváte dál než jen na průměry.

The axes are everything;

Osy jsou vše:

once you change the scale, you can change the story.

když změníte měřítko, můžete změnit význam.

OK, so the third and final question that I want you guys to think about

Třetí a poslední otázka, kterou vám chci nabídnout k přemýšlení

when you're looking at statistics is:

když se díváte na statistiky:

How was the data collected?

„Jak byla data sesbírána?“

So far, I've only talked about the way data is communicated,

Zatím jsem mluvila pouze o tom, jak jsou data zveřejněna,

but the way it's collected matters just as much.

ale způsob sbírání je stejně důležitý.

I know this is tough,

Vím, že je to těžké,

because methodologies can be opaque and actually kind of boring,

protože metodika může být nepřístupná a velmi nudná,

ale je pár jednoduchých kroků, jak to ověřit.

but there are some simple steps you can take to check this.

I'll use one last example here.

Použiji ještě jeden příklad.

One poll found that 41 percent of Muslims in this country support jihad,

Jeden průzkum zjistil, že 41 % amerických muslimů podporuje džihád,

which is obviously pretty scary,

což je pochopitelně dost děsivé

and it was reported everywhere in 2015.

a bylo to v roce 2015 často zmiňováno.

When I want to check a number like that,

Když jsem chtěla tato čísla ověřit,

I'll start off by finding the original questionnaire.

našla jsem si původní dotazník.

It turns out that journalists who reported on that statistic

Ukázalo se, že novináři, kteří o tomto výzkumu psali,

ignored a question lower down on the survey

ignorovali otázku položenou níže v dotazníku

that asked respondents how they defined "jihad."

která se ptala respondentů, jak definují džihád.

And most of them defined it as,

Většina z nich odpověděla:

"Muslims' personal, peaceful struggle to be more religious."

„Osobní, mírumilovné úsilí být více věřící.“

Only 16 percent defined it as, "violent holy war against unbelievers."

Pouze 16 % jej definovalo jako ‚násilnou svatou válku proti nevěřícím‘.

This is the really important point:

A tohle je velice důležité:

based on those numbers, it's totally possible

Podle těchto čísel je totiž možné

that no one in the survey who defined it as violent holy war

že není nikdo, kdo jej považuje za násilnou svatou válku

also said they support it.

a zároveň džihád podporuje.

Those two groups might not overlap at all.

Tyto dvě skupiny se vůbec nemusí překrývat.

It's also worth asking how the survey was carried out.

Také stojí za to zjistit, jak výzkum probíhal.

This was something called an opt-in poll,

Šlo o takzvanou zaškrtávací anketu,

which means anyone could have found it on the internet and completed it.

což znamená, že ji každý mohl najít na internetu a vyplnit.

There's no way of knowing if those people even identified as Muslim.

Neexistuje způsob, jak ověřit, že se skutečně jedná o muslimy.

And finally, there were 600 respondents in that poll.

A nakonec, celkový vzorek tvořilo 600 respondentů.

V USA žijí podle Pew Research Center

There are roughly three million Muslims in this country,

according to Pew Research Center.

přibližně 3 miliony muslimů.

To znamená, že anketa vyjadřovala názor přibližně 1 z každých 5000

That means the poll spoke to roughly one in every 5,000 Muslims

in this country.

muslimů v této zemi.

This is one of the reasons

To je jeden z důvodů,

why government statistics are often better than private statistics.

proč jsou vládní statistiky lepší než soukromé.

A poll might speak to a couple hundred people, maybe a thousand,

Ankety vyjadřují názor stovek, možná tisíců lidí,

or if you're L'Oreal, trying to sell skin care products in 2005,

ne jako když L'Oreal chtěl v roce 2005 prodávat kosmetiku

then you spoke to 48 women to claim that they work.

a pro prohlášení, že funguje, vyzpovídal jen 48 žen.

(Laughter)

(smích)

Private companies don't have a huge interest in getting the numbers right,

Není v zájmu soukromých společností mít co nejpřesnější čísla,

they just need the right numbers.

stačí jim mít čísla pro ně výhodná.

Government statisticians aren't like that.

Vládní statistici jsou naprosto odlišní.

In theory, at least, they're totally impartial,

Minimálně teoreticky jsou naprosto nestranní,

not least because most of them do their jobs regardless of who's in power.

přinejmenším protože dělají pracují nezávisle na tom, kdo je právě u moci.

They're civil servants.

Jsou státními úředníky.

And to do their jobs properly,

Aby dělali svoji práci správně,

they don't just speak to a couple hundred people.

nestačí jim pouze mluvit se stovkami lidí.

Those unemployment numbers I keep on referencing

Například mnou zmiňované údaje o nezaměstnanosti

come from the Bureau of Labor Statistics,

jsou od Statistického úřadu práce

and to make their estimates,

a aby mohli provést svůj odhad,

they speak to over 140,000 businesses in this country.

komunikují s více než 140 000 podniky v celé zemi.

I get it, it's frustrating.

Chápu, může to být frustrující.

If you want to test a statistic that comes from a private company,

Pokud chcete ověřit statistiky soukromé společnosti,

můžete si koupit krém na pleť a s několika kamarádkami ho vyzkoušet,

you can buy the face cream for you and a bunch of friends, test it out,

když nefunguje, víte, že čísla nesedí.

if it doesn't work, you can say the numbers were wrong.

Ale jak ověřovat vládní statistiky?

But how do you question government statistics?

Některé věci ověřovat musíme.

You just keep checking everything.

Zkoumat, jak sesbírali data.

Find out how they collected the numbers.

Find out if you're seeing everything on the chart you need to see.

Ujistit se, že je v grafech všechno, co tam má být.

Rozhodně ale nesmíte statistikám přestat věřit,

But don't give up on the numbers altogether, because if you do,

jinak budeme veřejné problémy rozhodovat ve tmě,

we'll be making public policy decisions in the dark,

vedeni jen našimi osobními zájmy.

using nothing but private interests to guide us.

Thank you.

Děkuji vám.

(potlesk)

(Applause)