3 ways to spot a bad statistic | Mona Chalabi

Tłumaczenie: Bartek Sieniak Korekta: Ola Królikowska

I'm going to be talking about statistics today.

Dziś będzie o statystyce.

If that makes you immediately feel a little bit wary, that's OK,

Trochę podejrzliwości w tej kwestii

nie robi z was szalonych wyznawców teorii spiskowych.

that doesn't make you some kind of crazy conspiracy theorist,

it makes you skeptical.

To zwykły sceptycyzm.

And when it comes to numbers, especially now, you should be skeptical.

A jeśli chodzi o liczby, zwłaszcza teraz, sceptycyzm jest wskazany.

But you should also be able to tell which numbers are reliable

Trzeba też umieć wskazać wiarygodne liczby,

and which ones aren't.

jak i te, które wiarygodne nie są.

So today I want to try to give you some tools to be able to do that.

Istnieje kilka narzędzi, które mogą w tym pomóc.

But before I do,

Zanim do tego przejdziemy,

I just want to clarify which numbers I'm talking about here.

chciałabym wyjaśnić, o które liczby mi chodzi.

I'm not talking about claims like,

Nie mówię o twierdzeniach typu

"9 out of 10 women recommend this anti-aging cream."

"9 na 10 kobiet poleca ten krem przeciw starzeniu".

I think a lot of us always roll our eyes at numbers like that.

Sądzę, że wiele osób ma po dziurki w nosie takich liczb.

What's different now is people are questioning statistics like,

Sęk w tym, że obecnie ludzie kwestionują statystyki typu

"The US unemployment rate is five percent."

"Bezrobocie w USA wynosi 5%".

What makes this claim different is it doesn't come from a private company,

Różnica polega na tym, że nie jest to oświadczenie prywatnej firmy,

it comes from the government.

a rządu.

About 4 out of 10 Americans distrust the economic data

4 na 10 Amerykanów nie ufa rządowym raportom ekonomicznym.

that gets reported by government.

Among supporters of President Trump it's even higher;

Wśród zwolenników Donalda Trumpa

it's about 7 out of 10.

jest ich więcej, bo aż 7 na 10.

I don't need to tell anyone here

Nie muszę nikomu mówić,

that there are a lot of dividing lines in our society right now,

jak bardzo społeczeństwo USA jest obecnie podzielone.

and a lot of them start to make sense,

Wiele z tych podziałów jest zrozumiałych,

once you understand people's relationships with these government numbers.

jeśli weźmie się pod uwagę stosunek obywateli do rządowych statystyk.

On the one hand, there are those who say these statistics are crucial,

Jedni mówią, że statystyki są niezbędne

that we need them to make sense of society as a whole

do zrozumienia społeczeństwa jako całości,

in order to move beyond emotional anecdotes

by móc przezwyciężyć emocje

and measure progress in an [objective] way.

i zmierzyć postęp w obiektywny sposób.

And then there are the others,

Inni twierdzą,

who say that these statistics are elitist,

że to zmanipulowane statystyki tworzone przez elity,

maybe even rigged;

they don't make sense and they don't really reflect

które nie mają sensu i nie odzwierciedlają

what's happening in people's everyday lives.

codziennej rzeczywistości Amerykanów.

It kind of feels like that second group is winning the argument right now.

Wydaje się, że druga strona jest teraz na fali wznoszącej.

We're living in a world of alternative facts,

Żyjemy w świecie alternatywnych faktów,

where people don't find statistics this kind of common ground,

gdzie ludzie nie uważają statystyk za wspólny grunt,

this starting point for debate.

za punkt wyjścia do debaty.

This is a problem.

To jest problem.

There are actually moves in the US right now

W USA są obecne tendencje zmierzające

to get rid of some government statistics altogether.

do całkowitego zaprzestania zbierania niektórych danych.

Right now there's a bill in congress about measuring racial inequality.

Kongres pracuje obecnie nad ustawą o nierównościach rasowych.

The draft law says that government money should not be used

Projekt zakłada,

że finanse publiczne nie mogą służyć zbieraniu danych na temat

to collect data on racial segregation.

This is a total disaster.

segregacji rasowej.

To katastrofa.

If we don't have this data,

Jak bez tego mamy monitorować dyskryminację,

how can we observe discrimination,

let alone fix it?

a co dopiero jej zapobiegać?

In other words:

Innymi słowy,

How can a government create fair policies

jak rząd chce prowadzić sprawiedliwą politykę,

if they can't measure current levels of unfairness?

nie wiedząc, jaki jest aktualny poziom niesprawiedliwości?

This isn't just about discrimination,

Nie chodzi jedynie o dyskryminację,

it's everything -- think about it.

ale także o wiele innych dziedzin.

How can we legislate on health care

Jak tworzyć prawo o służbie zdrowia

if we don't have good data on health or poverty?

bez danych o zdrowiu czy o biedzie?

How can we have public debate about immigration

Jak ma wyglądać publiczna debata o imigracji

if we can't at least agree

bez wiedzy o tym,

on how many people are entering and leaving the country?

ile osób wjeżdża do kraju, a ile z niego wyjeżdża?

Statistics come from the state; that's where they got their name.

Wyraz "statystyka" pochodzi od łacińskiego "status" - państwo.

The point was to better measure the population

Jej celem było mierzenie populacji,

in order to better serve it.

żeby lepiej jej służyć.

So we need these government numbers,

Rządowe liczby są nam niezbędne,

but we also have to move beyond either blindly accepting

ale nie możemy ich jedynie ślepo akceptować

or blindly rejecting them.

lub ślepo odrzucać.

We need to learn the skills to be able to spot bad statistics.

Musimy posiąść umiejętność wyławiania złych statystyk.

I started to learn some of these

Zaczęłam się tego uczyć

when I was working in a statistical department

podczas pracy w Departamencie Statystyki

that's part of the United Nations.

w ONZ.

Our job was to find out how many Iraqis had been forced from their homes

Należało sprawdzić, ilu Irakijczyków musiało opuścić domy

as a result of the war,

w wyniku wojny

and what they needed.

i czego potrzebowali.

It was really important work, but it was also incredibly difficult.

Nasza praca była szalenie ważna, a jednocześnie niezwykle trudna.

Every single day, we were making decisions

Każdego dnia podejmowaliśmy decyzje,

that affected the accuracy of our numbers --

które miały wpływ na dokładność liczb,

decisions like which parts of the country we should go to,

w który rejon kraju trzeba pojechać,

who we should speak to,

z kim należy rozmawiać,

which questions we should ask.

jakie zadać pytania.

And I started to feel really disillusioned with our work,

Powoli traciłam złudzenia względem naszej pracy,

because we thought we were doing a really good job,

bo myśleliśmy, że wykonujemy kawał dobrej roboty,

but the one group of people who could really tell us were the Iraqis,

ale dane mogliśmy otrzymać tylko od Irakijczyków,

and they rarely got the chance to find our analysis, let alone question it.

którzy mieli małe szanse znaleźć,

a co dopiero zakwestionować nasze analizy.

So I started to feel really determined

W efekcie rosła moja pewność,

that the one way to make numbers more accurate

że dokładność liczb będzie tym większa,

is to have as many people as possible be able to question them.

im więcej ludzi będzie w stanie je zakwestionować.

So I became a data journalist.

Dlatego zostałam dziennikarką danych.

My job is finding these data sets and sharing them with the public.

Wyszukuję dane i je rozpowszechniam.

Anyone can do this, you don't have to be a geek or a nerd.

Każdy może to robić,

nie trzeba być geekiem czy nerdem.

Zignorujcie te dwa słowa.

You can ignore those words; they're used by people

Dzięki nim ludzie chcą wyjść na skromnych

trying to say they're smart while pretending they're humble.

i jednocześnie inteligentnych.

Absolutnie każdy może to robić.

Absolutely anyone can do this.

I want to give you guys three questions

Mam do was trzy pytania,

that will help you be able to spot some bad statistics.

które pomogą wam zidentyfikować złe statystyki.

So, question number one is: Can you see uncertainty?

Pytanie numer 1: "Czy widzisz przypadkowość danych?".

One of things that's really changed people's relationship with numbers,

Jedną z rzeczy, które zmieniły stosunek ludzi do liczb

and even their trust in the media,

i podważyły zaufanie do mediów,

has been the use of political polls.

są sondaże poparcia partii politycznych.

I personally have a lot of issues with political polls

Osobiście mam z nimi problem,

because I think the role of journalists is actually to report the facts

bo uważam, że rolą dziennikarza powinno być zdawanie relacji z faktów,

and not attempt to predict them,

a nie próba ich przewidywania.

especially when those predictions can actually damage democracy

Zwłaszcza, że takie próby mogą być szkodliwe dla demokracji,

by signaling to people: don't bother to vote for that guy,

wysyłając sygnał: nie warto głosować na tego faceta,

on i tak nie ma szans.

he doesn't have a chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

Zostawmy to i porozmawiajmy o dokładności tych starań.

Based on national elections in the UK, Italy, Israel

Bazując na wynikach wyborów w Wielkiej Brytanii, we Włoszech, Izraelu

and of course, the most recent US presidential election,

i oczywiście ostatnich wyborów w USA,

using polls to predict electoral outcomes

przewidywanie ich wyniku na podstawie sondaży

is about as accurate as using the moon to predict hospital admissions.

daje taki sam rezultat, jak przewidywanie na podstawie wróżenia z fusów.

No, seriously, I used actual data from an academic study to draw this.

Użyłam badań naukowych dla zobrazowania problemu.

There are a lot of reasons why polling has become so inaccurate.

Sondaże utraciły wiarygodność z wielu powodów.

Our societies have become really diverse,

Różnorodność społeczeństw wzrosła,

which makes it difficult for pollsters to get a really nice representative sample

wskutek czego ankieterzy mają trudność

ze znalezieniem reprezentatywnej grupy ludzi do badania.

of the population for their polls.

People are really reluctant to answer their phones to pollsters,

Ludzie niechętnie biorą udział w ankietach telefonicznych,

and also, shockingly enough, people might lie.

a także, co może szokować, kłamią.

But you wouldn't necessarily know that to look at the media.

Jednak niekoniecznie dowiecie się o tym z mediów.

For one thing, the probability of a Hillary Clinton win

Po pierwsze, prawdopodobieństwo wygranej Hillary Clinton

was communicated with decimal places.

podano z dokładnością do kilku miejsc po przecinku.

We don't use decimal places to describe the temperature.

W ten sposób nie mierzy się temperatury.

How on earth can predicting the behavior of 230 million voters in this country

Jakim cudem można tak dokładnie przewidzieć zachowanie 230 milionów ludzi?

be that precise?

And then there were those sleek charts.

Wszyscy pamiętamy te wymuskane wykresy.

See, a lot of data visualizations will overstate certainty, and it works --

Wiele z nich jest przesadnie dokładna i to działa.

these charts can numb our brains to criticism.

Wykresy usypiają nasz zmysł krytyczny.

When you hear a statistic, you might feel skeptical.

Statystyki mogą wzbudzać sceptycyzm.

As soon as it's buried in a chart,

Statystyka w formie wykresu

it feels like some kind of objective science,

wydaje się obiektywnym badaniem,

and it's not.

ale nim nie jest.

So I was trying to find ways to better communicate this to people,

Dlatego szukałam lepszego sposobu na pokazanie danych,

to show people the uncertainty in our numbers.

żeby zobrazować przypadkowość rządzącą statystyką.

What I did was I started taking real data sets,

Zaczęłam brać prawdziwe zestawy danych

and turning them into hand-drawn visualizations,

i na ich podstawie rysować ręczne wykresy,

so that people can see how imprecise the data is;

żeby pokazać ich nieprecyzyjność

so people can see that a human did this,

i że za tym stoi tylko człowiek,

a human found the data and visualized it.

który te dane znalazł i zwizualizował.

For example, instead of finding out the probability

Na przykład, zamiast przedstawiać prawdopodobieństwo

of getting the flu in any given month,

zachorowania na grypę w danym miesiącu,

you can see the rough distribution of flu season.

widać tu sugestywny podział na sezony grypowe.

This is --

Jak widać...

(Laughter)

(Śmiech)

a bad shot to show in February.

Luty to pechowy miesiąc.

But it's also more responsible data visualization,

Ale taka wizualizacja jest bardziej odpowiedzialna,

because if you were to show the exact probabilities,

bo gdyby przedstawić dokładne prawdopodobieństwa,

maybe that would encourage people to get their flu jabs

to mogłoby to zachęcać do szczepień

w nieodpowiednim czasie.

at the wrong time.

The point of these shaky lines

Celem tych koślawych linii

is so that people remember these imprecisions,

jest sprawienie, by ludzie zapamiętali brak precyzji,

but also so they don't necessarily walk away with a specific number,

a także, by zamiast określonych liczb

but they can remember important facts.

utrwalili sobie ważne fakty.

Facts like injustice and inequality leave a huge mark on our lives.

Niesprawiedliwość czy nierówność zostawiają ogromne ślady w naszym życiu.

Facts like Black Americans and Native Americans have shorter life expectancies

Albo fakt, że Afroamerykanie i Indianie średnio żyją krócej,

than those of other races,

niż inne grupy etniczne

and that isn't changing anytime soon.

i że to się szybko nie zmieni.

Facts like prisoners in the US can be kept in solitary confinement cells

Albo że więźniowie w Stanach mogą być przetrzymywani

w izolatce niewiele większej niż miejsce parkingowe.

that are smaller than the size of an average parking space.

The point of these visualizations is also to remind people

Celem jest też przypomnienie ludziom

of some really important statistical concepts,

o kilku ważnych pojęciach z dziedziny statystyki,

concepts like averages.

jak średnia.

So let's say you hear a claim like,

Weźmy takie twierdzenie:

"The average swimming pool in the US contains 6.23 fecal accidents."

"Na każdym basenie w USA zdarza się średnio 6,23 wypróżnień".

That doesn't mean every single swimming pool in the country

To nie znaczy, że w każdym amerykańskim basenie

contains exactly 6.23 turds.

pływa dokładnie 6,23 odchodów.

So in order to show that,

Żeby to pokazać,

I went back to the original data, which comes from the CDC,

wzięłam oryginalne dane z agencji rządowej,

who surveyed 47 swimming facilities.

która przebadała 47 basenów.

And I just spent one evening redistributing poop.

Spędziłam jeden wieczór na rozdysponowywaniu kup.

So you can kind of see how misleading averages can be.

Jak widać, średnia może być myląca.

(Laughter)

(Śmiech)

OK, so the second question that you guys should be asking yourselves

Drugie pytanie, jakie powinno was uchronić

to spot bad numbers is:

przed mylącymi liczbami, to:

Can I see myself in the data?

"Czy dostrzegam siebie w danych?".

This question is also about averages in a way,

W pewnym sensie to pytanie dotyczy także średniej,

because part of the reason why people are so frustrated

gdyż część frustracji wywołanej rządowymi liczbami

with these national statistics,

spowodowana jest tym,

is they don't really tell the story of who's winning and who's losing

że nie pokazują one, kto korzysta,

a kto traci na polityce państwa.

from national policy.

It's easy to understand why people are frustrated with global averages

Łatwo zrozumieć frustrację ludzi uśrednionymi liczbami,

when they don't match up with their personal experiences.

skoro nijak to się ma do ich osobistych doświadczeń.

I wanted to show people the way data relates to their everyday lives.

Chciałam pokazać związek między danymi a życiem codziennym.

I started this advice column called "Dear Mona,"

Zaczęłam prowadzić rubrykę "Droga Mono",

where people would write to me with questions and concerns

gdzie ludzie mieli zadawać mi pytania,

a ja miałam odpowiadać za pomocą statystyki.

and I'd try to answer them with data.

People asked me anything.

Pytano mnie o wszystko.

questions like, "Is it normal to sleep in a separate bed to my wife?"

"Czy to normalne, że śpimy z żoną w osobnych łóżkach?".

"Do people regret their tattoos?"

"Czy ludzie żałują tatuaży?".

"What does it mean to die of natural causes?"

"Co to znaczy umrzeć z przyczyn naturalnych?".

All of these questions are great, because they make you think

Te pytania są świetne, bo zmuszają do poszukiwania

about ways to find and communicate these numbers.

sposobu na przedstawienie ich za pomocą liczb.

If someone asks you, "How much pee is a lot of pee?"

Jeśli ktoś was zapyta: "Ile moczu to dużo moczu?",

which is a question that I got asked,

o co zresztą mnie zapytano,

you really want to make sure that the visualization makes sense

to wizualizacja powinna być zrozumiała

to as many people as possible.

dla jak największej liczby ludzi.

These numbers aren't unavailable.

Te liczby naprawdę istnieją.

Sometimes they're just buried in the appendix of an academic study.

Czasem są po prostu ukryte w aneksach do badań naukowych.

And they're certainly not inscrutable;

Nie są to też liczby niesprawdzalne.

if you really wanted to test these numbers on urination volume,

Jeśli naprawdę chcesz zbadać objętość moczu,

you could grab a bottle and try it for yourself.

możesz wziąć butelkę i wypróbować na sobie.

(Laughter)

(Śmiech)

The point of this isn't necessarily

Nie chodzi o to,

that every single data set has to relate specifically to you.

żeby każdy zestaw danych odnosił się konkretnie do mnie.

I'm interested in how many women were issued fines in France

Interesuje mnie, ile kobiet we Francji dostało mandat

for wearing the face veil, or the niqab,

za zakrywanie twarzy nikabem,

even if I don't live in France or wear the face veil.

choć nie mieszkam we Francji i nie noszę nikabu.

The point of asking where you fit in is to get as much context as possible.

Pytanie o nasze miejsce w liczbach pozwala określić jak najszerszy kontekst.

So it's about zooming out from one data point,

Chodzi o przyjrzenie się danemu wskaźnikowi,

like the unemployment rate is five percent,

na przykład 5-procentowemu bezrobociu,

and seeing how it changes over time,

i jak się to zmieniało w danym okresie

or seeing how it changes by educational status --

lub jak wpływa na nie wykształcenie,

this is why your parents always wanted you to go to college --

dlatego wasi rodzice zawsze chcieli, żebyście poszli na studia,

or seeing how it varies by gender.

albo jak to wygląda w zależności od płci.

Nowadays, male unemployment rate is higher

Obecnie bezrobocie jest wyższe wśród mężczyzn

than the female unemployment rate.

niż wśród kobiet.

Up until the early '80s, it was the other way around.

Aż do wczesnych lat 80. było odwrotnie.

This is a story of one of the biggest changes

To jedna z największych zmian

that's happened in American society,

w amerykańskim społeczeństwie.

and it's all there in that chart, once you look beyond the averages.

Dostrzeżemy ją na wykresie, o ile nie ograniczymy się do średniej.

The axes are everything;

Wykresy mówią wszystko:

once you change the scale, you can change the story.

zmiana skali modyfikuje narrację.

OK, so the third and final question that I want you guys to think about

Trzecie i ostatnie pytanie, które powinno przyjść do głowy,

when you're looking at statistics is:

kiedy patrzycie na wykres, to:

How was the data collected?

"W jaki sposób zebrano dane?".

So far, I've only talked about the way data is communicated,

Dotąd mówiliśmy jedynie o tym, jak dane są rozpowszechniane,

but the way it's collected matters just as much.

jednak sposób ich gromadzenia jest równie ważny.

I know this is tough,

Wiem, że to trudne,

because methodologies can be opaque and actually kind of boring,

bo metodologie mogą być niejasne i nudne,

but there are some simple steps you can take to check this.

ale istnieje kilka prostych sposobów, aby to sprawdzić.

I'll use one last example here.

Posłużę się jeszcze jednym przykładem.

One poll found that 41 percent of Muslims in this country support jihad,

Badania wykazały, że 41% muzułmanów w Stanach popiera dżihad,

which is obviously pretty scary,

co jest przerażające.

and it was reported everywhere in 2015.

Było o tym głośno w 2015 roku.

When I want to check a number like that,

Kiedy chcę sprawdzić podobne dane,

I'll start off by finding the original questionnaire.

zaczynam od przejrzenia oryginalnej ankiety.

It turns out that journalists who reported on that statistic

Okazuje się, że dziennikarze, którzy donieśli o wynikach,

ignored a question lower down on the survey

zignorowali następne pytanie z kwestionariusza,

that asked respondents how they defined "jihad."

gdzie respondenci mieli podać definicję "dżihadu".

And most of them defined it as,

Większość zrozumiała to pojęcie jako

"Muslims' personal, peaceful struggle to be more religious."

"osobistą, pokojową walkę każdego muzułmanina o bycie bardziej religijnym".

Only 16 percent defined it as, "violent holy war against unbelievers."

Tylko 16% zdefiniowało to jako "świętą wojnę przeciwko niewiernym".

This is the really important point:

Nasuwa się jeden ważny wniosek.

based on those numbers, it's totally possible

Bazując na tych danych, jest bardzo możliwe,

that no one in the survey who defined it as violent holy war

że nikt, kto w ankiecie określił dżihad jako krwawą świętą wojnę,

also said they support it.

jednocześnie jej nie poparł.

Those two groups might not overlap at all.

Te dwie grupy mogą się w ogóle nie pokrywać.

It's also worth asking how the survey was carried out.

Warto też zapytać, jak badanie zostało wykonane.

This was something called an opt-in poll,

To była zwykła internetowa ankieta,

which means anyone could have found it on the internet and completed it.

którą w sieci mógł znaleźć i wypełnić dosłownie każdy.

There's no way of knowing if those people even identified as Muslim.

Nie da się sprawdzić, czy ci ludzie w ogóle byli muzułmanami.

And finally, there were 600 respondents in that poll.

Co więcej, w ankiecie wzięło udział około 600 osób.

There are roughly three million Muslims in this country,

Według danych Pew Research Center w USA mieszka obecnie

according to Pew Research Center.

około 3 mln muzułmanów.

That means the poll spoke to roughly one in every 5,000 Muslims

Jeden głos w ankiecie przypada na około 5 tysięcy muzułmanów

in this country.

mieszkających w USA.

This is one of the reasons

To między innymi dlatego

why government statistics are often better than private statistics.

rządowe dane są często lepsze, niż te z sektora prywatnego.

A poll might speak to a couple hundred people, maybe a thousand,

Badanie opinii publicznej może trafić do najwyżej tysiąca osób,

or if you're L'Oreal, trying to sell skin care products in 2005,

chyba że jesteście L'Orealem i chcecie sprzedać krem w 2005 roku.

then you spoke to 48 women to claim that they work.

Wtedy mówicie 48 kobietom, że to działa.

(Laughter)

(Śmiech)

Private companies don't have a huge interest in getting the numbers right,

Prywatne firmy nie mają interesu w pokazywaniu wiarygodnych liczb.

they just need the right numbers.

Interesują je tylko te korzystne.

Government statisticians aren't like that.

Statystycy rządowi tacy nie są.

In theory, at least, they're totally impartial,

Przynajmniej teoretycznie są bezstronni

not least because most of them do their jobs regardless of who's in power.

i pracują bez względu na to, kto jest obecnie u władzy.

They're civil servants.

Oni służą obywatelom.

And to do their jobs properly,

Żeby wykonać swą pracę dobrze,

they don't just speak to a couple hundred people.

nie odnoszą się jedynie do garstki ludzi.

Those unemployment numbers I keep on referencing

Liczby o bezrobociu, do których wciąż powracam,

come from the Bureau of Labor Statistics,

pochodzą z Biura Statystyk Zatrudnienia,

and to make their estimates,

a szacunki są robione

they speak to over 140,000 businesses in this country.

na podstawie wywiadów z około 140 tysiącami firm w kraju.

I get it, it's frustrating.

Rozumiem, to frustrujące.

If you want to test a statistic that comes from a private company,

Jeśli chcesz sprawdzić wiarygodność statystyk prywatnej firmy,

you can buy the face cream for you and a bunch of friends, test it out,

to kupujesz krem do twarzy sobie i znajomym, testujesz go,

i jeśli nie działa, to mówisz, że liczby kłamią.

if it doesn't work, you can say the numbers were wrong.

A co ze statystykami rządowymi?

But how do you question government statistics?

Tutaj trzeba sprawdzić wszystko.

You just keep checking everything.

Jak zbierane są dane,

Find out how they collected the numbers.

Find out if you're seeing everything on the chart you need to see.

czy na wykresie widać to, co trzeba.

Ale nie wolno rezygnować z liczb.

But don't give up on the numbers altogether, because if you do,

Rezygnacja da władzy zielone światło do prowadzenia niejasnej polityki,

we'll be making public policy decisions in the dark,

using nothing but private interests to guide us.

gdzie najważniejszy będzie jej własny interes.

Thank you.

Dziękuję.

(Brawa)

(Applause)