3 ways to spot a bad statistic | Mona Chalabi

Перекладач: Tanya Goloboroda Утверджено: Mila Arseniuk

I'm going to be talking about statistics today.

Сьогодні я розповім вам про статистику.

If that makes you immediately feel a little bit wary, that's OK,

Якщо ви трохи насторожились, то це нормально,

that doesn't make you some kind of crazy conspiracy theorist,

це почуття не робить з вас божевільного конспіролога,

it makes you skeptical.

ви стаєте скептиком.

And when it comes to numbers, especially now, you should be skeptical.

І коли мова йде про цифри, особливо зараз, ви повинні ним бути.

Та водночас мусите сказати, які цифри надійні,

But you should also be able to tell which numbers are reliable

а які ні.

and which ones aren't.

So today I want to try to give you some tools to be able to do that.

Сьогодні для цього я спробую дати вам кілька підказок.

Та спочатку

But before I do,

хочу пояснити, які цифри я маю на увазі.

I just want to clarify which numbers I'm talking about here.

Я не говорю про щось на кшталт

I'm not talking about claims like,

"9 з 10 жінок рекомендують цей омолоджуючий крем".

"9 out of 10 women recommend this anti-aging cream."

I think a lot of us always roll our eyes at numbers like that.

Певно, чимало з нас від такого закотять очі.

What's different now is people are questioning statistics like,

Та сьогодні люди сумніваються навіть у таких статистичних даних:

"Безробіття у США становить 5%".

"The US unemployment rate is five percent."

What makes this claim different is it doesn't come from a private company,

Це ствердження не приватної компанії,

it comes from the government.

а уряду.

About 4 out of 10 Americans distrust the economic data

Близько 4 з 10 американців не довіряють економічним даним,

that gets reported by government.

що озвучує влада.

Among supporters of President Trump it's even higher;

Серед прихильників президента Трампа цифри навіть вищі;

it's about 7 out of 10.

це близько 7 з 10.

I don't need to tell anyone here

Нема потреби говорити,

що є багато ліній, які розділяють суспільство,

that there are a lot of dividing lines in our society right now,

and a lot of them start to make sense,

і багато з них починають набувати сенсу,

once you understand people's relationships with these government numbers.

як тільки ви зрозумієте ставлення людей до таких державних даних.

On the one hand, there are those who say these statistics are crucial,

З одного боку, є ті, хто говорить, що ці дані визначальні,

that we need them to make sense of society as a whole

що ми потребуємо їх, щоб розуміти суспільство у цілому,

in order to move beyond emotional anecdotes

щоб вийти за межі емоційності

and measure progress in an [objective] way.

і оцінювати прогрес об'єктивно.

And then there are the others,

А є й інші люди, які говорять,

who say that these statistics are elitist,

що ця статистика працює на еліту

maybe even rigged;

або взагалі сфальсифікована;

they don't make sense and they don't really reflect

вона не має сенсу і не відображає істинно те,

what's happening in people's everyday lives.

що відбувається у повсякденному житті людей.

Складається враження, що друга група цю битву виграє.

It kind of feels like that second group is winning the argument right now.

We're living in a world of alternative facts,

Ми живемо у світі, альтернативних фактів,

where people don't find statistics this kind of common ground,

де люди не надто покладаються на статистику,

і це породжує дискусії.

this starting point for debate.

Це проблема.

This is a problem.

There are actually moves in the US right now

Наразі у США є рухи за те, щоб

to get rid of some government statistics altogether.

взагалі скасувати деяку урядові статистику.

Right now there's a bill in congress about measuring racial inequality.

Просто зараз у конгресі зареєстровано законопроект щодо даних расової нерівності.

У проекті закону вказано, що уряд не повинен витрачати кошти

The draft law says that government money should not be used

для збору даних про расову сегрегацію.

to collect data on racial segregation.

This is a total disaster.

If we don't have this data,

Це тотальна катастрофа.

how can we observe discrimination,

Якщо у нас немає цієї інформації,

як ми дізнаємося про дискримінацію,

let alone fix it?

не кажучи вже про її усунення?

In other words:

Іншими словами,

How can a government create fair policies

як уряд вестиме справедливу політику,

якщо не зможе виміряти рівень несправедливості?

if they can't measure current levels of unfairness?

This isn't just about discrimination,

Йдеться не лише про дискримінацію,

it's everything -- think about it.

а й про все – поміркуйте над цим.

Як ухвалювати закони про здоров'я,

How can we legislate on health care

якщо не буде даних?

if we don't have good data on health or poverty?

Як ми можемо обговорювати імміграцію,

How can we have public debate about immigration

якщо ми не в змозі узгодити хоча б те,

if we can't at least agree

on how many people are entering and leaving the country?

скільки людей іммігрує?

Statistics come from the state; that's where they got their name.

Держстатистику надає держава; звідси й назва.

Ідея полягала в тому, щоб краще вивчити населення

The point was to better measure the population

і далі краще обслуговувати його.

in order to better serve it.

So we need these government numbers,

Тож нам потрібні ці дані,

but we also have to move beyond either blindly accepting

але з розумінням того, у що сліпо вірити,

а що сліпо відкидати.

or blindly rejecting them.

We need to learn the skills to be able to spot bad statistics.

Нам потрібно навчитися розрізняти погані дані.

I started to learn some of these

Я почала вчитися цього

when I was working in a statistical department

у відділі статистики

that's part of the United Nations.

Організації Об'єднаних Націй.

Ми з'ясовували кількість іракців,

Our job was to find out how many Iraqis had been forced from their homes

які вимушено покинули свої оселі через війну,

as a result of the war,

and what they needed.

і те, що їм потрібно.

It was really important work, but it was also incredibly difficult.

Це була важлива, однак складна робота.

Every single day, we were making decisions

Щодня ми приймали рішення,

that affected the accuracy of our numbers --

які впливали на точність наших даних.

decisions like which parts of the country we should go to,

Рішення - які частини країни ми маємо відвідати,

з ким ми маємо говорити,

who we should speak to,

which questions we should ask.

які питання ставити.

And I started to feel really disillusioned with our work,

Та я почала розчаровуватися,

адже ми думали, що робимо дійсно хорошу роботу,

because we thought we were doing a really good job,

but the one group of people who could really tell us were the Iraqis,

та самим іракцям, котрі єдині могли дати нам відповіді,

and they rarely got the chance to find our analysis, let alone question it.

рідко траплялася нагода навіть знайти наш аналіз.

So I started to feel really determined

Тож я переконалася,

that the one way to make numbers more accurate

що єдиний шлях зібрати точніші дані -

is to have as many people as possible be able to question them.

це ставити питання якомога більшій кількості людей.

So I became a data journalist.

Таким чином, я стала журналістом даних.

My job is finding these data sets and sharing them with the public.

Я знаходжу дані і ділюся ними.

Anyone can do this, you don't have to be a geek or a nerd.

Будь-хто може це робити, тут не треба бути вундеркіндом.

You can ignore those words; they're used by people

Можете проігнорувати ці слова; їх кажуть,

trying to say they're smart while pretending they're humble.

щоб продемонструвати свій розум через вдавану скромність.

Але це справді під силу будь-кому.

Absolutely anyone can do this.

I want to give you guys three questions

Я хочу озвучити три запитання,

that will help you be able to spot some bad statistics.

щоб ви зрозуміли, що таке погана статистика.

So, question number one is: Can you see uncertainty?

Отже, питання перше: Ви можете побачити невпевненість?

One of things that's really changed people's relationship with numbers,

Одна з речей, що дійсно змінила ставлення людей до даних,

and even their trust in the media,

і навіть їхню довіру до ЗМІ, -

has been the use of political polls.

I personally have a lot of issues with political polls

використання політичних опитувань.

because I think the role of journalists is actually to report the facts

Я маю багато питань щодо політопитувань,

адже роль журналістів насправді - повідомляти про факти,

and not attempt to predict them,

а не намагатися їх передбачити,

especially when those predictions can actually damage democracy

особливо коли вони можуть зашкодити демократії,

by signaling to people: don't bother to vote for that guy,

сигналізуючи людині: не голосуй за того хлопця,

він не має жодного шансу.

he doesn't have a chance.

Поговоримо про точність цих зусиль.

Let's set that aside for now and talk about the accuracy of this endeavor.

Опираючись на результати національних виборів у Великобританії, Італії, Ізраїлі

Based on national elections in the UK, Italy, Israel

and of course, the most recent US presidential election,

і, звісно, останніх виборів президента в США,

використовувати опитування, щоб передбачити результати виборів,

using polls to predict electoral outcomes

is about as accurate as using the moon to predict hospital admissions.

це десь так само, як з допомогою місяця планувати кількість госпіталізацій.

No, seriously, I used actual data from an academic study to draw this.

Ні, серйозно, тут я використала фактичні дані наукового дослідження.

There are a lot of reasons why polling has become so inaccurate.

Є багато причин, чому опитування такі неточні.

Our societies have become really diverse,

Наші суспільства стали дуже різноманітними,

which makes it difficult for pollsters to get a really nice representative sample

що ускладнило отримання хорошої вибірки

населення для виборців.

of the population for their polls.

People are really reluctant to answer their phones to pollsters,

Люди неохоче відповідають соціологам по телефону,

and also, shockingly enough, people might lie.

а також, що досить шокує, люди можуть обманювати.

But you wouldn't necessarily know that to look at the media.

Та ви не дізнаєтеся цього зі ЗМІ.

For one thing, the probability of a Hillary Clinton win

З одного боку, про ймовірність перемоги Гілларі Клінтон

was communicated with decimal places.

повідомили з точністю до десятих.

We don't use decimal places to describe the temperature.

Ми не використовуємо десяткових розрядів для опису температури.

То як можна передбачати вибір 230 мільйонів виборців цієї країни

How on earth can predicting the behavior of 230 million voters in this country

настільки точно?

be that precise?

А далі були ті "вилизані" графіки.

And then there were those sleek charts.

See, a lot of data visualizations will overstate certainty, and it works --

Візуалізація даних у великому обсязі здатна завищити впевненість у них.

Ці графіки можуть приголомшити.

these charts can numb our brains to criticism.

When you hear a statistic, you might feel skeptical.

Коли ви чуєте статистику, ви скептично налаштовані.

Як тільки вона показана на графіку,

As soon as it's buried in a chart,

it feels like some kind of objective science,

ви відчуваєте об'єктивну науку,

and it's not.

якої там немає.

So I was trying to find ways to better communicate this to people,

Тож я шукала шляхи краще повідомити це людям,

щоб показати ненадійність наших даних.

to show people the uncertainty in our numbers.

What I did was I started taking real data sets,

Я почала збирати набори реальних даних

and turning them into hand-drawn visualizations,

і малювала візуалізації,

so that people can see how imprecise the data is;

щоб люди могли побачити наскільки ці дані неточні;

so people can see that a human did this,

щоб усі могли бачити, що їх зробила людина,

a human found the data and visualized it.

людина знайшла дані і візуалізувала їх.

For example, instead of finding out the probability

Наприклад, замість визначення ймовірності

of getting the flu in any given month,

захворіти грипом у будь-якому місяці,

you can see the rough distribution of flu season.

ви бачите грубий розподіл сезону грипу.

This is --

Це

(Laughter)

a bad shot to show in February.

(Сміх)

поганий приклад для демонстрації у лютому.

But it's also more responsible data visualization,

Але така візуалізація відповідальна,

because if you were to show the exact probabilities,

бо якщо вказати на точну ймовірність епідемії,

це може підштовхнути людей робити щеплення від грипу

maybe that would encourage people to get their flu jabs

не в той час.

at the wrong time.

The point of these shaky lines

Ідея цих розмитих ліній

is so that people remember these imprecisions,

в тому, що люди пам'ятають ці неточності.

but also so they don't necessarily walk away with a specific number,

Вони не обов'язково згадають якесь число,

but they can remember important facts.

та запам'ятають важливі факти.

Facts like injustice and inequality leave a huge mark on our lives.

Несправедливість і нерівність залишили величезний слід у нашому житті.

Чорношкірі та корінні американці не живуть так довго,

Facts like Black Americans and Native Americans have shorter life expectancies

як представники інших рас,

than those of other races,

and that isn't changing anytime soon.

і це не скоро зміниться.

Facts like prisoners in the US can be kept in solitary confinement cells

Ув'язнені у США живуть в одиночних камерах,

that are smaller than the size of an average parking space.

які за розмірами менші, ніж середньостатистичне місце для парковки.

The point of these visualizations is also to remind people

Сенс цих візуалізацій також, щоб нагадати людям

про деякі дуже важливі статистичні концепції,

of some really important statistical concepts,

concepts like averages.

наприклад, середнє число.

So let's say you hear a claim like,

Скажімо, ви чуєте таке:

"The average swimming pool in the US contains 6.23 fecal accidents."

"Середньостатистичний басейн у США містить 6,23 частинок фекалій у воді".

That doesn't mean every single swimming pool in the country

Це зовсім не означає, що кожен басейн у країні

contains exactly 6.23 turds.

містить рівно 6,23 частинок екскрементів.

So in order to show that,

Щоб це показати,

I went back to the original data, which comes from the CDC,

я повернулася до первинних даних з CDC,

які перевірили лише 47 басейнів.

who surveyed 47 swimming facilities.

Я витратила один вечір, перерозподіляючи фекалії.

And I just spent one evening redistributing poop.

So you can kind of see how misleading averages can be.

(Laughter)

Тож ви бачите, як середньостатистичні дані вводять в оману.

OK, so the second question that you guys should be asking yourselves

(Сміх)

ОК, друге питання для того,

to spot bad numbers is:

щоб визначити погані дані:

Чи можу я побачити себе в цих даних?

Can I see myself in the data?

This question is also about averages in a way,

Це також про середньостатистичність у деякому сенсі,

адже частково люди розчаровуються

because part of the reason why people are so frustrated

в держстатистиках через те, що

with these national statistics,

вони не розказують, хто виграє чи програє

у національній політиці.

is they don't really tell the story of who's winning and who's losing

Люди розчаровуються у глобальній середньостатистичності,

from national policy.

коли та не збігається з їх особистим досвідом.

It's easy to understand why people are frustrated with global averages

Я хотіла показати вплив даних на повсякденне життя.

when they don't match up with their personal experiences.

I wanted to show people the way data relates to their everyday lives.

І почала вести колонку порад «Люба Мона»,

I started this advice column called "Dear Mona,"

where people would write to me with questions and concerns

куди люди могли звертатися з питаннями та проблемами,

а я старалася відповідати за допомогою даних.

and I'd try to answer them with data.

Люди запитували в мене будь-що.

People asked me anything.

"Чи варто спати окремо від дружини?"

questions like, "Is it normal to sleep in a separate bed to my wife?"

"Чи шкодують люди про тату?"

"Do people regret their tattoos?"

"Що означає померти природньою смертю?"

"What does it mean to die of natural causes?"

All of these questions are great, because they make you think

Ці питання - чудові, адже змушують задуматися

about ways to find and communicate these numbers.

про те, як шукати та доводити ці цифри.

If someone asks you, "How much pee is a lot of pee?"

Якщо вас спитають: "Скільки сечі потрібно, щоб помочитися?",

which is a question that I got asked,

(Власне, таке питання я отримала.)

ви прагнете, щоб візуалізація була актуальною

you really want to make sure that the visualization makes sense

to as many people as possible.

для якомога більшої кількості людей.

These numbers aren't unavailable.

Ці цифри - доступні.

Sometimes they're just buried in the appendix of an academic study.

Просто іноді вони губляться в додатках наукових досліджень.

And they're certainly not inscrutable;

І їх можна визначити.

if you really wanted to test these numbers on urination volume,

Якщо ви дійсно хотіли б виміряти обсяг сечовипускання,

то могли б використати пляшку, й перевірити все на власному досвіді.

you could grab a bottle and try it for yourself.

(Сміх)

(Laughter)

The point of this isn't necessarily

Ідея не обов'язково в тому, що

кожен набір даних мусить мати якесь відношення до вас.

that every single data set has to relate specifically to you.

Я цікавлюся, скільком жінкам виписали штрафи у Франції

I'm interested in how many women were issued fines in France

for wearing the face veil, or the niqab,

за носіння паранджі або нікабу,

навіть якщо я не живу у Франції або не ношу паранджу.

even if I don't live in France or wear the face veil.

Варто отримати якомога більше контексту.

The point of asking where you fit in is to get as much context as possible.

Це наче сфокусуватися на якійсь окремій характеристиці даних.

So it's about zooming out from one data point,

like the unemployment rate is five percent,

Наприклад, рівень безробіття становить 5%,

ці дані можуть змінюватися з плином часу,

and seeing how it changes over time,

or seeing how it changes by educational status --

або змінюватися залежно від рівня освіти, -

this is why your parents always wanted you to go to college --

це тому ваші батьки завжди хотіли, щоб ви вступили до коледжу, -

or seeing how it varies by gender.

або змінюватися залежно від статі.

Nowadays, male unemployment rate is higher

Наразі серед чоловіків рівень безробіття вищий,

than the female unemployment rate.

ніж серед жінок.

Up until the early '80s, it was the other way around.

До початку 80-х років, все було навпаки.

This is a story of one of the biggest changes

Це історія однієї з найбільших змін,

that's happened in American society,

що сталася в американському суспільстві,

and it's all there in that chart, once you look beyond the averages.

і все це у цій схемі, поза межами середніх значень.

The axes are everything;

Осі – це все;

once you change the scale, you can change the story.

Змінивши масштаб, ви можете змінити історію.

OK, so the third and final question that I want you guys to think about

Третє і останнє питання, над яким я прошу вас подумати,

коли ви дивитеся на статистику:

when you're looking at statistics is:

Як збирали ці дані?

How was the data collected?

So far, I've only talked about the way data is communicated,

Я розповідала, як дані передаються,

але важливо і те, як їх збирають.

but the way it's collected matters just as much.

Я знаю, що це важко,

I know this is tough,

because methodologies can be opaque and actually kind of boring,

методики можуть бути незрозумілі й нудні,

але є кілька простих способів, щоб їх перевірити.

but there are some simple steps you can take to check this.

I'll use one last example here.

Я наведу останній приклад.

Дані одного опитування зазначили, що 41% мусульман підтримує джихад,

One poll found that 41 percent of Muslims in this country support jihad,

which is obviously pretty scary,

що, очевидно, дуже страшно,

and it was reported everywhere in 2015.

і у 2015 році про це всі повідомили.

When I want to check a number like that,

Коли я перевіряю подібні дані,

I'll start off by finding the original questionnaire.

я починаю шукати початковий перелік питань.

It turns out that journalists who reported on that statistic

Виявляється, що журналіст, який повідомив про ці дані,

ignored a question lower down on the survey

проігнорував питання нижче у списку про те,

that asked respondents how they defined "jihad."

що саме респонденти називали словом "джихад".

And most of them defined it as,

А більшість з них зрозуміли його так:

"Muslims' personal, peaceful struggle to be more religious."

"Особиста та мирна боротьба мусульман, щоб бути більш релігійними".

Only 16 percent defined it as, "violent holy war against unbelievers."

Лише 16% визначили, що це "священна війна проти невірних".

This is the really important point:

Це дійсно важливий момент:

based on those numbers, it's totally possible

на основі цих даних, цілком можливо,

that no one in the survey who defined it as violent holy war

що ніхто з тих, хто дав визначення джихаду як насильницької священної війни,

also said they support it.

не сказав, що його підтримує.

Those two groups might not overlap at all.

Ці дві групи можуть зовсім не перетинатися.

It's also worth asking how the survey was carried out.

Як проводили опитування?

This was something called an opt-in poll,

Це було щось на кшталт добровільного опитування,

which means anyone could have found it on the internet and completed it.

тобто будь-хто міг пройти його в в Інтернеті.

Неможливо дізнатися, чи ці люди були мусульманами.

There's no way of knowing if those people even identified as Muslim.

And finally, there were 600 respondents in that poll.

І, врешті-решт, у цьому опитуванні взяло участь 600 респондентів.

У країні живуть три мільйони мусульман,

There are roughly three million Muslims in this country,

according to Pew Research Center.

згідно з дослідницьким центром Pew.

Це означає, що в опитуванні взяв участь один із 5 000 мусульман

That means the poll spoke to roughly one in every 5,000 Muslims

in this country.

у цій країні.

This is one of the reasons

Це одна з причин, чому

why government statistics are often better than private statistics.

державна статистика часто краща за приватну.

Вибірка складається з декількох сотень чи тисяч,

або якщо ви L'Oreal, що намагається продати засоби по догляду за шкірою,

A poll might speak to a couple hundred people, maybe a thousand,

or if you're L'Oreal, trying to sell skin care products in 2005,

then you spoke to 48 women to claim that they work.

то ви - це 48 жінок, які стверджують, що засоби працюють.

(Сміх)

(Laughter)

Private companies don't have a huge interest in getting the numbers right,

Приватні компанії не зацікавлені у правдивості отриманих даних,

їм потрібна лише правильна цифра.

they just need the right numbers.

Держоргани статистики працюють не так.

Government statisticians aren't like that.

In theory, at least, they're totally impartial,

Принаймні, вони неупереджені,

not least because most of them do their jobs regardless of who's in power.

це в теорії - адже робота більшості з них залежить від того, хто при владі.

They're civil servants.

Вони - державні службовці.

And to do their jobs properly,

І виконують свою роботу належним чином,

they don't just speak to a couple hundred people.

вони не просто говорять з кількома сотнями респондентів.

Those unemployment numbers I keep on referencing

Цифри про безробіття, на котрі я раніше посилалася -

це дані Бюро статистики праці,

come from the Bureau of Labor Statistics,

and to make their estimates,

і щоб зробити такі висновки,

they speak to over 140,000 businesses in this country.

опитали більш ніж 140 000 компаній.

Я розумію, що це складно.

I get it, it's frustrating.

Якщо ви хочете перевірити статистику, яку надала приватна компанія,

If you want to test a statistic that comes from a private company,

you can buy the face cream for you and a bunch of friends, test it out,

можете купити крем для обличчя, і разом з друзями перевірити його.

Якщо не спрацює, ви зможете стверджувати, що дані були неправильні.

if it doesn't work, you can say the numbers were wrong.

Але як перевірити статистику уряду?

But how do you question government statistics?

Просто продовжуйте перевіряти все.

You just keep checking everything.

Дізнайтеся, як збирали дані.

Find out how they collected the numbers.

Дізнайтеся, чи на графіку є вся інформація.

Find out if you're seeing everything on the chart you need to see.

Але не покладайтеся лише на цифри, бо якщо так,

But don't give up on the numbers altogether, because if you do,

то наша державна політика буде ґрунтуватися на хибних рішеннях

we'll be making public policy decisions in the dark,

і не використовувати нічого, крім власних інтересів, щоб управляти нами.

using nothing but private interests to guide us.

Thank you.

Дякую.

(Оплески)

(Applause)