3 ways to spot a bad statistic | Mona Chalabi

Переводчик: Alena Chernykh Редактор: Tatiana Nikitina

I'm going to be talking about statistics today.

Сегодня я расскажу вам о статистике.

If that makes you immediately feel a little bit wary, that's OK,

Если вы сразу же насторожились, это нормально,

that doesn't make you some kind of crazy conspiracy theorist,

вы вряд ли выглядите сумасшедшим сторонником теории заговора,

it makes you skeptical.

скорее, просто скептиком.

And when it comes to numbers, especially now, you should be skeptical.

Когда речь заходит о цифрах, особенно сейчас, нужно быть скептиком.

But you should also be able to tell which numbers are reliable

Но вы также должны понимать, каким цифрам стóит доверять,

and which ones aren't.

а каким — нет.

So today I want to try to give you some tools to be able to do that.

Сегодня я хочу дать вам несколько советов, как в этом разбираться.

But before I do,

Но сначала

I just want to clarify which numbers I'm talking about here.

хочу просто пояснить, о каких цифрах я веду речь.

I'm not talking about claims like,

Речь не о таких утверждениях,

"9 out of 10 women recommend this anti-aging cream."

как «9 из 10 женщин рекомендуют этот крем от морщин».

I think a lot of us always roll our eyes at numbers like that.

Думаю, многие из нас не раз закатывали глаза, видя такие цифры.

What's different now is people are questioning statistics like,

Разница в том, что сегодня люди ставят под сомнение такую статистику:

"The US unemployment rate is five percent."

«Уровень безработицы в США — 5%».

What makes this claim different is it doesn't come from a private company,

Отличает это утверждение то, что исходит оно не от частной компании,

it comes from the government.

а от правительства.

About 4 out of 10 Americans distrust the economic data

Около 4 из 10 американцев не верят экономическим показателям,

that gets reported by government.

о которых говорит правительство.

Among supporters of President Trump it's even higher;

Среди сторонников президента Трампа таких и того больше:

it's about 7 out of 10.

приблизительно 7 из 10.

I don't need to tell anyone here

Нет нужды объяснять вам,

that there are a lot of dividing lines in our society right now,

что сегодня в нашем обществе много разграничительных линий,

and a lot of them start to make sense,

и многие из них приобретают смысл,

once you understand people's relationships with these government numbers.

когда вы понимаете отношение людей к этим данным правительства.

On the one hand, there are those who say these statistics are crucial,

С одной стороны, найдутся те, кто скажет, что эта статистика важна,

that we need them to make sense of society as a whole

что она нужна, чтобы иметь представление об обществе в целом,

in order to move beyond emotional anecdotes

а не судить только по чужим байкам,

and measure progress in an [objective] way.

и оценивать прогресс объективно.

And then there are the others,

Найдутся и те, кто скажет,

who say that these statistics are elitist,

что статистика элитарна,

возможно, даже сфальсифицирована,

maybe even rigged;

they don't make sense and they don't really reflect

она бессмысленна и на самом деле не отражает,

what's happening in people's everyday lives.

что происходит в жизни общества.

It kind of feels like that second group is winning the argument right now.

Похоже, что вторая группа выигрывает спор прямо сейчас.

We're living in a world of alternative facts,

Мы живем в мире альтернативных фактов,

where people don't find statistics this kind of common ground,

где люди не принимают статистику за некоего рода общий язык,

this starting point for debate.

отправную точку для дискуссии.

This is a problem.

В этом и проблема.

There are actually moves in the US right now

Уже сейчас в США проводятся акции,

to get rid of some government statistics altogether.

призывающие избавиться от некоторых правительственных данных.

Right now there's a bill in congress about measuring racial inequality.

Сейчас в Конгрессе есть законопроект об измерении расового неравенства.

The draft law says that government money should not be used

В законопроекте говорится, что государственные деньги

не должны использоваться для изучения расовой сегрегации.

to collect data on racial segregation.

This is a total disaster.

Это полная катастрофа.

If we don't have this data,

Если не использовать эти данные,

how can we observe discrimination,

как мы узнаем о дискриминации,

let alone fix it?

не говоря уже об исправлении ситуации?

In other words:

How can a government create fair policies

Другими словами:

как правительство может вести честную политику,

if they can't measure current levels of unfairness?

если оно не может подсчитать степень нечестности?

This isn't just about discrimination,

Речь не только о дискриминации,

it's everything -- think about it.

а обо всём — задумайтесь об этом.

How can we legislate on health care

Как принимать законы о здравоохранении,

if we don't have good data on health or poverty?

без достоверных данных о здоровье или нищете?

How can we have public debate about immigration

Как участвовать в дебатах об иммиграции,

if we can't at least agree

если нельзя определить,

on how many people are entering and leaving the country?

сколько людей въезжают в страну и уезжают из неё?

Statistics come from the state; that's where they got their name.

Статистика идёт от государства, statum на латыни, отсюда и название.

The point was to better measure the population

Смысл в том, что чтобы лучше служить народу,

in order to better serve it.

надо лучше его узнать.

So we need these government numbers,

Нам нужны эти цифры от государства,

but we also have to move beyond either blindly accepting

но мы должны двигаться дальше, не принимая их слепо

or blindly rejecting them.

и не отвергая не глядя.

We need to learn the skills to be able to spot bad statistics.

Нужно получить некоторые навыки, чтобы определять плохую статистику.

I started to learn some of these

Я начала этим заниматься,

when I was working in a statistical department

когда работала в департаменте статистики

that's part of the United Nations.

Организации Объединённых Наций.

Our job was to find out how many Iraqis had been forced from their homes

Работа заключалась в том, чтобы выяснить, сколько иракцев были вынуждены

as a result of the war,

покинуть свои дома

and what they needed.

из-за войны, и как им помочь.

It was really important work, but it was also incredibly difficult.

Это важная работа, и она была невероятно тяжёлой.

Every single day, we were making decisions

Каждый день мы принимали решения,

that affected the accuracy of our numbers --

которые влияли на точность наших данных,

decisions like which parts of the country we should go to,

например, в какие регионы страны нужно ехать,

who we should speak to,

с кем общаться,

which questions we should ask.

какие вопросы задавать.

And I started to feel really disillusioned with our work,

И я начала разочаровываться в своей работе.

because we thought we were doing a really good job,

Потому что мы думали, что делаем реально хорошую работу,

but the one group of people who could really tell us were the Iraqis,

но единственными, кто действительно мог бы её оценить, были иракцы,

and they rarely got the chance to find our analysis, let alone question it.

а у них было мало шансов познакомиться с нашим анализом или задать вопросы.

So I started to feel really determined

И я отчётливо поняла,

that the one way to make numbers more accurate

что единственный способ сделать данные точнее —

is to have as many people as possible be able to question them.

опрашивать как можно бóльшее число людей.

So I became a data journalist.

Я стала журналистом данных.

My job is finding these data sets and sharing them with the public.

Моя работа в том, чтобы находить данные и делиться ими с публикой.

Anyone can do this, you don't have to be a geek or a nerd.

Любой это может, необязательно быть компьютерщиком или «ботаником».

You can ignore those words; they're used by people

Не обращайте внимание на эти слова: их говорят люди,

trying to say they're smart while pretending they're humble.

пытающиеся сказать, что они умные, притворяясь скромными.

Absolutely anyone can do this.

Абсолютно каждый это может.

I want to give you guys three questions

Хочу дать вам три вопроса,

that will help you be able to spot some bad statistics.

которые помогут определить плохую статистику.

So, question number one is: Can you see uncertainty?

Вопрос №1: видите ли вы неопределённость?

One of things that's really changed people's relationship with numbers,

Одна вещь, которая меняет отношение людей к данным

and even their trust in the media,

и даже их доверие к СМИ, —

has been the use of political polls.

это использование политических опросов.

I personally have a lot of issues with political polls

У меня лично много к ним претензий,

because I think the role of journalists is actually to report the facts

потому что я считаю, что роль журналистов — сообщать факты,

and not attempt to predict them,

а не пытаться их предсказывать,

especially when those predictions can actually damage democracy

особенно когда эти предсказания наносят вред демократии,

by signaling to people: don't bother to vote for that guy,

говоря людям: даже не думайте голосовать за того парня,

he doesn't have a chance.

у него нет шансов.

Let's set that aside for now and talk about the accuracy of this endeavor.

Давайте пока оставим это и поговорим о точности этих усилий.

Based on national elections in the UK, Italy, Israel

Если исходить из выборов в Великобритании, Италии, Израиле

and of course, the most recent US presidential election,

и, конечно, недавних президентских выборов в США,

using polls to predict electoral outcomes

использование опросов для предсказания итогов —

is about as accurate as using the moon to predict hospital admissions.

это всё равно что предсказание по Луне количества случаев попадания в больницу.

No, seriously, I used actual data from an academic study to draw this.

Серьёзно, я основывалась на научных данных для составления этого графика.

There are a lot of reasons why polling has become so inaccurate.

Есть множество причин того, что прогнозы стали такими неточными.

Our societies have become really diverse,

Наше общество стало очень разнообразным,

which makes it difficult for pollsters to get a really nice representative sample

поэтому социологам трудно получить действительно репрезентативную выборку

of the population for their polls.

населения для участия в опросах.

People are really reluctant to answer their phones to pollsters,

Люди очень неохотно отвечают социологам по телефону,

and also, shockingly enough, people might lie.

и что самое удивительное — могут лгать.

But you wouldn't necessarily know that to look at the media.

Но вы не всегда об этом знаете, когда смотрите СМИ.

For one thing, the probability of a Hillary Clinton win

Скажу одно: вероятность победы Хиллари Клинтон

was communicated with decimal places.

была установлена с точностью до десятичной дроби.

We don't use decimal places to describe the temperature.

Десятичные дроби не используются даже для обозначения температуры.

How on earth can predicting the behavior of 230 million voters in this country

Скажите, как можно с такой точностью предугадать

be that precise?

поведение 230 миллионов жителей?!

And then there were those sleek charts.

А тогда были такие гладкие графики.

See, a lot of data visualizations will overstate certainty, and it works --

Большое количество визуальных данных повышает убедительность, и это работает:

these charts can numb our brains to criticism.

эти графики блокируют наше критическое мышление.

When you hear a statistic, you might feel skeptical.

Когда вы слышите статистику, вы проявите скептицизм.

As soon as it's buried in a chart,

Как только данные приобретают форму графика,

it feels like some kind of objective science,

они становятся непреложной истиной,

and it's not.

но это не так.

So I was trying to find ways to better communicate this to people,

Поэтому я пыталась как можно понятнее объяснить людям,

to show people the uncertainty in our numbers.

что наши данные неточны.

What I did was I started taking real data sets,

Я начала с того, что брала реальные данные

and turning them into hand-drawn visualizations,

и визуализировала их вручную,

so that people can see how imprecise the data is;

чтобы люди могли увидеть их неточность,

so people can see that a human did this,

чтобы поняли, что это сделал человек,

a human found the data and visualized it.

человек их нашёл и визуализировал.

For example, instead of finding out the probability

Так, вместо выяснения вероятности

of getting the flu in any given month,

заболевания гриппом в определённый месяц,

you can see the rough distribution of flu season.

можно увидеть приблизительное распространение сезона гриппа.

This is --

Это...

(Laughter)

(Смех)

a bad shot to show in February.

неподходящая картинка для февраля.

But it's also more responsible data visualization,

Но эта визуализация также более ответственна,

because if you were to show the exact probabilities,

потому что, если бы вы показали точную вероятность,

maybe that would encourage people to get their flu jabs

это могло бы заставить людей сделать прививки от гриппа

at the wrong time.

в неподходящий момент.

The point of these shaky lines

Смысл этих кривых линий в том,

is so that people remember these imprecisions,

чтобы люди помнили о неточностях,

but also so they don't necessarily walk away with a specific number,

а также о том, что необязательно запоминать точное число,

but they can remember important facts.

можно запоминать важные факты.

Facts like injustice and inequality leave a huge mark on our lives.

То, что несправедливость и неравенство сильно влияют на нашу жизнь.

Facts like Black Americans and Native Americans have shorter life expectancies

Факты о том, что продолжительность жизни у афроамериканцев и коренных американцев

than those of other races,

короче, чем у людей других рас,

and that isn't changing anytime soon.

и в ближайшем времени это не изменится.

Facts like prisoners in the US can be kept in solitary confinement cells

Факты о том, что заключенных в США могут держать в одиночных камерах,

that are smaller than the size of an average parking space.

размер которых не больше размера парковочного места.

The point of these visualizations is also to remind people

Эти визуальные образы также должны напоминать людям

of some really important statistical concepts,

о некоторых очень важных статистических понятиях,

concepts like averages.

например, о средних величинах.

So let's say you hear a claim like,

Предположим, вы слышите это:

"The average swimming pool in the US contains 6.23 fecal accidents."

«В среднем бассейне в США происходит 6,23 происшествия с фекалиями».

That doesn't mean every single swimming pool in the country

Это не означает, что каждый бассейн в стране

contains exactly 6.23 turds.

содержит 6,23 какашки.

So in order to show that,

Чтобы это показать,

I went back to the original data, which comes from the CDC,

обратимся к первоначальным данным Центра контроля заболеваний,

who surveyed 47 swimming facilities.

который обследовал 47 заведений с бассейнами.

And I just spent one evening redistributing poop.

И я просто один вечер перераспределяла экскременты.

So you can kind of see how misleading averages can be.

Вы можете видеть, сколь ошибочны бывают средние показатели.

(Laughter)

(Смех)

OK, so the second question that you guys should be asking yourselves

Хорошо. И второй вопрос, который вы должны задать,

to spot bad numbers is:

определяя неверные цифры:

Can I see myself in the data?

вижу ли я себя в этих данных?

This question is also about averages in a way,

В некотором смысле это тоже касается средних величин,

because part of the reason why people are so frustrated

потому что одна из причин разочарования людей

with these national statistics,

в общенациональной статистике —

is they don't really tell the story of who's winning and who's losing

это то, что она не рассказывает, кто выигрывает и кто проигрывает

from national policy.

от национальной политики.

It's easy to understand why people are frustrated with global averages

Легко понять, почему людей разочаровывают глобальные средние показатели,

when they don't match up with their personal experiences.

когда они не соответствуют их личному опыту.

I wanted to show people the way data relates to their everyday lives.

Я хотела показать людям, как данные влияют на их каждодневную жизнь.

I started this advice column called "Dear Mona,"

Я начала с колонки под названием «Дорогая Мона»,

where people would write to me with questions and concerns

в которой люди задают мне вопросы и пишут о проблемах,

а я пытаюсь им ответить, используя данные.

and I'd try to answer them with data.

People asked me anything.

Спрашивали о чём угодно.

questions like, "Is it normal to sleep in a separate bed to my wife?"

Например: «Нормально ли спать с женой в разных кроватях?»

"Do people regret their tattoos?"

«Жалеют ли люди о своих тату?»

"What does it mean to die of natural causes?"

«Что значит — умереть по естественным причинам?»

All of these questions are great, because they make you think

Все эти вопросы важны, потому что они заставляют задуматься

about ways to find and communicate these numbers.

о том, как найти и интерпретировать эти данные.

If someone asks you, "How much pee is a lot of pee?"

Если кто-нибудь спросит вас: «Сколько мочи — много?»,

which is a question that I got asked,

такой вопрос я однажды получила,

you really want to make sure that the visualization makes sense

вы должны быть уверены, что визуализация будет понятна

to as many people as possible.

как можно большему числу людей.

These numbers aren't unavailable.

Эти данные вполне доступны.

Sometimes they're just buried in the appendix of an academic study.

Иногда они спрятаны в приложениях какого-нибудь научного исследования.

And they're certainly not inscrutable;

И уж точно они вполне постижимы.

if you really wanted to test these numbers on urination volume,

Если вы действительно хотите протестировать объём мочи,

you could grab a bottle and try it for yourself.

можете взять бутылку и проверить самостоятельно.

(Laughter)

(Смех)

The point of this isn't necessarily

Суть в том, что нет необходимости

that every single data set has to relate specifically to you.

каждый набор данных соотносить лично с собой.

I'm interested in how many women were issued fines in France

Меня интересует, скольким женщинам во Франции выписали штрафы

for wearing the face veil, or the niqab,

за ношение на лице никаба,

even if I don't live in France or wear the face veil.

даже если я не живу во Франции или не ношу никаб.

The point of asking where you fit in is to get as much context as possible.

Смысл вопроса о своём месте в том, чтобы собрать больше сопутствующих фактов.

So it's about zooming out from one data point,

В том, чтобы более широко посмотреть на данные,

like the unemployment rate is five percent,

например, на уровень безработицы в 5%,

and seeing how it changes over time,

и узнать, как эти данные меняются со временем

or seeing how it changes by educational status --

или в зависимости от уровня образования —

this is why your parents always wanted you to go to college --

вот почему ваши родители хотели, чтобы вы поступили в колледж, —

or seeing how it varies by gender.

или как они меняются в зависимости от пола.

Nowadays, male unemployment rate is higher

В наши дни уровень безработицы среди мужчин выше,

than the female unemployment rate.

чем среди женщин.

Up until the early '80s, it was the other way around.

До начала 80-х годов было с точностью до наоборот.

This is a story of one of the biggest changes

Это история об одной из величайших перемен

that's happened in American society,

в американском обществе,

которую можно увидеть на графике, если смотреть не только на средние значения.

and it's all there in that chart, once you look beyond the averages.

The axes are everything;

Оси значат много,

once you change the scale, you can change the story.

стоит изменить шкалу, и вы поменяете всю историю.

OK, so the third and final question that I want you guys to think about

Наконец, я хочу, чтобы вы задумались над вопросом №3,

when you're looking at statistics is:

когда будете смотреть на статистику:

How was the data collected?

как эти данные были получены?

So far, I've only talked about the way data is communicated,

До сих пор я говорила о том, как данные интерпретируются,

but the way it's collected matters just as much.

но то, как они собираются, тоже очень важно.

I know this is tough,

Я знаю, что это тяжело,

because methodologies can be opaque and actually kind of boring,

потому что методики могут быть неясными и даже скучными,

but there are some simple steps you can take to check this.

но есть некоторые простые способы это проверить.

I'll use one last example here.

Приведу недавний пример.

One poll found that 41 percent of Muslims in this country support jihad,

Один опрос выявил, что 41% мусульман в этой стране поддерживают джихад,

which is obviously pretty scary,

что само по себе ужасно,

and it was reported everywhere in 2015.

об этом везде писали в 2015 году.

When I want to check a number like that,

Когда я решила проверить эти данные,

I'll start off by finding the original questionnaire.

я начала с поисков первоначальной анкеты.

It turns out that journalists who reported on that statistic

Выяснилось, что журналисты, составившие отчёт об этой статистике,

ignored a question lower down on the survey

проигнорировали вопрос в конце списка:

that asked respondents how they defined "jihad."

как респонденты понимают слово «джихад»?

And most of them defined it as,

И большинство ответили:

"Muslims' personal, peaceful struggle to be more religious."

«Это личная и мирная борьба мусульман за право соблюдать религию».

Only 16 percent defined it as, "violent holy war against unbelievers."

Только 16% определили его как «жестокую священную войну против неверных».

This is the really important point:

Это на самом деле очень важно:

based on those numbers, it's totally possible

если исходить из тех данных, вполне возможно,

that no one in the survey who defined it as violent holy war

что никто из тех, кто назвал джихад насильственной священной войной,

also said they support it.

не сказал, что поддерживает его.

Those two groups might not overlap at all.

Эти две группы могли вообще не пересекаться.

It's also worth asking how the survey was carried out.

Стоит также спросить, как проводилось исследование.

This was something called an opt-in poll,

Это так называемый добровольный опрос,

which means anyone could have found it on the internet and completed it.

это значит, что любой мог найти анкету в интернете и заполнить.

There's no way of knowing if those people even identified as Muslim.

Нет возможности узнать, были ли эти люди на самом деле мусульманами.

And finally, there were 600 respondents in that poll.

И наконец, в том опросе участвовало 600 респондентов.

По данным исследовательского центра «Пью Ресёрч»,

There are roughly three million Muslims in this country,

according to Pew Research Center.

в этой стране около трёх миллионов мусульман.

That means the poll spoke to roughly one in every 5,000 Muslims

Это значит, что в опросе участвовал один из 5 000 мусульман

in this country.

этой страны.

This is one of the reasons

Это одна из причин,

why government statistics are often better than private statistics.

почему государственная статистика часто лучше частной.

A poll might speak to a couple hundred people, maybe a thousand,

Опрос может проводиться среди 200 человек или 1 000, а если вы из L'Oreal

or if you're L'Oreal, trying to sell skin care products in 2005,

и пытаетесь продать продукты по уходу за кожей в 2005 году,

then you spoke to 48 women to claim that they work.

тогда вы попросите 48 женщин сказать, что они работают.

(Laughter)

(Смех)

Private companies don't have a huge interest in getting the numbers right,

У частных компаний интерес не в том, чтобы получить данные правильно,

they just need the right numbers.

а в том, чтобы получить «правильные данные».

Government statisticians aren't like that.

Государственные специалисты не такие.

In theory, at least, they're totally impartial,

По крайней мере, в теории они полностью беспристрастны,

not least because most of them do their jobs regardless of who's in power.

не потому, что большинство делают свою работу независимо от того, кто у власти.

They're civil servants.

Они госслужащие.

And to do their jobs properly,

И чтобы делать свою работу добросовестно,

they don't just speak to a couple hundred people.

они не просто говорят c парой сотен человек.

Those unemployment numbers I keep on referencing

Эти данные по безработице, на которые я ссылаюсь,

come from the Bureau of Labor Statistics,

приходят от Бюро статистики труда,

and to make their estimates,

и чтобы их подсчитать,

they speak to over 140,000 businesses in this country.

они опрашивают более 140 000 предприятий.

I get it, it's frustrating.

Я понимаю, что это вызывает уныние.

If you want to test a statistic that comes from a private company,

Если хотите проверить статистику, исходящую от частной компании,

you can buy the face cream for you and a bunch of friends, test it out,

можете купить крем для лица себе и своим друзьям, протестировать его,

if it doesn't work, you can say the numbers were wrong.

и если он не работает, можете сказать, что цифры неверны.

But how do you question government statistics?

Но как проверить государственную статистику?

You just keep checking everything.

Просто продолжайте всё проверять.

Find out how they collected the numbers.

Узнайте, как собирались данные.

Find out if you're seeing everything on the chart you need to see.

Удостоверьтесь, что на графике отражено всё, что нужно.

But don't give up on the numbers altogether, because if you do,

Но не отказывайтесь от цифр совсем, потому что если откажетесь,

we'll be making public policy decisions in the dark,

мы будем вести публичную политику вслепую,

using nothing but private interests to guide us.

так как нами будут руководить только частные интересы.

Thank you.

Спасибо!

(Applause)

(Аплодисменты)