3 ways to spot a bad statistic | Mona Chalabi

Аудармашы: Assel T Редактор: Abdimanap Kenes

I'm going to be talking about statistics today.

Мен бүгін статистика туралы айтамын.

If that makes you immediately feel a little bit wary, that's OK,

Егер бірден күмән туындаса, бәрі де дұрыс.

that doesn't make you some kind of crazy conspiracy theorist,

"Жасырын теория" жақтаушысы емес,

it makes you skeptical.

күмәнданушы қатарынансыз.

And when it comes to numbers, especially now, you should be skeptical.

Сандарға қатысты келгенде, әсіресе қазір, күмән басым болуы шарт.

But you should also be able to tell which numbers are reliable

Сонымен бірге қай санға сеніп, қайсысы жалған екенін де

and which ones aren't.

ажырата алу керек.

So today I want to try to give you some tools to be able to do that.

Сізге көмек болар кеңеспен бөлісемін.

But before I do,

Бірақ алдымен

I just want to clarify which numbers I'm talking about here.

қандай сандар жайлы айтып отырғанымды түсіндірейін.

I'm not talking about claims like,

Мынадай пайымдарды қарастырмаймын:

"9 out of 10 women recommend this anti-aging cream."

"10 әйелдің 9-ы теріні жасартатын май ұсынады"

I think a lot of us always roll our eyes at numbers like that.

Меніңше көпшілігіміз бұл сандарға сенбейміз.

What's different now is people are questioning statistics like,

Қазір адамдар мынадай статистикаға күмәнданады:

"The US unemployment rate is five percent."

"АҚШ-та жұмыссыздық көрсеткіші бес пайыз".

What makes this claim different is it doesn't come from a private company,

Бір қызығы, бұл жеке компания есебі емес.

it comes from the government.

Бұл – мемлекеттің мәліметі.

About 4 out of 10 Americans distrust the economic data

Америкада 10 адамның 4-еуі мемлекеттің экономика жайлы

that gets reported by government.

деректеріне сенбейді.

Among supporters of President Trump it's even higher;

Президент Трампты қолдайтындар одан жоғары

it's about 7 out of 10.

ол шамамен 10-нан 7-еуі.

I don't need to tell anyone here

Қайталап айтқаным артықтау болар,

that there are a lot of dividing lines in our society right now,

дегенмен қоғамды екіге бөлетін себептер көп

and a lot of them start to make sense,

және олар күшейіп келеді.

once you understand people's relationships with these government numbers.

Бұл халық пен үкімет арасындағы сандардың қатынасынан анық көрінеді.

On the one hand, there are those who say these statistics are crucial,

Бір жағынан бұл статистика маңызды,

that we need them to make sense of society as a whole

қоғамды біртұтас ұйым ретінде ұғу үшін қажет.

in order to move beyond emotional anecdotes

Алып қашпа сөзге сүйенбей

and measure progress in an [objective] way.

қоғамдағы өзгерісті өлшей аламыз.

And then there are the others,

Енді кейбіреулері

who say that these statistics are elitist,

"статистика элиталық, тіпті

maybe even rigged;

жасанды" деп санайды.

they don't make sense and they don't really reflect

"Олардың маңызы шамалы" деген пікірде.

what's happening in people's everyday lives.

Адамдардың күнделікті өміріне әсер етпейді.

It kind of feels like that second group is winning the argument right now.

Екінші топтың уәжі сенімді.

We're living in a world of alternative facts,

Әркім өз шындығын іздеген әлемде өмір сүреміз

where people don't find statistics this kind of common ground,

адамдар статистиканы маңызды деп есептемейді.

this starting point for debate.

Бұл – даудың басы.

This is a problem.

Бұл – келелі мәселе.

There are actually moves in the US right now

Қазір АҚШ-та үкімет статистикасынан

to get rid of some government statistics altogether.

түбегейлі бас тартуды ұсынушылар бар.

Right now there's a bill in congress about measuring racial inequality.

Конгресте нәсіл теңсіздігі заңы талқылануда.

The draft law says that government money should not be used

Заң жобасы "мемлекет қаражаты нәсіл бойынша бөліну

to collect data on racial segregation.

мәліметін жинауға бөлінбесін" дейді.

This is a total disaster.

Бұл аса қауіпті.

If we don't have this data,

Егер бұл мәлімет болмаса,

how can we observe discrimination,

кемсітушілікті қалай анықтаймыз,

let alone fix it?

өзі шешілсін дейік пе?

In other words:

Басқаша айтсақ,

How can a government create fair policies

Әділетсіздіктің мөлшерін өлшемесе,

if they can't measure current levels of unfairness?

үкімет әділ саясатты қалай дамытады?

This isn't just about discrimination,

Бұл кемсітушілік жайында ғана емес.

it's everything -- think about it.

Барлық мәселе туралы.

How can we legislate on health care

Денсаулық туралы мәлімет болмаса,

if we don't have good data on health or poverty?

қандай заң қабылдаймыз?

How can we have public debate about immigration

Көші-қон туралы жарыссөз қалай өтеді

if we can't at least agree

егер келіп-кетіп жатқанның

on how many people are entering and leaving the country?

есебін білмесек?

Statistics come from the state; that's where they got their name.

Статистика "мемлекет" деген сөзден шығады.

The point was to better measure the population

Тұрғындар санын өлшеуінің жақсаруы

in order to better serve it.

оларға қызмет етуді жақсарту

So we need these government numbers,

Сондықтан мемлекет сандары қажет.

but we also have to move beyond either blindly accepting

Оларды сөзсіз қабылдаудан немесе жоққа

or blindly rejecting them.

шығарудан аулақ болу қажет

We need to learn the skills to be able to spot bad statistics.

Жаман статистиканы айқындауды үйренуді

I started to learn some of these

бірте-бірте бастадым.

when I was working in a statistical department

Статистика бөлімінде жұмыс істегенде

that's part of the United Nations.

Біріккен Ұлттар Ұйымына қарайтын.

Our job was to find out how many Iraqis had been forced from their homes

Жұмысымыз соғыстың кесірінен қанша Ирақтық үйсіз қалғанын

as a result of the war,

анықтап, қажеттіліктерін

and what they needed.

анықтау еді.

It was really important work, but it was also incredibly difficult.

Жұмыс өте маңызды және қиын болды.

Every single day, we were making decisions

Күнде сандарымыздың нақтылығына

that affected the accuracy of our numbers --

көз жеткізу үшін шешім қабылдаймыз:

decisions like which parts of the country we should go to,

елдің қай бөлігіне баруымыз керек,

who we should speak to,

кіммен сөйлесіп,

which questions we should ask.

қандай сұрақтар қою керек.

And I started to feel really disillusioned with our work,

Жұмыстан көңілім қала бастады.

because we thought we were doing a really good job,

Біздің ойымызша маңызды жұмыс атқарғанбыз

but the one group of people who could really tell us were the Iraqis,

бірақ шындықты айта алатын ирақтықтар еді.

and they rarely got the chance to find our analysis, let alone question it.

Олар біздің сараптаманы сирек көрді.

So I started to feel really determined

Сондықтан мынадай ойға келдім:

that the one way to make numbers more accurate

Сандарды тиянақты көрсету үшін

is to have as many people as possible be able to question them.

шамамыз келгенше көбірек адаммен сұхбаттасу керек.

So I became a data journalist.

Осылайша дата журналист болдым

My job is finding these data sets and sharing them with the public.

Жұмысым – дереккөз тауып, көпшілікке түсіндіру.

Anyone can do this, you don't have to be a geek or a nerd.

Бұны кез-келген адам істей алады.

You can ignore those words; they're used by people

Ол үшін туабітті данышпан болудың қажеті жоқ.

trying to say they're smart while pretending they're humble.

Ақылды, қарапайым адамдар айналысады деген түсінік бар.

Absolutely anyone can do this.

Кез-келген адамның қолынан келеді

I want to give you guys three questions

Сіздерге 3 сұрақ қоямын, достар,

that will help you be able to spot some bad statistics.

олар нашар статистиканы анықтап берді.

So, question number one is: Can you see uncertainty?

1-сұрақ: Сіз нақты емес екенін байқайсыз ба?

One of things that's really changed people's relationship with numbers,

Адамдарды сандардан алшақтатып,

and even their trust in the media,

БАҚ-қа сенімісіздік тудырып жүрген

has been the use of political polls.

саяси сайлаудағы алдын ала нәтиже болса керек.

I personally have a lot of issues with political polls

Саяси дауыс беру туралы өзімнің көзқарасым бар

because I think the role of journalists is actually to report the facts

себебі журналист фактілерді айту керек.

and not attempt to predict them,

Оларды болжауға талпынбайды.

especially when those predictions can actually damage democracy

Болжаулар болса: "Ол адамға дауыс бермей-ақ қой

by signaling to people: don't bother to vote for that guy,

оның мүмкіндігі аз" деп демократияға

he doesn't have a chance.

кері әсерін тигізеді.

Let's set that aside for now and talk about the accuracy of this endeavor.

Бұл тақырыпты қоя тұрып, нақтылыққа көшсек.

Based on national elections in the UK, Italy, Israel

Ұлыбритания, Италия, Израиль сайлауында

and of course, the most recent US presidential election,

және АҚШ-тағы соңғы Президент сайлауының

using polls to predict electoral outcomes

сайлау алды нәтижелерін болжау

is about as accurate as using the moon to predict hospital admissions.

емханада адамды Айға қарап емдегенмен тең.

No, seriously, I used actual data from an academic study to draw this.

Рас, бұны академикалық зерттеуден алдым.

There are a lot of reasons why polling has become so inaccurate.

Сайлау алды сауалнама дәл болмауының себептері бар.

Our societies have become really diverse,

Қоғам өзгере бастады,

which makes it difficult for pollsters to get a really nice representative sample

дұрыс жауапты болжауға қажетті

of the population for their polls.

сауалнама қатысушысын табу қиын.

People are really reluctant to answer their phones to pollsters,

Адамдар телефон арқылы жауап беруге құлықсыз

and also, shockingly enough, people might lie.

және өтірік айта салуы мүмкін екені шошытады.

But you wouldn't necessarily know that to look at the media.

Бірақ медиадағы хабардан ол туралы білмеуіңіз мүмкін.

For one thing, the probability of a Hillary Clinton win

Мысалы, Хилари Клинтонның жеңу мүмкіндігі

was communicated with decimal places.

оншақты жерде талқыланды.

We don't use decimal places to describe the temperature.

Температура өлшегенде оншақты өлшем қолданбаймыз.

How on earth can predicting the behavior of 230 million voters in this country

230 миллион дауыс берушінің шешімін қалайша

be that precise?

дәл болжауға болады?

And then there were those sleek charts.

Әрі адам түсінбейтін кестелері бар.

See, a lot of data visualizations will overstate certainty, and it works --

Инфографика да күмәнді одан сайын күшейтеді.

these charts can numb our brains to criticism.

Бұл кестелер сыни ойлауға мүмкіндік бермейді.

When you hear a statistic, you might feel skeptical.

Статистиканы естігенде, күмәндануыңыз орынды.

As soon as it's buried in a chart,

Бірақ олар кесте түрінде болса,

it feels like some kind of objective science,

шынайы ғылыми дәйек деп ойлайсыз.

and it's not.

Бірақ олай емес.

So I was trying to find ways to better communicate this to people,

Сондықтан адамдарға сандардың жалғандығын

to show people the uncertainty in our numbers.

түсіндірмек болдым.

What I did was I started taking real data sets,

Шын мәліметтерді жинай бастадым

and turning them into hand-drawn visualizations,

және олардың көрінісін қолмен сыздым.

so that people can see how imprecise the data is;

Адамдар сандар нақты еместігін көрсін,

so people can see that a human did this,

адамдар бұны адам жасағанын білсін дедім.

a human found the data and visualized it.

Деректі тапқан да, қолмен сызған да адам.

For example, instead of finding out the probability

Мысалы, әлдебір айдағы тұмаудың өршуінің

of getting the flu in any given month,

себебін табу үшін

you can see the rough distribution of flu season.

тұмаудың уақыт аралығындағы таралуын қараймыз.

This is --

Бұл -

(Laughter)

a bad shot to show in February.

(Күлкі)

ақпандағы тұмау.

But it's also more responsible data visualization,

Бірақ түсінікті визуализация,

because if you were to show the exact probabilities,

себебі нақты болжамды көрсетсеңіз,

maybe that would encourage people to get their flu jabs

адамдар тұмауға шалдықпас үшін екпені

at the wrong time.

басқа уақытта алады.

The point of these shaky lines

Кестенің мақсаты

is so that people remember these imprecisions,

адамдарға осы өтірікті есте сақтату.

but also so they don't necessarily walk away with a specific number,

Сандар есте қалмаса да,

but they can remember important facts.

қажет факт ұмытылмайды.

Facts like injustice and inequality leave a huge mark on our lives.

Әділетсіздік пен теңсіздік туралы факті өмірімізде маңызды.

Facts like Black Americans and Native Americans have shorter life expectancies

Қара және америкалық үндістердің өмір сүру ұзақтығы

than those of other races,

басқаларға қарағанда қысқа

and that isn't changing anytime soon.

және жуырда ол өзгермейді.

Facts like prisoners in the US can be kept in solitary confinement cells

АҚШ түрме камералары машина парковкасынан

that are smaller than the size of an average parking space.

кіші екені факт.

The point of these visualizations is also to remind people

Бұл визуализацияның мақсаты адамдарға

of some really important statistical concepts,

маңызды статистикалық теорияны елестете алсын,

concepts like averages.

орташа шаманы түсіндіру.

So let's say you hear a claim like,

Мысалы, мынадай мәлімет естідіңіз

"The average swimming pool in the US contains 6.23 fecal accidents."

"АҚШ бассейнінде шамамен 6,23 нәжіс бар" деген дерек бар.

That doesn't mean every single swimming pool in the country

Бұл елдегі әрбір бассейінде

contains exactly 6.23 turds.

6,23 нәжіс бар деген сөз емес.

So in order to show that,

Оны көрсетуге бастапқы

I went back to the original data, which comes from the CDC,

ақпаратқа жүгінемін, ЖАЦ

who surveyed 47 swimming facilities.

47 жүзу құралын тексерген

And I just spent one evening redistributing poop.

Содан бір кеш қоқыспен айналыстым.

So you can kind of see how misleading averages can be.

Міне шамамен деген қалай дәлсіз.

(Laughter)

(Күлкі)

OK, so the second question that you guys should be asking yourselves

Жалған сандарды анықтауда

to spot bad numbers is:

өзімізге қоятын екінші сұрақ:

Can I see myself in the data?

"Мен өзімді сандарда көре аламын ба?"

This question is also about averages in a way,

Ол да орташа көрсеткіш жайында

because part of the reason why people are so frustrated

себебі адамдардың статистикадан көңілі қалуына

with these national statistics,

статистика саясатта

is they don't really tell the story of who's winning and who's losing

кімнің жеңіп, кімнің

from national policy.

жеңілгенін айтпағанында.

It's easy to understand why people are frustrated with global averages

Адамдар әлемдік орташа көрсеткішке сенбейді.

when they don't match up with their personal experiences.

Себебі ол мәлімет тікелей өзіне байланысты емес.

I wanted to show people the way data relates to their everyday lives.

Мен адамдардың өмірлеріне байланысты

I started this advice column called "Dear Mona,"

сандарды көрсеткім келді. "Қымбатты Мона!" деп

where people would write to me with questions and concerns

газетте бағана бастадым. Адамдар сұрақтарына

and I'd try to answer them with data.

санмен жауап беруге тырыстым.

People asked me anything.

Адамдар сұрақ қойды.

questions like, "Is it normal to sleep in a separate bed to my wife?"

"Әйелімнен бөлек жату қалыпты жағдай ма?"

"Do people regret their tattoos?"

"Татуировка салғанына өкіне ме?"

"What does it mean to die of natural causes?"

"Табиғи өлім деген не?"

All of these questions are great, because they make you think

Бұл өте дұрыс қойылған сұрақ себебі сандардың көмегімен

about ways to find and communicate these numbers.

түсіндірудің жолын қарастырасың.

If someone asks you, "How much pee is a lot of pee?"

"Зәрдің ең көп және аз мөлшері қандай?" деп сұраса,

which is a question that I got asked,

ондай сұрақ маған қойылды.

you really want to make sure that the visualization makes sense

Ондай кезде көрнекі сурет адамдарға жақсы түсінуге

to as many people as possible.

көмектеседі.

These numbers aren't unavailable.

Бұл сандарды табуға болады.

Sometimes they're just buried in the appendix of an academic study.

Кейде олар ғылыми мақаланың соңғы қосымшасында болады.

And they're certainly not inscrutable;

Әрі оларды есептеуге де болады.

if you really wanted to test these numbers on urination volume,

Мәселен, зәр көлемін білгіңіз келсе,

you could grab a bottle and try it for yourself.

бір бөтелке алып, өзіңіз өлшей аласыз.

(Laughter)

(Күлкі)

The point of this isn't necessarily

Әрбір сан сізге қатысты болу

that every single data set has to relate specifically to you.

шарт емес.

I'm interested in how many women were issued fines in France

Мен Францияда ниқаб кигені үшін қанша әйел

for wearing the face veil, or the niqab,

айыппұл алғанын білгім келді.

even if I don't live in France or wear the face veil.

Францияда тұрмасам да, бетперде кимесем де қызық еді.

The point of asking where you fit in is to get as much context as possible.

Өзіңе не қызық екенін ұғу үшін контекстке үңілу керек.

So it's about zooming out from one data point,

Бір датаны алып, оны әрі қарай зерттеу.

like the unemployment rate is five percent,

Жұмыссыздық 5 пайыз болса,

and seeing how it changes over time,

уақыт өте қалай өзгергенін

or seeing how it changes by educational status --

немесе білім деңгейіне қарай қалай өзгеретінін анықтау.

this is why your parents always wanted you to go to college --

Ата-анаңыз сіздің универде оқығаныңызды қалайтыны содан.

or seeing how it varies by gender.

Жұмыссыздық жынысты талғай ма?

Nowadays, male unemployment rate is higher

Бүгінде ерлер жұмыссыздығы

than the female unemployment rate.

әйелдерге қарағанда жоғары.

Up until the early '80s, it was the other way around.

80-жылдар басында жағдай керісінше болды.

This is a story of one of the biggest changes

Бұл Америка қоғамында болып жатқан

that's happened in American society,

үлкен өзгеріс.

and it's all there in that chart, once you look beyond the averages.

Осы өзгерістің барлығын бір кестеден көресіз.

The axes are everything;

Бағанға маңыз беру керек.

once you change the scale, you can change the story.

көрсеткіш өзгерсе, оқиға да өзгереді.

OK, so the third and final question that I want you guys to think about

Сіздерге айтар соңғы кеңесім.

when you're looking at statistics is:

Статистикадан мынаны сұраңыз:

How was the data collected?

ақпарат қалай жиналды?

So far, I've only talked about the way data is communicated,

Сан қалай анықталатынын айттым

but the way it's collected matters just as much.

бірақ оның қалай жиналғаны да маңызды.

I know this is tough,

Бұл өте қиын.

because methodologies can be opaque and actually kind of boring,

Себебі әдістеме түсініксіз, әрі қызықсыз.

but there are some simple steps you can take to check this.

Алайда тексеру үшін қарапайым дүниені білсеңіз болғаны.

I'll use one last example here.

Соңғы бір мысалды келтірейін.

One poll found that 41 percent of Muslims in this country support jihad,

Еліміздегі мұсылмандардың 41 пайызы джихатты қолдайды

which is obviously pretty scary,

десе, бұл - қорқынышты.

and it was reported everywhere in 2015.

2015 жылы осындай ақпарат тарады.

When I want to check a number like that,

Мен осы сияқты санды тексермек болғанда

I'll start off by finding the original questionnaire.

сауалнаманың түпнұсқасын іздеймін.

It turns out that journalists who reported on that statistic

Сосын осы статистиканы айтқан тілші

ignored a question lower down on the survey

сауалнаманың соңғы сұрағына назар аудармаған.

that asked respondents how they defined "jihad."

ол жерде "джихадты" қалай түсінесің деп сұраған.

And most of them defined it as,

Әрі көпшілігі ол сұраққа:

"Muslims' personal, peaceful struggle to be more religious."

"Мұсылманның иманын күшейтудегі өзімен күресі" деген.

Only 16 percent defined it as, "violent holy war against unbelievers."

16 пайызы ғана "дінсіздерге қарсы киелі шайқас" деген.

This is the really important point:

Ең маңыздысы да осында:

based on those numbers, it's totally possible

осы сандарға сүйеніп,

that no one in the survey who defined it as violent holy war

қасиетті соғыс деп айтқанның ешқайсысы оны құптаймын

also said they support it.

деп айтпаған.

Those two groups might not overlap at all.

Бұл екі топ мүлде сәйкес келмейді.

It's also worth asking how the survey was carried out.

Сауалнама қалай жасалғаны да маңызды.

This was something called an opt-in poll,

Бұл өз еркіңдегі сауалнама болған.

which means anyone could have found it on the internet and completed it.

Интернеттен тауып, кез-келген адам толтырып шыққан.

There's no way of knowing if those people even identified as Muslim.

Оны толтырғандар мұсылман ба жоқ па оны да білмейміз.

And finally, there were 600 respondents in that poll.

Бір қызығы, сауалнамада 600 жауап бар.

There are roughly three million Muslims in this country,

Елде шамамен 3 миллион мұсылман бар.

according to Pew Research Center.

Pew Research дерегі сондай.

That means the poll spoke to roughly one in every 5,000 Muslims

Еліміздегі 5000 мұсылманның біреуінен

in this country.

жауап алды деген сөз.

This is one of the reasons

Мемлекет статистикасының

why government statistics are often better than private statistics.

жеке статистикаға қарағанда жақсы болатыны осыдан.

A poll might speak to a couple hundred people, maybe a thousand,

Сауалнама 200 не 1000 адамды сұрап шығуы мүмкін.

or if you're L'Oreal, trying to sell skin care products in 2005,

Немесе тері тауарын сататын L'Oreal болсаң,

then you spoke to 48 women to claim that they work.

48 әйелдің пікірі де жеткілікті болып қалар.

(Laughter)

(Күлкі)

Private companies don't have a huge interest in getting the numbers right,

Жеке компанияға барлық сан рас болуы шарт емес.

they just need the right numbers.

олар өздеріне қажет санды айтады.

Government statisticians aren't like that.

Үкіметтікі олай емес.

In theory, at least, they're totally impartial,

Тұтастай алғанда олар шын ақпаратты айтады.

not least because most of them do their jobs regardless of who's in power.

Себебі олардың көпшілігі билік ауысқанына қарамай қызмет етеді.

They're civil servants.

Олар қызметкерлер.

And to do their jobs properly,

Жұмысын жақсы атқару үшін

they don't just speak to a couple hundred people.

200 адаммен сөйлеспейді.

Those unemployment numbers I keep on referencing

Мен айтқан жұмыссыздық көрсеткіші

come from the Bureau of Labor Statistics,

Еңбек бөлімінен келген

and to make their estimates,

оны бағалы ету үшін

they speak to over 140,000 businesses in this country.

Олар 140 000 жұмыс орнын сұрап шықты.

I get it, it's frustrating.

Бұл оңай емес.

If you want to test a statistic that comes from a private company,

Жеке компания статистикасын тексергің келсе,

you can buy the face cream for you and a bunch of friends, test it out,

өнімін сатып алып, бетіңе жақ, сосын достарыңнан сұра.

if it doesn't work, you can say the numbers were wrong.

Егер бетің нашарлап кетсе, сандары қате деген сөз.

But how do you question government statistics?

Мемелекеттің сандарын қалай тексереміз?

You just keep checking everything.

Бәрін тексеріп шығу керек.

Find out how they collected the numbers.

Сандарды қалай жинады,

Find out if you're seeing everything on the chart you need to see.

Кестеде барлық дерек қамтылған ба?

But don't give up on the numbers altogether, because if you do,

Барлық сандарды жоққа шығармаңыз,

we'll be making public policy decisions in the dark,

себебі қоғам үшін маңызды деректің орнына

using nothing but private interests to guide us.

жеке қызығушылық жетегінде кетіп қаламыз.

Thank you.

Рақмет.

(Applause)

(Қол шапалақтау)