3 ways to spot a bad statistic | Mona Chalabi

번역: Ju Hye Lim 검토: Jihyeon J. Kim

I'm going to be talking about statistics today.

오늘은 통계에 대해 말씀드릴 거예요.

If that makes you immediately feel a little bit wary, that's OK,

약간 불안해하셔도 괜찮아요.

that doesn't make you some kind of crazy conspiracy theorist,

그렇다고 해서 정신나간 음모론자인 것이 아니라

it makes you skeptical.

단지 회의적인 분인 것이니까요.

And when it comes to numbers, especially now, you should be skeptical.

숫자에 관해서는, 특히나 지금은 의심을 하셔야 합니다.

But you should also be able to tell which numbers are reliable

하지만 어떤 숫자를 신뢰해도 되고 어떤 숫자를 신뢰하면 안 되는지를

and which ones aren't.

구분할 줄 알아야 해요.

So today I want to try to give you some tools to be able to do that.

그래서 구분할 수 있게 해주는 몇 가지 방법을 알려드리려고 해요.

But before I do,

하지만 그 전에

I just want to clarify which numbers I'm talking about here.

제가 말씀드릴 숫자들이 어떤 건지 명확히 짚고 넘어갈게요.

I'm not talking about claims like,

"10명 중 9명의 여성이

"9 out of 10 women recommend this anti-aging cream."

안티에이징 크림을 추천한다."같은 걸 말하는 게 아니에요.

I think a lot of us always roll our eyes at numbers like that.

그런 숫자를 보면 많은 분들이 눈을 굴리시죠.

What's different now is people are questioning statistics like,

요새 와서 달라진 건 사람들이 이런 통계에 의문을 갖게 된 겁니다.

"The US unemployment rate is five percent."

"미국의 실업률은 5%다."

What makes this claim different is it doesn't come from a private company,

이 주장이 특별한 이유는 사기업이 하는 말이 아니라

it comes from the government.

정부가 한 말이기 때문입니다.

About 4 out of 10 Americans distrust the economic data

미국인 10명 중 4명이 정부에서 보고하는 경제적 데이터를

that gets reported by government.

신뢰하지 않습니다.

Among supporters of President Trump it's even higher;

이 비율은 트럼프 대통령 지지자들의 경우에는 더 높습니다.

it's about 7 out of 10.

10명 중에 7명이에요.

I don't need to tell anyone here

제가 굳이 말씀드리지 않아도

that there are a lot of dividing lines in our society right now,

지금 사회에 나누어진 선들이 많다는 건 다들 알고 있습니다.

and a lot of them start to make sense,

정부의 수치와 사람들 간의 관계를

once you understand people's relationships with these government numbers.

이해하고나면 그 선들이 많이 말이 되기 시작합니다.

On the one hand, there are those who say these statistics are crucial,

반면에 통계가 매우 중요하다고 말하는 사람들도 있습니다.

that we need them to make sense of society as a whole

사회를 전체적으로 이해하려면 필요하다고 말합니다.

in order to move beyond emotional anecdotes

감정적인 진술들을 넘어

and measure progress in an [objective] way.

발전을 객관적으로 측정하기 위해서요.

And then there are the others,

그리고 또 다른 집단도 있습니다.

who say that these statistics are elitist,

통계는 엘리트주의적이며

maybe even rigged;

조작됐다고까지도 말하고

they don't make sense and they don't really reflect

말도 안 되며 사람들의 일상에서 일어나는

what's happening in people's everyday lives.

일들을 반영하지 않는다고 합니다.

It kind of feels like that second group is winning the argument right now.

두 번째 부류의 사람들의 주장이 이기고 있는 것 같긴 해요.

We're living in a world of alternative facts,

우린 대안적 사실의 세상에 살고 있고

where people don't find statistics this kind of common ground,

사람들은 통계를 공동 전제나 토론의 시작점으로

this starting point for debate.

여기지 않습니다.

This is a problem.

이건 문제입니다.

There are actually moves in the US right now

사실 일부 정부 통계를 아예 없애자는 움직임이

to get rid of some government statistics altogether.

지금 존재합니다.

Right now there's a bill in congress about measuring racial inequality.

지금 의회에 인종 차별을 측정하는 것에 대한 법안이 있습니다.

The draft law says that government money should not be used

초안에 따르면 국고가 인종차별에 관한 데이터를 수집하는 데

to collect data on racial segregation.

쓰이면 안 된다고 하고 있습니다.

This is a total disaster.

정말 끔찍한 일이에요.

If we don't have this data,

데이터 없이 어떻게 차별을 관찰할 수 있죠?

how can we observe discrimination,

let alone fix it?

게다가 어떻게 시정하죠?

In other words:

다시 말하면

How can a government create fair policies

정부가 현재의 불공정의 정도를

if they can't measure current levels of unfairness?

측정할 수 없으면 어떻게 공정한 정책을 만들 수 있죠?

This isn't just about discrimination,

비단 차별만 문제인 것이 아닙니다.

it's everything -- think about it.

모든 게 문제예요. 생각해보세요.

How can we legislate on health care

보건과 건강에 대한 양질의 데이터가 없으면

if we don't have good data on health or poverty?

어떻게 의료보험 법을 제정할 수 있죠?

How can we have public debate about immigration

얼마나 많은 사람들이 이 나라에 들어오고

if we can't at least agree

나가는지에 대해서도

on how many people are entering and leaving the country?

의견이 일치하지 않는데 어떻게 공개 토론이 이루어질 수 있죠?

Statistics come from the state; that's where they got their name.

통계는 국가에서부터 나옵니다. 그게 통계의 어원이에요.

The point was to better measure the population

국민을 더 잘 섬기기 위해 더 잘 측정하는 것이

in order to better serve it.

목적이었습니다.

So we need these government numbers,

그래서 정부의 수치가 필요합니다.

but we also have to move beyond either blindly accepting

하지만 맹목적으로 받아들이거나 반대하는 건

or blindly rejecting them.

넘어서야 합니다.

We need to learn the skills to be able to spot bad statistics.

잘못된 통계를 잡아내는 방법을 알아야 합니다.

I started to learn some of these

저는 그 중 일부를

when I was working in a statistical department

UN산하의 통계부서에서 일하면서 배웠습니다.

that's part of the United Nations.

Our job was to find out how many Iraqis had been forced from their homes

저희 일은 이라크 전쟁으로 얼마나 많은 이라크인이 피난을 갔는지와

as a result of the war,

무엇을 필요로 하는지를

and what they needed.

알아내는 것이었습니다.

It was really important work, but it was also incredibly difficult.

정말 중요한 일이었는데 동시에 매우 어려운 일이었습니다.

Every single day, we were making decisions

매일 우리는 수치의 정확도에 영향을 미치는 결정들을 내렸습니다.

that affected the accuracy of our numbers --

decisions like which parts of the country we should go to,

이라크의 어느 지역을 가야 할지

who we should speak to,

누구와 얘기할지

which questions we should ask.

어떤 질문을 물어야할지를요.

And I started to feel really disillusioned with our work,

그런데 저는 우리의 일에 환멸을 느끼기 시작했습니다.

because we thought we were doing a really good job,

우리는 일을 잘하고 있다고 생각했었어요.

but the one group of people who could really tell us were the Iraqis,

그런데 그걸 정말 확인시켜줄 수 있는 사람은 이라크인들 뿐인데

and they rarely got the chance to find our analysis, let alone question it.

그들은 우리 분석에 의문을 제기하는 건 고사하고 볼 기회도 거의 없었어요.

So I started to feel really determined

그래서 저는 수치를 더 정확하게 만들어 줄 유일한 방법이

that the one way to make numbers more accurate

is to have as many people as possible be able to question them.

최대한 많은 사람들이 의문을 제기하게 하는 거라고 생각하게 됐어요.

So I became a data journalist.

그래서 저는 데이터 기자가 됐습니다.

My job is finding these data sets and sharing them with the public.

제 일은 데이터 집합들을 찾아 대중에게 공유하는 것입니다.

Anyone can do this, you don't have to be a geek or a nerd.

공부벌레나 괴짜가 아니어도 누구나 할 수 있는 일이에요.

You can ignore those words; they're used by people

이 단어들은 무시하세요. 겸손한 척 하면서

trying to say they're smart while pretending they're humble.

자기가 똑똑하다는 걸 말하려는 사람들이 쓰는 단어들이에요.

Absolutely anyone can do this.

정말 누구나 할 수 있어요.

I want to give you guys three questions

잘못된 통계를 잡아내는 걸 도와주는

that will help you be able to spot some bad statistics.

세 가지 질문을 여러분께 드리고 싶어요.

So, question number one is: Can you see uncertainty?

첫 번째 질문, 불확실성이 보이시나요?

One of things that's really changed people's relationship with numbers,

사람과 숫자의 관계와, 사람들의 미디어에 대한 신뢰를

and even their trust in the media,

바꾸어놓은 것 중 하나는

has been the use of political polls.

정치 분야의 여론조사입니다.

I personally have a lot of issues with political polls

저는 개인적으로 여론조사에 불만이 많아요.

because I think the role of journalists is actually to report the facts

기자의 역할은 사실을 보도하는 거지 예측하는 게 아니라고 생각하거든요.

and not attempt to predict them,

especially when those predictions can actually damage democracy

특히나 그 예측들이 사람들에게 이런 신호를 주어

민주주의를 훼손할 수 있는 경우에는요.

by signaling to people: don't bother to vote for that guy,

"저 사람한테 투표할 필요 없어. 가망이 없거든."

he doesn't have a chance.

Let's set that aside for now and talk about the accuracy of this endeavor.

하지만 그건 제쳐두고 여론조사의 정확성에 대해 얘기해봅시다.

Based on national elections in the UK, Italy, Israel

영국, 이탈리아, 이스라엘의 총선과

and of course, the most recent US presidential election,

가장 최근에 있었던 미국 대선에 기반해서 볼 때

using polls to predict electoral outcomes

선거의 결과를 여론조사로 예측하는 건

is about as accurate as using the moon to predict hospital admissions.

달로 병원의 입원자 수를 점치는 것만큼이나 부정확합니다.

No, seriously, I used actual data from an academic study to draw this.

아니 정말 제가 학술 연구의 데이터로 도출한 결론이에요.

There are a lot of reasons why polling has become so inaccurate.

여론조사가 부정확해진 데에는 많은 이유가 있습니다.

Our societies have become really diverse,

우리 사회가 매우 다양해져서

which makes it difficult for pollsters to get a really nice representative sample

여론조사원들이 여론 조사의 모집단에서 정말로 대표성 있는 표본을

of the population for their polls.

얻기가 매우 힘들어졌어요.

People are really reluctant to answer their phones to pollsters,

사람들은 여론조사원들의 전화를 받기 꺼려하고

and also, shockingly enough, people might lie.

놀랍게도 거짓으로 답할 수도 있습니다.

But you wouldn't necessarily know that to look at the media.

하지만 사람들은 보도자료를 볼 때 그걸 의식하진 않죠.

For one thing, the probability of a Hillary Clinton win

힐러리 클린턴이 우승할 확률은

was communicated with decimal places.

소수점까지 계산됐었어요.

We don't use decimal places to describe the temperature.

소수점은 기온을 나타낼 때도 안 써요.

How on earth can predicting the behavior of 230 million voters in this country

그런데 어떻게 미국의 2억3천만 유권자의 행동을 예측하는 게

be that precise?

그렇게 정확할 수 있죠?

And then there were those sleek charts.

번지르르한 도표도 있었죠.

See, a lot of data visualizations will overstate certainty, and it works --

데이터를 시각화한 도표들은 많이들 확실성을 과장해요. 효과도 있고요.

these charts can numb our brains to criticism.

차트들은 비판을 무디게 할 수 있습니다.

When you hear a statistic, you might feel skeptical.

통계를 들으면 의심을 품을 수도 있지만

As soon as it's buried in a chart,

차트로 나타내어지는 순간

it feels like some kind of objective science,

객관적인 과학같이 느껴집니다.

and it's not.

그렇지 않은데도요.

So I was trying to find ways to better communicate this to people,

그래서 저는 이 이야기를 사람들에게 더 잘 전달할 수 있고

to show people the uncertainty in our numbers.

숫자의 불확실성을 보여줄 수 있는 방법을 찾으려 했어요.

What I did was I started taking real data sets,

그래서 저는 실제 데이터 모음을 갖다가

and turning them into hand-drawn visualizations,

손으로 그린 도표로 변환시켰어요.

so that people can see how imprecise the data is;

사람들이 데이터가 얼마나 부정확한지 볼 수 있게요.

so people can see that a human did this,

인간이 이걸 그렸고

a human found the data and visualized it.

인간이 데이터를 찾고 시각화했다고요.

For example, instead of finding out the probability

일례로 감기에 걸릴 월별 확률을 보는 것 대신에

of getting the flu in any given month,

you can see the rough distribution of flu season.

독감이 유행하는 철이 언젠지를 대략적으로 알 수 있죠.

This is --

이것은...

(Laughter)

(웃음)

a bad shot to show in February.

2월에 보여주기 나쁜 이미지죠.

But it's also more responsible data visualization,

하지만 동시에 더 책임감있는 도표예요.

because if you were to show the exact probabilities,

정확한 확률로 보여주면

maybe that would encourage people to get their flu jabs

사람들이 잘못된 시기에 독감 예방주사를 맞도록

at the wrong time.

장려할 수 있으니까요.

The point of these shaky lines

구불구불한 선으로 그린 이유는

is so that people remember these imprecisions,

사람들이 이 통계가 정확하진 않다는 걸 알게 하고

but also so they don't necessarily walk away with a specific number,

특정 숫자가 아닌 중요한 사실을 기억하도록

but they can remember important facts.

하기 위해서입니다.

Facts like injustice and inequality leave a huge mark on our lives.

불의와 불평등같은 사실들은 우리 인생에 큰 자국을 남깁니다.

Facts like Black Americans and Native Americans have shorter life expectancies

흑인 미국인과 북미 원주민들이 다른 인종보다

than those of other races,

수명이 더 짧으며,

and that isn't changing anytime soon.

이건 빠른 시일 내에 변하지 않을 거라는 사실도요.

Facts like prisoners in the US can be kept in solitary confinement cells

미국의 죄수들이 주차장의 일반적인 크기보다

that are smaller than the size of an average parking space.

더 작은 독방에 수감될 수 있다는 사실도요.

The point of these visualizations is also to remind people

이 도표들의 또 다른 요점은 사람들에게 매우 중요한

of some really important statistical concepts,

몇 가지 통계적 개념을 알려주기 위해서입니다.

concepts like averages.

평균같은 개념이요.

So let's say you hear a claim like,

이런 주장을 듣는다고 생각해보세요.

"The average swimming pool in the US contains 6.23 fecal accidents."

"미국의 수영장에는 평균적으로 6.23건의 배설물 사고가 일어난다."

That doesn't mean every single swimming pool in the country

이건 국내의 모든 수영장에 정확히 6.23개의 똥이

contains exactly 6.23 turds.

들어있다는 걸 의미하는 게 아닙니다.

So in order to show that,

그걸 증명하기 위해서

I went back to the original data, which comes from the CDC,

저는 미국 질병관리본부 출저의 47개 수영시설을 조사한

who surveyed 47 swimming facilities.

데이터 원본으로 돌아가서

And I just spent one evening redistributing poop.

하룻밤 꼬박 똥을 재분배했어요.

So you can kind of see how misleading averages can be.

평균이 얼마나 사람들을 오도할 수 있는지 볼 수 있죠.

(Laughter)

(웃음)

OK, so the second question that you guys should be asking yourselves

잘못된 숫자를 발견하기 위해 스스로에게 물어야 할

to spot bad numbers is:

두 번째 질문은 이겁니다.

Can I see myself in the data?

데이터 속에서 나를 볼 수 있는가?

This question is also about averages in a way,

어떻게 보면 이 질문도 평균에 관한 거예요.

because part of the reason why people are so frustrated

사람들이 국가적 통계에 대해 불만을 느끼는 이유 중의 하나가

with these national statistics,

is they don't really tell the story of who's winning and who's losing

국가 정책으로 누가 이득을 얻고 있고 누가 손해를 보고 있는지 알 수가

from national policy.

없다는 것이니까요.

It's easy to understand why people are frustrated with global averages

사람들이 전세계 평균이 자신의 경험과 맞지 않을 때

when they don't match up with their personal experiences.

왜 불만스러워하는지는 쉽게 이해됩니다.

I wanted to show people the way data relates to their everyday lives.

저는 데이터가 사람들의 일상에 어떻게 관련있는지를 보여주기 위해

I started this advice column called "Dear Mona,"

"모나에게"라는 고민 상담란을 만들었어요.

where people would write to me with questions and concerns

사람들이 제게 질문과 걱정을 적어보내면

and I'd try to answer them with data.

저는 데이터로 답을 해주었습니다.

People asked me anything.

제게 뭐든지 물어봤어요.

questions like, "Is it normal to sleep in a separate bed to my wife?"

"아내와 다른 침대에서 자는 게 정상인가요?"

"Do people regret their tattoos?"

"사람들은 문신 새긴 걸 후회하나요?"

"What does it mean to die of natural causes?"

"자연사했다는 게 무슨 뜻이죠?"

All of these questions are great, because they make you think

다 좋은 질문들이에요. 이 수치들과 소통할

about ways to find and communicate these numbers.

방법에 대해 생각해보게 하니까요.

If someone asks you, "How much pee is a lot of pee?"

누군가가 "얼만큼이 오줌을 많이 싸는 건가요?"라고 물으면

which is a question that I got asked,

실제로 제가 받았던 질문인데

you really want to make sure that the visualization makes sense

그래프가 최대한 많은 사람들에게 이해되도록 노력해야 합니다.

to as many people as possible.

These numbers aren't unavailable.

이 수치들은 찾을 수 있어요.

Sometimes they're just buried in the appendix of an academic study.

때로는 학술 연구의 부록에 묻혀있죠.

And they're certainly not inscrutable;

그리고 절대 불가해하지 않아요.

if you really wanted to test these numbers on urination volume,

이 수치를 소변의 양에 테스트해보고 싶으면

you could grab a bottle and try it for yourself.

그냥 병을 가져다 직접 해보세요.

(Laughter)

(웃음)

The point of this isn't necessarily

이것의 요지는 모든 데이터 집단이

that every single data set has to relate specifically to you.

여러분과 특정한 연관성이 있어야 한다는 것이 아닙니다.

I'm interested in how many women were issued fines in France

저는 프랑스에서 얼마나 많은 여성이 니캅을 쓴 것 때문에

for wearing the face veil, or the niqab,

벌금을 물었는지에 관심이 있어요.

even if I don't live in France or wear the face veil.

제가 프랑스에 살고 있지 않고 니캅도 쓰지 않는데도요.

The point of asking where you fit in is to get as much context as possible.

내가 어디에 들어맞는지를 묻는 이유는 최대한 많은 맥락을 얻기 위해서입니다.

So it's about zooming out from one data point,

그래서 한 데이터 지점으로부터 멀리 떨어져서 봐야 합니다.

like the unemployment rate is five percent,

일례로 실업률이 5%라면

and seeing how it changes over time,

이게 시간이 갈수록 어떻게 변하는지

or seeing how it changes by educational status --

학력에 따라 어떻게 변하는지

this is why your parents always wanted you to go to college --

참고로, 그래서 부모님들이 대학에 가라고 하는 겁니다.

or seeing how it varies by gender.

또는 젠더에 따라 어떻게 다른지를 봐야하죠.

Nowadays, male unemployment rate is higher

요즘은 남성 실업률이 여성 실업률보다 높습니다.

than the female unemployment rate.

Up until the early '80s, it was the other way around.

80년대 초반까지는 반대였어요.

This is a story of one of the biggest changes

이건 미국 사회에 일어난

that's happened in American society,

가장 큰 변화 중 하나입니다.

and it's all there in that chart, once you look beyond the averages.

평균 너머를 보게 되면 도표 안에 다 들어있는 것입니다.

The axes are everything;

X축과 Y축이 전부예요.

once you change the scale, you can change the story.

규모를 바꾸면 이야기가 달라집니다.

OK, so the third and final question that I want you guys to think about

통계를 볼 때 여러분이 생각해보길 바라는

when you're looking at statistics is:

세 번째이자 마지막 질문은 이겁니다.

How was the data collected?

어떻게 데이터를 수집했지?

So far, I've only talked about the way data is communicated,

여태까지 저는 데이터가 전달되는 방식에 대해서만 말했어요.

but the way it's collected matters just as much.

하지만 수집되는 방식도 똑같이 중요합니다.

I know this is tough,

이게 어렵다는 거 알아요.

because methodologies can be opaque and actually kind of boring,

방법론이 불분명하거나 사실 약간 지루할 수 있거든요.

but there are some simple steps you can take to check this.

하지만 이걸 확인하는 데 쓸 수 있는 간단한 방법이 있습니다.

I'll use one last example here.

마지막 예시를 여기서 들게요.

One poll found that 41 percent of Muslims in this country support jihad,

한 여론조사에서 국내 무슬림의 41%가 지하드를 지지한다는 걸 발견했어요.

which is obviously pretty scary,

매우 무서운 일이죠.

and it was reported everywhere in 2015.

2015년에 전국적으로 발표됐어요.

When I want to check a number like that,

이런 수치를 체크해보고 싶을 때

I'll start off by finding the original questionnaire.

저는 먼저 설문지 원본을 찾아보아요.

It turns out that journalists who reported on that statistic

이 통계를 보고한 기자들은 설문지 하단에 위치한

ignored a question lower down on the survey

응답자에게 자신이 "지하드"를 어떻게 정의하는지를

that asked respondents how they defined "jihad."

물어본 질문을 무시했더군요.

And most of them defined it as,

대부분의 사람들이 이렇게 정의했어요.

"Muslims' personal, peaceful struggle to be more religious."

"더 독실해지기 위한 무슬림의 개인적이고 평화적인 투쟁."

Only 16 percent defined it as, "violent holy war against unbelievers."

16%만이 이렇게 정의했어요. "이교도들과의 폭력적인 성전."

This is the really important point:

이게 진짜 중요한 사실인데요.

based on those numbers, it's totally possible

이 통계에 기반했을 때 설문지에서 지하드를

that no one in the survey who defined it as violent holy war

폭력적인 성전이라고 답한 사람 중 그 누구도 그걸 지지한다고 하지 않았을

also said they support it.

가능성이 존재해요.

Those two groups might not overlap at all.

두 집합의 교집합이 아예 없을 수 있어요.

It's also worth asking how the survey was carried out.

설문조사가 어떻게 실행됐는지를 물어보는 것도 좋습니다.

This was something called an opt-in poll,

이건 옵트인 설문조사였어요.

which means anyone could have found it on the internet and completed it.

누구나 인터넷에서 보고 응답할 수 있었다는 뜻입니다.

There's no way of knowing if those people even identified as Muslim.

이 사람들이 애초에 무슬림조차 알 방법이 없어요.

And finally, there were 600 respondents in that poll.

마지막으로 이 설문조사의 응답자 수는 600명이었습니다.

There are roughly three million Muslims in this country,

퓨 연구센터에 따르면 국내에는 약 300만명의

according to Pew Research Center.

무슬림이 있습니다.

That means the poll spoke to roughly one in every 5,000 Muslims

이 말은 여론조사가 대략 5000명의 무슬림 중 한 명 꼴로

in this country.

조사했다는 겁니다.

This is one of the reasons

그렇기 때문에

why government statistics are often better than private statistics.

국가 통계가 때로는 사설 통계보다 낫습니다.

A poll might speak to a couple hundred people, maybe a thousand,

여론조사는 200명 정도를 조사합니다. 1000명일 때도 있어요.

or if you're L'Oreal, trying to sell skin care products in 2005,

2005년에 스킨 케어 제품을 판매하려고 했던 로레알은

then you spoke to 48 women to claim that they work.

48명의 여성을 조사하고 효과가 있다고 주장했죠.

(Laughter)

(웃음)

Private companies don't have a huge interest in getting the numbers right,

사기업은 올바른 수치를 얻는 데에는 그다지 큰 관심이 없어요.

they just need the right numbers.

자기가 원하는 숫자가 필요한거죠.

Government statisticians aren't like that.

정부 통계는 그렇지 않아요.

In theory, at least, they're totally impartial,

적어도 이론상으로는 완전히 공평해요.

not least because most of them do their jobs regardless of who's in power.

누가 권력을 갖게 되든 대부분이 그냥 자기 일을 하는 것도 한 이유예요.

They're civil servants.

공무원이니까요.

And to do their jobs properly,

자기 일을 제대로 하려면

they don't just speak to a couple hundred people.

200명만 설문조사하지 않아요.

Those unemployment numbers I keep on referencing

제가 자꾸 언급하는 이 실업률 수치는

come from the Bureau of Labor Statistics,

노동통계청에서 발표한 거예요.

and to make their estimates,

이 수치를 계산하기 위해

they speak to over 140,000 businesses in this country.

노동통계청은 14만 개가 넘는 국내 사업장을 조사합니다.

I get it, it's frustrating.

알아요, 정말 짜증나죠.

If you want to test a statistic that comes from a private company,

사기업에서 발표한 통계를 시험해보고 싶다면

you can buy the face cream for you and a bunch of friends, test it out,

친구들과 직접 로션을 사서 발라보면 됩니다.

if it doesn't work, you can say the numbers were wrong.

효과가 없으면 통계가 틀렸다고 말할 수 있어요.

But how do you question government statistics?

그런데 정부 통계는 어떻게 의문을 제기하죠?

You just keep checking everything.

모든 것을 계속 확인하는 겁니다.

Find out how they collected the numbers.

수치를 어떻게 수집했는지

Find out if you're seeing everything on the chart you need to see.

내가 도표에서 봐야 할 모든 것을 다 보고 있는지를 알아내세요.

But don't give up on the numbers altogether, because if you do,

하지만 수치 일체를 포기하진 마세요.

we'll be making public policy decisions in the dark,

그렇게 되면 사익이 알려주는 방향만 사용하면서

using nothing but private interests to guide us.

무지 속에서 공공정책을 만들고 있게 될 테니까요.

Thank you.

고맙습니다.

(Applause)

(박수)