How we can protect truth in the age of misinformation | Sinan Aral

Translator: Ivana Korom Reviewer: Krystian Aparta

번역: Sujin Byeon 검토: hansom Lee

So, on April 23 of 2013,

2013년 4월 23일,

the Associated Press put out the following tweet on Twitter.

AP통신은 이런 내용을 트윗했습니다.

It said, "Breaking news:

"속보입니다.

Two explosions at the White House

백악관에서 두 건의 폭발로,

and Barack Obama has been injured."

오바마 대통령이 부상."

This tweet was retweeted 4,000 times in less than five minutes,

이 트윗은 5분도 채 되지 않아 4천 번 리트윗 됐고,

and it went viral thereafter.

그 후 널리 퍼지게 됐죠.

Now, this tweet wasn't real news put out by the Associated Press.

자, 이 트윗은 AP 통신이 보도한 진짜 뉴스가 아닙니다.

In fact it was false news, or fake news,

AP통신 트위터 계정에 침투한

that was propagated by Syrian hackers

시리아 해커들이 퍼뜨린

that had infiltrated the Associated Press Twitter handle.

거짓 뉴스, 즉 가짜 뉴스입니다.

Their purpose was to disrupt society, but they disrupted much more.

목적은 사회에 혼란을 주는 것이었지만, 그 이상이었죠.

Because automated trading algorithms

왜냐하면 알고리즘 트레이딩이

immediately seized on the sentiment on this tweet,

즉각적으로 그 트윗의 함의를 파악해,

and began trading based on the potential

백악관 내 폭발로 인해 미국 대통령이

that the president of the United States had been injured or killed

다치거나 사망했을 가능성에 근거해

in this explosion.

트레이딩을 시작했기 떄문이죠.

And as they started tweeting,

가짜뉴스가 트윗되자,

they immediately sent the stock market crashing,

주식시장은 즉각적으로 폭락했고,

wiping out 140 billion dollars in equity value in a single day.

하루아침에 1400억 달러 가치가 사라졌습니다.

Robert Mueller, special counsel prosecutor in the United States,

로버트 뮬러 미 특수부 검사는

issued indictments against three Russian companies

2016년 미 대선 개입을 통해

미국을 사취하려고 한

and 13 Russian individuals

공모한 혐의로 3개의 러시아 기업과

on a conspiracy to defraud the United States

13명의 러시아인을 기소했습니다.

by meddling in the 2016 presidential election.

And what this indictment tells as a story

그리고 이 기소장이 말해주는 건

is the story of the Internet Research Agency,

러시아 인터넷 연구 기관,

the shadowy arm of the Kremlin on social media.

러시아 정부의 소셜 미디어 그림자 군단에 대한 이야기입니다.

During the presidential election alone,

미 대통령 선거 기간 동안에만,

the Internet Agency's efforts

러시아의 인터넷 기관은

reached 126 million people on Facebook in the United States,

수백 만 명의 미국 페이스북 유저에 접근해,

issued three million individual tweets

300만개의 개인 트윗을 하고,

and 43 hours' worth of YouTube content.

43시간 짜리 유튜브를 영상을 제작했습니다.

All of which was fake --

이 모든 것은 가짜였습니다.

misinformation designed to sow discord in the US presidential election.

미국 대선에 혼란을 주기 위한 거짓 정보인 셈이죠.

A recent study by Oxford University

최근 옥스퍼드대학의 연구에 따르면,

showed that in the recent Swedish elections,

최근 스웨덴의 선거 기간 동안

one third of all of the information spreading on social media

소셜미디어에 퍼진 선거 관련 정보의

3분의 1이

about the election

가짜거나 잘못된 것이었다고 합니다.

was fake or misinformation.

In addition, these types of social-media misinformation campaigns

또한, 이러한 형태의 소셜 미디어의 가짜 정보의 활동은

can spread what has been called "genocidal propaganda,"

소위 "대량 학살의 선전." 이라 부르는데,

for instance against the Rohingya in Burma,

부르마의 로힝야 족에 관한 것이라든가,

triggering mob killings in India.

인도에서 대량 학살이 일어났다든가 런 식이죠.

We studied fake news

우리는 가짜 뉴스가

and began studying it before it was a popular term.

지금처럼 널리퍼진 용어가 되기 전부터 이에 대해 연구하기 시작했습니다.

And we recently published the largest-ever longitudinal study

그리고 최근 온라인 상의 가짜 뉴스의 전파에 대한

of the spread of fake news online

사상 최대의 연구 결과를 발표했고,

on the cover of "Science" in March of this year.

2019년 사이언스지 3월호 표지에 실리게 되었습니다.

We studied all of the verified true and false news stories

우리는 2006년부터 2017년까지

트위터에 퍼진 모든 사실들과 가짜 뉴스들을 연구했습니다.

that ever spread on Twitter,

from its inception in 2006 to 2017.

And when we studied this information,

그리고 이 정보를 연구하면서,

we studied verified news stories

독립 된 사실 확인 기관 여섯 곳에서

that were verified by six independent fact-checking organizations.

검증한 뉴스들을 연구했습니다.

So we knew which stories were true

우리는 어떤 이야기가 진실이고

and which stories were false.

어떤 것이 거짓인지 알 수 있었습니다.

We can measure their diffusion,

우리는 이들의 확산과

the speed of their diffusion,

확산의 속도,

the depth and breadth of their diffusion,

깊이와 넓이,

how many people become entangled in this information cascade and so on.

얼마나 많은 사람들이 이 정보를 접하고 퍼뜨렸는지 알 수 있었죠.

And what we did in this paper

그리고 진짜 뉴스가 퍼지는 속도

was we compared the spread of true news to the spread of false news.

가짜 뉴스가 퍼지는 속도를 비교해 논문에 실었죠.

And here's what we found.

저희가 연구한 결과입니다.

We found that false news diffused further, faster, deeper

가짜 뉴스는 진실보다 더 빠르고, 더 깊고,

and more broadly than the truth

더 넓게 퍼져 있었습니다.

in every category of information that we studied,

저희가 연구하면서 분류한 모든 정보에서요.

sometimes by an order of magnitude.

가끔은 일정한 규모로.

And in fact, false political news was the most viral.

그리고 정치 관련 가짜 뉴스가 가장 널리 퍼졌습니다.

It diffused further, faster, deeper and more broadly

정치 뉴스는 다른 어떤 종류의 가짜 뉴스보다

than any other type of false news.

더 빠르고, 더 깊고, 더 넓게 퍼졌습니다.

When we saw this,

이와 같은 결과에 대해

we were at once worried but also curious.

우리는 걱정을 하면서도 호기심을 느꼈습니다.

Why?

왜 그럴까요?

Why does false news travel so much further, faster, deeper

가짜 뉴스는 왜 진실보다 훨씬 더 멀리, 더 빠르게, 더 깊게,

and more broadly than the truth?

더 넓게 퍼지는 걸까요?

The first hypothesis that we came up with was,

저희가 생각한 첫 번째 가설은,

"Well, maybe people who spread false news have more followers or follow more people,

"아마 팔로워 수가 더 많거나 팔로잉을 많이 한 사람들이거나

or tweet more often,

더 자주 트윗을 하거나,

or maybe they're more often 'verified' users of Twitter, with more credibility,

트위터에서 '공인 된' 유저라 신뢰도가 더 높거나,

or maybe they've been on Twitter longer."

아니면 트위터를 오랫동안 사용한 유저라는 것이었죠."

So we checked each one of these in turn.

그래서 우리는 이런 요소들을 차례로 확인했습니다.

And what we found was exactly the opposite.

그리고 우리의 예상과는 정확하게 반대였습니다.

False-news spreaders had fewer followers,

가짜 뉴스 유포자들은 팔로워가 적고

followed fewer people, were less active,

팔로잉도 많지 않으며, 활동도 그리 많지 않고

less often "verified"

‘공인 된' 유저도 아니었고

and had been on Twitter for a shorter period of time.

트위터를 사용한 기간도 짧았습니다.

And yet,

그럼에도 불구하고,

false news was 70 percent more likely to be retweeted than the truth,

가짜 뉴스는 진실보다 70%정도 더 리트윗 됐습니다.

controlling for all of these and many other factors.

이러한 것들을 통제하고 다른 수많은 요소들도 함께요.

So we had to come up with other explanations.

그래서 우리는 다른 가설들을 생각해야 했습니다.

And we devised what we called a "novelty hypothesis."

저희는 "새로움의 가설"이라는 새로운 가설을 세웠습니다.

So if you read the literature,

문헌을 읽어보면,

it is well known that human attention is drawn to novelty,

인간의 관심은 익숙한 환경 속에서 새로운 것에 끌린다는 사실이

things that are new in the environment.

잘 나와 있습니다.

And if you read the sociology literature,

그리고 사회학 문헌들을 읽어보면,

you know that we like to share novel information.

저희는 새로운 정보를 공유하는 것을 좋아한다는 사실을 알게 됩니다.

It makes us seem like we have access to inside information,

우리가 그 정보 안에 들어가는 것처럼 느끼게 하고,

and we gain in status by spreading this kind of information.

이런 정보를 퍼트림으로써 우위를 차지할 수 있다는 것이죠.

So what we did was we measured the novelty of an incoming true or false tweet,

그래서 저희는 새로 트윗된 진짜와 가짜의 참신함을 측정하려고

compared to the corpus of what that individual had seen

개인이 60일 전에 트위터에서 봤던 내용들을

in the 60 days prior on Twitter.

다 비교해 봤습니다.

But that wasn't enough, because we thought to ourselves,

하지만 그것으론 충분하지 않았죠.

왜냐면 정보 이론적으로 보면 가짜 뉴스가 훨씬 더 신선할 수도 있겠지만,

"Well, maybe false news is more novel in an information-theoretic sense,

but maybe people don't perceive it as more novel."

사람들이 그걸 신선하지 않다고 여길 수 있다고 생각했기 때문이죠.

So to understand people's perceptions of false news,

그래서 가짜 뉴스에 대한 사람들의 인식을 알아보기 위해

we looked at the information and the sentiment

저희는 정보들을 살펴보고 진짜와 가짜 트윗 응답에

contained in the replies to true and false tweets.

함의되어 있는 정서를 살펴봤습니다.

And what we found

그리고 우리가 발견한 것은

was that across a bunch of different measures of sentiment --

수많은 다양한 감정들

surprise, disgust, fear, sadness,

놀라움, 혐오, 두려움, 슬픔,

anticipation, joy and trust --

기대, 즐거움, 신뢰 이러한 다양한 감정 중에서

false news exhibited significantly more surprise and disgust

가짜 뉴스에는 놀라움과 혐오의 정서가 훨씬 더 많이 보여진다는 겁니다.

in the replies to false tweets.

가짜 트윗 응답자들 중에서요.

And true news exhibited significantly more anticipation,

진짜 뉴스에서는 상대적으로

joy and trust

즐거움, 신뢰가

in reply to true tweets.

더 많이 나타났죠.

The surprise corroborates our novelty hypothesis.

이 놀라운 사실은 저희의 가설을 뒷받침해주었습니다.

This is new and surprising, and so we're more likely to share it.

이것은 새롭고 놀라운 일이며, 더 많이 공유해야겠다고 생각했죠.

At the same time, there was congressional testimony

동시에, 잘못된 정보의 확산에 있어

in front of both houses of Congress in the United States,

로봇의 역할을 살펴보는

looking at the role of bots in the spread of misinformation.

청문회가 미국 상하원 양원에서 진행됐죠.

So we looked at this too --

저희도 살펴보았죠.

we used multiple sophisticated bot-detection algorithms

저희는 몇가지 로봇 탐지 알고리즘을 사용해

to find the bots in our data and to pull them out.

저희 데이터 속의 로봇을 찾아내 그 로봇을 꺼냈죠.

So we pulled them out, we put them back in

그러고 난 후 다시 집어 넣어서

and we compared what happens to our measurement.

무슨 일이 일어났는지 결과를 비교했습니다.

And what we found was that, yes indeed,

그리고 우리가 발견한 것은, 정말로

bots were accelerating the spread of false news online,

로봇이 온라인상의 가짜 뉴스 확산을 가속화한다는 사실,

but they were accelerating the spread of true news

하지만 진짜 뉴스도 그만큼 빠른 속도로

at approximately the same rate.

퍼트리고 있다는 사실이었습니다.

Which means bots are not responsible

이것은 로봇은 온라인상의 진짜 뉴스와 가짜 뉴스의 확산에

for the differential diffusion of truth and falsity online.

책임이 없다는 사실을 의미합니다.

We can't abdicate that responsibility,

우리는 이 책무를 거부할 수 없습니다.

because we, humans, are responsible for that spread.

왜냐면, 우리 인간에게 확산의 책임이 있기 때문이죠.

Now, everything that I have told you so far,

지금까지 제가 말씀드린 것은

unfortunately for all of us,

안타깝게도 우리 모두에게

is the good news.

좋은 소식입니다

The reason is because it's about to get a whole lot worse.

왜냐하면 머지않아 훨씬 더 악화될 것이기 떄문입니다.

And two specific technologies are going to make it worse.

그리고 특히 두 가지 기술이 상황을 더 안 좋게 만들 겁니다.

We are going to see the rise of a tremendous wave of synthetic media.

저희는 합성 미디어의 홍수를 보게 될 것입니다.

Fake video, fake audio that is very convincing to the human eye.

가짜 비디오, 가짜 오디오들은 사람의 인지에 설득을 더하죠.

And this will powered by two technologies.

그리고 이것은 두 가지 기술로 가능하게 됩니다.

The first of these is known as "generative adversarial networks."

첫 번째 기술은 ‘생성적 적대 신경(GAN)’ 입니다.

This is a machine-learning model with two networks:

GAN은 두 개의 네트워크를 가진 머신러닝 모델입니다.

a discriminator,

여기서 판별자는

whose job it is to determine whether something is true or false,

무엇이 진짜이고 가짜인지 판별하는 역할을 합니다.

and a generator,

그리고 생성자는

whose job it is to generate synthetic media.

합성 미디어를 생성합니다.

So the synthetic generator generates synthetic video or audio,

그래서 생성자는 비디오, 오디오를 합성하고

and the discriminator tries to tell, "Is this real or is this fake?"

판별자는 이것이 진짜인지 가짜인지 그 진위여부를 판단합니다.

And in fact, it is the job of the generator

그리고 실제로, 생성자의 역할은

to maximize the likelihood that it will fool the discriminator

최대한 비슷하게 만들어서 판별자가 그것이

into thinking the synthetic video and audio that it is creating

합성된 비디오나 오디오인지

is actually true.

알 수 없도록 하는 역할입니다.

Imagine a machine in a hyperloop,

하이퍼루프 안의 기계가

trying to get better and better at fooling us.

우리를 속이려고 점점 더 노력한다고 상상해보세요.

This, combined with the second technology,

이 기술이 두 번째 기술과 결합하면,

which is essentially the democratization of artificial intelligence to the people,

근본적으로 모든 사람들이 인공지능을 쓸 수 있고,

the ability for anyone,

누구나 가능하며,

without any background in artificial intelligence

인공지능 혹은

or machine learning,

머신러닝에 대한 배경지식이 없어도

to deploy these kinds of algorithms to generate synthetic media

이러한 알고리즘을 이용하여 합성 미디어를 만들어서

makes it ultimately so much easier to create videos.

결국에는 더 쉽게 비디오를 만들 수 있게 되는 것입니다.

The White House issued a false, doctored video

백악관이 한 기자가 그의 마이크를 받으려고 하는 인턴기자와의

of a journalist interacting with an intern who was trying to take his microphone.

접촉을 살짝 편집한 가짜 비디오를 올렸습니다.

They removed frames from this video

그들은 이 비디오의 프레임 중 일부분을 삭제해

in order to make his actions seem more punchy.

그의 행동을 일부러 더 잘보이게 했습니다.

And when videographers and stuntmen and women

촬영기사나 스턴트 배우들은

were interviewed about this type of technique,

인터뷰에서 이와 같은 기술들이

they said, "Yes, we use this in the movies all the time

"네, 영화에서 주먹을 휘두르거나 발차기를 할 때

to make our punches and kicks look more choppy and more aggressive."

더욱 거칠고 공격적으로 보이기 위해 늘 사용한다" 고 말했습니다.

They then put out this video

백악관은 이 영상을

and partly used it as justification

짐 아소티카 기자의

to revoke Jim Acosta, the reporter's, press pass

백악관 출입 정지 조치를

정당화하는데 이용했습니다.

from the White House.

And CNN had to sue to have that press pass reinstated.

그리고 CNN은 백악관 출입증을 돌려받기 위해 고소를 했습니다.

There are about five different paths that I can think of that we can follow

오늘날 우리가 마주한 이와 같은 어려운 문제들을

to try and address some of these very difficult problems today.

해결할 수 있는 5가지 방법이 있습니다.

Each one of them has promise,

모두 다 장래성이 있지만,

but each one of them has its own challenges.

나름의 과제를 안고 있기도 합니다.

The first one is labeling.

첫번째는 라벨링입니다.

Think about it this way:

이렇게 생각해보세요.

when you go to the grocery store to buy food to consume,

여러분이 음식을 사러 식료품점에 가면,

it's extensively labeled.

아주 많은 라벨이 붙어 있습니다.

You know how many calories it has,

칼로리가 얼만지,

how much fat it contains --

지방은 얼만지,

and yet when we consume information, we have no labels whatsoever.

하지만 우리가 정보를 소비할 때는 그 어떤 라벨도 없습니다.

What is contained in this information?

이 정보는 무슨 내용이고

Is the source credible?

출처는 믿을만한지

Where is this information gathered from?

어디에서 수집된 정보인지

We have none of that information

정보를 소비할 때는

when we are consuming information.

이에 대해서는 전혀 알 수 없죠.

That is a potential avenue, but it comes with its challenges.

좋은 방법이긴 하지만, 문제도 있습니다.

For instance, who gets to decide, in society, what's true and what's false?

예를 들면, 우리 사회에서 진실과 거짓은 무엇이고 누가 정하죠?

Is it the governments?

정부일까요?

Is it Facebook?

페이스북일까요?

Is it an independent consortium of fact-checkers?

독립 된 팩트 체커 컨소시움일까요?

And who's checking the fact-checkers?

그렇다면 팩트체커는 누가 확인하죠?

Another potential avenue is incentives.

또 다른 좋은 방법은 인센티브 입니다.

We know that during the US presidential election

우리는 미국 대통령 선거 기간 동안

there was a wave of misinformation that came from Macedonia

마케도니아에서 나온 잘못된 정보들이

that didn't have any political motive

경제적 동기가 있었을 뿐

but instead had an economic motive.

정치적 동기는 없었다는 것을 알고 있습니다.

And this economic motive existed,

여기에서 경제적 동기는

because false news travels so much farther, faster

가짜 뉴스가 진실보다 훨씬 더 멀리, 더 빠르고

and more deeply than the truth,

더 깊이 퍼질 수 있기 때문에,

and you can earn advertising dollars as you garner eyeballs and attention

이러한 정보로 사람들의 관심과 시선을 얻으면

광고 수익을 얻을 수 있기 때문입니다.

with this type of information.

But if we can depress the spread of this information,

하지만 만약 우리가 이 정보의 확산을 막게 되면

perhaps it would reduce the economic incentive

애초에 가짜 뉴스를 생산할

to produce it at all in the first place.

경제적 동기가 존재하지 않게 되는 것이죠.

Third, we can think about regulation,

셋째, 규제를 생각할 수 있습니다.

and certainly, we should think about this option.

그리고 확실히, 우리는 이 방법을 생각하고 있습니다.

In the United States, currently,

최근 미국에서는

we are exploring what might happen if Facebook and others are regulated.

페이스북이나 다른 것들이 규제되면 어떤 일이 일어날지 조사하고 있습니다.

While we should consider things like regulating political speech,

정치 연설을 규제하고, 정치 연설이라는 사실을 표기하며,

labeling the fact that it's political speech,

외국 배우가 정치 연설에 자금을 댈 수 없도록 하는 것 등을

making sure foreign actors can't fund political speech,

동시에 고려하면서 말이죠.

it also has its own dangers.

그러나 이것도 그 자체로 위험합니다.

For instance, Malaysia just instituted a six-year prison sentence

예를 들어, 말레이시아는 가짜 뉴스를 퍼트린 사람에게

징역 6년 형을 선고했습니다.

for anyone found spreading misinformation.

And in authoritarian regimes,

그리고 권위주의적인 정권에서는

these kinds of policies can be used to suppress minority opinions

이런 종류의 정책들이 소수 의견을 억압하고

and to continue to extend repression.

탄압을 확대하는데 사용될 수 있습니다.

The fourth possible option is transparency.

네 번째 선택지는 투명성입니다.

We want to know how do Facebook's algorithms work.

우리는 페이스북의 알고리즘이 어떻게 작동하는지 알고 싶어 합니다.

How does the data combine with the algorithms

어떻게 데이터가 알고리즘과 결합하여

to produce the outcomes that we see?

우리가 볼 수 있게 결과물을 만들어낼까요?

We want them to open the kimono

우리는 그들이 정보를 공개해서

and show us exactly the inner workings of how Facebook is working.

페이스북 내부가 정확히 어떻게 작동하는지 보여주길 원합니다.

And if we want to know social media's effect on society,

또한 소셜 미디어가 사회에 미치는 영향을 알고 싶다면,

we need scientists, researchers

이런 종류의 정보에 접근할 수 있는

and others to have access to this kind of information.

과학자와 연구자, 등이 필요하다는 것을 압니다.

But at the same time,

하지만 동시에,

we are asking Facebook to lock everything down,

우리는 페이스북이 모든 데이터를 차단하고

to keep all of the data secure.

그 데이터를 안전하게 보관하도록 요구합니다.

So, Facebook and the other social media platforms

그래서 페이스북과 또 다른 소셜미디어 플랫폼들은

are facing what I call a transparency paradox.

제가 투명성의 역설이라고 말하는 상황에 직면해 있습니다.

We are asking them, at the same time,

우리는 미디어에게

to be open and transparent and, simultaneously secure.

개방적이고 투명하면서도 동시에 안전할 것을 요구하고 있습니다.

This is a very difficult needle to thread,

이것은 실을 꿰기엔 아주 어려운 바늘이지만,

but they will need to thread this needle

이 바늘에 꼭 실을 꿰어야만 하는 것과 같죠.

if we are to achieve the promise of social technologies

사회적인 기술의 위험을 피하면서도 그 가능성을 얻기 위해서는

while avoiding their peril.

필요한 일입니다.

The final thing that we could think about is algorithms and machine learning.

마지막으로 알고리즘과 머신 러닝에 대해 생각해 봅시다.

Technology devised to root out and understand fake news, how it spreads,

이 기술은 가짜 뉴스가 근본적으로 어떤지 이해하고, 얼마나 퍼지고,

and to try and dampen its flow.

그 흐름이 얼마나 깊이 퍼지는지 알아내기 위해 만든 기술입니다.

Humans have to be in the loop of this technology,

인간은 이 기술을 분명히 이해해야 합니다.

because we can never escape

왜냐하면 우리는 결코

that underlying any technological solution or approach

모든 기술적 해결책이나 접근방식에 존재하는

is a fundamental ethical and philosophical question

근본적이고 윤리적이고 철학적인 질문들을 피할 수 없기 때문이죠.

about how do we define truth and falsity,

우리가 어떻게 진실과 거짓을 정의하고,

to whom do we give the power to define truth and falsity

누구에게 이것을 판별할 수 있는 권한을 부여할 것인지,

and which opinions are legitimate,

어떤 의견이 합법적인 것인지,

which type of speech should be allowed and so on.

어떤 종류의 목소리가 허용되야 하는지 등에 관한 질문들이죠.

Technology is not a solution for that.

기술은 그 모든 것의 해결책이 아닙니다.

Ethics and philosophy is a solution for that.

윤리와 철학이 해결책이죠.

Nearly every theory of human decision making,

인간의 의사결정에 관한 거의 모든 이론들과

human cooperation and human coordination

인간의 협력 그리고 협동의

has some sense of the truth at its core.

그 중심에는 진실이 있습니다.

But with the rise of fake news,

그러나 가짜 뉴스의 증가,

the rise of fake video,

가짜 비디오의 증가,

the rise of fake audio,

가짜 오디오의 증가,

we are teetering on the brink of the end of reality,

우리는 진실의 종말을 눈앞에 두고 있습니다.

where we cannot tell what is real from what is fake.

무엇이 진짜이고 무엇이 가짜인지 판별할 수 없는 상태입니다.

And that's potentially incredibly dangerous.

그리고 이건 정말로 위험합니다.

We have to be vigilant in defending the truth

우리는 잘못된 정보로부터 진실을 보호하며

against misinformation.

경계해야 합니다.

With our technologies, with our policies

우리의 기술과 우리의 정책

and, perhaps most importantly,

그리고 아마도, 가장 중요한 것은

with our own individual responsibilities,

우리 개개인의 책임과

decisions, behaviors and actions.

결정, 행동 그리고 움직임일 것입니다.

Thank you very much.

대단히 감사합니다.

(Applause)

(박수)