We're building a dystopia just to make people click on ads | Zeynep Tufekci

번역: SeungGyu Min 검토: Jihyeon J. Kim

So when people voice fears of artificial intelligence,

우리가 인공지능에 대해 걱정을 할 때마다

very often, they invoke images of humanoid robots run amok.

종종 통제불능의 인간처럼 생긴 로봇이 생각납니다.

You know? Terminator?

터미네이터 생각하시나요?

You know, that might be something to consider,

전혀 가능성이 없다고는 할수 없습니다만

but that's a distant threat.

아직은 먼 미래의 이야기라 할 수 있습니다.

Or, we fret about digital surveillance

과거 비유법으로 처음 등장한

with metaphors from the past.

디지털 감시시스템에 대해 우려가 큽니다.

"1984," George Orwell's "1984,"

"1984" 조지 오웰의 "1984"

it's hitting the bestseller lists again.

요즘 다시 베스터 셀러가 되고 있습니다.

It's a great book,

대단한 책이죠.

but it's not the correct dystopia for the 21st century.

하지만, 21세기가 지향하는 세상은 아닌 것은 사실입니다.

What we need to fear most

우리가 여기서 가장 두려워해야 할 것은

is not what artificial intelligence will do to us on its own,

인공지능이 스스로 힘으로 어떤 일을 할 수 있을까가 아닌

권력자들이 인공지능을 어떻게 사용할 것인가입니다.

but how the people in power will use artificial intelligence

to control us and to manipulate us

소설처럼

in novel, sometimes hidden,

보이지 않은 곳에서

subtle and unexpected ways.

느끼지 못하지만 교묘한 방법으로 우리를 통제하고 조종하려 할 것입니다.

Much of the technology

그러한 기술 대부분은

that threatens our freedom and our dignity in the near-term future

미래에 우리의 자유와 존엄성을 침해할 수 있지만

is being developed by companies

많은 기업이 뛰어들고 있습니다.

in the business of capturing and selling our data and our attention

광고주와 우리 관심사를 모아 판매하는 회사들이 시스템을 개발하고 있습니다.

to advertisers and others:

Facebook, Google, Amazon,

예를 들어, 페이스북, 구글, 아마존

Alibaba, Tencent.

알리바바, 텐센트등이 있습니다.

Now, artificial intelligence has started bolstering their business as well.

현재, 인공지능 영역은 기업의 성장에 이바지를 하고 있습니다.

And it may seem like artificial intelligence

그리고 인공지능이

is just the next thing after online ads.

온라인 인터넷 광고의 대체재로

여겨지기도 합니다만

It's not.

실은 완전히 다른 영역의 기술이고

It's a jump in category.

기존의 기술 범주를 뛰어넘는 분야입니다.

It's a whole different world,

새로운 기술인 셈이죠.

and it has great potential.

굉장한 잠재능력을 갖추고

It could accelerate our understanding of many areas of study and research.

우리 인간의 연구와 실험의 이해속도를 가속할 수도 있습니다.

But to paraphrase a famous Hollywood philosopher,

하지만 한 유명한 할리우드 철학자의 말을 조금 인용해 말씀드리면

"With prodigious potential comes prodigious risk."

"천재적인 잠재능력은 천재적인 위험도를 수반한다."

Now let's look at a basic fact of our digital lives, online ads.

현재 우리의 디지털 기술 세상인 인터넷 광고의 기본을 살펴보겠습니다.

Right? We kind of dismiss them.

우리는 광고를 거의 보지 않습니다.

They seem crude, ineffective.

성의도 없고, 비효율적인 매체라고 생각하는 듯합니다.

We've all had the experience of being followed on the web

인터넷을 하다 보면 광고가 계속 따라다니는 현상을 발견합니다.

by an ad based on something we searched or read.

우리가 한번 찾았거나 읽었던 사이트의 광고에서 나온 광고가 원인입니다.

You know, you look up a pair of boots

예를 들어, 부츠를 살려고 찾았는데

and for a week, those boots are following you around everywhere you go.

일주일 동안, 그 부츠가 내가 어디를 검색하든 내 주변을 어슬렁거립니다.

Even after you succumb and buy them, they're still following you around.

심지어는, 부츠를 구매한 사람들에게도 접착제처럼 붙어서 따라다닙니다.

We're kind of inured to that kind of basic, cheap manipulation.

우리도 이런 싸구려 술책에 단련이 되어가고 있는 현실입니다.

We roll our eyes and we think, "You know what? These things don't work."

우리는 눈동자를 굴리면서 생각하죠 "설마 이런 기술이 있을까" 합니다.

Except, online,

그러나 온라인세상에서는 안 되는 것이 없죠.

the digital technologies are not just ads.

디지털 기술은 단순한 광고만 존재하는 공간이 아닙니다.

Now, to understand that, let's think of a physical world example.

우리는 이것을 이해하기 위해서 물리적 세상을 이해해야 합니다.

You know how, at the checkout counters at supermarkets, near the cashier,

아시다시피, 슈퍼 계산대 앞 계산원 바로 옆을 생각해 보세요.

there's candy and gum at the eye level of kids?

사탕과 껌 종류가 아이들 눈높이에 맞게 전시되어 있을 겁니다.

That's designed to make them whine at their parents

아이들이 부모님에게 사 달라고 조르라는 마케팅 방법의 하나죠.

just as the parents are about to sort of check out.

부모님들이 계산대에서 바쁠 때 조르면 다 사 주는 심리를 이용합니다.

Now, that's a persuasion architecture.

설득 구조 메커니즘입니다.

It's not nice, but it kind of works.

아이들 심리를 이용해서 돈을 벌지만 그래도 꽤 효과적입니다.

That's why you see it in every supermarket.

그래서 근처 슈퍼에 가시면 다 이렇게 껌과 사탕류를 전시해 놓고 있습니다.

Now, in the physical world,

물리적 세계를 한번 생각해 보겠습니다.

such persuasion architectures are kind of limited,

이러한 설득구조의 효과는 제한적입니다.

because you can only put so many things by the cashier. Right?

왜냐하면 그 많은 물건을 계산원 옆에 쌓아만 둘 겁니다.

And the candy and gum, it's the same for everyone,

그리고 사탕이나 껌, 이것들은 다 똑같은 하나의 물건일 뿐입니다.

even though it mostly works

효과를 가지는 대상은

only for people who have whiny little humans beside them.

꼬맹이를 둔 부모님에게 한정될 뿐이기 때문입니다.

In the physical world, we live with those limitations.

물질적 세계에서는 한계를 가진 불완전한 세상을 살고 있습니다.

In the digital world, though,

하지만 디지털 세상에서는

persuasion architectures can be built at the scale of billions

수십억 개의 규모로 이루어진 설득구조가

and they can target, infer, understand

목표를 설정하고, 추론하고, 학습합니다.

and be deployed at individuals

그리고 각 개체에 집중해

one by one

하나 하나씩

by figuring out your weaknesses,

그들의 약점을 파악하고

and they can be sent to everyone's phone private screen,

결과를 사람들의 휴대전화에 전송합니다.

so it's not visible to us.

우리에게 보이지 않습니다.

And that's different.

바로, 그것이 다른 점입니다.

And that's just one of the basic things that artificial intelligence can do.

인공지능의 기본적인 기능 중 하나일 뿐입니다.

Now, let's take an example.

예를 한번 보시겠습니다.

Let's say you want to sell plane tickets to Vegas. Right?

여러분이 라스 베가스로 가는 표를 팔고 싶은 때가 있다고 하겠습니다.

So in the old world, you could think of some demographics to target

예전에는 목표 집단을 먼저 선정하셔야 했습니다.

based on experience and what you can guess.

경험이나 여러분들이 추론해서 낸 결과를 기초로 해서 말이죠.

You might try to advertise to, oh,

그리고 광고를 합니다.

men between the ages of 25 and 35,

나이는 25세에서 35세 사이의 남성이거나

or people who have a high limit on their credit card,

아니면, 신용카드 한도가 높은 사람들을 대상으로 하거나 말입니다.

or retired couples. Right?

또는, 퇴직하는 분들을 목표로 할 수 있습니다.

That's what you would do in the past.

과거에는 그런 식으로 일을 했습니다만

With big data and machine learning,

현재는 빅데이타와 기계학습의 영향으로

that's not how it works anymore.

그렇게 일을 하지 않습니다.

So to imagine that,

머릿속에 큰 그림을 한번 그려보시죠.

think of all the data that Facebook has on you:

페이스북이 가지고 있을 여러분들의 자료의 양을 상상해 보십시오.

every status update you ever typed,

여러분들의 입력한 모두 상태표시

every Messenger conversation,

메신저 대화 내용

every place you logged in from,

로그인했던 모든 장소

all your photographs that you uploaded there.

올린 모든사진들을 가지고 있습니다.

If you start typing something and change your mind and delete it,

만약 입력하다가 마음이 바뀌어 삭제한다 해도

Facebook keeps those and analyzes them, too.

페이스북은 그 자료를 보관하고 분석합니다.

Increasingly, it tries to match you with your offline data.

점점 페이스북은 온라인의 여러분과 오프라인의 여러분을 일치시킬 겁니다.

It also purchases a lot of data from data brokers.

또, 데이터 중개상에게서 많은 정보를 사들이고 있습니다.

It could be everything from your financial records

그 자료는 금융정보에서부터

to a good chunk of your browsing history.

검색 파편 덩어리에 이르기까지 다양한 것이 포함됩니다.

Right? In the US, such data is routinely collected,

미국에서만 그런 자료는 일상적으로 수집되고 있습니다.

collated and sold.

그런 자료를 모아 팔아서 돈을 법니다.

In Europe, they have tougher rules.

유럽에서는 좀 더 엄격한 법을 적용하고 있습니다.

So what happens then is,

그럼 실제로 여기서

by churning through all that data, these machine-learning algorithms --

축적한 데이터를 한데 섞어버리는 기계 학습 알고리즘이 일어납니다.

that's why they're called learning algorithms --

우리가 학습알고리즘이라 부르는 이유가 여기에 있습니다.

they learn to understand the characteristics of people

사람들의 특징을 분석하기 위해 학습하거나

예를 들어 베가스 행 비행기 표를 구매한 사람들을 분석하는 거죠.

who purchased tickets to Vegas before.

When they learn this from existing data,

일단 기존의 자료로부터 학습이 되면

they also learn how to apply this to new people.

새로운 고객에게 적용할 수 있는 방법을 학습하게 됩니다.

So if they're presented with a new person,

그렇다면 만약 새로운 학습자료가 새로운 사람에게 전달됐을 때

they can classify whether that person is likely to buy a ticket to Vegas or not.

그 사람은 라스 베가스행 표를 구매할 가능성에 따라 분류가 됩니다.

Fine. You're thinking, an offer to buy tickets to Vegas.

예를 들어, 여러분들은 라스 베가스행 비행기 표를 제안받았다고 해보죠.

I can ignore that.

나는 그 제안을 무시할 수도 있습니다.

But the problem isn't that.

하지만 그것이 문제가 아닙니다.

The problem is,

문제는

we no longer really understand how these complex algorithms work.

이런 복잡한 알고리즘이 어떻게 일을 하는가를 모른다는 것입니다.

We don't understand how they're doing this categorization.

알고리즘의 분류체계에 관해 우리가 아는 것이 없습니다.

It's giant matrices, thousands of rows and columns,

엄청난 행과 열의 수로 이루어져 있습니다.

maybe millions of rows and columns,

아마도 수백만 행과 열로 짜여 있을 수도 있겠죠.

and not the programmers

프로그래머도

and not anybody who looks at it,

알고리즘을 보는 사람들도 모릅니다.

even if you have all the data,

비록 여러분들이 그 모든 데이터를 가지고 있어도

understands anymore how exactly it's operating

어떻게 그 데이터를 운용해야 하는지 정확한 이해가 불가능하다는 점과

any more than you'd know what I was thinking right now

여기 서 있는 제 생각을 여러분들은 추측하시는 이상의 정보는 알 수 없습니다.

if you were shown a cross section of my brain.

만약 제 뇌의 단면을 보신다 해도 말이죠.

It's like we're not programming anymore,

마치 프로그래밍이 불가능한 것과 같습니다.

we're growing intelligence that we don't truly understand.

우리는 실제로 이해할 수 없는 지능을 생성하고 있습니다.

And these things only work if there's an enormous amount of data,

이 모든 것들은 실제로 엄청난 데이터가 있을 때만 사용 가능할 겁니다.

so they also encourage deep surveillance on all of us

그래서 그들은 우리의 일거수 일투족을 감시하게 됩니다.

so that the machine learning algorithms can work.

기계학습 알고리즘을 사용하기 위해서입니다.

That's why Facebook wants to collect all the data it can about you.

페이스북은 여러분들에 대한 데이터를 최대한 많이 모으고 있습니다.

The algorithms work better.

자료가 많을수록 알고리즘의 효율은 높아집니다.

So let's push that Vegas example a bit.

아까 베가스의 예를 좀 더 발전시켜 보겠습니다.

What if the system that we do not understand

만약 우리가 모르는 시스템이 아직 조울증을 앓는 소비자들에게

was picking up that it's easier to sell Vegas tickets

베가스 행 비행기 표를 판매하는 경우

to people who are bipolar and about to enter the manic phase.

더 효율성이 높아진다면 어떻게 될까요?

Such people tend to become overspenders, compulsive gamblers.

그런 사람들은 과소비 경향이 있고 충동구매를 할 가능성이 큽니다.

They could do this, and you'd have no clue that's what they were picking up on.

그들이 구매를 한다 해도, 우리는 그 구매이유를 알 수는 없습니다.

I gave this example to a bunch of computer scientists once

나는 이런 예를 많은 컴퓨터 전문가들에게 몇 번 보냈는데

and afterwards, one of them came up to me.

그들 중 한 명이 나에게 와서

He was troubled and he said, "That's why I couldn't publish it."

난감해하면서 근거가 부족해 출판을 할 수가 없다고 말하더군요.

I was like, "Couldn't publish what?"

나는 무엇을 출판할 수 없는지 되물어야 했습니다.

He had tried to see whether you can indeed figure out the onset of mania

그 전문가는 조울증의 시작이 병리학적 증상 이전에

from social media posts before clinical symptoms,

소셜 미디어 게시물이 원인이라는 점을 밝히고자 노력했으며

and it had worked,

결국, 밝혀냈습니다.

and it had worked very well,

이 전부터 밝혀졌던 사안입니다.

and he had no idea how it worked or what it was picking up on.

그런데, 어떻게 일을 수행하고 무엇을 선택하는가에 대한 이유는 몰랐습니다.

Now, the problem isn't solved if he doesn't publish it,

출판하지 않아도 해결될 문제는 아닙니다.

because there are already companies

왜냐하면 이런 종류의 기술을 개발 중인

that are developing this kind of technology,

회사들이 있고

and a lot of the stuff is just off the shelf.

현재 많은 것들이 판매되고 있습니다.

This is not very difficult anymore.

더는 불가능한 일이 아닙니다.

Do you ever go on YouTube meaning to watch one video

비디오를 하나 보기 위해 유튜브에 들어갔다가

and an hour later you've watched 27?

한 시간 후에 27개의 영상을 본 적이 있으신가요?

You know how YouTube has this column on the right

여러분들은 왜 유튜브가 오른편에

that says, "Up next"

'다음 순서' 라고 있고 무엇인가가

and it autoplays something?

연속 재생되는 사실을 잘 알고 계시죠?

It's an algorithm

그것이 여러분들이 관심은 있지만

picking what it thinks that you might be interested in

스스로 찾을 수 없다고 판단되는 것들을

and maybe not find on your own.

찾아내는 알고리즘입니다.

It's not a human editor.

인간 편집자가 아닙니다.

It's what algorithms do.

바로 알고리즘이 수행합니다.

It picks up on what you have watched and what people like you have watched,

알고리듬은 여러분들이 이미 보셨거나 보신 것 중에서 좋아하는 것을 선별해

and infers that that must be what you're interested in,

그런 종류에 관심을 가진다거나

what you want more of,

더 원한다고 추론한 후

and just shows you more.

여러분들에게 더 많은 것을 보여줍니다.

It sounds like a benign and useful feature,

그렇지 않은 경우를 제외하고는

except when it isn't.

무척 매력적이고 유용한 장치처럼 들립니다.

So in 2016, I attended rallies of then-candidate Donald Trump

저는 2016년 당시 대통령 후보였던 도널드 트럼프 대통령을 지지하는

to study as a scholar the movement supporting him.

대선 캠페인에 참여했습니다.

I study social movements, so I was studying it, too.

많은 운동에 참여했고 연구 중이었습니다.

And then I wanted to write something about one of his rallies,

그 후 나는 트럼프 지지운동에 관한 논문을 쓰고 싶었습니다.

so I watched it a few times on YouTube.

유튜브를 통해서도 많이 봤습니다.

YouTube started recommending to me

그 후, 유튜브에서 많은 추천 영상이 올라오더군요.

and autoplaying to me white supremacist videos

많은 백인 우월론자들의 영상이 자동재생되었고요.

강도의 순서대로 나열되더군요.

in increasing order of extremism.

If I watched one,

만약 내가 그중 하나를 보게 되면

it served up one even more extreme

그 하나의 영상은 꼬리를 물고 엄청난 양으로 늘어나면서

and autoplayed that one, too.

자동 재생이 됩니다.

If you watch Hillary Clinton or Bernie Sanders content,

만약 여러분들이 힐러리 클린턴이나 버니 샌더스의 영상을 보신다면

YouTube recommends and autoplays conspiracy left,

유튜브는 여러분에게 관련 정보를 추천하고 남아있는 음모론을 틀어줄 겁니다.

and it goes downhill from there.

가히 엄청난 양의 영상을 추천합니다.

Well, you might be thinking, this is politics, but it's not.

아마 여러분들은 정치를 떠올리시겠지만, 그렇지 않습니다.

This isn't about politics.

정치 이야기가 아닙니다.

This is just the algorithm figuring out human behavior.

인간의 행동을 파악하는 알고리듬의 이야기입니다.

I once watched a video about vegetarianism on YouTube

한번은 채식주의에 대한 영상을 유튜브로 봤습니다.

and YouTube recommended and autoplayed a video about being vegan.

채식주의자에 관한 영상을 추천하고 자동 재생을 했습니다.

It's like you're never hardcore enough for YouTube.

유튜브는 여러분을 철저한 채식주의자로 분석한 겁니다.

(Laughter)

(웃음)

So what's going on?

도대체 어떤 일이 일어나고 있을까요?

Now, YouTube's algorithm is proprietary,

유튜브의 알고리즘은 전매특허이지만

but here's what I think is going on.

저는 유튜브의 알고리즘 원리를 말하고 있을 뿐입니다.

The algorithm has figured out

유튜브의 알고리즘은

that if you can entice people

만약, 방문객에게 더 자극적인 것을 보여줄 수 있다는

into thinking that you can show them something more hardcore,

사고를 유도할 수만 있다면

they're more likely to stay on the site

더 오래 유튜브에 머무를 것이라고 분석합니다.

watching video after video going down that rabbit hole

이상한 나라의 앨리스처럼 끝없는 영상의 나라로 들어가게 되고

while Google serves them ads.

구글은 이들 영상에 광고를 노출하게 됩니다.

Now, with nobody minding the ethics of the store,

아무도 유튜브의 상도덕을 신경 쓰지 않는 가운데

these sites can profile people

유튜브는 사람들을 분석할 수 있습니다.

who are Jew haters,

유대인 증오자들

who think that Jews are parasites

유대인들은 기생충이라고 여기는 사람들

and who have such explicit anti-Semitic content,

그리고, 노골적인 반유대주의 영상물을 가진 사람들을 가려내고

and let you target them with ads.

많은 사람에게 그 영상물에 광고를 실어 전파시킵니다.

They can also mobilize algorithms

구글은 알고리즘을 퍼뜨릴 수도 있습니다.

to find for you look-alike audiences,

여러분과 비슷한 사람들을 찾아내기 위해서죠.

people who do not have such explicit anti-Semitic content on their profile

프로필에 반유대적인 영상물이 없는 사람들이지만

but who the algorithm detects may be susceptible to such messages,

알고리듬이 감지한 사람은 그런 메시지에 취약하게 됩니다.

and lets you target them with ads, too.

그리고 여러분들의 광고의 희생물로 사용하게 됩니다.

Now, this may sound like an implausible example,

믿기 어려운 말로 들릴 수도 있을텐데요.

but this is real.

그러나 이것은 사실입니다.

ProPublica investigated this

프로프로비카가 이것을 조사했고

and found that you can indeed do this on Facebook,

여러분들이 실제로 페이스북에서 광고를 하신다는 것을 발견했습니다.

and Facebook helpfully offered up suggestions

그리고 페이스북은 가능성 있는 제안을 하고 있습니다.

on how to broaden that audience.

팔로워 수를 늘리는 방법 등을 제시하죠.

BuzzFeed tried it for Google, and very quickly they found,

버즈피드는 구글에 이것을 시험해 보고 바로 파악을 할 수 있었습니다.

yep, you can do it on Google, too.

네, 여러분들도 하실 수 있습니다.

And it wasn't even expensive.

비용도 비싸지 않았습니다.

The ProPublica reporter spent about 30 dollars

프로프로비카의 한 기자가 약 30달러를 사용해서

to target this category.

이 알고리즘을 이용해 봤습니다.

So last year, Donald Trump's social media manager disclosed

그리고, 작년에 도널드 트럼프 대통령 소셜미디어 매니저가 폭로했는데요.

that they were using Facebook dark posts to demobilize people,

트럼프 진영이 페이스북의 어둠의 게시판을 운영해 사람들을 묶어두고

not to persuade them,

외부인은 그들을 설득 못하게 하고

but to convince them not to vote at all.

투표하지 말 것을 설득했다고 합니다.

And to do that, they targeted specifically,

그 일을 수행하기 위해, 그 미디어팀은 구체적으로 필라델피아와 같은

for example, African-American men in key cities like Philadelphia,

대도시에 거주하는 흑인계층을 목표로 삼아 활동했습니다.

and I'm going to read exactly what he said.

지금부터 사실을 폭로한 그 사람의 진술을 그대로 읽어 보겠습니다.

I'm quoting.

그대로 인용하겠습니다.

They were using "nonpublic posts

"미디어팀은 선거팀이 보기를 통제하는

whose viewership the campaign controls

비공개 게시판을 사용했습니다.

so that only the people we want to see it see it.

우리가 그것을 보고 싶어 하는 사람들만 볼 수 있도록 관리했습니다."

We modeled this.

우리는 이것을 따라 해 봤습니다.

It will dramatically affect her ability to turn these people out."

이 기술은 사람들을 조종할 수 있는 그녀의 능력에 엄청나게 영향을 미쳤습니다.

What's in those dark posts?

암흑의 게시판에는 무엇이 있었을까요?

We have no idea.

우리는 잘 알지 못합니다.

Facebook won't tell us.

페이스북이 우리에게 말해주지 않을 겁니다.

So Facebook also algorithmically arranges the posts

그래서 페이스북은 게시판을 여러분의 친구가

that your friends put on Facebook, or the pages you follow.

올리는 게시물이나 당신이 팔로워 하는 페이지를 알고리즘화해서 배열하고 있습니다.

It doesn't show you everything chronologically.

모든 자료를 시간순으로 보여주지 않습니다.

It puts the order in the way that the algorithm thinks will entice you

페이스북은 그 알고리듬이 파악한 후 여러분을 더 오래 사이트에 머무르게

to stay on the site longer.

방법을 사용해 게시물의 순서를 정합니다.

Now, so this has a lot of consequences.

현재, 많은 결과를 만들고 있습니다.

You may be thinking somebody is snubbing you on Facebook.

여러분이 누군가 페이스북에서 당신을 거부하고 있다고 생각할 수도 있습니다.

The algorithm may never be showing your post to them.

그 알고리듬은 아마도 그들에게 당신의 게시물을 보여주지 않을 수 있습니다.

The algorithm is prioritizing some of them and burying the others.

우선순위를 정하고 나머지는 묻어 버립니다.

Experiments show

연구에 따르면

that what the algorithm picks to show you can affect your emotions.

알고리즘이 여러분에게 보여줄 자료는 여러분에게 영향을 줄 수 있습니다.

But that's not all.

그러나, 그것이 전부가 아닙니다.

It also affects political behavior.

알고리듬은 정치적 행동에도 영향을 미칠 수 있습니다.

So in 2010, in the midterm elections,

2010년 중간 선거에서

Facebook did an experiment on 61 million people in the US

페이스북은 미국에서 6천 백만 명에게

that was disclosed after the fact.

선거 후에야 발표한 실험을 했습니다.

So some people were shown, "Today is election day,"

사람들에게 "오늘은 선거일입니다" 라는 글을 보여 주었습니다.

the simpler one,

정말 간단한 실험이었습니다.

and some people were shown the one with that tiny tweak

어떤 사람들에게는

with those little thumbnails

"투표했어요"버튼에

of your friends who clicked on "I voted."

미세한 조정을 했습니다.

This simple tweak.

아주 간단한 조작이었습니다.

OK? So the pictures were the only change,

그림만 바꾸었습니다.

and that post shown just once

한번만 보여진 그 게시물은

turned out an additional 340,000 voters

그 선거에서 추가로 34만 명을

in that election,

투표하게 만들었습니다.

according to this research

그 실험에서 밝혀진 사실이고

as confirmed by the voter rolls.

유권자 명부에서 확인된 사실입니다.

A fluke? No.

우연의 일치라고요? 그렇지 않습니다.

Because in 2012, they repeated the same experiment.

2012년에 다시 실험을 했기 때문입니다.

And that time,

그때는

that civic message shown just once

단 한 번 노출된 공공 회보가

turned out an additional 270,000 voters.

추가로 27만 명의 투표를 만들었습니다.

For reference, the 2016 US presidential election

참고로, 2016년 미국 대선의 결과는

was decided by about 100,000 votes.

약 10만명 차이로 승패가 갈렸습니다.

Now, Facebook can also very easily infer what your politics are,

현재, 페이스북은 여러분의 정치관도 아주 쉽게 추론할 수 있습니다.

even if you've never disclosed them on the site.

심지어, 한 번도 그런 게시물을 올린 적이 없는데도 말입니다.

Right? These algorithms can do that quite easily.

알고리즘은 그런 일을 꽤 쉽게 수행합니다.

What if a platform with that kind of power

만약, 그런 힘을 가진 네트워크가 한 후보자를

decides to turn out supporters of one candidate over the other?

선호하는 더 많은 지지자를 만든다면 어떻게 될까요?

How would we even know about it?

우리가 어떻게 그 일을 알 수가 있을까요?

Now, we started from someplace seemingly innocuous --

우리는 겉보기에는 피해를 주지 않는 한 사이트의

online adds following us around --

따라 다니는 광고부터

and we've landed someplace else.

다른 사이트까지 이야기하고 있습니다.

As a public and as citizens,

국민이자 시민으로서

we no longer know if we're seeing the same information

우리는 다른 사람과 같은 내용의 정보를 보고 있는지

or what anybody else is seeing,

또 다른 이들이 어떤 것을 보는지 더는 알 수가 없게 되고

and without a common basis of information,

정보가 가지는 공통 원칙이

little by little,

조금씩 상실된다면

public debate is becoming impossible,

공공의 논쟁은 불가능하게 됩니다.

and we're just at the beginning stages of this.

우리는 현재 그 직전의 단계에 있습니다.

These algorithms can quite easily infer

그러한 알고리즘은 아주 쉽게

things like your people's ethnicity,

여러분의 민족

religious and political views, personality traits,

종교, 정치적 성향, 개인적 특징

intelligence, happiness, use of addictive substances,

지능, 행복, 약물 사용

parental separation, age and genders,

부모의 이혼 여부, 성별등을

just from Facebook likes.

페이스북 좋아요 만에서도 알 수가 있습니다.

These algorithms can identify protesters

이러한 알고리듬은 시위자들의 정체를 분별할 수 있는데

even if their faces are partially concealed.

비록 얼굴을 부분적으로 가린다 해도 알 수가 있습니다.

These algorithms may be able to detect people's sexual orientation

또한, 데이트 프로필 정보만 가지고도 사람들의 성적 취향을

just from their dating profile pictures.

판단할 수 있습니다.

Now, these are probabilistic guesses,

이 모든 것들은 확률적 추론으로

so they're not going to be 100 percent right,

100% 일치하지 않습니다

but I don't see the powerful resisting the temptation to use these technologies

하지만 저는 일부 불일치 조건이 존재한다는 이유만으로 이 기술의

just because there are some false positives,

사용을 꺼리는 그 어떤 개인이나 집단을 보지 못했습니다.

which will of course create a whole other layer of problems.

물론, 이 오류가 다층 구조의 문제들을 야기할 수 있어도 말입니다.

Imagine what a state can do

만약, 한 주가 자신들의 시민들에 대한 엄청난 정보를 가지고

with the immense amount of data it has on its citizens.

어떤 일을 할 수 있을까요?

China is already using face detection technology

중국은 이미 안면 인식 기술을 사용해

to identify and arrest people.

사람들의 신분 파악, 체포 등에 이용하고 있습니다.

And here's the tragedy:

바로 이것이 비극입니다.

we're building this infrastructure of surveillance authoritarianism

우리는 지금 단순히 사람들이 광고를 클릭하게 할려고

merely to get people to click on ads.

이런 무시무시한 감시 독재국가의 시스템을 만들고 있습니다.

And this won't be Orwell's authoritarianism.

절대 소설 속의 이야기가 아닙니다.

This isn't "1984."

현실의 "1984"입니다.

Now, if authoritarianism is using overt fear to terrorize us,

만약, 독재국가가 우리를 억압하기 위해 부당한 위협을 사용하고 있다면

we'll all be scared, but we'll know it,

우리는 겁을 먹겠지만 알 수가 있어

we'll hate it and we'll resist it.

증오하고 저항할 것입니다.

But if the people in power are using these algorithms

하지만 권력자들이 이런 알고리즘을 사용해

to quietly watch us,

조용히 우리를 감시하고

to judge us and to nudge us,

판단하거나, 조정하고

to predict and identify the troublemakers and the rebels,

문제를 일으킬 수 있는 사람들을 예상한 뒤 정체를 파악할 수 있는

to deploy persuasion architectures at scale

엄청난 규모의 회유 아키텍트를 구축하는 일이 가능해집니다.

and to manipulate individuals one by one

또한, 개인의 약점이나

using their personal, individual weaknesses and vulnerabilities,

취약한 곳을 파악해서 조정할 수도 있습니다.

and if they're doing it at scale

또한, 만약 권력자들이 이러한 시스템을 이용해

through our private screens

개인에 대한 검열을 한다면

so that we don't even know

그 결과는

what our fellow citizens and neighbors are seeing,

우리 국민이나 이웃들의 현실을 우리는 모를 수도 있습니다.

that authoritarianism will envelop us like a spider's web

그 독재주의는 마치 거미줄처럼 우리을 묶어서

and we may not even know we're in it.

우리가 그 안에 묶여있다는 사실도 모르게 할 수 있습니다.

So Facebook's market capitalization

페이스북의 현재 시가총액은

is approaching half a trillion dollars.

5천억 달러에 육박하고 있습니다.

It's because it works great as a persuasion architecture.

왜냐하면, 페이스북은 회유구조로 작동을 하고 있기 때문입니다.

But the structure of that architecture

그러나 이러한 아키텍트는

is the same whether you're selling shoes

여러분들이 신발을 팔고 있는지

or whether you're selling politics.

아니면 정치를 팔고 있는지 구분을 못 한다는 것입니다.

The algorithms do not know the difference.

결국, 그 알고리듬은 본질적인 차이는 구분할 수 없습니다.

The same algorithms set loose upon us

이 같은 구조의 알고리듬은 우리의 숨통을 열어주는 기능으로 작용해

to make us more pliable for ads

우리가 광고에 대해 대처하도록 하고

are also organizing our political, personal and social information flows,

정치적, 개인적, 사회적 정보의 흐름을 구성하게 합니다.

and that's what's got to change.

바로 그것이 변해야 합니다.

Now, don't get me wrong,

하지만 너무 나쁘게만 생각하지 마시기 바랍니다.

we use digital platforms because they provide us with great value.

우리가 디지털 플랫폼을 사용하는 이유는 그들이 엄청난 가치를 제공하기 때문입니다.

I use Facebook to keep in touch with friends and family around the world.

나는 전 세계 친구들이나 가족들과 연락하기 위해서 페이스북을 사용하고 있습니다.

I've written about how crucial social media is for social movements.

소셜미디어가 사회운동에 얼마나 중요한가에 대한 논문을 쓰기도 했습니다.

I have studied how these technologies can be used

저는 전 세계의 검열을 피할 수 있는 방법을 찾고자 이 소셜미디어의

to circumvent censorship around the world.

기술을 적용하는 연구를 하고 있습니다.

But it's not that the people who run, you know, Facebook or Google

그러나 구글이나 페이스북의 운영자들은

are maliciously and deliberately trying

악의적이며 의도적으로

to make the country or the world more polarized

우리나라나 세계를 양분시키고

and encourage extremism.

극단주의를 부추기고 있습니다.

I read the many well-intentioned statements

저는 이 기업들이 발표한 그럴듯하게 말로 수식된

that these people put out.

수많은 성명서를 읽었습니다.

But it's not the intent or the statements people in technology make that matter,

그러나 그자들이 만들고 있는 것은 단순한 성명서나 의도 따위가 아닌

it's the structures and business models they're building.

구조들이며 기업용 상품입니다.

And that's the core of the problem.

문제의 핵심은 여기에 있습니다.

Either Facebook is a giant con of half a trillion dollars

페이스북은 5천억 달러에 달하는 거대기업이지만

and ads don't work on the site,

광고는 싣지 않습니다.

it doesn't work as a persuasion architecture,

또한, 설득 구조로 운영되지 않지만

or its power of influence is of great concern.

영향력은 큰 기업입니다.

It's either one or the other.

어느 쪽이든 해당합니다.

It's similar for Google, too.

구글도 마찬가지 입니다.

So what can we do?

그렇다면 우리는 무엇을 할 수 있을까요?

This needs to change.

변화시켜야 합니다.

Now, I can't offer a simple recipe,

현재, 간단한 방법은 아닙니다.

because we need to restructure

왜냐하면 우리는

디지털 기술이 작동하는 전체 구조를 다시 짜야 하기 때문입니다.

the whole way our digital technology operates.

Everything from the way technology is developed

기술의 발전부터

to the way the incentives, economic and otherwise,

성과보수나 경제가 생성되는 방법들 모두가

are built into the system.

하나의 시스템으로 발전 했습니다.

We have to face and try to deal with

우리가 대면하고 해야 할 일은

the lack of transparency created by the proprietary algorithms,

전매특허의 알고리듬에 의한 투명성의 결여와

the structural challenge of machine learning's opacity,

기계 학습의 불투명성에 대한 구조적 도전이며

all this indiscriminate data that's being collected about us.

이 모든 무차별적인 정보 수집에 대항하는 것입니다.

We have a big task in front of us.

우리 앞에는 큰 과제가 있습니다.

We have to mobilize our technology,

변화해야 할것은 기술이고

our creativity

창의성이고

and yes, our politics

정치입니다

so that we can build artificial intelligence

우리가 만드는 인공지능은

that supports us in our human goals

인간의 목적 속에 우리를 지지하지만

but that is also constrained by our human values.

인간의 가치에 제약합니다.

And I understand this won't be easy.

그 일은 쉽지 않을 것입니다.

We might not even easily agree on what those terms mean.

이런 말들이 의미하는 이유에 쉽게 동의하지 못할 수 있습니다.

But if we take seriously

하지만 만약 심각하게

how these systems that we depend on for so much operate,

우리가 의지하고 있는 시스템이 어떻게 일을 하는지 생각해 본다면

I don't see how we can postpone this conversation anymore.

저는 왜 우리가 이런 대화를 피하려 하는지 이해할 수 없습니다.

These structures

그러한 구조들은

are organizing how we function

우리의 기능을 조직화시키고

and they're controlling

통제를 합니다.

what we can and we cannot do.

우리가 할 수 있는 것과 할 수 없는 것들을 구분합니다.

And many of these ad-financed platforms,

그리고 광고를 위주로 운영되는 많은 플랫폼들은

they boast that they're free.

그들은 무료임을 내세우고 있습니다.

In this context, it means that we are the product that's being sold.

이런 맥락에서, 우리는 팔리고 있는 상품이라는 말과 다르지 않습니다.

We need a digital economy

우리는 디지털 기술이 필요하지만

where our data and our attention

우리의 자료와 관심이

is not for sale to the highest-bidding authoritarian or demagogue.

가장 돈을 많이 거는 사업가나 사람들에게 거래가 되지 않은 세상을 꿈꿉니다.

(Applause)

(박수)

So to go back to that Hollywood paraphrase,

다시 할리우드에서 유행하는 말을 바꿔서 인용하겠습니다.

we do want the prodigious potential

"엄청난 잠재능력을 가진

of artificial intelligence and digital technology to blossom,

인공지능이나 디지털 기술이 꽃 피기를 기대리지만

but for that, we must face this prodigious menace,

그 일을 위해선, 우리는 엄청난 위험에 맞서야 하고

open-eyed and now.

눈을 크게 떠야 한다."

Thank you.

감사합니다.

(Applause)

(박수)