The price of a "clean" internet | Hans Block and Moritz Riesewieck

번역: Jungmin Hwang 검토: Yunjung Nam

[This talk contains mature content]

[본 강연은 미성년자에게 부적절한 내용을 포함하고 있음]

Moritz Riesewieck: On March 23, 2013,

모리츠 리제비크(MR): 2013년 3월 23일에,

users worldwide discovered in their news feed

전세계의 유저들은 자신들의 뉴스피드에서

a video of a young girl being raped by an older man.

남성이 어린 여자아이를 성폭행하는 영상을 보았습니다.

Before this video was removed from Facebook,

페이스북에서 삭제되기 전까지

it was already shared 16,000 times,

그 영상은 이미 16,000회 공유된 상태였습니다.

and it was even liked 4,000 times.

심지어 4,000개의 좋아요가 달리기도 했죠.

This video went viral and infected the net.

이 영상은 금세 퍼져 인터넷을 뒤덮었습니다.

Hans Block: And that was the moment we asked ourselves

한스 블록(HB): 그때 우리에게는 의문이 생겼습니다.

how could something like this get on Facebook?

"이런 영상이 페이스북에 어떻게 올라올 수 있었을까?"

And at the same time, why don't we see such content more often?

또 동시에 든 생각은 왜 우리가 이런 영상을더 자주 보지는 않을까였죠.

After all, there's a lot of revolting material online,

생각해 보면, 온라인상에서는 불쾌한 내용이 많이 있겠지만

but why do we so rarely see such crap on Facebook, Twitter or Google?

페이스북, 트위터, 구글에서는 이런 영상을 거의 보지 못합니다.

MR: While image-recognition software

MR: 이미지 인식 소프트웨어를 통해

can identify the outlines of sexual organs,

성기, 혈액, 나체 등의 이미지를

blood or naked skin in images and videos,

파악할 수 있지만,

it has immense difficulties to distinguish pornographic content

휴가 사진이나 아도니스의 동상 사진,

from holiday pictures, Adonis statues

혹은 유방암 검진 캠페인 관련 사진으로부터

or breast-cancer screening campaigns.

음란물을 파악해내는 것은 어렵습니다.

It can't distinguish Romeo and Juliet dying onstage

또 로마오와 줄리엣이 연극 중 죽는 장면과

from a real knife attack.

실제 살인 장면도 잘 구분하지 못합니다.

It can't distinguish satire from propaganda

풍자와 정치선전도 구분할 수 없고,

or irony from hatred, and so on and so forth.

아이러니와 혐오도 구별할 수 없습니다.

Therefore, humans are needed to decide

따라서, 결국은 사람들이 직접

which of the suspicious content should be deleted,

어떤 내용을 삭제하고 어떤 내용을 남겨야 하는지

and which should remain.

결정해야 합니다.

Humans whom we know almost nothing about,

하지만 그 사람들은 비밀리에 일하기 때문에

because they work in secret.

우리는 그들이 뭘 하는지 잘 모르죠.

They sign nondisclosure agreements,

그들은 비밀 계약을 맺었기 때문에

which prohibit them from talking and sharing

스크린에서 무엇을 보았고 일이 그들에게 어떤 영향을 끼치는지

what they see on their screens and what this work does to them.

말하거나 공유할 수 없습니다.

They are forced to use code words in order to hide who they work for.

그들이 누구를 위해 일하는지 숨기기 위해 암호를 사용해야 합니다.

They are monitored by private security firms

그들이 기자들에게 말하지 않도록 하기 위해

in order to ensure that they don't talk to journalists.

사설 경비 단체에게 감시당합니다.

And they are threatened by fines in case they speak.

그들은 벌금으로 협박당하며 입막음 당합니다.

All of this sounds like a weird crime story,

이 모든 것은 이상한 범죄 이야기 같지만,

but it's true.

모두 사실입니다.

These people exist,

이 사람들은 실존하며,

and they are called content moderators.

그들은 컨텐츠 관리자라는 이름 아래 일하고 있습니다.

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: 저희는 "클리너"라는 다큐멘터리의 감독입니다.

and we would like to take you

저희는 여러분을 미지의 세계로

to a world that many of you may not know yet.

모셔다 드릴까 합니다.

Here's a short clip of our film.

이것은 저희 영상의 일부분입니다.

(Music)

(음악)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(영상) 컨텐츠 관리자: 제가 맺은 계약 때문에 저는 익명이어야 합니다.

We are not allowed to declare whom we are working with.

저희가 누구와 일하는지 말할 수 없습니다.

The reason why I speak to you

제가 오늘 여러분에게 말하는 이유는

is because the world should know that we are here.

우리가 여기 있다는 사실을 세상이 알아야 하기 때문입니다.

There is somebody who is checking the social media.

소셜 미디어를 검토하고 있는 사람들이 존재합니다.

We are doing our best to make this platform

저희는 모두에게 이 플랫폼이 안전할 수 있도록

safe for all of them.

최선을 다하고 있습니다.

Delete.

삭제.

Ignore.

무시.

Delete.

삭제.

Ignore.

무시.

Delete.

삭제.

Ignore.

무시.

Ignore.

무시.

Delete.

삭제.

HB: The so-called content moderators

HB: 이 컨텐츠 관리자들은

don't get their paychecks from Facebook, Twitter or Google themselves,

페이스북, 트위터, 구글로부터 직접 임금을 받지 않고,

but from outsourcing firms around the world

낮은 임금을 유지하기 위해 외부 위탁 기업에게서

in order to keep the wages low.

임금을 받습니다.

Tens of thousands of young people

수만명의 젊은 사람들이

looking at everything we are not supposed to see.

보지 말아야 할 것들을 보아야 하는 거죠.

And we are talking about decapitations, mutilations,

여기에는 참수, 신체 절단,

executions, necrophilia, torture, child abuse.

처형, 시체성애증, 고문, 아동 학대 등이 포함됩니다.

Thousands of images in one shift --

천 개의 이미지를 1교대가 보아야 합니다.

ignore, delete, day and night.

밤낮으로 무시하거나 삭제하면서 말이죠.

And much of this work is done in Manila,

일의 대부분은 마닐라에서 이루어집니다.

where the analog toxic waste from the Western world

몇 년간, 서양에서 온 컨테이너 배들이

was transported for years by container ships,

그곳에 아날로그 독성 폐기물을 운반하곤 했습니다.

now the digital waste is dumped there via fiber-optic cable.

이제는 광섬유 케이블을 통해 디지털 독성 폐기물이 버려지고 있네요.

And just as the so-called scavengers

그리고 마치 청소부들이

rummage through gigantic tips on the edge of the city,

도시의 곳곳마다 쓰레기 더미를 뒤지는 것처럼,

the content moderators click their way through an endless toxic ocean

컨텐츠 관리자들은 끝없는 이미지, 비디오,

of images and videos and all manner of intellectual garbage,

또 그 외의 정보의 쓰레기로 넘실대는 바다를 거쳐야 합니다.

so that we don't have to look at it.

우리가 보지 않게 하기 위해서죠.

MR: But unlike the wounds of the scavengers,

MR: 하지만 청소부들의 상처와는 달리,

those of the content moderators remain invisible.

컨텐츠 관리자들의 상처는 보이지 않습니다.

Full of shocking and disturbing content,

불편하고 충격적인 내용으로 가득 찬

these pictures and videos burrow into their memories

이 이미지들과 비디오는 그들의 기억에 각인되어,

where, at any time, they can have unpredictable effects:

예측할 수 없는 영향을 낳기도 합니다.

eating disorders, loss of libido,

식이장애, 성욕 감퇴,

anxiety disorders, alcoholism,

불안장애, 알코올 중독,

depression, which can even lead to suicide.

그리고 자살로 이어질 수 있는 우울증까지 말이죠.

The pictures and videos infect them,

이 사진들과 비디오는 그들을 감염시키고,

and often never let them go again.

대부분 평생 놓아주지 않죠.

If they are unlucky, they develop post-traumatic stress disorders,

운이 좋지 않다면, 그들은 전쟁 후의 군인들처럼

like soldiers after war missions.

외상 후 스트레스 장애를 겪게 됩니다.

In our film, we tell the story of a young man

저희의 영상에서 우리는 자해 및 자살 영상을

who had to monitor livestreams of self-mutilations and suicide attempts,

계속 관리해야 했던 젊은 남성의 이야기를

again and again,

들려 드립니다.

and who eventually committed suicide himself.

그는 결국 자살을 택했죠.

It's not an isolated case, as we've been told.

이는 특이한 경우가 아닙니다.

This is the price all of us pay

안전하고 "건강한"

for our so-called clean and safe and "healthy"

소셜 미디어를 유지하기 위해

environments on social media.

우리 모두가 치르는 대가이기도 합니다.

Never before in the history of mankind

지금은 인류 역사상 그 어떤 때보다

has it been easier to reach millions of people around the globe

몇 초 안에 전세계 수백만 명의 사람들과

in a few seconds.

연락하기 쉬운 세대입니다.

What is posted on social media spreads so quickly,

소셜 미디어에 올려진 글은 아주 빠르게 퍼뜨려지며,

becomes viral and excites the minds of people all around the globe.

금세 인터넷을 뒤덮고 전 세계의 사람들을 흥분시키죠.

Before it is deleted,

삭제될 때 쯤이면,

it is often already too late.

이미 늦었을 경우가 대부분입니다.

Millions of people have already been infected

몇백만명의 사람들은 이미

with hatred and anger,

혐오와 분노에 사로잡혀 있고,

and they either become active online,

그들은 온라인 상에서

by spreading or amplifying hatred,

혐오를 더욱 증폭시키거나

or they take to the streets and take up arms.

거리로 나가 무장을 합니다.

HB: Therefore, an army of content moderators

HB: 따라서, 컨텐츠 관리자들이

sit in front of a screen to avoid new collateral damage.

모니터 앞에 앉아 부수적인 피해를 막아주는 것입니다.

And they are deciding, as soon as possible,

그리고 그들은 최대한 빠른 시간 안에

whether the content stays on the platform -- ignore;

어떤 콘텐츠가 플랫폼에 머물러도 되니까 무시할지,

or disappears -- delete.

혹은 사라져야 함으로 삭제할지를 결정합니다.

But not every decision is as clear

하지만 모든 결정이

as the decision about a child-abuse video.

아동폭력 비디오에 대한 결정처럼 쉽지는 않습니다.

What about controversial content, ambivalent content,

시민권 단체 혹은 시민 기자가 업로드한

uploaded by civil rights activists or citizen journalists?

논란이 많거나 애매한 내용은 어떻게 해야 할까요?

The content moderators often decide on such cases

콘텐츠 관리자들은 이에 대한 결정도

at the same speed as the [clear] cases.

쉬운 결정을 내릴 때와 비슷한 속도로 내려야 합니다.

MR: We will show you a video now,

MR: 저희가 지금 비디오를 하나 보여드릴 겁니다.

and we would like to ask you to decide:

여러분에게 묻고 싶네요.

Would you delete it,

여러분이라면 이 영상을 삭제하실 건가요?

or would you not delete it?

아니면 삭제하지 않으실 건가요?

(Video) (Air strike sounds)

(비디오) (공습 소리)

(Explosion)

(폭발)

(People speaking in Arabic)

(아랍어로 대화하는 사람들)

MR: Yeah, we did some blurring for you.

MR: 여러분을 위해 저희가 블러 처리를 했습니다.

A child would potentially be dangerously disturbed

아이가 이 영상을 봤다면 아주 무서워하거나

and extremely frightened by such content.

불안 증세를 보일 수 있습니다.

So, you rather delete it?

그래서, 여러분은 이 영상을 삭제하실 건가요?

But what if this video could help investigate the war crimes in Syria?

하지만 이 비디오가 시리아의 전쟁 범죄 수사에 도움이 된다면요?

What if nobody would have heard about this air strike,

페이스북, 유튜브, 트위터가 이 영상을 내리기로 결정해서

because Facebook, YouTube, Twitter would have decided to take it down?

이 공습에 대해 아무도 몰랐다면 어떻게 될까요?

Airwars, a nongovernmental organization based in London,

런던에 있는 NGO인 Airwars는

tries to find those videos as quickly as possible

이런 비디오들이 소셜 미디어에 업로드 될 때마다

whenever they are uploaded to social media,

최대한 빠른 시간 내에 찾아내려고 노력합니다.

in order to archive them.

아카이브를 해 두기 위해서죠.

Because they know, sooner or later,

왜냐하면 페이스북, 유튜브, 트위터가 그런 컨텐츠를

Facebook, YouTube, Twitter would take such content down.

삭제할 것이라는 것을 알고 있기 때문이죠.

People armed with their mobile phones

휴대전화로 무장한 사람들은

can make visible what journalists often do not have access to.

기자들이 잘 모르는 부분에 대한 정보를 공개할 수 있습니다.

Civil rights groups often do not have any better option

시민권 단체들은 그들의 영상을

to quickly make their recordings accessible to a large audience

많은 사람들에게 보여주기 위해서 소셜 미디어에 업로드하는 방법보다

than by uploading them to social media.

더 빠른 방법이 없습니다.

Wasn't this the empowering potential the World Wide Web should have?

이것은 월드 와이드 웹이 가져야 하는 잠재적인 장점 아닌가요?

Weren't these the dreams

이는 월드 와이드 웹의 초창기에

people in its early stages had about the World Wide Web?

사람들이 품었던 꿈 아니었나요?

Can't pictures and videos like these

이런 사진과 비디오를 통해

persuade people who have become insensitive to facts

사실에 무감각해진 사람들을 일깨워 줄 순 없을까요?

to rethink?

HB: But instead, everything that might be disturbing is deleted.

HB: 하지만 불편의 소지가 있는 모든 것들이 다 삭제되고 있습니다.

And there's a general shift in society.

그리고 사회의 변동도 있죠.

Media, for example, more and more often use trigger warnings

예를 들어 미디어에서는 트리거 워닝을

at the top of articles

사람들이 불편해 할 만한 기사의 맨 위에 표시합니다.

which some people may perceive as offensive or troubling.

Or more and more students at universities in the United States

또 미국의 점점 더 많은 대학교들이

demand the banishment of antique classics

성적인 폭력이 묘사되어 있는 고전 작품에 대한 교육을

which depict sexual violence or assault from the curriculum.

커리큘럼에서 없애고 있는 추세입니다.

But how far should we go with that?

하지만 얼마나 이런 현상을 지속해야 할까요?

Physical integrity is guaranteed as a human right

신체의 존엄성은 전 세계의 헌법을 통해

in constitutions worldwide.

기본적인 인권으로써 보장되고 있죠.

In the Charter of Fundamental Rights of the European Union,

유럽 연합 기본권 헌장에서,

this right expressly applies to mental integrity.

이 권리는 정신적인 존엄성의 보호로까지 확장됩니다.

But even if the potentially traumatic effect

하지만 이미지와 비디오에 의한 트라우마의 영향이

of images and videos is hard to predict,

예측하기 힘들다고 해도,

do we want to become so cautious

너무 민감해진 나머지

that we risk losing social awareness of injustice?

사회적 불의에 대한 인식을 차단해도 되는 건가요?

So what to do?

어떻게 해야 할까요?

Mark Zuckerberg recently stated that in the future,

최근 마크 저커버그는 말하길

the users, we, or almost everybody,

미래에는 우리를 비롯한 유저들이

will decide individually

각각 개별적 필터 환경설정을 통해

what they would like to see on the platform,

플랫폼에서 무엇을 보고 싶은지

by personal filter settings.

결정할 수 있을 거라고 말했습니다.

So everyone could easily claim to remain undisturbed

그래서 모든 사람들이 쉽게 전쟁에 대한 이미지를 거부하고

by images of war or other violent conflicts, like ...

평화롭게 지내기를 선택할 수 있는 셈이죠.

MR: I'm the type of guy who doesn't mind seeing breasts

MR: 저는 가슴 사진을 보는 것에 개의치 않고

and I'm very interested in global warming,

지구온난화 문제에 관심이 많은 타입의 남자이지만,

but I don't like war so much.

전쟁은 별로 좋아하지 않아요.

HB: Yeah, I'm more the opposite,

HB: 아, 저는 거의 그 반대네요.

I have zero interest in naked breasts or naked bodies at all.

저는 벗은 가슴이나 나체 자체를 다 싫어합니다.

But why not guns? I like guns, yes.

하지만 총은요? 저는 총 좋아하는데요?

MR: Come on, if we don't share a similar social consciousness,

우리가 모두 비슷한 사회적 인식을 공유하지 않는다면,

how shall we discuss social problems?

사회적 문제에 대한 토의는 불가능하지 않나요?

How shall we call people to action?

사람들을 어떻게 행동하도록 할 수 있을까요?

Even more isolated bubbles would emerge.

사람들은 각자만의 외딴 세계에 머물러 있게 될 것입니다.

One of the central questions is: "How, in the future,

중요한 문제 중 하나는 이것입니다. "미래에는 어떻게

freedom of expression will be weighed against the people's need for protection."

표현의 자유가 사람에 대한 보호와 충돌하게 될까?"

It's a matter of principle.

이는 원칙의 차이입니다.

Do we want to design an either open or closed society

디지털 공간을 열린 사회로 디자인할까요,

for the digital space?

닫힌 사회로 디자인할까요?

At the heart of the matter is "freedom versus security."

문제의 본질은 "자유 대 안전"입니다.

Facebook has always wanted to be a "healthy" platform.

페이스북은 언제나 "건강한" 플랫폼이 되고 싶어했습니다.

Above all, users should feel safe and secure.

유저들이 항상 안전감을 느껴야 하죠.

It's the same choice of words

저희가 했던 많은 인터뷰에서

the content moderators in the Philippines used

필리핀 출신의 컨텐츠 관리자가

in a lot of our interviews.

바로 그렇게 말했습니다.

(Video) The world that we are living in right now,

(비디오) 지금 우리가 살고 있는 세계는,

I believe, is not really healthy.

제 생각에는, 그렇게 건강하지는 않습니다.

(Music)

(음악)

In this world, there is really an evil who exists.

이 세계에서, 악은 정말로 실존합니다.

(Music)

(음악)

We need to watch for it.

우리는 모두 악을 감시해야 하죠.

(Music)

(음악)

We need to control it -- good or bad.

우리는 좋던 나쁘던 이를 제어해야 합니다.

(Music)

(음악)

[Look up, Young man! --God]

[젊은이여, 위를 보아라!--신]

MR: For the young content moderators in the strictly Catholic Philippines,

엄격한 카톨릭의 국가인 필리핀의 젊은 컨텐츠 관리자들에게,

this is linked to a Christian mission.

이것은 카톨릭 신자로서의 미션이기도 합니다.

To counter the sins of the world

인터넷 전역에 있는

which spread across the web.

악을 물리치는 것 말이죠.

"Cleanliness is next to godliness,"

"청결함은 경건함 다음가는 미덕이다."

is a saying everybody in the Philippines knows.

모든 필리핀 사람들이 아는 격언이죠.

HB: And others motivate themselves

HB: 또 다른 이들은

by comparing themselves with their president, Rodrigo Duterte.

자신을 대통령인 로드리고 두테르테와 비교하며 동기의식을 얻습니다.

He has been ruling the Philippines since 2016,

그는 2016년부터 필리핀을 통치하고 있었습니다.

and he won the election with the promise: "I will clean up."

그는 "저는 청소하겠습니다."라는 약속을 내걸고 선거에서 승리하였습니다.

And what that means is eliminating all kinds of problems

이것이 뜻하는 것은 범죄자가 될 수 있는

by literally killing people on the streets

거리의 사람들을 실제로 죽여서

who are supposed to be criminals, whatever that means.

문제들을 해결한다는 뜻입니다.

And since he was elected,

그가 당선된 이후로,

an estimated 20,000 people have been killed.

약 20,000명의 사람들이 죽음을 맞았습니다.

And one moderator in our film says,

저희 영상에 나오는 한 관리자가 말했던 것처럼,

"What Duterte does on the streets,

"두테르테가 거리에서 하는 것을,

I do for the internet."

저는 인터넷을 위해 합니다."

And here they are, our self-proclaimed superheroes,

그리고 자칭 슈퍼 히어로인 그들은

who enforce law and order in our digital world.

우리의 디지털 세계를 규칙으로 다스립니다.

They clean up, they polish everything clean,

그들은 모든 것을 깨끗하게 만들고,

they free us from everything evil.

모든 악에서부터 우리를 자유롭게 합니다.

Tasks formerly reserved to state authorities

원래 각 자치 당국이 해결했던 일을

have been taken over by college graduates in their early 20s,

현재는 20대 초반의 대학 졸업자들이 대신하고 있습니다.

equipped with three- to five-day training --

자격 요건으로 3~5일 가량의

this is the qualification --

짧은 트레이닝을 거친 후 말이죠.

who work on nothing less than the world's rescue.

그들은 세상의 구원을 위해 일하고 있습니다.

MR: National sovereignties have been outsourced to private companies,

MR: 국가의 주권은 사기업에 외부 위탁을 당한 겁니다.

and they pass on their responsibilities to third parties.

자신의 책임을 제3자에게 돌리는 것이죠.

It's an outsourcing of the outsourcing of the outsourcing,

외부 위탁의 외부 위탁의 외부 위탁이

which takes place.

현재 일어나고 있죠.

With social networks,

소셜 네트워크를 통해

we are dealing with a completely new infrastructure,

우리는 자기만의 규칙을 갖고 있는 새로운 사회 기반 시설을

with its own mechanisms,

다루고 있습니다.

its own logic of action

이 시설에는 그 자체의 규율이 존재하므로

and therefore, also, its own new dangers,

그에 따르는 새로운 형태의 위험도 존재하죠.

which had not yet existed in the predigitalized public sphere.

그건 디지털 시대 이전에는 없었던 것 들이죠.

HB: When Mark Zuckerberg was at the US Congress

HB: 마크 저커버그가 미국 의회나

or at the European Parliament,

유럽 연합에 갔었을 때,

he was confronted with all kinds of critics.

그는 여러 종류의 비평가들을 만나게 되었습니다.

And his reaction was always the same:

그의 반응은 언제나 동일했습니다.

"We will fix that,

"저희가 문제를 해결할겁니다.

and I will follow up on that with my team."

그리고 저희 팀 동료들과 함께 보고할 것입니다."

But such a debate shouldn't be held in back rooms of Facebook,

하지만 이런 토론들은 페이스북에서는 개최될 수 없는 토론입니다.

Twitter or Google --

트위터나 구글에서도 마찬가지죠.

such a debate should be openly discussed in new, cosmopolitan parliaments,

이런 토론은 세계적인 신생 의회에서 활발하게 논의되어야 합니다.

in new institutions that reflect the diversity of people

새로운 개업들을 통해 다양한 사람들을 만날 수도 있고,

contributing to a utopian project of a global network.

글로벌 네트워크라는 프로젝트에 몸을 담을 수도 있습니다.

And while it may seem impossible to consider the values

다른 사람들의 가치를 생각하는 것이

of users worldwide,

불가능해 보일 수 있지만

it's worth believing

우리 사이에는 차이점보다 공통점이 더 많다는 사실을 믿는 것이 좋습니다.

that there's more that connects us than separates us.

MR: Yeah, at a time when populism is gaining strength,

MR: 포퓰리즘이 힘을 얻고 있는 시기에는

it becomes popular to justify the symptoms,

증상을 정당화하려는 움직임이 큽니다.

to eradicate them,

완전히 없애고,

to make them invisible.

투명하게 바꾸는 것이죠.

This ideology is spreading worldwide,

이런 생각은 전 세계 모든 곳에 퍼지고 있습니다.

analog as well as digital,

디지털 뿐만 아니라 아날로그에서도요.

and it's our duty to stop it

그리고 우리는 더 늦기 전에 이를 막아야할 의무가 있습니다.

before it's too late.

The question of freedom and democracy

자유와 민주주의에 대한 질문에는

must not only have these two options.

두 가지 옵션 이외에도 더 많은 옵션이 존재해야 합니다.

HB: Delete.

HB: 삭제.

MR: Or ignore.

MR: 무시.

HB: Thank you very much.

HB: 모두 고맙습니다.

(Applause)

(박수)