How technology can fight extremism and online harassment | Yasmin Green

번역: Hyowon Ahn 검토: Jihyeon J. Kim

My relationship with the internet reminds me of the setup

인터넷과 저의 관계는 뻔한 공포 영화의 설정 같습니다.

to a clichéd horror movie.

You know, the blissfully happy family moves in to their perfect new home,

너무나도 행복한 가족이 모든 게 완벽한 새 집으로 이사를 가서

excited about their perfect future,

다같이 완벽한 미래를 꿈꾸는 설정이요.

and it's sunny outside and the birds are chirping ...

화창한 날씨와 지저귀는 새들까지...

And then it gets dark.

그리고 어둠이 찾아오죠.

And there are noises from the attic.

다락방에서 소리가 들려옵니다.

And we realize that that perfect new house isn't so perfect.

그제서야 완벽한 줄만 알았던 그 집이 완벽하지 않다는 걸 깨닫게 되죠.

When I started working at Google in 2006,

제가 2006년에 구글에서 일하기 시작했을 때

Facebook was just a two-year-old,

페이스북이 시작한지는 고작 2년 밖에 되지 않았고

and Twitter hadn't yet been born.

트위터는 존재하지도 않았습니다.

And I was in absolute awe of the internet and all of its promise

저는 인터넷에 완전히 매료되어 인터넷을 통해 우리가 더 가까워지고

to make us closer

and smarter

더 똑똑해지며

and more free.

그리고 더 자유로워질 미래를 꿈꿨습니다.

But as we were doing the inspiring work of building search engines

하지만 우리가 검색엔진을 만들고

and video-sharing sites and social networks,

영상 공유 사이트나 소셜 네트워크를 만드는 동안

criminals, dictators and terrorists were figuring out

범죄자, 독재자와 테러범들은

같은 플랫폼을 악용할 방법을 찾고 있었습니다.

how to use those same platforms against us.

And we didn't have the foresight to stop them.

하지만 우리에겐 그들을 막을 선견지명이 없었습니다.

Over the last few years, geopolitical forces have come online to wreak havoc.

지난 몇 년 동안, 지정학적인 세력이 온라인에서 대혼란을 일으키려 했습니다.

And in response,

그리고 그에 맞서

Google supported a few colleagues and me to set up a new group called Jigsaw,

구글사에서는 저와 몇 직원들을 구성해 직소라는 그룹을 만들고

with a mandate to make people safer from threats like violent extremism,

폭력적인 극단주의자들의 공격으로부터 사람들을 보호하도록 했습니다.

censorship, persecution --

검열, 처벌 등

threats that feel very personal to me because I was born in Iran,

저에게 매우 익숙한 공격들인데 저는 이란에서 태어났고

and I left in the aftermath of a violent revolution.

난폭한 혁명의 여파로 나라를 떠났거든요.

But I've come to realize that even if we had all of the resources

하지만 제가 깨달은 것이 우리에게 세상의 모든 자원과

of all of the technology companies in the world,

모든 기술 회사들이 있다고 해도

we'd still fail

우리가 가장 중요한 한 가지를 놓친다면

if we overlooked one critical ingredient:

결국 실패한다는 것입니다.

the human experiences of the victims and perpetrators of those threats.

앞서 말한 위협의 피해자나 가해자의 인간적 경험입니다.

There are many challenges I could talk to you about today.

오늘은 많은 위협 중 두 가지에 집중하겠습니다.

I'm going to focus on just two.

The first is terrorism.

첫 번째는 테러입니다.

So in order to understand the radicalization process,

우리는 급진화의 과정을 이해하기 위해서

we met with dozens of former members of violent extremist groups.

폭력적 급진파의 전 멤버였던 수 많은 사람들을 만나보았습니다.

One was a British schoolgirl,

그 중 한명은 영국인 여학생이었는데

who had been taken off of a plane at London Heathrow

시리아에 가서 반정부 무장단체 IS에 가입하려다가

as she was trying to make her way to Syria to join ISIS.

런던 히드로 공항 비행기에서 잡혔습니다.

And she was 13 years old.

고작 13살이었는데 말입니다.

So I sat down with her and her father, and I said, "Why?"

학생의 아버지와 셋이 앉아서 제가 물었습니다. "이유가 뭐지?"

And she said,

그러자 그녀가 말했습니다.

"I was looking at pictures of what life is like in Syria,

"시리아에서는 어떻게 사는지 사진을 보고있다가

and I thought I was going to go and live in the Islamic Disney World."

이슬람 디즈니 월드에서 살 수 있을 것 같았어요."

That's what she saw in ISIS.

ISIS를 보고 그렇게 생각한 거예요.

She thought she'd meet and marry a jihadi Brad Pitt

브래드 피트처럼 생긴 지하드 전사를 만나 결혼해서

and go shopping in the mall all day and live happily ever after.

하루종일 쇼핑 다니고 평생 행복할 거라 생각했대요.

ISIS understands what drives people,

IS는 사람들이 뭘 좋아하는지 알고

and they carefully craft a message for each audience.

각 대상에 맞춰 정교한 메세지를 만듭니다.

Just look at how many languages

IS가 홍보자료를

they translate their marketing material into.

몇 개 국어로 번역해내는지만 봐도 답이 보입니다.

They make pamphlets, radio shows and videos

팜플렛, 라디오쇼, 비디오 모두

in not just English and Arabic,

영어와 아랍어 뿐 아니라

but German, Russian, French, Turkish, Kurdish,

독일어, 러시아어, 프랑스어, 터키어, 쿠르드어

Hebrew,

히브리어

Mandarin Chinese.

표준 중국어로 까지 번역합니다.

I've even seen an ISIS-produced video in sign language.

심지어 수화로 된 IS 홍보영상도 있습니다.

Just think about that for a second:

한번 생각해 보세요.

ISIS took the time and made the effort

ISIS는 시간과 노력을 들여 그들의 메세지를

to ensure their message is reaching the deaf and hard of hearing.

난청과 청각 장애인들에게도 전파하려고 했습니다.

It's actually not tech-savviness

ISIS가 사람들의 마음을 훔치는 방법은

that is the reason why ISIS wins hearts and minds.

높은 기술력이 아닙니다.

It's their insight into the prejudices, the vulnerabilities, the desires

자신들이 손을 뻗고자 하는 대상에 대한

of the people they're trying to reach

편견이나 나약함, 갈망 등을

that does that.

꿰뚫어봤기 때문입니다.

That's why it's not enough

이러한 이유 때문에

for the online platforms to focus on removing recruiting material.

단순히 온라인 상의 모집 관련 글을 내리는 것으론 충분한 대응이 되지 않습니다.

If we want to have a shot at building meaningful technology

급진화를 대응할 의미있는 기술을 발달시킬

that's going to counter radicalization,

노력이라도 해보기 위해서는

we have to start with the human journey at its core.

인간의 여정의 본질부터 알아야 합니다.

So we went to Iraq

그래서 저희는 이라크에 가서

to speak to young men who'd bought into ISIS's promise

한 남자를 만나봤습니다.

of heroism and righteousness,

그는 IS의 영웅주의와 정의에 이끌려

who'd taken up arms to fight for them

그들과 한편이 되어 싸웠지만

and then who'd defected

그들의 잔인함을 목격한 후

after they witnessed the brutality of ISIS's rule.

IS를 떠나 돌아섰습니다.

And I'm sitting there in this makeshift prison in the north of Iraq

이라크 북쪽에 위치한 임시교도소에 앉아서

with this 23-year-old who had actually trained as a suicide bomber

자살폭탄 테러범 훈련을 받았지만 결국 돌아선

before defecting.

23살짜리 남자와 얘기를 나눴습니다.

And he says,

그가 말했습니다.

"I arrived in Syria full of hope,

"희망을 가득 품고 시리아에 도착했는데,

and immediately, I had two of my prized possessions confiscated:

도착 즉시 저의 가장 중요한 소유품 두 개를 압수당했습니다.

my passport and my mobile phone."

제 여권과 핸드폰을요."

The symbols of his physical and digital liberty

신체적, 디지털 자유의 상징 두 가지가

were taken away from him on arrival.

도착 즉시 압수되었습니다.

And then this is the way he described that moment of loss to me.

그는 압수 당시의 상황을 이렇게 설명했습니다.

He said,

그가 말하길,

"You know in 'Tom and Jerry,'

"만화영화 '톰과 제리' 아시죠?

when Jerry wants to escape, and then Tom locks the door

제리가 도망가려고 하면 톰이 문을 잠그고

and swallows the key

열쇠를 꿀꺽 하잖아요.

and you see it bulging out of his throat as it travels down?"

열쇠가 뱃속으로 불룩하고 튀어나오며 내려가는 것도 보이고요."

And of course, I really could see the image that he was describing,

물론, 그가 설명하는 상황이 머릿속에 그려졌고

and I really did connect with the feeling that he was trying to convey,

그가 전하고자 하는 느낌 또한 이해가 됐습니다.

which was one of doom,

빠져나갈 방법이 없는

when you know there's no way out.

최후의 날이나 막다른 길 같은 느낌이요.

And I was wondering:

그리고 궁금해졌습니다.

What, if anything, could have changed his mind

그가 집을 떠나던 날

the day that he left home?

그의 마음을 돌릴 수 있는 건 뭐가 있었을까요?

So I asked,

그래서 그에게 물었습니다.

"If you knew everything that you know now

"만약 당신이 지금 아는 모든 것을,

about the suffering and the corruption, the brutality --

고통, 부패, 잔인함 등 모든 것을

that day you left home,

집을 떠나기 전의 당신이 알았더라도

would you still have gone?"

같은 선택을 했을까요?"

And he said, "Yes."

그러자 그가 대답했습니다, "네."

And I thought, "Holy crap, he said 'Yes.'"

제가 "세상에, '네' 라고 대답하다니" 라고 생각하는 도중

And then he said,

그가 이어서 말했습니다.

"At that point, I was so brainwashed,

"그때 저는 완전히 세뇌되어 있는 상태여서

I wasn't taking in any contradictory information.

반박될 만한 정보는 하나도 받아들이지 않았어요.

I couldn't have been swayed."

맘이 바뀌지 않았을 겁니다."

"Well, what if you knew everything that you know now

"그럼 지금 당신이 아는 모든 것들을

six months before the day that you left?"

떠나기 6개월 전에 알았다면요?"

"At that point, I think it probably would have changed my mind."

"그때는 아마 제 맘이 바뀌었을 수도 있을 것 같아요."

Radicalization isn't this yes-or-no choice.

급진화는 네 또는 아니오 선택의 문제가 아닙니다.

It's a process, during which people have questions --

사람들에게 이념, 종교, 생활 환경 등에 대한

about ideology, religion, the living conditions.

질문을 불러 일으키는 과정입니다.

And they're coming online for answers,

그리고 사람들은 온라인에서 그 답을 찾으려고 하는데

which is an opportunity to reach them.

ISIS는 이를 기회로 삼는 것입니다.

And there are videos online from people who have answers --

온라인엔 이런 질문들에 대한 답을 담은 동영상들이 존재합니다.

defectors, for example, telling the story of their journey

폭력의 길에 들어섰다가 돌아선 사람들의

into and out of violence;

여정을 공유하는 동영상들 말입니다.

stories like the one from that man I met in the Iraqi prison.

제가 이라크 교도소에서 만났던 그 남자와 같은 사람들이 올린 영상들이죠.

There are locals who've uploaded cell phone footage

혹은 현지인들이 핸드폰으로 찍어올린

of what life is really like in the caliphate under ISIS's rule.

ISIS의 지배를 받는 칼리프 삶의 실상도 볼 수 있습니다.

There are clerics who are sharing peaceful interpretations of Islam.

이슬람 교리의 평화로운 해석을 하는 성직자들도 있고요.

But you know what?

하지만 그거 아세요?

These people don't generally have the marketing prowess of ISIS.

이런 사람들은 보통 ISIS 만큼의 홍보 역량이 없습니다.

They risk their lives to speak up and confront terrorist propaganda,

자신의 삶을 내걸고 테러범 조직 선전활동에 반대하지만

and then they tragically don't reach the people

비극적이게도, 정작 그런 메세지를 들어야 되는 사람들에게는

who most need to hear from them.

영향력을 미치지 못합니다.

And we wanted to see if technology could change that.

그래서 저희 그룹은 기술을 통해 이를 변화시키고자 했습니다.

So in 2016, we partnered with Moonshot CVE

2016년에 Moonshot CVE 라는 그룹과 제휴를 맺고

to pilot a new approach to countering radicalization

급진화를 대응하기 위한 새로운 시도인

called the "Redirect Method."

"우회 방법" 이란 시험을 해보았습니다.

It uses the power of online advertising

온라인 홍보의 힘을 이용해

to bridge the gap between those susceptible to ISIS's messaging

ISIS의 메세지에 취약한 사람들과 그 메세지를 무력화할 수 있는

and those credible voices that are debunking that messaging.

설득력 있는 사람들의 영상을 연결시켜주는 방법이었습니다.

And it works like this:

예를 들면 이런 방식입니다.

someone looking for extremist material --

누군가 극단주의적인 자료를 검색한다고 해보죠.

say they search for "How do I join ISIS?" --

"ISIS에 가입하는 법" 을 검색하면

will see an ad appear

광고가 같이 뜹니다.

that invites them to watch a YouTube video of a cleric, of a defector --

성직자나, 변절자 등 제대로 된 답을 줄 수 있는 사람들의

someone who has an authentic answer.

유튜브 영상을 보도록 유도하는 광고죠.

And that targeting is based not on a profile of who they are,

광고의 대상을 정할 때 사람들의 신상정보 보다는

but of determining something that's directly relevant

검색어나 질문에 직접적인 연관이 있는 행동을 할 만한

to their query or question.

가능성에 초점을 두었습니다.

During our eight-week pilot in English and Arabic,

8주 동안 영어와 아랍어로 시범 운행을 해본 결과

we reached over 300,000 people

지하드 그룹에 대해 관심이나 동정을 표한

who had expressed an interest in or sympathy towards a jihadi group.

30만 명이 넘는 사람들에게 손길을 뻗을 수 있었습니다.

These people were now watching videos

이 사람들은 절망적인 선택을 하기 전에

that could prevent them from making devastating choices.

그들을 막아 줄 수 있는 영상을 보게 된 것입니다.

And because violent extremism isn't confined to any one language,

그리고 폭력적인 극단주의는 한 언어나, 종교나, 이념에

religion or ideology,

국한되어 있는 것이 아니기 때문에

the Redirect Method is now being deployed globally

'우회 방법'은 전세계적으로 퍼져

to protect people being courted online by violent ideologues,

많은 사람들을 폭력적인 이념주의자들의 유혹에서 구하고 있습니다.

whether they're Islamists, white supremacists

이슬람 교도이던, 백인 우월주의자이든

or other violent extremists,

혹은 다른 폭력적 극단주의자이든 간에

with the goal of giving them the chance to hear from someone

그 여정의 반대쪽에 있는 누군가의 말을 전하고자 하는

on the other side of that journey;

극단주의자들의 손에서 벗어나

to give them the chance to choose a different path.

다른 여정을 걸을 수 있는 기회를 주는 겁니다.

It turns out that often the bad guys are good at exploiting the internet,

알고보니 보통 악당들이 인터넷을 잘 이용하더라고요.

not because they're some kind of technological geniuses,

그건 그들이 기술을 엄청나게 잘 다뤄서 그런 게 아니라

but because they understand what makes people tick.

사람들을 움직이는 법을 알기 때문입니다.

I want to give you a second example:

다른 예시를 들어볼게요.

online harassment.

온라인 괴롭힘.

Online harassers also work to figure out what will resonate

온라인 괴롭힘 또한 다른 사람들이 공명할 수 있는

with another human being.

요인을 파악하려고 노력합니다.

But not to recruit them like ISIS does,

하지만 ISIS처럼 사람들을 모집하려는 게 아니라

but to cause them pain.

고통을 주기 위해서요.

Imagine this:

한번 상상해보세요.

you're a woman,

여러분이 여성이고

you're married,

기혼이며

you have a kid.

아이가 있다고 가정해보세요.

You post something on social media,

소셜 미디어에 뭔가를 올렸는데

and in a reply, you're told that you'll be raped,

답장이 옵니다. 누군가 여러분을 강간하러 올거고

that your son will be watching,

아들이 그걸 보게 만들 거라고 하며

details of when and where.

자세하게 장소와 시간까지 적은 답장이요.

In fact, your home address is put online for everyone to see.

사실, 여러분 집주소는 온라인에 올려져있어서 모든 사람들이 볼 수 있습니다.

That feels like a pretty real threat.

아까 그 답장이 정말 협박처럼 느껴지죠.

Do you think you'd go home?

여러분이라면 집에 가시겠습니까?

Do you think you'd continue doing the thing that you were doing?

하던 일을 계속 하시겠어요?

Would you continue doing that thing that's irritating your attacker?

당신에게 그 메세지를 보낸 사람을 거슬리게 하는 행동을 계속 할 수 있으시겠어요?

Online abuse has been this perverse art

온라인상의 학대는 이처럼

of figuring out what makes people angry,

사람들을 화나게 하거나

what makes people afraid,

두려워하게 하거나

what makes people insecure,

불안하게 만드는 방법을 알아내서

and then pushing those pressure points until they're silenced.

결국 사람들이 입을 다물 때까지 아픈 곳을 찌르는 사악한 방법입니다.

When online harassment goes unchecked,

온라인 상의 학대는 검열받지 않지만

free speech is stifled.

언론의 자유는 억압당합니다.

And even the people hosting the conversation

토론을 이끌던 사람들마저

throw up their arms and call it quits,

두손두발 들고 포기해 버립니다.

closing their comment sections and their forums altogether.

코멘트란을 닫아버리거나 토론 포럼 자체를 닫아버립니다.

That means we're actually losing spaces online

이건 온라인 상에서 우리가 만나고 생각을 나눌

to meet and exchange ideas.

공간이 사라진다는 뜻입니다.

And where online spaces remain,

그리고 남아있는 온라인 공간은

we descend into echo chambers with people who think just like us.

우리와 똑같은 생각을 하는 사람들의 같은 말만 울려퍼지는 공간으로 변질되고

But that enables the spread of disinformation;

허위 정보를 퍼트려 양극화를 조장하는데

that facilitates polarization.

이용되도록 추락할 것입니다.

What if technology instead could enable empathy at scale?

하지만 기술을 사용해서 필요한 만큼의 공감을 끌어낼 수 있다면 어떨까요?

This was the question that motivated our partnership

이 질문을 시작으로 저희는

with Google's Counter Abuse team,

구글사의 학대 대응 팀,

Wikipedia

위키피디아,

and newspapers like the New York Times.

뉴욕타임즈와 같은 신문사들과 협력관계를 맺었습니다.

We wanted to see if we could build machine-learning models

기계가 스스로 학습하는 머신 러닝 모델을 구축해서

that could understand the emotional impact of language.

언어의 감정적인 여파를 이해할 수 있는지 실험해 보고자 했습니다.

Could we predict which comments were likely to make someone else leave

어떤 댓글들이 온라인 상의 대화나 토론을

the online conversation?

끝내는데 일조하는지 예상할 수 있을까요?

And that's no mean feat.

이건 정말 대단한 일이죠.

That's no trivial accomplishment

인공지능이 이런 역할을

for AI to be able to do something like that.

수행할 수 있게 된다는 건 사소한 성과가 아닙니다.

I mean, just consider these two examples of messages

제가 앞서 말씀드린 두 개의 메세지처럼

that could have been sent to me last week.

지난 주에 제가 받을 수도 있던 메세지를 생각해보세요.

"Break a leg at TED!"

"TED에서 잘하고 와!"

... and

...아니면

"I'll break your legs at TED."

"TED에서 다리 부러뜨려!" (무대에서 잘 하라는 관용적 표현)

(Laughter)

(웃음)

You are human,

여러분은 사람이기 때문에

that's why that's an obvious difference to you,

단어의 뜻이 사실상 거의 같아도

even though the words are pretty much the same.

의미의 차이를 명백히 느낄 수 있습니다.

But for AI, it takes some training to teach the models

하지만 인공지능에게 이러한 차이를 인지하도록 하려면

to recognize that difference.

훈련하는 시간이 조금 걸립니다.

The beauty of building AI that can tell the difference

차이점을 인지 할 수 있는 인공지능을 개발한다는 건

is that AI can then scale to the size of the online toxicity phenomenon,

결국 이 지능이 온라인 독성 현상을 해결할 만큼 발달할 수 있다는 겁니다.

and that was our goal in building our technology called Perspective.

이것이 바로 저희가 '퍼스펙티브' 라고 불리는 기술을 개발할 때 염두해 둔 목표입니다.

With the help of Perspective,

'퍼스펙티브'의 도움으로

the New York Times, for example,

예를 들어, 뉴욕 타임즈 지는

has increased spaces online for conversation.

온라인 상에서의 대화 가능 공간을 늘렸습니다.

Before our collaboration,

협력 전에는

they only had comments enabled on just 10 percent of their articles.

전체 기사 중 10%에만 댓글을 달 수 있었습니다.

With the help of machine learning,

머신 러닝을 통해

they have that number up to 30 percent.

이제는 그 수가 30%에 육박합니다.

So they've tripled it,

3배나 늘린 것이죠.

and we're still just getting started.

이건 겨우 시작에 불과한데도요.

But this is about way more than just making moderators more efficient.

하지만 이건 더 효과적으로 중재 역할을 시행해 내는 것에 그치는 일이 아닙니다.

Right now I can see you,

지금 저는 여러분을 볼 수 있고

and I can gauge how what I'm saying is landing with you.

제가 하는 말이 여러분에게 어떻게 들리는지 판단할 수 있죠.

You don't have that opportunity online.

온라인에서는 그런 기회가 없습니다.

Imagine if machine learning could give commenters,

만약 머신 러닝이 댓글을 다는 사람들에게

as they're typing,

실시간으로

real-time feedback about how their words might land,

그들이 다는 댓글이 어떻게 들릴지 알려준다면 어떨까요?

just like facial expressions do in a face-to-face conversation.

얼굴을 보고 대화 하면 표정을 볼 수 있듯이요.

Machine learning isn't perfect,

머신 러닝은 완벽하지 않습니다.

and it still makes plenty of mistakes.

아직도 실수를 잔뜩 저지릅니다.

But if we can build technology

하지만 우리가 만드는 기술이

that understands the emotional impact of language,

언어가 미치는 감정적인 영향력을 이해할 수 있다면

we can build empathy.

우린 공감을 자아낼 수 있습니다.

That means that we can have dialogue between people

그렇게 된다면, 우리는

with different politics,

다른 정치적 견해,

different worldviews,

세상을 바라보는 눈,

different values.

다른 가치에 대해 대화할 수 있게 됩니다.

And we can reinvigorate the spaces online that most of us have given up on.

그럼 우리 대부분이 포기했던 온라인 상의 공간들을 되살릴 수도 있겠죠.

When people use technology to exploit and harm others,

사람들이 기술을 악용해 다른 사람들에게 해를 입힐때

they're preying on our human fears and vulnerabilities.

인간의 두려움과 취약함을 먹이로 삼습니다.

If we ever thought that we could build an internet

우리가 만약 인간성의 어두운 면을 완벽 차단하는

insulated from the dark side of humanity,

인터넷을 개발 할 수 있다고 생각한 적이 있다면

we were wrong.

잘못 생각한 겁니다.

If we want today to build technology

오늘날 우리가 직면하는 문제들을 극복할 수 있는

that can overcome the challenges that we face,

기술을 개발해내고 싶다면

we have to throw our entire selves into understanding the issues

문제를 정확히 이해하는 것과 해결책을 만드는 것에

and into building solutions

온 힘을 다해야 합니다.

that are as human as the problems they aim to solve.

해결하고자 하는 문제만큼이나 인간적인 해결책을요.

Let's make that happen.

한번 이뤄내봅시다.

Thank you.

감사합니다.

(Applause)

(박수)