How deepfakes undermine truth and threaten democracy | Danielle Citron

번역: Jungmin Hwang 검토: Jihyeon J. Kim

[This talk contains mature content]

[본 강연에 성인용 내용이 포함되어 있음]

Rana Ayyub is a journalist in India

라나 아이윱은 인도의 언론인으로,

whose work has exposed government corruption

정부의 부정부패와

and human rights violations.

인권침해를 폭로해왔습니다.

And over the years,

그리고 그녀는 수년간,

she's gotten used to vitriol and controversy around her work.

자신의 보도를 둘러싼 논쟁과 독설에 익숙해졌죠.

But none of it could have prepared her for what she faced in April 2018.

하지만 그 어떤 것도 2018년 4월 그녀가 마주한 것과 비할 수 없었습니다.

She was sitting in a café with a friend when she first saw it:

그녀가 친구와 카페에 있다가

a two-minute, 20-second video of her engaged in a sex act.

자신이 나오는 2분 20초짜리 성관계 영상을 본 것입니다.

And she couldn't believe her eyes.

그녀는 자신의 눈을 믿을 수가 없었습니다.

She had never made a sex video.

성관계 영상을 촬영한 적이 없었으니까요.

But unfortunately, thousands upon thousands of people

하지만 불행히도, 영상을 본 수천 명의 사람들이

would believe it was her.

그녀라고 믿었겠죠.

I interviewed Ms. Ayyub about three months ago,

저는 약 3개월 전에 성적 사생활에 대한 제 책과 관련해

in connection with my book on sexual privacy.

아이윱 씨를 인터뷰했습니다.

I'm a law professor, lawyer and civil rights advocate.

저는 법학 교수이며, 변호사이자 시민권 옹호자입니다.

So it's incredibly frustrating knowing that right now,

지금 당장 그녀를 돕기 위해 법적으로 할 수 있는 일이

law could do very little to help her.

많지 않다는 것이 정말 답답할 따름이에요.

And as we talked,

이야기 중 그녀는

she explained that she should have seen the fake sex video coming.

가짜 성관계 영상이 떠돌 것을 진작 알아차렸어야 했다고 말했죠.

She said, "After all, sex is so often used to demean and to shame women,

그리고 종종 섹스가 여성을 비하하고 망신시키기 위해 악용된다고 했죠.

especially minority women,

특히 소수 여성, 그리고

and especially minority women who dare to challenge powerful men,"

그 여성들이 권력 있는 남자들에게 맞서는 경우에는 더욱이 그렇다고요.

as she had in her work.

아이윱 씨가 그랬던 것처럼요.

The fake sex video went viral in 48 hours.

가짜 성관계 영상은 48시간 만에 인터넷에 퍼졌습니다.

All of her online accounts were flooded with screenshots of the video,

그녀의 온라인 계정은 온통 영상의 스크린샷, 적나라한 강간 장면과

with graphic rape and death threats

살인 협박, 그리고 그녀의 이슬람 신앙을

and with slurs about her Muslim faith.

비방하는 말들로 도배되었습니다.

Online posts suggested that she was "available" for sex.

온라인 게시물들은 그녀가 "헤픈" 여자라는 의미를 내포했죠.

And she was doxed,

그녀는 해킹을 당했습니다.

which means that her home address and her cell phone number

그녀의 집 주소와 전화 번호까지

were spread across the internet.

인터넷에 퍼졌습니다.

The video was shared more than 40,000 times.

영상은 4만 회 이상 공유되었습니다.

Now, when someone is targeted with this kind of cybermob attack,

누군가가 이러한 사이버 공격의 대상이 된다면

the harm is profound.

그 피해는 심각합니다.

Rana Ayyub's life was turned upside down.

라나 아이윱의 인생은 송두리채 뒤바뀌었습니다.

For weeks, she could hardly eat or speak.

몇 주 동안 그녀는 거의 먹지도, 말하지도 못했습니다.

She stopped writing and closed all of her social media accounts,

글 쓰는 것을 멈추고 모든 소셜 미디어 계정을 폐쇄했죠.

which is, you know, a tough thing to do when you're a journalist.

저널리스트로서 정말 힘든 일이었을 거예요.

And she was afraid to go outside her family's home.

그녀는 부모님의 집을 벗어나는 것이 두려웠습니다.

What if the posters made good on their threats?

만약 게시물대로 위협이 생기면요?

The UN Council on Human Rights confirmed that she wasn't being crazy.

유엔 인권 위원회는 그녀의 걱정이 과민 반응이 아니라고 결론지었습니다.

It issued a public statement saying that they were worried about her safety.

위원회는 그녀의 안전이 걱정된다는 공식 성명서를 발표하였습니다.

What Rana Ayyub faced was a deepfake:

라나 아이윱이 본 것은 딥 페이크(deepfake)였습니다.

machine-learning technology

딥 페이크는 머신 러닝 기술의 일종으로,

that manipulates or fabricates audio and video recordings

사람이 등장하는 영상과 음성파일을 조작해

to show people doing and saying things

실제로 하지 않은 말이나 행동이

that they never did or said.

이루어진 것처럼 보여주는 기술입니다.

Deepfakes appear authentic and realistic, but they're not;

딥페이크는 실제처럼 보이지만, 실상은 그렇지 않습니다.

they're total falsehoods.

완전한 가짜인 것이죠.

Although the technology is still developing in its sophistication,

아직 이 기술은 발달 단계이지만,

it is widely available.

많은 사람들이 사용할 수 있는 상태입니다.

Now, the most recent attention to deepfakes arose,

온라인상의 많은 것들이 그러듯이,

as so many things do online,

딥페이크는 포르노그래피와 관련한

with pornography.

관심을 많이 받게 되었습니다.

In early 2018,

2018년 초에,

someone posted a tool on Reddit

어떤 사람이 레딧(Reddit)에

to allow users to insert faces into porn videos.

포르노 비디오에 얼굴을 삽입할 수 있도록 하는 도구를 올렸습니다.

And what followed was a cascade of fake porn videos

그 후, 각자가 가장 좋아하는 여성 연예인을 합성한

featuring people's favorite female celebrities.

가짜 포르노 영상들이 인터넷을 휩쓸게 되었죠.

And today, you can go on YouTube and pull up countless tutorials

오늘날, 유튜브에 검색하면 데스크톱을 사용한

with step-by-step instructions

딥페이크 영상을 만드는 방법이

on how to make a deepfake on your desktop application.

단계별로 설명되어 있는 튜토리얼이 정말 많습니다.

And soon we may be even able to make them on our cell phones.

곧, 휴대폰으로 만들 수 있을지도 모릅니다.

Now, it's the interaction of some of our most basic human frailties

인간의 약점과 네트워크 도구의

and network tools

상호작용이

that can turn deepfakes into weapons.

딥페이크를 무기로 만들 수 있는 것입니다.

So let me explain.

설명해 드리겠습니다.

As human beings, we have a visceral reaction to audio and video.

인간으로서, 우리는 영상과 음성에 본능적으로 반응합니다.

We believe they're true,

우리는 그것이 사실이라고 받아들입니다.

on the notion that of course you can believe

왜냐하면 자신의 눈과 귀가 보여주는 것은

what your eyes and ears are telling you.

당연히 믿을 수 있기 때문이죠.

And it's that mechanism

그리고 이 방법이

that might undermine our shared sense of reality.

우리의 현실 감각을 약화시키는 것입니다.

Although we believe deepfakes to be true, they're not.

우리는 딥페이크가 사실이라고 믿지만, 이는 사실이 아닙니다.

And we're attracted to the salacious, the provocative.

또, 우리는 음란하고 눈에 띄는 것에 끌리기 마련이죠.

We tend to believe and to share information

우리는 부정적이고 새로운 정보를

that's negative and novel.

믿고 공유하려는 습성이 있습니다.

And researchers have found that online hoaxes spread 10 times faster

연구자들은 온라인 조작이 실제 이야기보다

than accurate stories.

10배나 빨리 퍼진다는 것을 밝혔습니다.

Now, we're also drawn to information

또, 우리는 우리의 관점과 잘 들어맞는

that aligns with our viewpoints.

정보에 이끌리는 본능이 있습니다.

Psychologists call that tendency "confirmation bias."

심리학자들은 이 현상을 "확증 편향"이라 부릅니다.

And social media platforms supercharge that tendency,

소셜 미디어 플랫폼은 이 본능을 자극하게 되죠.

by allowing us to instantly and widely share information

우리의 관점과 잘 들어맞는 정보를 즉각적으로,

that accords with our viewpoints.

널리 퍼뜨릴 수 있게 해 주니까요.

Now, deepfakes have the potential to cause grave individual and societal harm.

딥페이크는 심각한 개인, 사회적 피해를 초래할 수 있습니다.

So, imagine a deepfake

아프가니스탄에 있는 미군들이 코란을 태우는 딥페이크가 있다고 상상해 보세요.

that shows American soldiers in Afganistan burning a Koran.

You can imagine that that deepfake would provoke violence

그 딥페이크는 영상 속 미군들에 대한

against those soldiers.

폭력을 낳을 것이라고 예상할 수 있죠.

And what if the very next day

바로 그 다음 날,

there's another deepfake that drops,

런던의 한 이맘(성직자)이

that shows a well-known imam based in London

군인들을 향한 폭력을 찬양하는

praising the attack on those soldiers?

딥페이크 영상이 만들어지면 어떨까요?

We might see violence and civil unrest,

어쩌면 아프가니스탄과 미국 뿐만이 아닌,

not only in Afganistan and the United Kingdom,

전 세계에 걸친

but across the globe.

폭력과 시민 소요가 일어날 수도 있습니다.

And you might say to me,

여러분들은 저에게

"Come on, Danielle, that's far-fetched."

"에이, 다니엘, 그건 너무 억지다." 라고 말하실 수도 있습니다.

But it's not.

하지만 아닙니다.

We've seen falsehoods spread

우리는 왓츠앱(WhatsApp)과 여러 다른 메시지 서비스에서

on WhatsApp and other online message services

거짓 정보가 퍼지는 것을 확인했고,

lead to violence against ethnic minorities.

그것이 소수 민족에 대한 폭력으로 이어지는 것을 보았습니다.

And that was just text --

그리고 그것은 단지 글 형태에 불과했죠.

imagine if it were video.

그것이 영상이라면 어떨까요?

Now, deepfakes have the potential to corrode the trust that we have

딥페이크는 우리가 가지고 있는 민주주의적 제도에 대한 믿음을

in democratic institutions.

약화시킬 수 있는 가능성을 가지고 있습니다.

So, imagine the night before an election.

선거 전날이라고 생각해 보세요.

There's a deepfake showing one of the major party candidates

주요 후보자 중 한 명이 아주 아픈 모습을 보여주는

gravely sick.

딥페이크가 있다고 가정합시다.

The deepfake could tip the election

그 딥페이크는 선거를 뒤바꿀 수 있고

and shake our sense that elections are legitimate.

선거가 정당하다는 우리의 믿음을 뒤흔들 수 있습니다.

Imagine if the night before an initial public offering

큰 세계적인 은행의 신규 상장 전날이라고 생각해 보세요.

of a major global bank,

그 은행의 CEO가 술에 취한 채로

there was a deepfake showing the bank's CEO

음모론 이야기들을 내뱉는

drunkenly spouting conspiracy theories.

딥페이크가 떠돌고 있다고 생각해 보세요.

The deepfake could tank the IPO,

그 딥페이크는 신규 상장을 완전히 망하게 할 수 있습니다.

and worse, shake our sense that financial markets are stable.

혹은, 금융 시장이 안정적일 것이라는 우리의 믿음을 뒤흔들 수 있죠.

So deepfakes can exploit and magnify the deep distrust that we already have

따라서, 딥페이크는 우리가 이미 가지고 있는

in politicians, business leaders and other influential leaders.

정치인, 사업가, 리더들에 대한 불신을 강화시킬 수 있습니다.

They find an audience primed to believe them.

딥페이크는 그것을 믿을 만한 관객을 찾아내어 유인하죠.

And the pursuit of truth is on the line as well.

또, 진리의 추구 또한 위태롭습니다.

Technologists expect that with advances in AI,

기술인들은 인공지능의 발전 속도를 보았을 때,

soon it may be difficult if not impossible

곧 진짜와 가짜 영상을 구분하는 것이

to tell the difference between a real video and a fake one.

아주 힘들거나 불가능할 것이라고 예측하고 있습니다.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

그렇다면 어떻게 진실이 딥페이크가 난무한 정보 속에서 빛을 발할 수 있을까요?

Will we just proceed along the path of least resistance

아무 노력도 들이지 않은 채

and believe what we want to believe,

우리가 원하는 것만을 믿고,

truth be damned?

사실로부터 완전히 등을 돌릴까요?

And not only might we believe the fakery,

어쩌면 우리는 가짜를 믿는 것 뿐만 아니라

we might start disbelieving the truth.

사실을 거절하게 될 수도 있습니다.

We've already seen people invoke the phenomenon of deepfakes

우리는 이미 사람들이 딥페이크를 이유로 들며

to cast doubt on real evidence of their wrongdoing.

실제 증거 자료에게 의문을 제기하는 모습을 보았습니다.

We've heard politicians say of audio of their disturbing comments,

정치인들은 자신의 발언이 담긴 음성 파일을 두고 이렇게 말합니다.

"Come on, that's fake news.

"이봐, 그건 가짜 뉴스라고.

You can't believe what your eyes and ears are telling you."

여러분의 눈과 귀가 보여주는 것이 전부가 아니란 말입니다."

And it's that risk

그리고 로버트 체스니 교수와 저는

that professor Robert Chesney and I call the "liar's dividend":

이 위험을 "거짓말쟁이의 배당금" 이라고 부릅니다.

the risk that liars will invoke deepfakes

거짓말쟁이들이 딥페이크를 이유로 들며

to escape accountability for their wrongdoing.

자신의 잘못에 대한 책임을 회피하는 것이죠.

So we've got our work cut out for us, there's no doubt about it.

이제 우리가 무엇을 해야 할지 확실해졌습니다.

And we're going to need a proactive solution

기술회사들과 입법자들,

from tech companies, from lawmakers,

집행관들과 미디어 사용자들은

law enforcers and the media.

방지책을 내야 합니다.

And we're going to need a healthy dose of societal resilience.

건강한 사회의 유연성 또한 필요합니다.

So now, we're right now engaged in a very public conversation

우리는 지금 기술 회사들의 책임에 대한

about the responsibility of tech companies.

토론에 참여하고 있습니다.

And my advice to social media platforms

소셜 미디어 플랫폼에게 주는 제 조언은 다음과 같습니다.

has been to change their terms of service and community guidelines

서비스 약관과 공동체 규칙을 바꾸어

to ban deepfakes that cause harm.

해를 주는 딥페이크를 막는 것이죠.

That determination, that's going to require human judgment,

이를 위해서는 의지력과 인간의 판단력이 필요하고,

and it's expensive.

비싸기도 합니다.

But we need human beings

하지만 우리는 딥 페이크의

to look at the content and context of a deepfake

내용과 맥락을 보고

to figure out if it is a harmful impersonation

사람에게 해를 주는 것인지

or instead, if it's valuable satire, art or education.

가치있는 풍자나 예술인지 판단할 사람들이 필요합니다.

So now, what about the law?

그렇다면, 법은 어떨까요?

Law is our educator.

법은 우리의 교육자입니다.

It teaches us about what's harmful and what's wrong.

어떤 것이 해롭고 어떤 것이 잘못인지 가르쳐 주죠.

And it shapes behavior it deters by punishing perpetrators

그리고 가해자를 처벌하고 피해자를 보호해 주며

and securing remedies for victims.

올바른 행동을 할 수 있게 지도해 줍니다.

Right now, law is not up to the challenge of deepfakes.

현재의 법은 딥페이크에 대항할 수 없습니다.

Across the globe,

전 세계적으로 보았을 때,

we lack well-tailored laws

성적 사생활을 침해하고

that would be designed to tackle digital impersonations

명예를 훼손하고

that invade sexual privacy,

정신적인 고통을 유발하는

that damage reputations

딥페이크를 제어할 수 있는

and that cause emotional distress.

적절한 법률은 전무합니다.

What happened to Rana Ayyub is increasingly commonplace.

라나 아이윱에게 일어났던 일은 점점 흔해지고 있습니다.

Yet, when she went to law enforcement in Delhi,

하지만 그녀가 델리의 법 집행기관에 갔을 때,

she was told nothing could be done.

아무것도 할 수 없다는 말을 들었습니다.

And the sad truth is that the same would be true

슬픈 것은, 미국과 영국에서도

in the United States and in Europe.

똑같을 것이라는 사실입니다.

So we have a legal vacuum that needs to be filled.

우리가 채워야 하는 법의 빈 공간이 존재합니다.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

제 동료인 마리 안네 프랑크 박사와 저는 미국 입법자들과 함께 일하며

to devise legislation that would ban harmful digital impersonations

신분 도용이나 다름없는 디지털 사칭을

that are tantamount to identity theft.

막을 수 있는 법을 고안하고 있습니다.

And we've seen similar moves

그리고 아이슬랜드, 영국, 호주에서

in Iceland, the UK and Australia.

비슷한 시도가 일어나는 것을 보았습니다.

But of course, that's just a small piece of the regulatory puzzle.

하지만 이는 아주 작은 퍼즐 조각에 불과하죠.

Now, I know law is not a cure-all. Right?

법은 만병통치약이 아닙니다. 그렇죠?

It's a blunt instrument.

그저 둔한 몽둥이일 뿐입니다.

And we've got to use it wisely.

우리는 이를 현명하게 다루어야 하죠.

It also has some practical impediments.

또, 법은 실질적인 어려움을 담고 있습니다.

You can't leverage law against people you can't identify and find.

찾을 수 없는 사람에 대해서 법의 처벌을 내릴 수 없죠.

And if a perpetrator lives outside the country

그리고 가해자가 피해자가 사는 나라에 살지 않는다면,

where a victim lives,

then you may not be able to insist

가해자가 처벌을 받을 수 있게

that the perpetrator come into local courts

법정에 데려오는 것 자체가

to face justice.

가능하지 않을 수 있습니다.

And so we're going to need a coordinated international response.

따라서 국제적인 대응이 필요합니다.

Education has to be part of our response as well.

교육도 그 일부가 되어야겠지요.

Law enforcers are not going to enforce laws

법 집행관들은 본인이 모르는 법을

they don't know about

집행하지 않을 것이고,

and proffer problems they don't understand.

본인이 이해하지 못한 문제를 지지하려 하지 않을 것입니다.

In my research on cyberstalking,

사이버 스토킹에 대한 제 연구에서,

I found that law enforcement lacked the training

저는 법 집행기관들에는

to understand the laws available to them

온라인 문제들과 관련 법률을 이해하도록 하는

and the problem of online abuse.

훈련 과정이 없다는 것을 알게 되었습니다.

And so often they told victims,

그래서 그들은 피해자들에게 이렇게 말한 것이죠.

"Just turn your computer off. Ignore it. It'll go away."

"그냥 당신의 컴퓨터를 끄고 무시하세요. 그러면 문제가 없어질 것입니다."

And we saw that in Rana Ayyub's case.

그리고 우리는 이를 라나 아이윱의 사례에서도 보았습니다.

She was told, "Come on, you're making such a big deal about this.

"에이, 너무 과민반응하시네요. 남자들이 그런 거잖아요."

It's boys being boys."

라나 아이윱은 이 말을 들어야 했습니다.

And so we need to pair new legislation with efforts at training.

따라서 우리는 훈련 과정을 새 법률과 발맞추어야 합니다.

And education has to be aimed on the media as well.

또, 교육은 미디어에서도 이루어져야 하죠.

Journalists need educating about the phenomenon of deepfakes

저널리스트들은 딥페이크 현상에 대한 교육이 필요합니다.

so they don't amplify and spread them.

그들이 딥페이크를 퍼뜨리는 것을 막기 위해서죠.

And this is the part where we're all involved.

그리고 우리는 이 부분에서 모두 노력을 기울여야 합니다.

Each and every one of us needs educating.

우리 모두는 교육이 필요합니다.

We click, we share, we like, and we don't even think about it.

우리는 생각없이 클릭하고, 공유하고, 좋아요를 누릅니다.

We need to do better.

우리는 이보다 더 잘해야 합니다.

We need far better radar for fakery.

우리는 가짜에 대한 더 좋은 탐지 능력이 필요합니다.

So as we're working through these solutions,

우리가 이 해결책을 설계하며,

there's going to be a lot of suffering to go around.

많은 피해 사례가 일어날 것입니다.

Rana Ayyub is still wrestling with the fallout.

라나 아이윱은 아직도 후유증에 맞서 싸우고 있습니다.

그녀는 온/오프라인에서 자신을 자유롭게 표출하지 못합니다.

She still doesn't feel free to express herself on- and offline.

And as she told me,

그리고 그녀가 저에게 말해주었듯이,

she still feels like there are thousands of eyes on her naked body,

그녀는 수천 개의 눈이 자신의 나체를 주시하고 있는 것처럼 느낍니다.

even though, intellectually, she knows it wasn't her body.

비록 머리로는 그것이 본인의 몸이 아니라는 것을 알면서도요.

And she has frequent panic attacks,

그리고 가끔씩 그녀에게 발작이 찾아오기도 합니다.

especially when someone she doesn't know tries to take her picture.

특히, 그녀가 모르는 사람이 그녀를 사진 찍으려 할 때 말입니다.

"What if they're going to make another deepfake?" she thinks to herself.

"저 사람이 또 다른 딥페이크를 만들면 어떡하지?"라고 그녀는 생각합니다.

And so for the sake of individuals like Rana Ayyub

그래서 라나 아이윱같은 사람들을 위해,

and the sake of our democracy,

또 우리의 민주주의를 위해,

we need to do something right now.

우리는 지금 당장 조치를 취해야 합니다.

Thank you.

감사합니다.

(Applause)

(박수)