How a Deepfake Almost Ruined My Political Career | Cara Hunter | TED

번역: chloe park 검토: DK Kim

This talk contains mature language

[이 강연에는 선정적 표현이 나옵니다]

“You’re a little whore,

“창녀 같으니라고,

and we've all seen your little video."

네 영상 다 봤어.”

That was the text message that was sent to me in April of 2022.

제가 2022년 4월에 받은 문자입니다.

I'm sitting in my grandmother's living room

할머니 집 거실에서 아흔 살이 되신 할머니를 축하하려고

in what is her 90th birthday,

surrounded by family and friends

가족과 친구들과 함께 앉아 있었는데

as my phone blows up with messages from strangers

전국 각지 모르는 사람들이 보낸 문자로 전화에 불이 났어요.

right across the country

who say they have seen a video of me

어떤 영상에 제가 나오는데

engaging in hardcore pornographic activity with a man.

어떤 남자와 노골적인 성관계를 한다는 내용이었죠.

I knew this was impossible.

막지 못할 걸 알았어요.

With just three weeks out from my election,

선거를 겨우 3주 앞두고 있는데

I felt as though my career was crumbling before my very eyes.

제 경력이 눈앞에서 무너지는 느낌이었습니다.

My heart pounded,

심장이 두근거리고 머리가 핑 돌고 온몸에 식은땀이 났어요.

my mind raced, sweat beaded on my skin.

And then I watched the video, and my worst fear was realized.

그러고 나서 영상을 확인했는데

최악의 공포가 현실이 됐죠.

Although this woman in the video was not me,

영상에 나오는 여자는 제가 아니었지만

she looked exactly like me.

저랑 똑 닮았습니다.

믿기 어려울 정도로요.

Impossibly like me.

Eerily like me.

섬뜩하게 닮았죠.

수많은 의문이 머릿속에 맴돌았습니다.

I had so many questions running through my mind.

Was this AI?

AI인가? 아닌가?

Was it not?

Who made this?

누가 만들었지? 어떻게 만든 거지?

How did they make it?

Why did they make it?

왜 만들었지?

So I did what anyone would do,

그래서 저도 다른 사람들처럼

and I approached my local police service to ask for advice, for guidance.

경찰에 연락해 조언과 도움을 구했습니다.

And really, where did I go from there?

그래서 어떻게 됐냐고요?

But they informed me that they wouldn't have the cybercrime technology to assist,

경찰은 이 영상 출처를 알아내는 데 필요한

to find out where this video came from.

사이버 범죄 기술이 없다고 했습니다.

그때 전 혼자라는 걸 깨달았죠.

And it was from that moment I knew that I was on my own.

Now to set the stage, as you can probably tell,

제 소개를 하자면, 아시겠지만

I’m from Ireland,

저는 아일랜드 출신이고, 정확히 말하자면

and to be exact, I'm from Northern Ireland,

북아일랜드로 아일랜드보다 더 작죠.

which is an even smaller place.

We have just 1.8 million people,

인구가 180만 명밖에 안 돼요.

very similar to the size of Vienna.

비엔나 인구와 아주 비슷하죠.

So you can imagine a rumor of this sinister nature,

아시겠지만 이런 고약한 소문은,

particularly in the world of politics, can go very far, very fast.

특히 정치계에선, 아주 빠르게 멀리 퍼집니다.

And that old saying, “seeing is believing” began to haunt me.

‘아니 땐 굴뚝에 연기 날까’라는 속담이 저를 괴롭혔죠.

And in the weeks leading up to my election,

선거를 앞둔 몇 주 동안 이 영상, 가짜 영상은

this video, this false video,

was shared thousands and thousands of times across WhatsApp.

왓츠앱에서 수백만 번 공유됐습니다.

And attached to this video was photos of me at work,

영상에 사용된 제 사진들은 사무실에서 일하는 모습이거나

웃거나, 선거 운동을 하거나

smiling, campaigning,

building a sense of trust with my constituents.

유권자들과 신뢰를 쌓는 모습이었습니다.

And as the weeks went on,

시간이 지나면서 문자는 더 미친 듯이 쏟아졌고

messages flooded in faster and faster,

and they were of a very vile and sexual nature.

몹시 불쾌하고 성적인 내용이었습니다.

Ding!

딩!

"We've all seen your little video."

‘네 영상 다 봤어!’

Ding!

딩!

‘부끄러운 줄 알아!’

"You should be ashamed of yourself."

Ding!

딩!

"Ah, now I see how you got your position in politics."

‘정계에 어떻게 진출했는지 알겠군!’

(한숨)

정말 힘들었어요.

It was very difficult.

And having been in politics since the age of 23,

저는 23살에 정계에 진출했고

and at this point I've been in it for about four to five years,

이제 약 4~5년 된 시점이었습니다.

and I'm from Northern Ireland, which is a post-conflict society,

저는 북아일랜드 출신인데

분쟁을 겪었고 여전히 심각하게 분단된 사회입니다.

still very deeply divided.

So I anticipated challenges,

그래서 고될 걸 예상했고

I anticipated disagreements,

의견 충돌도 예상했고 공격까지도 예상했습니다.

I even anticipated attacks, is politics after all.

정치란 그런 거니까요.

하지만 이건 예상하지 못했습니다.

But what I did not anticipate was this moment.

This was different.

이건 달랐습니다.

이건 여성 혐오에 기술이 악용된 것이었고

This was the moment where misogyny meets the misuse of technology,

and even had the potential to impact the outcome of a democratic election.

민주적인 선거 결과에 영향을 줄 수도 있었습니다.

And the sad thing for me was this lie became so far spread,

제가 정말 슬펐던 건

거짓말이 너무나 순식간에 너무나 멀리 퍼져서

so far, so fast,

that even my own family started to believe it.

가족들까지 믿기 시작했다는 겁니다.

Some would say that they'd heard it at a golf club,

누구는 골프 모임에서 들었다고 하고

others would say they heard it at the bar,

누구는 술집에서 들었다고 하고

또 누구는 탈의실에서 들었다고도 했죠.

and of course, some even said they heard it in a locker room.

A really good example of how far this went

이 거짓말이 얼마나 멀리 퍼졌는지

was people that I knew my entire life

평생을 알고 지내던 사람들이

would pass me in the street without whispering a word.

저를 길거리에서 마주쳐도 말 한마디 없이 지나쳤어요.

People like school teachers,

학교 선생님, 신뢰하던 사람들,

people I had a sense of trust with

and, you know, an affinity with.

친밀감을 느꼈던 사람들이었죠.

And that was really hard.

그건 너무 힘들었어요.

It felt like overnight I was wearing a scarlet letter.

하루아침에 주홍 글씨가 새겨진 것 같았죠.

And as things moved on

시간이 지나고 선거까지 2~3주 남았을 때도

and were about two, three weeks out from the election,

I kept receiving messages, and it got wider and wider.

문자는 계속 왔고

거짓말은 더 멀리 퍼져서 전 세계에서 왔죠.

It was global.

Not only was I receiving messages from Dublin and from London,

더블린과 런던에서 보낸 것도 모자라

but I was also receiving messages from Massachusetts, Manhattan,

매사추세츠와 맨해튼에서도 보냈습니다.

and I was getting so many follows on my political social media,

제 정치 소셜 계정은 구독자가 마구 늘어났는데

predominantly from men hungry for more of this scandal.

대부분이 이 추문에 굶주린 남자였죠.

And this intersection of online harms impacting my real life

온라인에서 받은 피해가 현실에서도 영향을 미치니

was something I found utterly strange and surreal.

정말 이상하고 비현실적이었습니다.

But it got to the point where I was recognized on the street

결국 길에서 누구나 저를 알아보게 됐고

and approached by a stranger who asked me for a sexual favor.

낯선 사람이 저에게 성적 요구를 하기까지 이르렀죠.

And it was just, for me, it was like in the blink of an eye,

제가 느끼기에는 정말 눈 깜짝할 사이에

everything had just changed,

모든 게 변한 것 같았습니다.

and it was utterly humiliating.

너무 치욕스러웠고 집 밖에 나가기 싫었습니다.

I didn't want to leave the house,

and I had turned notifications off in my phone

숨통이 조금 트이도록 핸드폰 알람을 전부 껐습니다만

just so I could kind of catch my breath,

but this wasn't ideal in the lead up, of course, to an election.

선거를 앞둔 상황에 그럴 수도 없었죠.

And for me, I think that was the purpose of this false video, was to do just that.

이 가짜 영상이 노린 게 바로 그거라고 생각해요.

But what hurt the most for me

그런데 가장 마음 아팠던 건

아빠를 앉혀 놓고

was sitting down my father

and having to explain to him this strange, surreal situation.

이상하고 비현실적인 이 일을 설명하는 거였습니다.

My father is an Irishman,

저희 아빠는 아일랜드인이고

completely disconnected from tech,

기술은 전혀 모르시기 때문에

and so having to explain

이 끔찍한 상황이

this horrific situation was an entire fabrication

전부 완전한 조작이라고 설명하는 건

was very hard to do.

너무나 어려웠습니다.

This was this strange moment

온라인 세상이

제 현실 세상과 만나다니 참으로 이상했죠.

where the online world met my life, my reality.

Not only having the impact to ruin my reputation,

이 영상은 제 평판을 망칠 뿐만 아니라

but have the capacity to change the outcome

민주적인 선거 결과를 바꿀 힘도 있습니다.

of a democratic election.

And, you know,

유권자들과 신뢰를 쌓는 데 수년간 많은 시간을 썼어요.

for years I spent so much time building trust with my constituents.

I mean, we all know how much people like politicians.

사람들이 정치인을 얼마나 좋아하는지 잘 아시잖아요.

(웃음)

You know, we’re as likeable as the tax man.

세무서 직원만큼 호감형이죠.

So for me, it was hard.

그래서 힘들었습니다, 정말 힘들었죠.

It was really hard

because it was years of hard work.

수년간 공을 들였었거든요.

You know, I’m so passionate about my job,

전 제 일에 정말 열정적인데

and this video, this complete falsehood,

완벽히 조작된 이 영상은

had the ability to just undermine years of hard work in mere seconds.

단 몇 초 만에 수년간의 노력을 무너뜨릴 수 있었죠.

But instead of succumbing entirely to victimhood,

전 피해자라는 사실에 좌절하는 대신 제 자신에게 물었습니다.

I ask myself today,

you know, where do we go from here?

’이제 어떡해야 할까?

And how can AI evolve to prevent something like this happening again?

이런 참사가 재발하는 걸 막으려면 AI는 어떻게 발전해야 할까?

Not only has it happened to me,

이런 일을 나뿐 아니라 훗날의 여성들도

but we want to future-proof and ensure that this doesn't happen

당하지 않도록 대비하고 싶은데.

to the women of tomorrow.

다른 사람을 아끼는 사람들, 즉, 여러분과 나, 우리들이

How can we, you and I, people who care about people,

ensure that this is a tech for good?

어떻게 이 기술이 선을 위한 것이 되도록 만들 수 있을까?

How can we, the policymakers, the creators, the consumers,

정책 입안자, 창작가, 소비자가

ensure we regulate AI and things like social media,

인공 지능의 중심에 인류와 인간성을 두도록

putting humans and humanity at the center of artificial intelligence?

어떻게 AI와 SNS 같은 것들을 규제할 수 있을까?′

AI can change the world.

AI는 세상을 바꿀 수 있습니다.

실은 오늘 들었듯이 이미 바꾸었죠.

In fact, as we've heard today, it already has.

In a matter of seconds,

서로 언어가 완전히 다르더라도 사람들은 단 몇 초 만에

people who speak completely different languages

can connect and understand one another.

서로를 만나고 이해할 수 있습니다.

And we've even seen the Pope as a style icon in a puffer jacket.

교황이 유행하는 패딩 점퍼를 입은 것도 봤잖아요.

So some really important uses right there.

유용하게 쓰일 때도 있긴 하죠.

But then in my case as well,

하지만 제 경우처럼 진실을 공격하는 무기도 됩니다.

we can also see how it is weaponized against the truth.

And good examples of this would be art that appears like reality,

예로 현실 같은 미술 작품을 만들거나

AI-generated reviews unfairly boosting certain products

AI가 쓴 후기로 특정 제품을 부당하게 홍보하거나

and things like chatbot propaganda.

챗봇으로 선전하는 경우가 있죠.

And then, politically speaking,

또 정치적인 면에선

수년간 딥페이크 영상으로 낸시 펠로시가 횡설수설하는 것과

we've seen over the years deepfakes of Nancy Pelosi slurring,

Joe Biden cursing

조 바이든이 욕하는 것과

젤렌스키 대통령이 자기 군인들에게 무기를 버리라고 명령한 걸 봤죠.

and even President Zelensky

asking his soldiers to surrender their weapons.

So when AI is used like this, to manipulate,

따라서 AI를 이런 식으로, 조작에 사용한다면

it can be a threat to our democracy.

민주주의에 위협이 될지도 모릅니다.

And the tech is becoming so advanced

또 기술이 엄청나게 발전해서

that it's hard to differentiate fact from fiction.

사실과 허구를 구별하기가 어려워지고 있죠.

So how does AI interfere with politics?

그렇다면 AI는 어떻게 정치에 간섭할까요?

And for us as politicians, what should we be worried about?

우리 정치인은 무엇을 걱정해야 할까요?

Could truth and democracy become shattered by AI?

AI가 진실과 민주주의를 무너뜨릴 수 있을까요?

Has it already?

이미 무너뜨렸을까요?

Well, to dive a little deeper here,

여기서 좀 더 깊게 들어가려면

I think firstly we need to talk about the concept of truth.

먼저 진실이란 무엇인지를 우선 얘기해야 할 것 같습니다.

Without truth, democracy collapses.

진실이 없으면 민주주의는 무너져요.

Truth allows us to make informed decisions,

진실은 정보를 바탕으로 결정하게 하고

it enables us to hold leaders accountable, which is very important.

지도자들에게 책임을 물을 수 있게 합니다.

아주 중요한 부분이죠.

And it also allows us, as political representatives,

또한 우리 같은 정치인들이

to create a sense of trust with our citizens and our constituents.

시민과 유권자들과 신뢰감을 형성하게 합니다.

하지만 이런 진실이 없다면

But without that truth,

democracy is vulnerable to misinformation,

민주주의는 허위 정보나

조작, 부패에 당하기 쉽습니다.

manipulation, and, of course, corruption.

When AI erodes truth,

AI가 진실을 갉아먹으면

it erodes trust,

신뢰가 흔들리고 민주주의도 무너집니다.

and it undermines our democracy.

And for me, in my experience with a deepfake,

제가 딥페이크를 직접 당해 보니

I've seen what a fantastic distortion tool that deepfakes really are.

딥페이크는 사실을 왜곡하는 데 가장 적절한 도구라는 걸 느꼈습니다.

So how can we safeguard democracy from this ever-advancing technology?

그럼 계속 발전하는 기술로부터 어떻게 민주주의를 지킬 수 있을까요?

It's becoming ever harder to distinguish between real and synthetic content.

실제 정보와 가짜 정보를 구분하는 게 더 어려워지고 있습니다.

And politically, what role does AI play in the future?

미래에 AI는 정치적으로 어떤 역할을 할까요?

And I can't talk about politics without talking about media as well.

정치를 얘기할 때 미디어가 빠질 수 없죠.

They're undeniably linked, they're intertwined.

둘은 명백히 연결되어 있고 서로 얽혀 있습니다.

And I think journalism has its own battle here as well.

언론 역시 자신의 싸움을 벌이고 있죠.

From AI algorithms boosting articles unfairly

기사를 부당하게 노출하는 AI 알고리즘과 낚시성 표제,

to clickbait headlines,

and then also moments where they can manipulate the public as well.

대중을 쉽게 조종할 수 있는 상황까지 말이죠.

But politically speaking,

그런데 정치적인 면에선 AI가 조작한 정치 메시지가

we've seen AI-tailored political messaging

influencing voters,

유권자들에게 영항을 주고 기존의 편견을 심화합니다.

we’ve seen it adding to existing bias.

페이스북에서 본 건 다 믿는 친척 한 명쯤은 아시잖아요.

And definitely I think we all have that aunt that’s on Facebook

and kind of believes anything.

So for me, as a politician,

저는 정치인으로서

I think it's really important we dive a little deeper

AI, 언론, 미디어의 관계를

into the relationship of AI, journalism and media.

좀 더 깊게 살펴야 한다고 봅니다.

But it also puts us at risk

자칫하면 분열되고 시대에 역행하는 사회가 될 위험도 있습니다.

of creating a more divided and reactionary society,

거짓은 큰 반응을 이끌어 낼 수 있으니까요.

because falsehoods can create a lot of reaction.

And for myself, coming from Northern Ireland,

분쟁을 겪은 북아일랜드 출신으로서

which is that post-conflict society,

I do have concerns about how it could shape our political landscape

AI가 정치 환경과 세계 곳곳에 어떤 영향을 미칠지 심히 우려됩니다.

and other places across the globe.

슬프게도

Sadly, this deepfake video

제가 경험한 AI 악용은 이 딥페이크 영상만이 아닙니다.

is not the only instance of me having experienced abuse with AI.

Just six months ago,

불과 6개월 전에 딥페이크 사진 15장을 받았는데

I received 15 deepfake images of myself in lingerie

제가 속옷을 입고 자극적인 자세를 취하고 있었죠.

posing provocatively.

And I thought to myself, here we go again.

속으로 생각했습니다, ‘또 시작이네.’

And you know, I spoke with some other female politicians.

저는 다른 여성 정치인들과 얘기를 나눴어요.

Thankfully, where I represent, we have more women getting into politics.

다행히 제가 대표하는 곳엔 정치에 입문하는 여성이 많죠.

But I had a really good conversation with them,

정말 좋은 대화를 나눴고

and it’s around, if this is happening to you now,

지금 당신한테 일어나는 일이 내일은 나한테 일어나겠죠 같은 얘기였습니다.

what happens to me tomorrow?

And I think this really strikes at the heart of the climate of fear

저는 이것이 공인들에게 AI가 공포감을 주는

that AI can create for those in public life.

진짜 근원이라고 생각했습니다.

And I don't blame women.

저는 여성들을 탓하지 않아요, 그건 몹시 안된 일이죠.

It's very sad.

I don't blame women for not wanting to get into politics

이런 기술 발전을 보고 정치 입문을 꺼리는 여성을 탓할 게 아니라

when they see this kind of technology come forward,

so that's so important that we safeguard it.

이들을 안전하게 보호해야 하는 것입니다.

What also concerned me was the position of elderly voters

또 제가 우려했던 점은 나이 든 유권자들의 상황과

매체 이해력 및 이 기술의 이해도였습니다.

and perhaps their media literacy,

their comprehension of this technology.

People who don't use the internet,

이들은 인터넷을 쓰지 않으며

who perhaps are not aware of AI and its many, many uses.

AI와 그 수많은 용도를 잘 모를 것입니다.

So that was really concerning as well.

그래서 이 점도 심히 우려됐죠.

하지만 꼭 이런 식일 필요는 없어요.

But it doesn't have to be this way.

We can be part of the change.

우리가 변화의 일부가 될 수 있죠.

For me and my video,

제 영상 같은 경우엔

I still don't know, to this day, who did this.

오늘까지 여전히 누가 만든 건지 모릅니다.

I can imagine why they did it, but I don't know who did it.

이유는 짐작이 가지만 누군지는 모르겠어요.

And sadly for me and for across the globe,

저와 전 세계 사람들에겐 안타깝지만

it still wouldn't be considered a crime.

여전히 범죄로 간주되지도 않습니다.

So from being the enemy of fair, transparent,

따라서 공정과 정직, 그리고 선한 정치인들의 적부터

good-natured politics,

to warfare, to international interference,

전쟁과 국제적 혼란까지,

AI는 그 장점과 잠재력이 있지만,

despite its beauty and its potential,

AI is still a cause for concern.

여전히 우려 대상입니다.

But it doesn't have to be this way.

하지만 꼭 이런 식일 필요는 없죠.

I feel passionately that AI can be a humanistic technology

전 AI가 인간 가치를 담은 인본주의적 기술로

with human values

that complements the lives that we live

우리의 삶을 보완하고

to make us the very best versions of ourselves.

더 나은 사람이 되도록 해 준다고 믿습니다.

그런데 그러기 위해선

But to do that,

I think we need to embed ethics into this technology,

이 기술에 윤리를 결합해서

to eliminate bias, to install empathy

편견을 없애고 공감을 형성하고

and make sure it is aligned with human values and human principles.

인간의 가치와 원칙에 부합하도록 해야 합니다.

Who knows, our democracy could depend on it.

우리 민주주의가 AI를 잘 활용할 수 있을지도 모르죠.

And today I know we have some of the brightest minds in this room.

오늘 지성인들이 한곳에 모였습니다.

I heard some of the talks earlier, and I'm certain of that.

아까 몇몇 강연을 듣고 확신했죠.

And I know each and every one of you have weight on your shoulders

여러분 모두가 미래를 바라보며 책임감을 느낀다는 걸 압니다.

when looking to the future.

But I also know each and every one of you want to see this tech for good.

또 이 기술을 앞으로도 계속 보고 싶어 한다는 것도 알죠.

And what gives me hope

제게 희망을 주는 것은

is witnessing the movement right across the globe

전 세계에서 이런 힘든 일을 시작하는 움직임이 보인다는 겁니다.

to see this hard journey begin,

to regulate this ever-advancing technology,

선과 악 양날을 지닌 채 계속 발전하는 이 기술을 규제하고 있는 것입니다.

which can be used for bad or for good.

이 자리에 있는 우리 모두가

But perhaps we, each and every one of us in this room,

해결책을 찾는 데 일부가 될 수 있을지도 모릅니다.

can be part of finding the solution.

(Applause)

(박수)