Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

번역: Soobin Ahn 검토: Jihyeon J. Kim

Look at these images.

이 사진들을 봐 주세요.

Now, tell me which Obama here is real.

이제 이 중에서 어떤 게 실제 오바마인지 맞춰보세요.

(Video) Barack Obama: To help families refinance their homes,

버락 오바마: 가족들의 주택 재융자를 돕기도 하고

to invest in things like high-tech manufacturing,

좋은 일자리를 늘리는 최첨단 제조산업이나

clean energy

청정 에너지,

and the infrastructure that creates good new jobs.

사회 기반 시설에 투자하기도 했습니다.

Supasorn Suwajanakorn: Anyone?

수파손 수와자나콘: 맞춰보실 분?

The answer is none of them.

이 중 실제 오바마는 아무도 없습니다.

(Laughter)

(웃음)

None of these is actually real.

이 중 진짜인 건 아무 것도 없어요.

So let me tell you how we got here.

이걸 어떻게 했는지 알려드릴게요.

My inspiration for this work

이 작업의 시작은

was a project meant to preserve our last chance for learning about the Holocaust

홀로코스트 생존자로부터 배울 마지막 기회를 보존할 프로젝트였습니다.

from the survivors.

It's called New Dimensions in Testimony,

새로운 차원의 증언이라고 부르고

and it allows you to have interactive conversations

이를 통해 홀로코스트 생존자 홀로그램과 소통할 수 있습니다.

with a hologram of a real Holocaust survivor.

(Video) Man: How did you survive the Holocaust?

남자: 홀로코스트에서 어떻게 살아남으셨나요?

(Video) Hologram: How did I survive?

홀로그램: 어떻게 살아남았냐고요?

I survived,

제가 살아남은 건

I believe,

제가 생각하기에

because providence watched over me.

신의 섭리가 저를 지켜줬기 때문인 것 같아요.

SS: Turns out these answers were prerecorded in a studio.

이 대답들은 스튜디오에서 미리 녹화된 것이었습니다.

Yet the effect is astounding.

하지만 그 효과는 믿기 어려울 정도였습니다.

You feel so connected to his story and to him as a person.

사람들은 그의 이야기와 그에게 인간적으로 연결되어있다고 느꼈습니다.

I think there's something special about human interaction

저는 책이나 강의, 영화가 가르쳐주는 것보다는

that makes it much more profound

사람들이 상호작용하는 것에

and personal

더 깊고 개인적인 것으로 받아들이게 만드는

than what books or lectures or movies could ever teach us.

특별한 무언가가 있다고 생각합니다.

So I saw this and began to wonder,

그래서 이걸 보고 궁금해졌습니다.

can we create a model like this for anyone?

우리가 누구에게나 적용할 수 있는 모델을 만들 수 있을까?

A model that looks, talks and acts just like them?

그 사람들과 똑같이 생기고 말하고 행동하도록 만들 수 있을까?

So I set out to see if this could be done

그래서 이게 가능한지 확인해보기로 했습니다.

and eventually came up with a new solution

그리고 결국 이것 하나만 있으면

that can build a model of a person using nothing but these:

실제 사람의 모델을 만들 수 있는 새로운 방법을 찾았습니다.

existing photos and videos of a person.

바로 그 사람의 사진과 동영상만 있으면 됩니다.

If you can leverage this kind of passive information,

그냥 여기 저기에서 모을 수 있는 정보인

just photos and video that are out there,

사진과 동영상을 이용할 수 있다면

that's the key to scaling to anyone.

그것이 누구에게나 적용할 수 있는 비법입니다.

By the way, here's Richard Feynman,

그나저나, 여기 리차드 파인만이 있습니다.

who in addition to being a Nobel Prize winner in physics

노벨 물리학상 수상자이자

was also known as a legendary teacher.

전설적인 선생님으로도 알려진 분이죠.

Wouldn't it be great if we could bring him back

만약 우리가 그를 다시 데려와서

to give his lectures and inspire millions of kids,

수백만 명의 아이들을 가르치고 감동시킬 수 있다면 멋지겠죠?

perhaps not just in English but in any language?

영어뿐만 아니라 모든 언어로 가능하다면요?

Or if you could ask our grandparents for advice and hear those comforting words

또는 돌아가신 조부모님에게

조언과 위로를 들을 수 있다면 어떨까요?

even if they're no longer with us?

Or maybe using this tool, book authors, alive or not,

아니면 이 기술을 이용해서 돌아가셨거나 살아계신 작가들이

could read aloud all of their books for anyone interested.

직접 그들의 책을 관심있는 사람들에게 읽어준다면 어떤가요?

The creative possibilities here are endless,

여기에 담긴 창의적인 가능성은 무한합니다.

and to me, that's very exciting.

저도 굉장히 신납니다.

And here's how it's working so far.

그리고 지금까지 이용한 작동원리를 보여드리겠습니다.

First, we introduce a new technique

먼저 직접 3D 스캔을 하지 않고도

that can reconstruct a high-detailed 3D face model from any image

사진을 이용해 굉장히 상세한 3D 얼굴 모델을

without ever 3D-scanning the person.

재현하는 새로운 기술을 소개합니다.

And here's the same output model from different views.

그 결과물 모델을 다른 각도에서 보면 이렇습니다.

This also works on videos,

이 기술은 비디오에도 적용할 수 있는데

by running the same algorithm on each video frame

비디오 프레임마다 같은 알고리즘을 적용해

and generating a moving 3D model.

움직이는 3D 모형을 만들어냅니다.

And here's the same output model from different angles.

그 결과물 모델을 다른 각도에서 보면 이렇습니다.

It turns out this problem is very challenging,

이건 쉽지 않은 도전이지만

but the key trick is that we are going to analyze

중요한 묘책은 그 사람의 수많은 사진을

a large photo collection of the person beforehand.

사전에 분석할 것이라는 겁니다.

For George W. Bush, we can just search on Google,

조지 W. 부시는 구글에서 쉽게 찾을 수 있습니다.

and from that, we are able to build an average model,

그래서 일반적인 모델뿐만 아니라

an iterative, refined model to recover the expression

주름처럼 굉장히 자세한한 부분까지도 표현하는

in fine details, like creases and wrinkles.

반복적이고 정제된 모델을 만들 수 있습니다.

What's fascinating about this

정말 대단한 건

is that the photo collection can come from your typical photos.

일반적인 사진으로도 사진 모음집을 만들 수 있다는 겁니다.

It doesn't really matter what expression you're making

무슨 표정이든지, 어디에서 찍었든지

or where you took those photos.

전혀 상관이 없습니다.

What matters is that there are a lot of them.

중요한 건 사진이 많아야 한다는 것이죠.

And we are still missing color here,

그리고 여기엔 아직 색깔이 없죠.

so next, we develop a new blending technique

그래서 다음으로는 단순한 평균법을 개선하여

that improves upon a single averaging method

섬세한 얼굴 질감과 색을 만들 수 있는

and produces sharp facial textures and colors.

새로운 혼합 기술을 발전시켰습니다.

And this can be done for any expression.

이건 어떤 표정에도 적용할 수 있습니다.

Now we have a control of a model of a person,

이제 사람 모형을 조절할 수 있어서,

and the way it's controlled now is by a sequence of static photos.

연속적인 정지된 사진으로 조절할 수 있습니다.

Notice how the wrinkles come and go, depending on the expression.

주름이 표정에 따라 어떻게 생기고 사라지는지 보세요.

We can also use a video to drive the model.

동영상으로도 이 모델을 움직이게 할 수 있습니다.

(Video) Daniel Craig: Right, but somehow,

(영상) 다니엘 크레이그 : 맞아요, 하지만 왜인지

we've managed to attract some more amazing people.

저희는 가까스로 더 굉장한 사람들의 관심을 받았어요.

SS: And here's another fun demo.

수파손: 여기 또 다른 재미있는 데모가 있습니다.

So what you see here are controllable models

여기에는 제가 조절할 수 있는 모델이 있습니다.

of people I built from their internet photos.

인터넷에 있는 사진들로 만든 것이죠.

Now, if you transfer the motion from the input video,

이제, 입력 동영상의 움직임을 이동시키면

we can actually drive the entire party.

모든 모델을 움직일 수 있죠.

George W. Bush: It's a difficult bill to pass,

조지 W. 부시: 이건 통과되기 어려운 법안입니다.

because there's a lot of moving parts,

변동되는 부분이 많기 때문입니다.

and the legislative processes can be ugly.

입법 과정은 굉장히 추잡해질 수도 있습니다.

(Applause)

(박수)

SS: So coming back a little bit,

수파손: 원래 이야기로 돌아와서

our ultimate goal, rather, is to capture their mannerisms

저희의 궁극적인 목표는 사람들의 버릇이나

or the unique way each of these people talks and smiles.

각자 가지고 있는 말하고 웃는 방식을 정확히 찾는 것입니다.

So to do that, can we actually teach the computer

그렇게 하기 위해서, 컴퓨터가 어떤 사람의 동영상만 보고도

to imitate the way someone talks

그 사람이 말하는 방식을 모방하도록

by only showing it video footage of the person?

가르칠 수 있을까요?

And what I did exactly was, I let a computer watch

그래서 저는 컴퓨터에게 14시간 동안

14 hours of pure Barack Obama giving addresses.

버락 오바마가 연설하는 모습을 보여주었습니다.

And here's what we can produce given only his audio.

그리고 이것이 그의 목소리만으로 만든 영상입니다.

(Video) BO: The results are clear.

(영상) 오바마: 결과는 확실합니다.

America's businesses have created 14.5 million new jobs

75달 동안 미국 사업은 새로운 일자리 1450만 개를

over 75 straight months.

창출했습니다.

SS: So what's being synthesized here is only the mouth region,

수파손: 여기에서 합성한 곳은 입 부분뿐입니다.

and here's how we do it.

이걸 어떻게 했는지 말씀 드릴게요.

Our pipeline uses a neural network

파이프라인은 입 부분에 소리를 넣기 위해

to convert and input audio into these mouth points.

신경망을 이용합니다.

(Video) BO: We get it through our job or through Medicare or Medicaid.

(영상) 오바마: 여러분의 직업이나 취약계층 의료보험제도를 통해서도 가능합니다.

SS: Then we synthesize the texture, enhance details and teeth,

수완손: 그리고 질감을 합성하고 치아와 세밀한 부분까지 표현한 후,

and blend it into the head and background from a source video.

원본 비디오를 이용해 머리와 배경에 잘 맞도록 혼합합니다.

(Video) BO: Women can get free checkups,

(영상) 오바마: 여성은 무료로 건강검진을 받을 수 있고

and you can't get charged more just for being a woman.

여성이라는 이유만으로 더 많이 청구받지 않을 것입니다.

Young people can stay on a parent's plan until they turn 26.

청년들은 만 26세까지 부모님의 의료보험 혜택을 받을 수 있습니다.

SS: I think these results seem very realistic and intriguing,

수완손: 이 결과들은 정말 사실적이고 흥미롭지만

but at the same time frightening, even to me.

심지어 저도 무섭습니다.

Our goal was to build an accurate model of a person, not to misrepresent them.

저희는 정확한 모델을 만들고 싶은 것이지, 사칭하고 싶은 것이 아닙니다.

But one thing that concerns me is its potential for misuse.

하지만 악용될 가능성이 있기 때문에 우려됩니다.

People have been thinking about this problem for a long time,

사람들은 오랫동안 이 문제에 대해 생각했습니다.

since the days when Photoshop first hit the market.

포토샵이 처음 출시됐을 때부터 말이죠.

As a researcher, I'm also working on countermeasure technology,

연구원으로서 대책 기술을 개발하고 있으며

and I'm part of an ongoing effort at AI Foundation,

조작된 사진과 영상을 감지하기 위해서

which uses a combination of machine learning and human moderators

기계학습과 인간 중재자의 조합인

to detect fake images and videos,

AI 기초를 세우고 있습니다.

fighting against my own work.

제 일과 반대되어 싸우는 일이죠.

And one of the tools we plan to release is called Reality Defender,

출시 계획 중에 있는 또 다른 제품은 리얼리티 디펜더입니다.

which is a web-browser plug-in that can flag potentially fake content

위조된 컨텐츠는 브라우저에서 바로 자동으로 표시해주는

automatically, right in the browser.

브라우저 플러그인이죠.

(Applause)

(박수)

Despite all this, though,

하지만 이러한 노력에도 불구하고

fake videos could do a lot of damage,

조작 영상은 심지어 누군가 알아채기도 전에

even before anyone has a chance to verify,

큰 피해를 입힐 수 있습니다.

so it's very important that we make everyone aware

그래서 우리 모두 현재 어떤 게 가능한지 아는 것이

of what's currently possible

굉장히 중요합니다.

so we can have the right assumption and be critical about what we see.

그래야 올바르게 추측하고 비판적인 시각으로 볼 수 있으니까요.

There's still a long way to go before we can fully model individual people

우리가 사람들의 모델을 만들기 전에

and before we can ensure the safety of this technology.

이 기술의 안정성을 확신하기 전에 가야 할 길은 아직도 멉니다.

But I'm excited and hopeful,

하지만 저는 굉장히 신나고 기대하고 있습니다.

because if we use it right and carefully,

우리가 올바르고 주의 깊게 사용한다면

this tool can allow any individual's positive impact on the world

이 기술은 누구나 세상에 긍정적인 영향을 미치게 하고

to be massively scaled

대규모로 확대될 것입니다.

and really help shape our future the way we want it to be.

우리가 정말로 원하는 미래를 만드는데 도움이 되기 때문입니다.

Thank you.

감사합니다.

(Applause)

(박수)