Paul Debevec animates a photo-real digital face

번역: Taegon Kim 검토: Miryoung Lee

One of the biggest challenges in computer graphics

컴퓨터 그래픽 분야의 가장 큰 과제 중 하나는

has been being able to create a photo-real,

사람의 얼굴을 디지털로 포토리얼하게

digital human face.

표현하는 것이었습니다.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

이 과제가 어려운 이유 중 하나는 우리가 사람의 얼굴을

we look at human faces every day.

외계인이나 공룡과는 달리 매일 보기 때문입니다.

They are very important to how we communicate with each other.

얼굴은 의사소통을 하는 데 무척 중요한 역할을 합니다.

As a result, we're tuned in to the subtlest things

그래서 컴퓨터로 만든 얼굴을 진짜처럼

that could possibly be wrong with a computer rendering,

느낄 수 있게 만들기 위해 컴퓨터 렌더링 과정에서

in order to believe whether these things are realistic.

잘못될 수 있는 것까지 세세하게 조정했습니다.

And what I'm going to do in the next five minutes

앞으로 5분간 저는 여러분에게 우리가

is take you through a process

컴퓨터로 포토리얼에 가까운 얼굴을 만들기 위해

where we tried to create a reasonably photo-realistic computer-generated face,

노력해 온 과정을 소개할까 합니다.

using some computer graphics technology we've developed,

이 과정에서 저희가 이미지 메트릭스(Image Metrics)사와 공동 개발한

and also some collaborators at a company called Image Metrics.

컴퓨터 그래픽 기술을 사용했습니다.

And we're going to try to do a photo-real face

우리는 에밀리라는 여배우의 얼굴을 포토리얼하게

of an actress named Emily O'Brien, who is right there.

표현하고자 했습니다. 지금 보고 계시는 분이죠.

And that's actually a completely computer-generated rendering of her face.

그리고 이것이 컴퓨터만으로 렌더링한 얼굴입니다.

By the end of the talk, we're going to see it move.

강연이 끝날 쯤에는 얼굴이 움직이는 것을 볼 수 있습니다.

The way that we did this is we tried to start with Emily herself,

이 프로젝트는 처음부터 에밀리와 함께 했는데

who was gracious enough to come to our laboratory

에밀리는 고맙게도 마리나 델 레이에 있는 저희 연구소에

in Marina Del Rey, and sit for a session in Light Stage 5.

직접 와서 라이트 스테이지 5(Light Stage 5) 세션에 참가했어요.

This is a face-scanning sphere, with 156 white LEDs all around

이것이 156개의 백색 LED가 달려있는 안면 스캐닝 스피어입니다.

that allow us to photograph her

사진을 찍는 동안

in a series of very controlled illumination conditions.

조명 상태를 아주 세밀하게 조정할 수 있죠.

And the lighting that we use these days looks something like this.

그리고 이 때 사용했던 조명은 이랬습니다.

We shoot all of these photographs in about three seconds.

이 사진들은 모두 3초 만에 찍은 것입니다.

And we basically capture enough information

우선 에밀리 얼굴의 전체 윤곽에서 세밀한 부분까지

with video projector patterns that drape over the contours of her face,

파악하기 위해 다양한 비디오 프로젝터의 패턴과

and different principle directions of light from the light stage,

라이트 스테이지의 다양한 조명 각도로부터

to figure out both the coarse-scale

충분한 정보를

and the fine-scale detail of her face.

뽑아냅니다

If we zoom in on this photograph right here,

지금 보시는 사진을 확대해보면

we can see it's a really nice photograph to have of her,

아주 좋은 사진임을 알 수 있습니다.

because she is lit from absolutely everywhere at the same time

에밀리 얼굴이 동시에 골고루 빛을 받아서

to get a nice image of her facial texture.

양질의 안면 질감 이미지를 얻을 수 있기 때문입니다.

And in addition, we've actually used polarizers on all the lights --

그리고 저희는 모든 빛에 편광기를 사용했습니다.

just like polarized sunglasses can block

도로의 눈부심을 막아주는

the glare off of the road,

편광 선글라스처럼 말이죠.

polarizers can block the shine off of the skin,

편광기가 피부에 들어오는 빛을 차단해주기 때문에

so we don't get all those specular reflections to take this map.

이 화상에는 반사광이 없습니다.

Now, if we turn the polarizers around just a little bit,

저희가 편광기의 방향을 조금만 바꾸면

we can actually bring that specular reflection

사진에 피부의 반사광이

of the skin back in,

찍힙니다.

and you can see she looks kind of shiny and oily at this point.

방금 번들거리는 에밀리의 얼굴을 보실 수 있었죠.

If you take the difference between these two images here,

두 이미지의 차이점을 구해보면

you can get an image lit from the entire sphere of light

에밀리의 피부 표면에서 반사되고 있는

of just the shine off of Emily's skin.

스피어의 모든 빛이 담긴 이미지를 얻을 수 있습니다.

I don't think any photograph like this had ever been taken

아마 저희가 하기 전에는 이런 식으로

before we had done this.

찍은 사진이 없었을 것입니다.

And this is very important light to capture,

이 빛을 잡아내는 일은 아주 중요합니다.

because this is the light that reflects off the first surface of the skin.

피부의 표층에서 반사되는 빛이기 때문입니다.

It doesn't get underneath the translucent

피부 속으로 흡수되었다가

layers of the skin and blur out.

스며나오는 빛이 아니에요.

And, as a result, it's a very good cue

그 때문에 우리들이 가지고 있는 모공의 구조나

to the detailed shape of the skin-pore structure

자잘한 주름처럼 진짜 사람으로 보이게

and all of the fine wrinkles that all of us have,

해주는 특징들에 대해

the things that actually make us look like real humans.

자세히 알려줍니다.

So, if we use information that comes off of this specular reflection,

그래서 기존의 안면 스캔에서 얻을 수 있는

we can go from a traditional face scan

전체적인 윤곽과 기본 형태 위에

that might have the gross contours of the face and the basic shape,

반사광 이미지에서 얻을 수 있는

and augment it with information

모공 구조와 자잘한 주름 등의

that puts in all of that skin pore structure and fine wrinkles.

정보를 더했습니다.

And, even more importantly,

더 중요한 것은

since this is a photometric process that only takes three seconds to capture,

3분 정도면 찍을 수 있는 광도 측정 과정만 거치면 되는

we can shoot Emily

작업이기 때문에 에밀리가

in just part of an afternoon,

오후에 잠깐 시간을 내서

in many different facial poses and facial expressions.

다양한 표정을 지어주기만 하면 됩니다.

So, here you can see her moving her eyes around, moving her mouth around.

여기 에밀리가 눈을 움직이고, 입을 움직이는 것을 보실 수 있죠.

And these we're actually going to use to create a photo-real digital character.

이걸로 실제 포토리얼 디지털 캐릭터를 만들어 낼 겁니다.

If you take a look at these scans that we have of Emily,

우리가 스캔한 에밀리 사진을 보세요.

you can see that the human face does an enormous amount of amazing things

각기 다른 얼굴 표현에 따라서 사람의 얼굴이

as it goes into different facial expressions.

굉장히 놀라운 일을 하는 것이 보실 수 있어요.

You can see things. Not only the face shape changes,

얼굴 형태만 변하는 게 아니라

but all sorts of different skin buckling and skin wrinkling occurs.

얼굴을 찡그리고 주름이 생기고

You can see that the skin pore structure changes enormously

모공 조직이 엄청나게 변하죠.

from stretched skin pores

늘어났다가

to the regular skin texture.

정상으로 돌아오고요.

You can see the furrows in the brow and how the microstructure changes there.

이마의 주름과 그 주름의 미세조직이 변화하는 것과

You can see muscles pulling down at flesh to bring her eyebrows down.

피부의 근육이 눈썹을 내려당기는 것을 볼 수 있을 것입니다.

Her muscles bulging in her forehead when she winces like that.

보는 것처럼 움찔할 때는 앞 이마의 근육이 불거져 나옵니다.

In addition to this kind of high-resolution geometry,

모두 사진기로 찍은 이미지들이기 때문에

since it's all captured with cameras, we've got a great texture map to use for the face.

이런 종류의 고해상도 화상 외에 얼굴 질감을 기막히게 표현할 수 있는 화상도 갖게 되었습니다.

And by looking at how the different color channels of the illumination,

그리고 빨강, 초록, 파랑 세 가지 조명 색상 채널의

the red and the green and the blue,

차이점을 살펴보니

diffuse the light differently,

빛을 다르게 산란시키고 있더군요.

we can come up with a way of shading the skin on the computer.

이를 참고해서 컴퓨터에서 피부에 음영을 줄 수 있는 방법을 고안했어요.

Then, instead of looking like a plaster mannequin,

그 덕분에 이미지들이 석고 마네킹처럼 보이지 않고

it actually looks like it's made out of living human flesh.

진짜 살아있는 사람의 피부처럼 보이죠.

And this is what we used

이것이 우리가

to give to the company Image Metrics

디지털로 조합한 에밀리를 만들 수 있도록

to create a rigged, digital version of Emily.

이미지 메트릭스 사에 보낸 것들입니다.

We're just seeing the coarse-scale geometry here.

지금 보고 계신 것은 대충 윤곽만 있는 화상이긴 하지만

But they basically created a digital puppet of her,

사실은 디지털 인형입니다.

where you can pull on these various strings,

다양한 줄을 당기면

and it actually moves her face in ways that are

그녀의 얼굴이 줄을 따라 움직이죠.

completely consistent with the scans that we took.

우리가 스캔한 이미지와 일치합니다.

And, in addition to the coarse-scale geometry,

이 대강의 윤곽만 있는 화상에

they also used all of that detail

모든 세부 사항을 더해서

to create a set of what are called "displacement maps"

움직이게도 할 수 있는 일련의

that animate as well.

"디스플레이스먼트 맵(Displacement map)"을 만듭니다.

These are the displacement maps here.

지금 보시는 것이 디스플레이스먼트 맵입니다.

And you can see those different wrinkles actually show up as she animates.

얼굴이 움직이면서 서로 다른 주름이 생기는 거 보이시죠?

So the next process was then to animate her.

그 다음 단계는 이 얼굴을 움직이게 하는 것입니다.

We actually used one of her own performances to provide the source data.

우리는 그녀의 연기 동작을 소스 데이터로 사용했습니다.

So, by analyzing this video with computer vision techniques,

이 동영상을 컴퓨터 시각 기술로 분석해서

they were able to drive the facial rig

컴퓨터로 표정을

with the computer-generated performance.

조합할 수 있게 되었습니다.

So what you're going to see now, after this,

이제부터 여러분께 보여드릴 것은

is a completely photo-real digital face.

완전히 포토리얼한 디지털 얼굴입니다.

We can turn the volume up a little bit if that's available.

가능하다면 소리 크기를 키워주세요.

Emily: Image Metrics is a markerless, performance-driven animation company.

에밀리: 이미지 메트릭스는 마커리스(markerless) 기술을 사용한 연기자 기반 애니메이션 기업입니다.

We specialize in high-quality facial animation

저희는 비디오 게임이나 영화에 사용할 수 있는

for video games and films.

고품질의 안면 애니메이션을 전문으로 합니다.

Image Metrics is a markerless, performance-driven animation company.

이미지 메트릭스는 마커리스(markerless) 기술을 사용한 연기자 기반 애니메이션 기업입니다.

We specialize in high quality facial animation

저희는 비디오 게임이나 영화에 사용할 수 있는

for video games and films.

고품질의 안면 애니메이션을 전문으로 합니다.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

폴 데베벡: 이것을 여러 레이어로 분리하면

we saw in the first slide.

첫 슬라이드에서 보신 분산 컴포넌트입니다.

Here is the specular component animating.

이것은 움직이는 반사광 컴포넌트이고

You can see all the wrinkles happening there.

여기 주름지는 것을 볼 수 있죠.

And there is the underlying wireframe mesh.

와이어 프레임 그물망도 입혀봤습니다.

And that is Emily herself.

이건 에밀리의 본 얼굴입니다.

Now, where are we going with this here?

저희의 다음 목표는 뭘까요?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

저희는 라이트 스테이지 5 에서 조금 더 나가봤습니다. 보시는 것은 라이트 스테이지 6 입니다.

and we're looking at taking this technology

여기서는 앞서 소개한 기술을 인체에

and applying it to whole human bodies.

적용하는 연구를 하고 있습니다.

This is Bruce Lawmen, one of our researchers in the group,

이분은 연구자 중 한 분인 브루스 로멘 씨인데요.

who graciously agreed to get captured running in the Light Stage.

라이트 스테이지에서 달리는 모습을 캡쳐할 수 있도록 해주셨죠.

And let's take a look at a computer-generated version

컴퓨터가 만들어낸 환경에서 달리고 있는

of Bruce, running in a new environment.

브루스를 보시죠.

And thank you very much.

감사합니다.

(Applause)

(박수)