Paul Debevec animates a photo-real digital face

Translator: MaYoMo com Reviewer: Anton Hikov

One of the biggest challenges in computer graphics

Едно от най-големите предизвикателства в компютърната графика

has been being able to create a photo-real,

бе възможността да се създаде фотореалистично,

digital human face.

дигитално човешко лице.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Една от причините това да е толкова трудно е, че за разлика от извънземните и динозаврите,

we look at human faces every day.

гледаме човешки лица всеки ден.

They are very important to how we communicate with each other.

Те са много важни за начина, по който комуникираме един с друг.

As a result, we're tuned in to the subtlest things

В резултат на това сме се настроили да откриваме най-фините неща,

that could possibly be wrong with a computer rendering,

възможни проблеми в едно компютърно пресъздаване,

in order to believe whether these things are realistic.

за да повярваме, че то изглежда реалистично.

And what I'm going to do in the next five minutes

През следващите пет минути

is take you through a process

ще ви преведа през един процес,

where we tried to create a reasonably photo-realistic computer-generated face,

при който се опитахме да създадем разумно фотореалистично компютърно генерирано лице

using some computer graphics technology we've developed,

с помощта на технологии за компютърна графика, развити от нас,

and also some collaborators at a company called Image Metrics.

както и с някои сътрудници от една фирма на име "Имидж метрикс".

And we're going to try to do a photo-real face

Ще се опитаме да пресъздадем фотореалистично лицето

of an actress named Emily O'Brien, who is right there.

на една актриса на име Емили О'Брайън, която е ей там.

And that's actually a completely computer-generated rendering of her face.

Това всъщност е компютърно генерирано представяне на нейното лице.

By the end of the talk, we're going to see it move.

До края на разговора ще го видим да се движи.

The way that we did this is we tried to start with Emily herself,

Начинът, по който го направихме, е, като опитахме да започнем със самата Емили,

who was gracious enough to come to our laboratory

която бе така любезна да дойде в нашата лаборатория

in Marina Del Rey, and sit for a session in Light Stage 5.

в Марина Дел Рей, и да остане за една сесия в "Лайт Стейдж 5".

This is a face-scanning sphere, with 156 white LEDs all around

Това е сфера за сканиране на лице със 156 бели светодиода от всички страни,

that allow us to photograph her

които ни позволяват да я фотографираме

in a series of very controlled illumination conditions.

при ред много контролирани условия на осветление.

And the lighting that we use these days looks something like this.

Осветлението, което използваме тези дни, изглежда подобно на това.

We shoot all of these photographs in about three seconds.

Правим всички тези снимки за около три секунди.

And we basically capture enough information

И по същество улавяме достатъчно информация

with video projector patterns that drape over the contours of her face,

с шаблони от видеопрожектори, които покриват контурите на лицето й

and different principle directions of light from the light stage,

и различни посоки от светлинни източници от светлинната сцена,

to figure out both the coarse-scale

за да установим както грубо-мащабните,

and the fine-scale detail of her face.

така и фините детайли на лицето й.

If we zoom in on this photograph right here,

Ако погледнем тази снимка тук под увеличение,

we can see it's a really nice photograph to have of her,

виждаме, че това е наистина хубава нейна снимка,

because she is lit from absolutely everywhere at the same time

защото е осветена абсолютно отвсякъде едновременно

to get a nice image of her facial texture.

и се получава добър образ на лицевата й текстура.

And in addition, we've actually used polarizers on all the lights --

В добавка към това, всъщност използвахме поляризатори на всички лампи -

just like polarized sunglasses can block

точно както поляризираните слънчеви очила могат да блокират

the glare off of the road,

отблясъците от пътя,

polarizers can block the shine off of the skin,

поляризаторите могат да блокират отразения от кожата блясък,

so we don't get all those specular reflections to take this map.

така че не получаваме всички онези огледални отражения при съставянето на тази карта.

Now, if we turn the polarizers around just a little bit,

Ако завъртим съвсем малко поляризаторите,

we can actually bring that specular reflection

всъщност можем да върнем това огледално отражение

of the skin back in,

на кожата обратно вътре,

and you can see she looks kind of shiny and oily at this point.

и виждате как сега тя изглежда някак лъскаво и мазно.

If you take the difference between these two images here,

Ако вземете разликата между тези два образа тук,

you can get an image lit from the entire sphere of light

можете да получите образ, осветен от цялата светлинна сфера,

of just the shine off of Emily's skin.

или просто блясъка, отразяван от кожата на Емили.

I don't think any photograph like this had ever been taken

Не мисля, че някога е била правена такава снимка,

before we had done this.

преди ние да постигнем това.

And this is very important light to capture,

Много е важно да се улови тази светлина,

because this is the light that reflects off the first surface of the skin.

защото това е светлината, отразявана от първата кожна повърхност.

It doesn't get underneath the translucent

Тя не стига под полупрозрачните

layers of the skin and blur out.

слоеве на кожата и се замъглява.

And, as a result, it's a very good cue

В резултат на това е много добро подсещане

to the detailed shape of the skin-pore structure

за детайлната форма на структурата на кожните пори

and all of the fine wrinkles that all of us have,

и на всички фини бръчки, които имаме всички ние -

the things that actually make us look like real humans.

нещата, които всъщност ни придават вид на реални хора.

So, if we use information that comes off of this specular reflection,

И така - ако използваме информацията, следваща от това огледално отражение,

we can go from a traditional face scan

можем да преминем от традиционното сканиране на лице,

that might have the gross contours of the face and the basic shape,

което може да даде грубите контури на лицето и базовата форма,

and augment it with information

и да го наситим с информация,

that puts in all of that skin pore structure and fine wrinkles.

която внася цялата тази структура от кожни пори и фини бръчки.

And, even more importantly,

И, още по-важно -

since this is a photometric process that only takes three seconds to capture,

тъй като това е фотометричен процес, за чието улавяне са необходими само три секунди,

we can shoot Emily

можем да снимаме Емили

in just part of an afternoon,

само за част от един следобед,

in many different facial poses and facial expressions.

в много различни лицеви пози и лицеви изражения.

So, here you can see her moving her eyes around, moving her mouth around.

Тук я виждате да движи очите си, да движи устата си.

And these we're actually going to use to create a photo-real digital character.

Ще използваме тези снимки, за да създадем фотореалистична дигитална героиня.

If you take a look at these scans that we have of Emily,

Ако погледнете тези изображения на Емили, които имаме,

you can see that the human face does an enormous amount of amazing things

ще видите, че човешкото лице прави невероятно много изумителни неща,

as it goes into different facial expressions.

докато преминава в различни лицеви изражения.

You can see things. Not only the face shape changes,

Виждате как стоят нещата. Не само че формата на лицето се променя,

but all sorts of different skin buckling and skin wrinkling occurs.

но се случва и най-различно обтягане и набръчкване на кожата.

You can see that the skin pore structure changes enormously

Виждате, че структурата на кожните пори се променя невероятно много -

from stretched skin pores

от разтегнати кожни пори

to the regular skin texture.

до обичайната кожна структура.

You can see the furrows in the brow and how the microstructure changes there.

Виждате браздите на челото и как микроструктурата се променя там.

You can see muscles pulling down at flesh to bring her eyebrows down.

Виждате мускули да теглят плътта, за да свалят веждите й надолу.

Her muscles bulging in her forehead when she winces like that.

Мускулите й изпъкват на челото, когато тя премигва така.

In addition to this kind of high-resolution geometry,

В добавка към тази висококачествена геометрия,

since it's all captured with cameras, we've got a great texture map to use for the face.

тъй като всичко се улавя с камери, имаме страхотна текстурна карта за лицето, която да използваме.

And by looking at how the different color channels of the illumination,

А като разглеждаме как различните цветови канали на осветлението -

the red and the green and the blue,

червеният, зеленият и синият

diffuse the light differently,

разпръскват различно светлината,

we can come up with a way of shading the skin on the computer.

можем да намерим начин да постигнем нюансиране на кожата в компютъра.

Then, instead of looking like a plaster mannequin,

Тогава, вместо да изглежда като пластмасов манекен,

it actually looks like it's made out of living human flesh.

всъщност изглежда, като че ли е направен от жива човешка плът.

And this is what we used

Използвахме това,

to give to the company Image Metrics

за да го дадем на фирмата "Имидж Метрикс",

to create a rigged, digital version of Emily.

за да създадат пълна дигитална версия на Емили.

We're just seeing the coarse-scale geometry here.

Тук виждаме само геометрията в груб мащаб.

But they basically created a digital puppet of her,

Но те по същество създадоха от нея дигитална кукла,

where you can pull on these various strings,

която може да бъде управлявана с различни конци,

and it actually moves her face in ways that are

и това наистина движи лицето й по начини,

completely consistent with the scans that we took.

напълно съвместими със сканиранията, които предприехме.

And, in addition to the coarse-scale geometry,

В добавка към грубомащабната геометрия,

they also used all of that detail

те използваха също и множество подробности,

to create a set of what are called "displacement maps"

за да създадат набор от така наречените "карти на отместване",

that animate as well.

които също анимират.

These are the displacement maps here.

Това тук са картите на отместване.

And you can see those different wrinkles actually show up as she animates.

Вжидате как наистина се показват различни бръчки, докато тя се съживява.

So the next process was then to animate her.

Следващият процес беше да я съживим.

We actually used one of her own performances to provide the source data.

Всъщност, използвахме едно от нейните представления, за да си осигурим източник на данни.

So, by analyzing this video with computer vision techniques,

Чрез анализ на този видеозапис с техники за компютърно виждане,

they were able to drive the facial rig

те са постигнали управление на лицевото изражение

with the computer-generated performance.

с компютърно генерирано изпълнение.

So what you're going to see now, after this,

Това, което ще видите сега - след това,

is a completely photo-real digital face.

е напълно фотореалистично дигитално лице.

We can turn the volume up a little bit if that's available.

Може да увеличим малко звука, ако има възможност.

Emily: Image Metrics is a markerless, performance-driven animation company.

Емили: "Имидж Метрис" е необикновена, насочена към постижения фирма за анимация.

We specialize in high-quality facial animation

Специализирали сме се във висококачествена лицева анимация

for video games and films.

за видеоигри и филми.

Image Metrics is a markerless, performance-driven animation company.

"Имидж Метрис" е необикновена, насочена към постижения фирма за анимация.

We specialize in high quality facial animation

Специализирали сме се във вискокачествена лицева анимация

for video games and films.

за видеоигри и филми.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

Пол Дебевек: И така, ако разбием това на слоеве, ето онзи разпръскващ компонент,

we saw in the first slide.

който видяхме в първия кадър.

Here is the specular component animating.

Ето как отразяващият компонент анимира.

You can see all the wrinkles happening there.

Виждате как се получават всички бръчки там.

And there is the underlying wireframe mesh.

А тук е рамковата мрежа отдолу.

And that is Emily herself.

А това е самата Емили.

Now, where are we going with this here?

А сега, докъде сме с това тук?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Стигнали сме малко отвъд "Лайт Стейдж 5". Това е "Лайт Стейдж 6".

and we're looking at taking this technology

Работим за това да вземем тази технология

and applying it to whole human bodies.

и да я приложим към цели човешки тела.

This is Bruce Lawmen, one of our researchers in the group,

Това е Брус Лоумен, един от нашите изследователи в групата,

who graciously agreed to get captured running in the Light Stage.

който любезно се съгласи да бъде уловен, докато тича в "Лайт Стейдж".

And let's take a look at a computer-generated version

Да погледнем една компютърно-генерирана версия

of Bruce, running in a new environment.

на Брус, тичащ в нова околна среда.

And thank you very much.

Много ви благодаря.

(Applause)

(Аплодисменти)