Paul Debevec animates a photo-real digital face

Перекладач: Vladyslav Mystetskyy Утверджено: Khrystyna Romashko

One of the biggest challenges in computer graphics

Одним із найскладніших завдань у комп'ютерній графіці

has been being able to create a photo-real,

було створення фотореалістичного

digital human face.

цифрового обличчя людини.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Одна з причин, чому це так складно зробити, на відміну від інопланетян або динозаврів,

we look at human faces every day.

полягає в тому, що ми бачимо людські обличчя щодня.

They are very important to how we communicate with each other.

Вони дуже важливі для нас при спілкуванні один з одним.

As a result, we're tuned in to the subtlest things

У результаті ми звертаємо увагу на найдрібніші деталі,

that could possibly be wrong with a computer rendering,

з якими може бути щось не так при комп'ютерному відтворенні,

in order to believe whether these things are realistic.

з метою повірити, що ці деталі виглядають реалістично.

And what I'm going to do in the next five minutes

Протягом наступних 5 хвилин

is take you through a process

я поясню вам процес,

where we tried to create a reasonably photo-realistic computer-generated face,

в ході якого ми спробували створити на комп'ютері досить фотореалістичне обличчя

using some computer graphics technology we've developed,

за допомогою розробленої нами технології комп'ютерної графіки,

and also some collaborators at a company called Image Metrics.

а також кількох колег з компанії Image Metrics.

And we're going to try to do a photo-real face

Ми постараємося відтворити фотореалістичне обличчя

of an actress named Emily O'Brien, who is right there.

актриси Емілі О 'Брайен. Ось вона.

And that's actually a completely computer-generated rendering of her face.

Це дійсно повністю створене на комп'ютері зображення її обличчя.

By the end of the talk, we're going to see it move.

Вкінці презентації ми побачимо, як воно рухається.

The way that we did this is we tried to start with Emily herself,

Отже, ми почали з самої Емілі,

who was gracious enough to come to our laboratory

яка люб'язно погодилася відвідати нашу лабораторію

in Marina Del Rey, and sit for a session in Light Stage 5.

в Марина Дель Рей і попозувати на сесії в Light Stage 5.

This is a face-scanning sphere, with 156 white LEDs all around

Це сфера для сканування обличчя, заповнена 156-ма білими світлодіодами,

that allow us to photograph her

які дозволяють нам фотографувати її

in a series of very controlled illumination conditions.

серійними знімками в дуже точно відкаліброваних умовах освітлення.

And the lighting that we use these days looks something like this.

А освітлення, яке ми використовуємо, зараз виглядає приблизно так.

We shoot all of these photographs in about three seconds.

Ми робимо всі ці знімки приблизно за 3 секунди.

And we basically capture enough information

І ми, по суті, отримуємо достатньо інформації

with video projector patterns that drape over the contours of her face,

за допомогою шаблонів відеопроектора, які окреслюють контури її обличчя,

and different principle directions of light from the light stage,

і різних принципів розсіювання світла по світловий сцені,

to figure out both the coarse-scale

щоб отримати як макро-,

and the fine-scale detail of her face.

так і мікродеталі її обличчя.

If we zoom in on this photograph right here,

Якщо ми збільшимо фотографію тут,

we can see it's a really nice photograph to have of her,

то побачимо, що це дуже хороша фотографія,

because she is lit from absolutely everywhere at the same time

бо вона освітлена одночасно абсолютно звідусіль

to get a nice image of her facial texture.

для отримання якісного зображення структури її обличчя.

And in addition, we've actually used polarizers on all the lights --

Крім того, ми використовували поляризатори на всіх джерелах світла -

just like polarized sunglasses can block

також як і поляризаційні лінзи в сонячних окулярах можуть блокувати

the glare off of the road,

відблиски від дороги,

polarizers can block the shine off of the skin,

поляризатори можуть блокувати блиск шкіри,

so we don't get all those specular reflections to take this map.

щоб усунути всі ці дзеркальні відображення при складанні карти обличчя.

Now, if we turn the polarizers around just a little bit,

А тепер, якщо ми злегка повернемо поляризатори,

we can actually bring that specular reflection

ми зможемо повернути дзеркальні відбиття

of the skin back in,

на шкіру,

and you can see she looks kind of shiny and oily at this point.

і, як ви бачите, на цій стадії вона виглядає жирною і блищить ..

If you take the difference between these two images here,

Якщо взяти різницю між цими двома зображеннями,

you can get an image lit from the entire sphere of light

можна отримати зображення, освітлене всією світловою сферою,

of just the shine off of Emily's skin.

і залишиться тільки блиск шкіри Емілі.

I don't think any photograph like this had ever been taken

Я не думаю, що подібна фотографія була коли-небудь знята

before we had done this.

до того, як це зробили ми.

And this is very important light to capture,

І дуже важливо зловити це світло,

because this is the light that reflects off the first surface of the skin.

бо воно відбите від верхнього шару шкіри.

It doesn't get underneath the translucent

Воно не досягає напівпрозорих

layers of the skin and blur out.

шарів шкіри і згладжується.

And, as a result, it's a very good cue

В результаті виходить дуже гарна картина

to the detailed shape of the skin-pore structure

детальної структури пор її шкіри

and all of the fine wrinkles that all of us have,

і всіх маленьких зморшок, котрі є у всіх нас,

the things that actually make us look like real humans.

тих самих, завдяки яким ми виглядаємо як справжні люди.

So, if we use information that comes off of this specular reflection,

Якщо ми використовуємо інформацію, отриману з цього дзеркального відбиття,

we can go from a traditional face scan

ми можемо почати з традиційного сканованого обличчя,

that might have the gross contours of the face and the basic shape,

яке може мати загальні контури і форму обличчя,

and augment it with information

і доповнити його інформацією,

that puts in all of that skin pore structure and fine wrinkles.

що додає всю структуру шкірних пор і тонких зморшок.

And, even more importantly,

Що ще важливіше,

since this is a photometric process that only takes three seconds to capture,

оскільки цей фотометричний процес займає всього 3 секунди,

we can shoot Emily

ми можемо зняти Емілі

in just part of an afternoon,

всього за кілька годин

in many different facial poses and facial expressions.

в численних різноманітних позах і з різними виразами обличчя.

So, here you can see her moving her eyes around, moving her mouth around.

Отже тут ви можете побачити, як вона рухає очима і ротом.

And these we're actually going to use to create a photo-real digital character.

І ми збираємося використовувати ці рухи для створення цифрового фотореалістичного персонажа.

If you take a look at these scans that we have of Emily,

Якщо ви поглянете на ці скановані знімки Емілі,

you can see that the human face does an enormous amount of amazing things

то побачите, що людське обличчя робить неймовірну кількість дивовижних речей

as it goes into different facial expressions.

при створенні різних виразів обличчя.

You can see things. Not only the face shape changes,

Подивіться. Змінюється не тільки форма обличчя,

but all sorts of different skin buckling and skin wrinkling occurs.

але й з'являються всілякі вигини і зморшки.

You can see that the skin pore structure changes enormously

Як ви бачите, структура пор шкіри сильно змінюється

from stretched skin pores

від витягнутих пор

to the regular skin texture.

до звичайної структури шкіри.

You can see the furrows in the brow and how the microstructure changes there.

Можна побачити глибокі зморшки на бровах і як там міняється мікроструктура.

You can see muscles pulling down at flesh to bring her eyebrows down.

Можна побачити, як тягнуться її м'язи при опусканні брів.

Her muscles bulging in her forehead when she winces like that.

Лобові м'язи виступають, коли вона морщиться ось так.

In addition to this kind of high-resolution geometry,

На додаток до такого типу геометрії високої роздільної здатності,

since it's all captured with cameras, we've got a great texture map to use for the face.

так як все це знімається камерами, ми отримуємо чудову карту структури її обличчя.

And by looking at how the different color channels of the illumination,

І спостерігаючи, як різні кольорові канали освітлення -

the red and the green and the blue,

червоний, зелений і блакитний -

diffuse the light differently,

по-різному розсіюють світло,

we can come up with a way of shading the skin on the computer.

ми можемо зрозуміти, як слід затінювати шкіру на комп'ютері.

Then, instead of looking like a plaster mannequin,

Завдяки цьому вона виглядає не як пластиковий манекен,

it actually looks like it's made out of living human flesh.

а як справжня, з плоті і крові.

And this is what we used

І саме це ми використовували, щоб

to give to the company Image Metrics

дати компанії Image Metrics

to create a rigged, digital version of Emily.

можливість створити цифрову версію Емілі.

We're just seeing the coarse-scale geometry here.

Ми щойно бачили геометрію макромасштабу.

But they basically created a digital puppet of her,

Але вони, по суті, створили її цифрову маріонетку,

where you can pull on these various strings,

яку можна смикати за різні нитки,

and it actually moves her face in ways that are

і це буде змінювати її обличчя

completely consistent with the scans that we took.

повністю відповідно до сканованих зображень, зроблених нами.

And, in addition to the coarse-scale geometry,

На додаток до геометрії макромасштабу

they also used all of that detail

вони також використовували всі деталі

to create a set of what are called "displacement maps"

для створення набору так званих "карт рухів",

that animate as well.

які також анімуються.

These are the displacement maps here.

Ось це карти рухів.

And you can see those different wrinkles actually show up as she animates.

І як ви бачите, ті різні зморшки дійсно з'являються в процесі анімації.

So the next process was then to animate her.

Наступний процес полягав у її повному анімуванні.

We actually used one of her own performances to provide the source data.

Ми насправді використовували один з її виступів у якості вихідного джерела даних.

So, by analyzing this video with computer vision techniques,

Проаналізувавши це відео за допомогою технік комп'ютерного аналізу зображень,

they were able to drive the facial rig

нам вдалося змусити її обличчя рухатися

with the computer-generated performance.

під час виступу, відтвореного комп'ютером .

So what you're going to see now, after this,

Те, що ви зараз побачите,

is a completely photo-real digital face.

є повністю цифровим фотореалістичним обличчям.

We can turn the volume up a little bit if that's available.

Ми можемо трохи збільшити гучність, якщо можливо.

Emily: Image Metrics is a markerless, performance-driven animation company.

Емілі: Image Metrics - це інноваційна, орієнтована на результат анімаційна компанія.

We specialize in high-quality facial animation

Ми спеціалізуємося в високоякісній анімації облич

for video games and films.

для відеоігор і фільмів.

Image Metrics is a markerless, performance-driven animation company.

Image Metrics - це інноваційна, орієнтована на результат анімаційна компанія.

We specialize in high quality facial animation

Ми спеціалізуємося в високоякісній анімації облич

for video games and films.

для відеоігор і фільмів.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

Пол Дебевек: Отже, якщо ми розіб'ємо це на шари, ось той розсіяний компонент,

we saw in the first slide.

який ми бачили на першому слайді.

Here is the specular component animating.

Ось анімується дзеркальний компонент.

You can see all the wrinkles happening there.

Тут видно усі зморшки, що з’являються.

And there is the underlying wireframe mesh.

А ось каркас, що лежить в основі.

And that is Emily herself.

А це сама Емілі.

Now, where are we going with this here?

Що ж у нас виходить?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Ми просунулися трохи далі Light Stage 5. Це - Light Stage 6.

and we're looking at taking this technology

Ми збираємося застосувати цю технологію

and applying it to whole human bodies.

до всього людського тіла.

This is Bruce Lawmen, one of our researchers in the group,

Це Брюс Лоумен, один з дослідників нашої групи.

who graciously agreed to get captured running in the Light Stage.

Він люб'язно погодився знятися під час бігу в Light Stage.

And let's take a look at a computer-generated version

Давайте подивимося на створену комп'ютером версію

of Bruce, running in a new environment.

Брюса, що біжить в новій обстановці.

And thank you very much.

Велике спасибі.

(Applause)

(Оплески)