Paul Debevec animates a photo-real digital face

Korektor: Jan Kadlec

Jednou z největších výzev v počítačové grafice

bylo vytvoření

realistické digitální lidské tváře.

A jedním z důvodů, proč je to tak složité, je že narozdíl

od mimozemšťanů a dinosaurů se na lidi díváme každý den.

Jsou velmi důležité při komunikaci.

One of the biggest challenges in computer graphics

Výsledek je, že se musíme vyvarovat těch největších drobností,

has been being able to create a photo-real,

které by mohly být špatně

digital human face.

při počítačové tvorbě, abychom uvěřili, že jde o skutečnost.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Co v následujících pěti minutách udělám,

we look at human faces every day.

je že vás provedu procesem

vytváření dostatečně realistické digitální lidské tváře

They are very important to how we communicate with each other.

As a result, we're tuned in to the subtlest things

za použití technologií PC grafiky, které jsme vytvořili

that could possibly be wrong with a computer rendering,

spolu s kolegy z firmy Image Metrics.

in order to believe whether these things are realistic.

Snažili jsme se vytvořit digitální tvář

herečky Emily O'Brien, kterou máte tady.

And what I'm going to do in the next five minutes

is take you through a process

Toto je ve skutečnosti její počítačově generovaná tvář.

where we tried to create a reasonably photo-realistic computer-generated face,

A ke konci přednášky ji uvidíme hýbat se.

using some computer graphics technology we've developed,

Udělali jsme to tak, že jsme začali s Emily samotnou.

and also some collaborators at a company called Image Metrics.

Byla tak milá, že přišla do naší laboratoře

And we're going to try to do a photo-real face

v Marina Del Rey na focení v Light Stage 5.

of an actress named Emily O'Brien, who is right there.

Toto je tvář skenující sféra se 156 bílými LED světly kolem dokola,

And that's actually a completely computer-generated rendering of her face.

By the end of the talk, we're going to see it move.

která nám umožňuje ji fotografovat

The way that we did this is we tried to start with Emily herself,

v sériích velmi kontrolovaných světelných podmínek.

who was gracious enough to come to our laboratory

Nasvětlení, jaké v dnešní době používáme, vypadá asi takto.

in Marina Del Rey, and sit for a session in Light Stage 5.

Tyto fotky jsme udělali během tří sekund.

S těmito postupy videoprojekce

This is a face-scanning sphere, with 156 white LEDs all around

zachytíme dostatek informací, které zakrývají obrysy její tváře.

that allow us to photograph her

in a series of very controlled illumination conditions.

Různými způsoby směřování světla

zaznamenáme jak hrubé rysy,

And the lighting that we use these days looks something like this.

tak jemné detaily jejího obličeje.

We shoot all of these photographs in about three seconds.

Pokud zaostříme na tuto fotku přímo tady,

And we basically capture enough information

vidíme, že je to pro nás skvělá fotka,

protože je nasvícena odevšad najednou,

with video projector patterns that drape over the contours of her face,

takže dostaneme hezký obrázek textury její tváře.

and different principle directions of light from the light stage,

Navíc jsme použili polarizátory ve všech světlech --

to figure out both the coarse-scale

and the fine-scale detail of her face.

stejně jako polarizované sluneční brýle

If we zoom in on this photograph right here,

blokují odraz světla od silnice,

we can see it's a really nice photograph to have of her,

polarizátory blokují jas její pokožky,

because she is lit from absolutely everywhere at the same time

takže nedostaneme všechny ty zrcadlové odrazy.

Když polarizátory trochu pootočíme,

to get a nice image of her facial texture.

můžeme ty zrcadlové odrazy její kůže

And in addition, we've actually used polarizers on all the lights --

přivést zase zpátky

just like polarized sunglasses can block

a můžete si všimnout, že tady vypadá leskle a mastně.

the glare off of the road,

Pokud porovnáte tyto dva obrázky,

polarizers can block the shine off of the skin,

so we don't get all those specular reflections to take this map.

můžete dostat světelný obraz z celé sféry

jenom samotného odrazu Emiliiny pokožky.

Now, if we turn the polarizers around just a little bit,

we can actually bring that specular reflection

Pochybuji, že někdo udělal takovou fotku,

of the skin back in,

předtím než jsme my pořídili tuto.

and you can see she looks kind of shiny and oily at this point.

Je velmi důležité tohle světlo zachytit,

If you take the difference between these two images here,

protože to je to světlo, které se odráží od svrchní části kůže.

you can get an image lit from the entire sphere of light

Nedostane se to pod průsvitné vrstvy kůže

of just the shine off of Emily's skin.

a nerozostří se tak.

A výsledkem je velmi dobrý pohled

I don't think any photograph like this had ever been taken

na detaily tvarů struktury pórů pokožky

before we had done this.

a všechny jemné vrásky, které každý máme,

And this is very important light to capture,

vše, díky čemu vypadáme jako lidé.

because this is the light that reflects off the first surface of the skin.

Pokud použijeme informace z tohoto zrcadlového odrazu,

It doesn't get underneath the translucent

layers of the skin and blur out.

můžeme jít z tradičního skenování obličeje,

And, as a result, it's a very good cue

kterým získáme hrubé rysy obličeje a základní tvar,

to the detailed shape of the skin-pore structure

a rozšířit jej dalšími informacemi,

and all of the fine wrinkles that all of us have,

které vloží do celé té struktury póry kůže a jemné vrásky.

the things that actually make us look like real humans.

So, if we use information that comes off of this specular reflection,

A co je ještě důležitější,

protože se jedná o fotometrický proces,

we can go from a traditional face scan

který zachytí pouze tři sekundy,

that might have the gross contours of the face and the basic shape,

můžeme natočit Emily jen během odpoledne,

v mnoha různých pózách a výrazech.

and augment it with information

that puts in all of that skin pore structure and fine wrinkles.

Tady ji můžete vidět hýbat očima, pusou.

And, even more importantly,

A to použijeme k vytvoření digitální postavy.

since this is a photometric process that only takes three seconds to capture,

Pokud se podíváte na tyto snímky Emily,

we can shoot Emily

in just part of an afternoon,

vidíte, že lidská tvář dělá spoustu úžasných věcí,

in many different facial poses and facial expressions.

jak přechází do různých výrazů obličeje.

So, here you can see her moving her eyes around, moving her mouth around.

Jak vidíte, změní se nejen tvar obličeje,

And these we're actually going to use to create a photo-real digital character.

ale dochází k různé deformaci kůže a objevují se vrásky.

If you take a look at these scans that we have of Emily,

Vidíte, že struktura pórů kůže se výrazně mění.

you can see that the human face does an enormous amount of amazing things

Od natažených pórů

as it goes into different facial expressions.

k normální textuře pokožky.

You can see things. Not only the face shape changes,

Vidíte brázdy v obočí a jak se mění jejich mikrostruktura.

but all sorts of different skin buckling and skin wrinkling occurs.

Vidíte, jak se stahují svaly, aby pokrčila obočí.

You can see that the skin pore structure changes enormously

Jak se jí vyboulí svaly na čele, když se takhle šklebí.

Kromě této geometrie s vysokým rozlišením

from stretched skin pores

to the regular skin texture.

máme díky kamerám skvělou mapu textury, kterou lze použít pro obličej.

You can see the furrows in the brow and how the microstructure changes there.

Když se podíváme na různé barevné kanály,

You can see muscles pulling down at flesh to bring her eyebrows down.

tak červená, zelená a modrá

rozptylují světlo odlišně.

Her muscles bulging in her forehead when she winces like that.

Díky tomu můžeme kůži na počítači stínovat.

In addition to this kind of high-resolution geometry,

Pak, namísto toho, aby vypadala jako plastová figurína,

since it's all captured with cameras, we've got a great texture map to use for the face.

vypadá jako skutečná lidská bytost.

And by looking at how the different color channels of the illumination,

A to jsme dodali společnosti Image Metrics,

the red and the green and the blue,

kteří tak mohli vytvořit

diffuse the light differently,

digitální verzi Emily.

we can come up with a way of shading the skin on the computer.

Tady vidíme jen hrubou geometrii.

Then, instead of looking like a plaster mannequin,

Ale oni v podstatě vytvořili její digitální loutku,

it actually looks like it's made out of living human flesh.

kde můžete tahat za různé nitky

a hýbat její tváří v souladu se skeny,

And this is what we used

které jsme pořídili.

to give to the company Image Metrics

A kromě hrubé geometrie

to create a rigged, digital version of Emily.

použili všechny tyto detaily

We're just seeing the coarse-scale geometry here.

k vytvoření setu, který nazvali ″posunkovými mapami″,

But they basically created a digital puppet of her,

které také animovali.

where you can pull on these various strings,

Tohle jsou její posunkové mapy.

and it actually moves her face in ways that are

A tady skutečně vidíte všechny ty vrásky v animaci.

completely consistent with the scans that we took.

And, in addition to the coarse-scale geometry,

Další proces byl ji animovat.

they also used all of that detail

Jako zdroj dat jsme použili její vlastní vystoupení.

to create a set of what are called "displacement maps"

Analýzou tohoto videa

that animate as well.

jsme dokázali řídit soupravu obličeje

These are the displacement maps here.

pomocí výkonu generovaného počítačem.

And you can see those different wrinkles actually show up as she animates.

Takže to, co teď uvidíte,

So the next process was then to animate her.

je zcela digitální.

We actually used one of her own performances to provide the source data.

Můžeme zapnout zvuk, pokud je to možné.

Emily: Image Metrics vytváří animace bez nutnosti pomocných značek.

So, by analyzing this video with computer vision techniques,

Specializujeme se na vysoce kvalitní animaci obličeje

they were able to drive the facial rig

with the computer-generated performance.

pro video hry a filmy.

So what you're going to see now, after this,

Image Metrics vytváří animace bez nutnosti pomocných značek.

is a completely photo-real digital face.

We can turn the volume up a little bit if that's available.

Specializujeme se na vysoce kvalitní animaci obličeje

Emily: Image Metrics is a markerless, performance-driven animation company.

pro video hry a filmy.

We specialize in high-quality facial animation

Paul Debevec: Když to rozložíme do vrstev,

tady je to, co jsme viděli v prvním slidu.

for video games and films.

Tady jsou zrcadlové komponenty animace.

Image Metrics is a markerless, performance-driven animation company.

Tady můžete vidět všechny ty vrásky.

A tady je základní podklad.

We specialize in high quality facial animation

for video games and films.

A tohle je Emily samotná.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

Takže, kam s tímto míříme?

we saw in the first slide.

Zašli jsme trochu dál než Light Stage 5. Toto je Light Stage 6.

Here is the specular component animating.

You can see all the wrinkles happening there.

Vezmeme tuto technologii

And there is the underlying wireframe mesh.

a aplikujeme ji na celé lidské tělo.

Toto je Bruce Lawmen, jeden z našich výzkumníků,

který laskavě souhlasil, že se nechá zachytit, jak běhá.

And that is Emily herself.

Now, where are we going with this here?

Podívejme se na počítačovou verzi Bruce

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

běžícího v novém prostředí.

and we're looking at taking this technology

and applying it to whole human bodies.

This is Bruce Lawmen, one of our researchers in the group,

Mnohokrát děkuji.

who graciously agreed to get captured running in the Light Stage.

(Potlesk)

And let's take a look at a computer-generated version

of Bruce, running in a new environment.

And thank you very much.

(Applause)