Paul Debevec animates a photo-real digital face

Prevoditelj: Davorin Jelačić Recezent: Mislav Ante Omazić - EFZG

One of the biggest challenges in computer graphics

Jedan od najvećih izazova u računalnoj grafici

has been being able to create a photo-real,

je biti u stanju stvoriti foto-realistično,

digital human face.

digitalno ljudsko lice.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

A jedan od razloga zašto je to teško je taj što, za razliku od dinosaura,

we look at human faces every day.

ljudska lica promatramo svakodnevno.

They are very important to how we communicate with each other.

Vrlo su važna za našu međusobnu komunikaciju.

As a result, we're tuned in to the subtlest things

Kao rezultat, primjećujemo najtananije stvari

that could possibly be wrong with a computer rendering,

koje bi uopće mogle biti pogrešne u računalnom renderiranju,

in order to believe whether these things are realistic.

kako bismo vjerovali jesu li te stvari realistične.

And what I'm going to do in the next five minutes

Ono što ću učiniti u sljedećih pet minuta

is take you through a process

je da ću vas provesti kroz proces

where we tried to create a reasonably photo-realistic computer-generated face,

kojim smo pokušali stvoriti razumno foto-realistično računalno generirano lice,

using some computer graphics technology we've developed,

koristeći tehnologiju računalne grafike koju smo sami razvili,

and also some collaborators at a company called Image Metrics.

kao i suradnike u kompaniji po imenu Image Metrics.

And we're going to try to do a photo-real face

Pokušat ćemo napraviti foto-realistično lice

of an actress named Emily O'Brien, who is right there.

glumice po imenu Emily O'Brien, koja je ovdje.

And that's actually a completely computer-generated rendering of her face.

A to je zapravo potpuno računalno renderiranje njezinog lica.

By the end of the talk, we're going to see it move.

Do kraja ovog govora, vidjet ćemo ga u pokretu.

The way that we did this is we tried to start with Emily herself,

Način na koji smo to napravili je tako da smo pokušali početi sa samom Emily,

who was gracious enough to come to our laboratory

koja je bila dovoljno draga i došla do našeg laboratorija

in Marina Del Rey, and sit for a session in Light Stage 5.

u marini Del Rey, i sjela na seansu na svjetlosnoj pozornici 5.

This is a face-scanning sphere, with 156 white LEDs all around

Ovo je kugla za skeniranje lica koja ima 156 bijelih LED-ova uokolo,

that allow us to photograph her

koji nam omogućuju da je fotografiramo

in a series of very controlled illumination conditions.

u nizu kontroliranih uvjeta osvjetljenja.

And the lighting that we use these days looks something like this.

A svjetlost koju koristimo ovih dana izgleda poput ovoga.

We shoot all of these photographs in about three seconds.

Slikamo sve ove fotografije u neke tri sekunde.

And we basically capture enough information

I praktički dobivamo dovoljno informacija

with video projector patterns that drape over the contours of her face,

s uzorcima video projekcije koji se prevlače preko njezinog lica,

and different principle directions of light from the light stage,

i različitim glavnim pravcima svjetla u svjetlosnoj pozornici,

to figure out both the coarse-scale

da raščlanimo i grube crte

and the fine-scale detail of her face.

kao i fine sitne detalje njezinog lica.

If we zoom in on this photograph right here,

Ako zumiramo ovu fotografiju ovdje,

we can see it's a really nice photograph to have of her,

vidimo da je to zaista lijepa fotografija nje,

because she is lit from absolutely everywhere at the same time

jer je osvijetljena s apsolutno svih strana u isto vrijeme

to get a nice image of her facial texture.

čime dobivamo lijepu sliku površine njezinog lica.

And in addition, we've actually used polarizers on all the lights --

Dodatno, koristili smo polarizatore na svim svjetlima --

just like polarized sunglasses can block

baš kao što polarizirane sunčane naočale blokiraju

the glare off of the road,

sjaj koji se reflektira od ceste,

polarizers can block the shine off of the skin,

polarizatori mogu blokirati sjaj kože,

so we don't get all those specular reflections to take this map.

pa ne dobivamo refleksije na ovoj mapi.

Now, if we turn the polarizers around just a little bit,

No, ako okrenemo polarizatore samo malo,

we can actually bring that specular reflection

možemo zapravo tu refleksiju

of the skin back in,

vratiti na lice,

and you can see she looks kind of shiny and oily at this point.

i vidite da ona sada izgleda nekako sjajno i nauljeno.

If you take the difference between these two images here,

Ako uzmete razliku između ove dvije slike,

you can get an image lit from the entire sphere of light

možete dobiti sliku osvijetljenu s cjelokupnom svjetlosnom kuglom

of just the shine off of Emily's skin.

ili samo sjaj s Emilyne kože.

I don't think any photograph like this had ever been taken

Mislim da fotografija poput ove nikada nije bila fotografirana

before we had done this.

prije nego što smo mi ovo učinili.

And this is very important light to capture,

A ovo je vrlo važno svjetlo za uhvatiti,

because this is the light that reflects off the first surface of the skin.

jer je to svjetlo koje se reflektira s prve površine kože.

It doesn't get underneath the translucent

Ono ne ulazi pod prozirne

layers of the skin and blur out.

slojeve kože i tu se muti.

And, as a result, it's a very good cue

Rezultat je taj da imamo vrlo dobar pokazatelj

to the detailed shape of the skin-pore structure

detaljnog oblika strukture kože i pora

and all of the fine wrinkles that all of us have,

i svih finih bora koje svi imamo,

the things that actually make us look like real humans.

stvari zbog kojih zapravo i izgledamo kao pravi ljudi.

So, if we use information that comes off of this specular reflection,

Dakle, ako koristimo informacije koje dobivamo od te točkaste refleksije

we can go from a traditional face scan

možemo ići od tradicionalnog skena lica

that might have the gross contours of the face and the basic shape,

koji nam daje grube konture lica i glavni oblik,

and augment it with information

i pojačati ga s informacijama

that puts in all of that skin pore structure and fine wrinkles.

koje dodaju čitavu strukturu pora i fine bore.

And, even more importantly,

I još važnije,

since this is a photometric process that only takes three seconds to capture,

otkad je to fotometrijski proces koji zahtijeva samo 3 sekunde,

we can shoot Emily

možemo fotografirati Emily

in just part of an afternoon,

tijekom samo dijela popodneva,

in many different facial poses and facial expressions.

u mnogo različitih položaja lica i mnogo izraza.

So, here you can see her moving her eyes around, moving her mouth around.

Ovdje je vidite kako okreće očima, pomiče usta.

And these we're actually going to use to create a photo-real digital character.

A ove ćemo zaista koristiti da stvorimo foto-realističan digitalni karakter.

If you take a look at these scans that we have of Emily,

Ako pogledate ove skenove koje imamo od Emily,

you can see that the human face does an enormous amount of amazing things

vidite da ljudsko lice čini ogroman broj zapanjujućih stvari

as it goes into different facial expressions.

kad pravi različite izraze.

You can see things. Not only the face shape changes,

Možete to vidjeti. Ne samo da se oblik lica mijenja,

but all sorts of different skin buckling and skin wrinkling occurs.

već se događa i različito savijanje i nabiranje kože.

You can see that the skin pore structure changes enormously

Vidite da se struktura pora kože drastično mijenja

from stretched skin pores

od rastegnutih pora,

to the regular skin texture.

do normalne teksture kože.

You can see the furrows in the brow and how the microstructure changes there.

Možete vidjeti brazde na čelu i kako se mikrostruktura ovdje mijenja.

You can see muscles pulling down at flesh to bring her eyebrows down.

Vidite kako mišići povlače kožu nadolje kako bi spustili njezine obrve.

Her muscles bulging in her forehead when she winces like that.

Mišići iskaču na njezinom čelu kad pravi ovu grimasu.

In addition to this kind of high-resolution geometry,

Osim ove geometrije visoke rezolucije,

since it's all captured with cameras, we've got a great texture map to use for the face.

budući da je sve snimljeno fotoaparatom, imamo odličnu mapu teksture za upotrijebiti na licu.

And by looking at how the different color channels of the illumination,

A gledajući kako različiti kanali boja u svjetlosti,

the red and the green and the blue,

crveni i zeleni i plavi,

diffuse the light differently,

različito raspršuju svjetlo,

we can come up with a way of shading the skin on the computer.

možemo odrediti način na koji ćemo osjenčati kožu računalom.

Then, instead of looking like a plaster mannequin,

I tada, umjesto da izgleda kao gipsana lutka,

it actually looks like it's made out of living human flesh.

ovo zapravo izgleda kao da je izrađeno od živog ljudskog tkiva.

And this is what we used

I to je ono što smo davali

to give to the company Image Metrics

kompaniji Image Metrics

to create a rigged, digital version of Emily.

da naprave prilagođenu digitalnu verziju Emily.

We're just seeing the coarse-scale geometry here.

Ovdje vidimo samo geometriju u grubom planu.

But they basically created a digital puppet of her,

Ali oni su napravili digitalnu marionetu nje,

where you can pull on these various strings,

kod koje možete povući ove različite uzice,

and it actually moves her face in ways that are

i one pomiču njezino lice na način

completely consistent with the scans that we took.

sasvim konzistentan sa skenovima koje smo napravili.

And, in addition to the coarse-scale geometry,

Osim grube geometrije,

they also used all of that detail

Iskoristili su i sve te detalje

to create a set of what are called "displacement maps"

da naprave skup onoga što se zove "karte pomaka"

that animate as well.

koje se također mogu animirati.

These are the displacement maps here.

Ovo su karte pomaka.

And you can see those different wrinkles actually show up as she animates.

I vidite da se različite bore doista vide kad je animirana.

So the next process was then to animate her.

Sljedeći je postupak, dakle, bila animacija.

We actually used one of her own performances to provide the source data.

Koristili smo jednu njenu pravu izvedbu kao izvor podataka.

So, by analyzing this video with computer vision techniques,

Analizirajući ovaj video tehnikama računalnog gledanja,

they were able to drive the facial rig

bili su u stanju pokrenuti kostur lica

with the computer-generated performance.

izvedbom generiranom u računalu.

So what you're going to see now, after this,

Ono što ćete sada vidjeti, nakon ovoga,

is a completely photo-real digital face.

je posve foto-realistično lice.

We can turn the volume up a little bit if that's available.

Možemo malo pojačati glasnoću ako može.

Emily: Image Metrics is a markerless, performance-driven animation company.

Emily: Image Metrics je kompanija za animaciju bez markera, temeljenu na izvedbi.

We specialize in high-quality facial animation

Specijaliziramo se za animaciju lica visoke kvalitete

for video games and films.

za video igre i filmove.

Image Metrics is a markerless, performance-driven animation company.

Image Metrics je kompanija za animaciju bez markera, temeljenu na izvedbi.

We specialize in high quality facial animation

Specijaliziramo se za animaciju lica visoke kvalitete

for video games and films.

za video igre i filmove.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

Paul Debevec: Pa, ako to raščlanimo na slojeve, evo te difuzne komponente

we saw in the first slide.

koju smo vidjeli na prvom slajdu.

Here is the specular component animating.

Ovdje je refleksivna komponenta u animaciji.

You can see all the wrinkles happening there.

Vidite da se ovdje pojavljuju i sve bore.

And there is the underlying wireframe mesh.

A ovdje je žičana mreža u podlozi.

And that is Emily herself.

A ovo je sama Emily.

Now, where are we going with this here?

Pa, kamo dalje s ovime?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Pomaknuli smo se nešto dalje od svjetlosne pozornice 5. Ovo je svjetlosna pozornica 6.

and we're looking at taking this technology

I gledamo kako iskoristiti ovu tehnologiju

and applying it to whole human bodies.

i primijeniti je na čitava tijela.

This is Bruce Lawmen, one of our researchers in the group,

Ovo je Bruce Lawmen, jedan od istraživača u skupini,

who graciously agreed to get captured running in the Light Stage.

koji se velikodušno složio da ga snimimo dok trči na svjetlosnoj pozornici.

And let's take a look at a computer-generated version

Pogledajmo verziju Brucea generiranu računalom,

of Bruce, running in a new environment.

dok trči u novom okruženju.

And thank you very much.

Hvala vam lijepa.

(Applause)

(Pljesak)