Paul Debevec animates a photo-real digital face

Vertaald door: Roelof Potters Nagekeken door: Marcia Lauw

One of the biggest challenges in computer graphics

Eén van de grootste uitdagingen in computergraphics

has been being able to create a photo-real,

was het kunnen creëren van

digital human face.

een fotorealistisch, digitaal menselijk gezicht.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Eén moeilijkheid daarbij is dat we, anders dan bij

we look at human faces every day.

aliens en dinosaurussen, elke dag naar menselijke gezichten kijken.

They are very important to how we communicate with each other.

Ze zijn erg belangrijk in onze communicatie met elkaar.

As a result, we're tuned in to the subtlest things

Daardoor zijn we gespitst op de kleinste details

that could possibly be wrong with a computer rendering,

die fout kunnen gaan in een computerweergave,

in order to believe whether these things are realistic.

om te geloven dat deze realistisch zijn.

And what I'm going to do in the next five minutes

In de komende vijf minuten neem ik u mee

is take you through a process

in een proces, waarin we hebben geprobeerd

where we tried to create a reasonably photo-realistic computer-generated face,

een acceptabel fotorealistisch computergegenereerd gezicht te maken,

using some computer graphics technology we've developed,

met grafische computertechnologie die we hebben ontwikkeld

and also some collaborators at a company called Image Metrics.

samen met enkele mensen van een bedrijf, genaamd Image Metrics.

And we're going to try to do a photo-real face

En we gaan proberen een fotorealistisch gezicht te maken

of an actress named Emily O'Brien, who is right there.

van een actrice, Emily O'Brien, die je daar ziet.

And that's actually a completely computer-generated rendering of her face.

Deze weergave van haar gezicht is volledig computergegenereerd.

By the end of the talk, we're going to see it move.

Aan het eind van de presentatie zullen we het zien bewegen.

The way that we did this is we tried to start with Emily herself,

We hebben dit gedaan door te beginnen met Emily zelf,

who was gracious enough to come to our laboratory

die zo vriendelijk was om naar ons laboratorium te komen

in Marina Del Rey, and sit for a session in Light Stage 5.

in Marina del Rey, en voor een sessie in Light Stage 5 te gaan zitten.

This is a face-scanning sphere, with 156 white LEDs all around

Dit is een gezichtsscanbol, met 156 witte LEDs rondom,

that allow us to photograph her

waarmee we haar kunnen fotograferen

in a series of very controlled illumination conditions.

in een serie zeer goed beheerste belichtingsomstandigheden.

And the lighting that we use these days looks something like this.

En de verlichting die we tegenwoordig gebruiken ziet er ongeveer zo uit.

We shoot all of these photographs in about three seconds.

In ongeveer drie seconden nemen we al deze foto's.

And we basically capture enough information

En we verkrijgen in principe genoeg informatie

with video projector patterns that drape over the contours of her face,

met videoprojectiepatronen, die we over haar gezichtscontouren draperen,

and different principle directions of light from the light stage,

en verschillende hoofdrichtingen van licht vanuit de lichtinstallatie,

to figure out both the coarse-scale

waarmee we zowel de grove contouren

and the fine-scale detail of her face.

als de fijne details van haar gezicht kunnen onderzoeken.

If we zoom in on this photograph right here,

Als we op de foto hier inzoomen,

we can see it's a really nice photograph to have of her,

dan zien we een erg mooie foto van haar,

because she is lit from absolutely everywhere at the same time

want ze is vanuit werkelijk alle kanten tegelijk belicht

to get a nice image of her facial texture.

om een mooie afbeelding van haar gezichtsbouw te krijgen.

And in addition, we've actually used polarizers on all the lights --

En daarbovenop hebben we polarisatiefilters op alle lampen gebruikt --

just like polarized sunglasses can block

zoals Polaroid-zonnebrillen

the glare off of the road,

de glans van de weg kunnen blokkeren,

polarizers can block the shine off of the skin,

blokkeren polarisatiefilters het schijnsel vanaf de huid,

so we don't get all those specular reflections to take this map.

waardoor we niet al de spiegelende reflecties krijgen, om deze kaart te maken.

Now, if we turn the polarizers around just a little bit,

Als we de polarisatiefilters een beetje laten draaien,

we can actually bring that specular reflection

kunnen we eigenlijk die spiegelende reflectie

of the skin back in,

van de huid terugkrijgen.

and you can see she looks kind of shiny and oily at this point.

Hier zie je dat ze er een beetje glimmend en olieachtig uitziet.

If you take the difference between these two images here,

Als je het verschil neemt tussen deze twee plaatjes,

you can get an image lit from the entire sphere of light

dan krijg je een plaatje van de volledige verlichtingsbol

of just the shine off of Emily's skin.

van alleen de glans vanaf Emily's huid.

I don't think any photograph like this had ever been taken

Ik denk niet dat er ooit een foto als deze is genomen

before we had done this.

voordat we dit deden.

And this is very important light to capture,

En dit is heel belangrijk licht om te vangen,

because this is the light that reflects off the first surface of the skin.

omdat dit licht reflecteert op de bovenste huidlaag.

It doesn't get underneath the translucent

Het komt niet onder de doorschijnende

layers of the skin and blur out.

lagen van de huid, waar het zou vervagen.

And, as a result, it's a very good cue

En het resultaat is een zeer goede weergave

to the detailed shape of the skin-pore structure

van de gedetailleerde vormen van de huidporiënstructuur

and all of the fine wrinkles that all of us have,

en alle fijne rimpeltjes die we allemaal hebben,

the things that actually make us look like real humans.

die ons eruit laten zien als echte mensen.

So, if we use information that comes off of this specular reflection,

Dus, als we de informatie uit deze spiegelende reflectie gebruiken

we can go from a traditional face scan

kunnen we een traditionele gezichtsscan,

that might have the gross contours of the face and the basic shape,

die de grove contouren van het gezicht en de basisvorm bevat,

and augment it with information

verrijken met informatie, die daar

that puts in all of that skin pore structure and fine wrinkles.

de huidporiënstructuur en fijne rimpeltjes aan toevoegt.

And, even more importantly,

En nog belangrijker,

since this is a photometric process that only takes three seconds to capture,

aangezien dit fotometrisch proces maar drie seconden duurt om op te nemen,

we can shoot Emily

kunnen we Emily vastleggen

in just part of an afternoon,

in slechts een deel van een middag,

in many different facial poses and facial expressions.

in veel verschillende gezichtshoudingen en gezichtsuitdrukkingen.

So, here you can see her moving her eyes around, moving her mouth around.

Hier zie je dat ze haar ogen en mond beweegt.

And these we're actually going to use to create a photo-real digital character.

En daarmee creëren we een fotorealistisch digitaal persoon.

If you take a look at these scans that we have of Emily,

Als je deze scans van Emily bekijkt,

you can see that the human face does an enormous amount of amazing things

zie je dat een menselijk gezicht enorm veel verbluffende dingen doet

as it goes into different facial expressions.

terwijl het in verschillende gezichtsuitdrukkingen overgaat.

You can see things. Not only the face shape changes,

Je ziet van alles. Niet alleen de gezichtsvorm verandert,

but all sorts of different skin buckling and skin wrinkling occurs.

maar er verschijnen ook allerlei huidknikjes en huidrimpels.

You can see that the skin pore structure changes enormously

Je ziet dat de huidporiënstructuur sterk verandert,

from stretched skin pores

van uitgerekte huidporiën,

to the regular skin texture.

naar de normale huidstructuur.

You can see the furrows in the brow and how the microstructure changes there.

Je ziet de plooien in de wenkbrauw en hoe de microstructuur daar verandert.

You can see muscles pulling down at flesh to bring her eyebrows down.

Je kunt de spieren zien die haar wenkbrauwen omlaag trekken.

Her muscles bulging in her forehead when she winces like that.

De spieren die opbollen in haar voorhoofd als ze dergelijke grimassen maakt.

In addition to this kind of high-resolution geometry,

Naast deze vorm van hoge resolutie geometrie, krijgen we

since it's all captured with cameras, we've got a great texture map to use for the face.

een prachtige weefselkaart van haar gezicht, omdat alles met camera's is vastgelegd.

And by looking at how the different color channels of the illumination,

En door te kijken hoe de verschillende kleurkanalen

the red and the green and the blue,

van de belichting: rood, groen en blauw,

diffuse the light differently,

het licht op verschillende manieren verstrooien,

we can come up with a way of shading the skin on the computer.

kunnen we de manier waarop de huid schaduwt, in de computer stoppen.

Then, instead of looking like a plaster mannequin,

En in plaats dat het eruitziet als een gipsen paspop,

it actually looks like it's made out of living human flesh.

lijkt het van menselijk vlees en bloed.

And this is what we used

En dit hebben we gebruikt

to give to the company Image Metrics

om aan het bedrijf Image Metrics te geven

to create a rigged, digital version of Emily.

om een complete, digitale versie van Emily te maken.

We're just seeing the coarse-scale geometry here.

We zien hier alleen de grofschalige geometrie.

But they basically created a digital puppet of her,

Maar eigenlijk hebben ze een digitale marionet van haar gemaakt,

where you can pull on these various strings,

waarbij je aan deze verschillende touwtjes kunt trekken,

and it actually moves her face in ways that are

zodat haar gezicht beweegt op een manier die

completely consistent with the scans that we took.

volledig consistent is met de scans die we gemaakt hebben.

And, in addition to the coarse-scale geometry,

En, bovenop de grofschalige geometrie,

they also used all of that detail

hebben ze ook al die details gebruikt

to create a set of what are called "displacement maps"

om een set zogenaamde "verplaatsingskaarten" te maken

that animate as well.

die ook meedoen in de animatie.

These are the displacement maps here.

Dit zijn de verplaatsingskaarten.

And you can see those different wrinkles actually show up as she animates.

Je ziet de verschillende rimpels verschijnen als ze geanimeerd wordt.

So the next process was then to animate her.

Dus het volgende proces bestond uit het animeren van haar.

We actually used one of her own performances to provide the source data.

We gebruikten eigenlijk één van haar optredens om de brongegevens te leveren.

So, by analyzing this video with computer vision techniques,

Dus, door deze video met computerweergavetechnieken te analyseren.

they were able to drive the facial rig

konden we het gezicht besturen

with the computer-generated performance.

in het computergegenereerde optreden.

So what you're going to see now, after this,

Dus wat we hierna gaan zien,

is a completely photo-real digital face.

is een volledig fotorealistisch digitaal gezicht.

We can turn the volume up a little bit if that's available.

We kunnen het geluid iets harder zetten als dat beschikbaar is.

Emily: Image Metrics is a markerless, performance-driven animation company.

(Emily) "Image Metrics is een onafhankelijk, prestatiegedreven animatiebedrijf.

We specialize in high-quality facial animation

We zijn gespecialiseerd in hoge kwaliteit

for video games and films.

gezichtsanimatie voor videospelletjes en films."

Image Metrics is a markerless, performance-driven animation company.

"Image Metrics is een onafhankelijk, prestatiegedreven animatiebedrijf.

We specialize in high quality facial animation

We zijn gespecialiseerd in hoge kwaliteit

for video games and films.

gezichtsanimatie voor videospelletjes en films."

Paul Debevec: So, if we break that down into layers, here's that diffuse component

(Paul) Opgedeeld in lagen: hier de diffuse

we saw in the first slide.

component uit de eerste dia.

Here is the specular component animating.

Hier de spiegelende component.

You can see all the wrinkles happening there.

Je ziet alle rimpeltjes ontstaan.

And there is the underlying wireframe mesh.

En het onderliggende draadmodel.

And that is Emily herself.

En dit is Emily zelf.

Now, where are we going with this here?

Nu, waar gaan we van hieruit verder?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

We gaan nog wat voorbij Light Stage 5. Dit is Light Stage 6.

and we're looking at taking this technology

En we gebruiken deze technologie

and applying it to whole human bodies.

door hem toe te passen op volledige menselijke lichamen.

This is Bruce Lawmen, one of our researchers in the group,

Dit is Bruce Lawmen, één van de onderzoekers in de groep,

who graciously agreed to get captured running in the Light Stage.

die vriendelijk toestond, dat wij hem rennend in de Light Stage vastlegden.

And let's take a look at a computer-generated version

Laten we de computergegenereerde versie bekijken,

of Bruce, running in a new environment.

van Bruce die rent in een nieuwe omgeving.

And thank you very much.

Dank u wel.

(Applause)

(Applaus)