Paul Debevec animates a photo-real digital face

Paul Debevec anime un visage numérique photo-réaliste

Traducteur: Francois Roughol Relecteur: Mia C.

One of the biggest challenges in computer graphics

Un des plus grands défis dans l'image de synthèse

has been being able to create a photo-real,

a toujours été de créer un visage humain

digital human face.

photo-réaliste.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Et une des raisons pour cela, à l'inverse des aliens ou des dinosaures,

we look at human faces every day.

est que nous regardons des visages humains tous les jours.

They are very important to how we communicate with each other.

Et ceux-ci sont très importants dans la façon dont nous communiquons entre nous.

As a result, we're tuned in to the subtlest things

Et nous sommes donc sensibles aux moindres détails

that could possibly be wrong with a computer rendering,

potentiellement erronés d'une image de synthèse,

in order to believe whether these things are realistic.

nous empêchant de croire que ce visage puisse être réaliste.

And what I'm going to do in the next five minutes

Et ce que je vais faire pendant les cinq prochaines minutes

is take you through a process

est de vous faire partager un processus

where we tried to create a reasonably photo-realistic computer-generated face,

grâce auquel nous avons essayé de créer un visage de synthèse photo-réaliste,

using some computer graphics technology we've developed,

en utilisant une technologie d'image de synthèse que nous avons développé

and also some collaborators at a company called Image Metrics.

avec nos collaborateurs chez Image Metrics.

And we're going to try to do a photo-real face

Nous allons essayer de reproduire le visage de l'actrice

of an actress named Emily O'Brien, who is right there.

Emily O'Brian, ici présente, de manière réaliste.

And that's actually a completely computer-generated rendering of her face.

Et voici une image de synthèse de son visage, entièrement reconstituée.

By the end of the talk, we're going to see it move.

D'ici la fin de cette présentation, vous la verrez bouger.

The way that we did this is we tried to start with Emily herself,

Notre méthode fut d'abord d'essayer avec Emily en personne,

who was gracious enough to come to our laboratory

qui a gentiment accepté de venir dans notre laboratoire

in Marina Del Rey, and sit for a session in Light Stage 5.

de Marina Del Rey, et de participer à une session de Light Stage 5.

This is a face-scanning sphere, with 156 white LEDs all around

C'est une sphère faite de 156 DEL blanches tout autour qui scannent son visage

that allow us to photograph her

et nous permettent de le photographier

in a series of very controlled illumination conditions.

dans un ensemble d'éclairages extrêmement contrôlés.

And the lighting that we use these days looks something like this.

Et l'éclairage que nous utilisons en ce moment ressemble à ceci.

We shoot all of these photographs in about three seconds.

Nous prenons toutes ces photos en environ trois secondes.

And we basically capture enough information

Et nous obtenons suffisamment d'informations

with video projector patterns that drape over the contours of her face,

avec des modèles de projection vidéo qui enrobent les contours de son visage,

and different principle directions of light from the light stage,

et les diverses orientations principales de lumière,

to figure out both the coarse-scale

pour reconstituer à la fois la definition haute

and the fine-scale detail of her face.

et basse des détails de son visage.

If we zoom in on this photograph right here,

Si nous zoomons sur cette photo ici,

we can see it's a really nice photograph to have of her,

nous pouvons voir que c'est un très beau cliché à avoir

because she is lit from absolutely everywhere at the same time

car elle est éclairée d'absolument partout à la fois

to get a nice image of her facial texture.

et cela donne une belle image de la texture de son visage.

And in addition, we've actually used polarizers on all the lights --

Et en plus, nous avons utilisé des filtres polarisateurs sur toutes les lumières

just like polarized sunglasses can block

de la même façon que les lunettes polarisées

the glare off of the road,

peuvent bloquer les reflets sur la route,

polarizers can block the shine off of the skin,

les filtres polarisateurs bloquent la brillance de la peau,

so we don't get all those specular reflections to take this map.

et nous obtenons une texture sans reflets spéculaires.

Now, if we turn the polarizers around just a little bit,

Maintenant, si nous tournons un peu ces filtres,

we can actually bring that specular reflection

nous pouvons en fait réintroduire

of the skin back in,

les reflets spéculaires sur la peau

and you can see she looks kind of shiny and oily at this point.

et vous pouvez voir que sa peau semble très brillante et huilée maintenant.

If you take the difference between these two images here,

Si l'on soustrait les différences entre ces deux images là,

you can get an image lit from the entire sphere of light

on peut obtenir une image éclairée par toute la sphère de lumière

of just the shine off of Emily's skin.

ou bien uniquement la brillance de la peau d'Emily.

I don't think any photograph like this had ever been taken

Je crois qu'aucune photo de ce type n'a jamais été prise

before we had done this.

avant la nôtre.

And this is very important light to capture,

Et cette lumière est extrêmement importante à saisir,

because this is the light that reflects off the first surface of the skin.

car c'est la lumière qui se reflète à la surface de la peau.

It doesn't get underneath the translucent

Elle ne pénètre pas au delà des couches

layers of the skin and blur out.

translucides de la peau pour s'y dissiper.

And, as a result, it's a very good cue

Et le résultat est une très bonne indication

to the detailed shape of the skin-pore structure

de la forme détaillée de la structure poreuse de la peau

and all of the fine wrinkles that all of us have,

et de toutes les fines rides que nous avons tous,

the things that actually make us look like real humans.

exactement le genre de chose qui nous donnent l'aspect de vrais humains.

So, if we use information that comes off of this specular reflection,

Donc, si nous utilisons ces données venant des reflets spéculaires

we can go from a traditional face scan

nous pouvons aller d'un scan traditionnel de visage

that might have the gross contours of the face and the basic shape,

qui pourrait avoir les contours grossiers et la forme basique du visage,

and augment it with information

et ajouter les informations

that puts in all of that skin pore structure and fine wrinkles.

nécessaires à cette structure poreuse et aux fines rides de la peau.

And, even more importantly,

Et, plus important encore,

since this is a photometric process that only takes three seconds to capture,

puisque c'est un processus photométrique qui ne prend que trois secondes,

we can shoot Emily

nous pouvons photographier Emily

in just part of an afternoon,

seulement en une partie de l'après-midi,

in many different facial poses and facial expressions.

en de nombreuses positions et expressions faciales.

So, here you can see her moving her eyes around, moving her mouth around.

Ici, vous pouvez la voir bouger ses yeux et sa bouche.

And these we're actually going to use to create a photo-real digital character.

Et nous nous en servirons pour créer notre personnage de synthèse photo-realiste.

If you take a look at these scans that we have of Emily,

Si vous regardez ces scans que nous avons d'Emily,

you can see that the human face does an enormous amount of amazing things

vous pouvez voir que le visage humain est capable d'un nombre impressionnant de choses

as it goes into different facial expressions.

lorsqu'il exprime différents sentiments.

You can see things. Not only the face shape changes,

Vous pouvez voir ces choses. Non seulement le visage change,

but all sorts of different skin buckling and skin wrinkling occurs.

mais plein de plis et de rides apparaissent.

You can see that the skin pore structure changes enormously

Vous pouvez voir que la structure poreuse de la peau change

from stretched skin pores

énormément entre les pores étirées

to the regular skin texture.

et la texture habituelle de la peau.

You can see the furrows in the brow and how the microstructure changes there.

Vous pouvez voir les froncements du front, et comment la micro-structure change là.

You can see muscles pulling down at flesh to bring her eyebrows down.

Vous pouvez voir les muscles tirer vers le bas pour faire descendre ses sourcils.

Her muscles bulging in her forehead when she winces like that.

Ses muscles se bomber sur son front lorsqu'elle grimace comme cela.

In addition to this kind of high-resolution geometry,

En plus de toute cette sorte de géométrie haute résolution,

since it's all captured with cameras, we've got a great texture map to use for the face.

puisque c'est pris avec des caméras, on a un superbe plan de textures pour son visage.

And by looking at how the different color channels of the illumination,

Et en observant comment les différents canaux de colorimétrie,

the red and the green and the blue,

le rouge, le vert et le bleu,

diffuse the light differently,

diffusent la lumière de façon différente,

we can come up with a way of shading the skin on the computer.

nous pouvons trouver une façon d'ajouter des tons à la peau sur l'ordinateur.

Then, instead of looking like a plaster mannequin,

Et ainsi, plutôt que de ressembler a un mannequin de plâtre,

it actually looks like it's made out of living human flesh.

cela semble être fait de chair humaine bien vivante.

And this is what we used

Et nous nous sommes servis de ça

to give to the company Image Metrics

au service de l'entreprise Image Metrics

to create a rigged, digital version of Emily.

pour créer une version numérique d'Emily.

We're just seeing the coarse-scale geometry here.

Nous ne voyons que les formes basiques ici.

But they basically created a digital puppet of her,

Mais ils ont en gros créé une marionnette numérique d'elle,

where you can pull on these various strings,

sur laquelle nous pouvons tirer sur ces différentes ficelles,

and it actually moves her face in ways that are

et elles font bouger son visage de façon complètement

completely consistent with the scans that we took.

en accord avec les scans que nous avons pris.

And, in addition to the coarse-scale geometry,

Et, en plus des formes basiques,

they also used all of that detail

ils ont également utilisé tous ces détails

to create a set of what are called "displacement maps"

pour créer une série de "plans de déplacement"

that animate as well.

qui peuvent être animées également.

These are the displacement maps here.

Voici les plans de déplacement.

And you can see those different wrinkles actually show up as she animates.

Et vous pouvez voir les différentes rides apparaître lorsqu'elle s'anime.

So the next process was then to animate her.

Donc le processus suivant était de l'animer.

We actually used one of her own performances to provide the source data.

Nous avons en fait utilisé une de ses performance comme source de données.

So, by analyzing this video with computer vision techniques,

Et en analysant la vidéo avec des méthodes de tracking par ordinateur,

they were able to drive the facial rig

ils ont été capable de synchroniser le modèle de son visage

with the computer-generated performance.

avec la performance générée par l'ordinateur.

So what you're going to see now, after this,

Ce que vous allez voir maintenant, après ceci,

is a completely photo-real digital face.

est un visage entièrement numérique et photo-réaliste.

We can turn the volume up a little bit if that's available.

On peut augmenter le volume un petit peu si possible.

Emily: Image Metrics is a markerless, performance-driven animation company.

Emily : Image Metrics est une entreprise d'animation sans tracking, basée sur la performance humaine.

We specialize in high-quality facial animation

Nous sommes spécialisés dans l'animation haute résolution de visages

for video games and films.

pour films et jeux vidéos.

Image Metrics is a markerless, performance-driven animation company.

Image Metrics est une entreprise d'animation sans tracking, basée sur la performance humaine.

We specialize in high quality facial animation

Nous sommes spécialisés dans l'animation haute résolution de visages

for video games and films.

pour films et jeux vidéos.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

Paul Debevec : En décomposant tout ceci en couches, voici la texture diffuse

we saw in the first slide.

que nous avons vu en première partie.

Here is the specular component animating.

Voici l'animation des reflets spéculaires.

You can see all the wrinkles happening there.

Vous pouvez voir toutes les rides apparaître ici.

And there is the underlying wireframe mesh.

Et voici la maquette de base.

And that is Emily herself.

Et voici la vraie Emily.

Now, where are we going with this here?

Alors maintenant, que faire de tout ça?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Nous sommes allés un peu plus loin que le Light Stage 5. Voici Light Stage 6.

and we're looking at taking this technology

Et nous étudions la possibilité d'utiliser cette technologie

and applying it to whole human bodies.

en l'appliquant sur le corps humain complet.

This is Bruce Lawmen, one of our researchers in the group,

Voici Bruce Lawmen, un des chercheurs du groupe,

who graciously agreed to get captured running in the Light Stage.

qui a gentiment accepté de se faire numériser en courant.

And let's take a look at a computer-generated version

Et voilà ce que ça donne dans la version générée par ordinateur

of Bruce, running in a new environment.

de Bruce, courant dans un nouvel environnement.

And thank you very much.

Merci beaucoup.

(Applause)

(Applaudissements)