Paul Debevec animates a photo-real digital face

Tradutor: Nuno Miranda Ribeiro Revisora: Miguel Cabral de Pinho

One of the biggest challenges in computer graphics

Um dos maiores desafios em gráficos de computador

has been being able to create a photo-real,

tem sido ser capaz de criar um rosto humano digital foto-realista.

digital human face.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Uma das razões de ser tão difícil é que,

ao contrário dos extraterrestres e dinossauros,

we look at human faces every day.

olhamos para rostos humanos todos os dias.

They are very important to how we communicate with each other.

São importantes para a forma como comunicamos uns com os outros.

As a result, we're tuned in to the subtlest things

Em resultado, estamos sintonizados nas coisas mais subtis

that could possibly be wrong with a computer rendering,

que possam estar erradas com uma renderização de computador,

in order to believe whether these things are realistic.

para podermos acreditar que estas coisas são realistas.

And what I'm going to do in the next five minutes

Nos próximos cinco minutos

is take you through a process

vou conduzir-vos através de um processo

where we tried to create a reasonably photo-realistic computer-generated face,

em que tentámos criar um rosto gerado por computador razoavelmente realista,

using some computer graphics technology we've developed,

usando alguma tecnologia de gráficos de computador que desenvolvemos,

and also some collaborators at a company called Image Metrics.

e também alguns colaboradores na empresa Image Metrics.

And we're going to try to do a photo-real face

Vamos tentar fazer um rosto foto-realista

of an actress named Emily O'Brien, who is right there.

de uma atriz chamada Emily O'Brien, que está mesmo ali.

And that's actually a completely computer-generated rendering of her face.

Esta é uma renderização do rosto dela totalmente gerada por computador.

By the end of the talk, we're going to see it move.

No final da palestra, vamos vê-lo a mexer-se.

The way that we did this is we tried to start with Emily herself,

Tentámos começar com a própria Emily,

who was gracious enough to come to our laboratory

que teve a amabilidade de ir ao nosso laboratório

in Marina Del Rey, and sit for a session in Light Stage 5.

em Marina Del Rey, e ficar sentada para uma sessão no Light Stage 5.

This is a face-scanning sphere, with 156 white LEDs all around

Isto é uma esfera de digitalização da cabeça, com 156 LEDs brancos a toda a volta,

that allow us to photograph her

que nos permitem fotografá-la

in a series of very controlled illumination conditions.

numa série de condições de iluminação muito controladas.

And the lighting that we use these days looks something like this.

O tipo de luz que andamos a usar é algo deste género.

We shoot all of these photographs in about three seconds.

Registamos todas estas fotografias em cerca de três segundos.

And we basically capture enough information

Captamos informações suficientes

with video projector patterns that drape over the contours of her face,

com padrões de projetor de vídeo que varrem os contornos do seu rosto,

and different principle directions of light from the light stage,

e diferentes princípios de direções de luz a partir do palco de luz,

to figure out both the coarse-scale

para calcular quer a grande escala

and the fine-scale detail of her face.

quer os detalhes da pequena escala do seu rosto.

If we zoom in on this photograph right here,

Se aproximarmos esta fotografia aqui,

we can see it's a really nice photograph to have of her,

vemos que é uma bela foto para ter dela,

because she is lit from absolutely everywhere at the same time

porque ela está iluminada de todos os lados ao mesmo tempo

to get a nice image of her facial texture.

para se ter uma boa imagem da sua textura facial.

And in addition, we've actually used polarizers on all the lights --

Para além disso, usámos polarizadores em todas as luzes

just like polarized sunglasses can block

— tal como os óculos de sol polarizados conseguem bloquear

the glare off of the road,

o encandeamento na estrada,

polarizers can block the shine off of the skin,

os polarizadores conseguem bloquear o brilho da pele,

so we don't get all those specular reflections to take this map.

para que não tenhamos todos os reflexos especulares a tomar conta deste mapa.

Now, if we turn the polarizers around just a little bit,

Ora, se rodarmos só um pouco os polarizadores

we can actually bring that specular reflection

podemos trazer de volta aquela reflexão especular da pele.

of the skin back in,

and you can see she looks kind of shiny and oily at this point.

e vemos que ela agora parece algo brilhante e oleosa.

If you take the difference between these two images here,

Se tirarmos a diferença entre estas duas imagens aqui,

you can get an image lit from the entire sphere of light

podemos obter uma imagem iluminada a partir de toda a esfera de luz

of just the shine off of Emily's skin.

só do brilho da pele de Emily.

I don't think any photograph like this had ever been taken

Creio que nunca foi tirada uma fotografia como esta

before we had done this.

antes de termos feito isto.

And this is very important light to capture,

Trata-se de luz muito importante para captar,

because this is the light that reflects off the first surface of the skin.

porque é esta luz que é refletida na primeira superfície da pele.

It doesn't get underneath the translucent

Não atravessa as camadas translúcidas da pele

layers of the skin and blur out.

para a seguir se esbater.

And, as a result, it's a very good cue

O que resulta é uma pista muito boa

to the detailed shape of the skin-pore structure

para a forma detalhada da estrutura dos poros da pele

and all of the fine wrinkles that all of us have,

e para todas as pequenas rugas que todos nós temos,

the things that actually make us look like real humans.

as coisas que nos fazem ter o aspeto de humanos verdadeiros.

So, if we use information that comes off of this specular reflection,

Se usarmos informação obtida a partir desta reflexão especular

we can go from a traditional face scan

podemos ir de uma digitalização tradicional do rosto

that might have the gross contours of the face and the basic shape,

que talvez tenha os contornos sem detalhe do rosto e o perfil básico,

and augment it with information

e incrementá-la com informação

that puts in all of that skin pore structure and fine wrinkles.

que acrescenta toda essa estrutura de poros da pele e de rugas detalhadas.

And, even more importantly,

E, ainda mais importante,

since this is a photometric process that only takes three seconds to capture,

como este é um processo fotométrico que demora apenas três segundos a captar,

we can shoot Emily

podemos fotografar a Emily em apenas uma parte da tarde,

in just part of an afternoon,

in many different facial poses and facial expressions.

em muitas poses faciais e expressões faciais diferentes.

So, here you can see her moving her eyes around, moving her mouth around.

Aqui podem vê-la a mover os olhos, a mover a boca.

And these we're actually going to use to create a photo-real digital character.

Vamos usar estes movimentos para criar uma personagem digital foto-realista.

If you take a look at these scans that we have of Emily,

Se derem uma olhadela a estas digitalizações da Emily,

you can see that the human face does an enormous amount of amazing things

vemos que o rosto humano faz uma quantidade enorme de coisas espantosas

as it goes into different facial expressions.

à medida que passa por diferentes expressões faciais.

You can see things. Not only the face shape changes,

Vemos coisas. Não só as mudanças da forma do rosto,

but all sorts of different skin buckling and skin wrinkling occurs.

mas todo o tipo de diferentes curvaturas e rugas da pele.

You can see that the skin pore structure changes enormously

Vemos que a estrutura de poros da pele muda enormemente

from stretched skin pores

desde poros distendidos,

to the regular skin texture.

até à textura regular da pele.

You can see the furrows in the brow and how the microstructure changes there.

Vemos os sulcos da sobrancelha e como a microestrutura ali muda.

You can see muscles pulling down at flesh to bring her eyebrows down.

Vemos músculos a puxar os tecidos para trazer as sobrancelhas para baixo.

Her muscles bulging in her forehead when she winces like that.

Os músculos arqueando-se na testa quando ela se contrai desta forma.

In addition to this kind of high-resolution geometry,

Além deste tipo de geometria de alta-resolução,

since it's all captured with cameras, we've got a great texture map to use for the face.

como é tudo captado com câmaras,

temos um excelente mapa de texturas para usar para o rosto.

And by looking at how the different color channels of the illumination,

Ao ver como os diferentes canais de cor da iluminação,

the red and the green and the blue,

o vermelho e o verde e o azul, difundem a luz de forma diferente,

diffuse the light differently,

we can come up with a way of shading the skin on the computer.

podemos criar uma forma de sombrear a pele no computador.

Then, instead of looking like a plaster mannequin,

Depois, em vez de parecer um manequim de gesso,

it actually looks like it's made out of living human flesh.

parece ser feita de tecido humano vivo.

And this is what we used

Foi isto que usámos

to give to the company Image Metrics

para dar à empresa Image Metrics

to create a rigged, digital version of Emily.

para criarem uma versão completa, digital, da Emily.

We're just seeing the coarse-scale geometry here.

Aqui, estamos apenas a ver a geometria de escala grosseira.

But they basically created a digital puppet of her,

Mas eles basicamente criaram uma marioneta digital dela,

where you can pull on these various strings,

em que se podem puxar vários cordéis,

and it actually moves her face in ways that are

que movem o rosto dela de formas totalmente consistentes

completely consistent with the scans that we took.

com as digitalizações que fizemos.

And, in addition to the coarse-scale geometry,

Além da geometria de escala grosseira,

they also used all of that detail

eles usaram também todo aquele detalhe

to create a set of what are called "displacement maps"

para criar o que se chama "mapas de deslocação"

that animate as well.

que também são animados.

These are the displacement maps here.

Isto aqui são os mapas de deslocação.

And you can see those different wrinkles actually show up as she animates.

Vemos as diferentes rugas a surgir à medida que ela é animada.

So the next process was then to animate her.

Então, o processo seguinte foi animá-la.

We actually used one of her own performances to provide the source data.

Usámos uma das suas representações para fornecer os dados.

So, by analyzing this video with computer vision techniques,

Ao analisar este vídeo com técnicas de visão computacional,

they were able to drive the facial rig

eles conseguiram conduzir o equipamento do rosto

with the computer-generated performance.

com a performance gerada por computador.

So what you're going to see now, after this,

O que vamos ver a seguir, depois disto,

is a completely photo-real digital face.

é um rosto foto-realista totalmente digital.

We can turn the volume up a little bit if that's available.

Podemos subir o volume um pouco.

Emily: Image Metrics is a markerless, performance-driven animation company.

A Image Metrics é uma empresa de animação que não recorre a marcadores.

We specialize in high-quality facial animation

Especializamo-nos em animação facial de alta-qualidade

for video games and films.

para jogos de vídeo e filmes.

Image Metrics is a markerless, performance-driven animation company.

A Image Metrics é uma empresa de animação, que não recorre a marcadores.

We specialize in high quality facial animation

Especializamo-nos em animação facial de alta-qualidade

for video games and films.

para jogos de vídeo e filmes.

Paul Debevec: Se separarmos em camadas, aqui está aquele componente difuso

Paul Debevec: So, if we break that down into layers, here's that diffuse component

we saw in the first slide.

que vimos no primeiro slide.

Here is the specular component animating.

Aqui está o componente especular a ser animado.

You can see all the wrinkles happening there.

Vemos todas as rugas ali.

And there is the underlying wireframe mesh.

E aqui está a estrutura de malha subjacente.

And that is Emily herself.

Esta é a própria Emily.

Now, where are we going with this here?

Para onde vamos nós com isto?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Fomos um pouco para além do Light Stage 5. Isto é o Light Stage 6.

and we're looking at taking this technology

Procuramos pegar nesta tecnologia e aplicá-la a corpos humanos inteiros.

and applying it to whole human bodies.

This is Bruce Lawmen, one of our researchers in the group,

Este é o Bruce Lawmen, um dos nossos investigadores,

who graciously agreed to get captured running in the Light Stage.

que permitiu que o digitalizássemos enquanto corria no Light Stage.

And let's take a look at a computer-generated version

Vamos dar uma olhadela a uma versão do Bruce

of Bruce, running in a new environment.

gerada por computador, a correr num ambiente novo.

And thank you very much.

Muito obrigado.

(Applause)

(Aplausos)