Paul Debevec animates a photo-real digital face

Paul Debevec da animación a un rostro digital fotorrealista

Traductor: Roberto Dos Santos Revisor: Lucia Balsa Prados

One of the biggest challenges in computer graphics

Uno de los mayores retos en computación gráfica

has been being able to create a photo-real,

ha sido el poder crear un rostro

digital human face.

humano digital fotorrealista.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Y una de las razones por las que es tan difícil, a diferencia de alienígenas y dinosaurios,

we look at human faces every day.

es porque observamos caras humanas todos los días.

They are very important to how we communicate with each other.

Son muy importantes para la forma en que nos comunicamos con los demás.

As a result, we're tuned in to the subtlest things

Como resultado, estamos afinando las cosas más sutiles

that could possibly be wrong with a computer rendering,

que probablemente pudieran estar erradas en un renderizado computacional,

in order to believe whether these things are realistic.

a fin de considerar si estas cosas son realistas.

And what I'm going to do in the next five minutes

Y lo que voy a hacer en los próximos cinco minutos

is take you through a process

es llevarles a través de un proceso

where we tried to create a reasonably photo-realistic computer-generated face,

donde intentamos crear un rostro generado por computadora razonablemente fotorrealista,

using some computer graphics technology we've developed,

usando algo de la tecnología de computación gráfica que hemos desarrollado,

and also some collaborators at a company called Image Metrics.

y también algunos colaboradores de una compañía llamada Image Metrics.

And we're going to try to do a photo-real face

Y vamos a intentar hacer una cara fotorrealista

of an actress named Emily O'Brien, who is right there.

de una actriz llamada Emily O'Brian, quien está justo allí.

And that's actually a completely computer-generated rendering of her face.

Y ese es, de hecho, un renderizado totalmente generado en computadora de su cara.

By the end of the talk, we're going to see it move.

Hacia el final de la charla, lo vamos a ver moverse.

The way that we did this is we tried to start with Emily herself,

La forma en que lo hicimos fue que, para comenzar, ensayamos con la propia Emily,

who was gracious enough to come to our laboratory

quien fue tan amable de venir a nuestro laboratorio

in Marina Del Rey, and sit for a session in Light Stage 5.

en Marina Del Rey, y posar para una sesión en la Light Stage 5.

This is a face-scanning sphere, with 156 white LEDs all around

Ésta es una esfera para escanear rostros, con 156 "LEDs" blancos en todo su contorno,

that allow us to photograph her

que nos permite fotografiarla

in a series of very controlled illumination conditions.

en una serie de condiciones de iluminación muy controladas.

And the lighting that we use these days looks something like this.

Y la iluminación que usamos estos días se ve algo parecida a ésta.

We shoot all of these photographs in about three seconds.

Tomamos todas estas fotografías en aproximadamente tres segundos.

And we basically capture enough information

Y básicamente, capturamos suficiente información

with video projector patterns that drape over the contours of her face,

con los patrones de video-proyector extendidos sobre los contornos de su cara,

and different principle directions of light from the light stage,

y con las direcciones de las diferentes fuentes de luz de la Light Stage,

to figure out both the coarse-scale

como para resolver tanto el grano grueso

and the fine-scale detail of her face.

como el detalle del grano fino de su cara.

If we zoom in on this photograph right here,

Si ampliamos esta fotografía justo aquí,

we can see it's a really nice photograph to have of her,

podemos ver que es una fotografía muy buena de ella,

because she is lit from absolutely everywhere at the same time

porque está absolutamente iluminada desde todos lados al mismo tiempo

to get a nice image of her facial texture.

para conseguir una buena imagen de su textura facial.

And in addition, we've actually used polarizers on all the lights --

Y además, en efecto, hemos utilizado polarizadores para todas las luces --

just like polarized sunglasses can block

exactamente como los lentes de sol polarizados pueden bloquear

the glare off of the road,

el resplandor del pavimento,

polarizers can block the shine off of the skin,

los polarizadores pueden bloquear el brillo de la piel,

so we don't get all those specular reflections to take this map.

así que no usamos todos esos reflejos especulares para hacer este mapa.

Now, if we turn the polarizers around just a little bit,

Ahora, si giramos los polarizadores sólo un poco,

we can actually bring that specular reflection

podemos, realmente, devolver esa reflexión especular

of the skin back in,

a la piel,

and you can see she looks kind of shiny and oily at this point.

y pueden ver que luce bastante brillante y grasosa en este punto.

If you take the difference between these two images here,

Si tomas la diferencia entre estas dos imágenes aquí,

you can get an image lit from the entire sphere of light

puedes obtener una imagen iluminada por toda la esfera luz

of just the shine off of Emily's skin.

de únicamente el brillo de la tez de Emily.

I don't think any photograph like this had ever been taken

Creo que ninguna fotografía así se había tomado

before we had done this.

antes de que hubiésemos hecho ésta.

And this is very important light to capture,

Y ésta es una luz muy importante de captar,

because this is the light that reflects off the first surface of the skin.

porque es la luz que se refleja en el primer estrato de la piel.

It doesn't get underneath the translucent

No alcanza las capas traslúcidas

layers of the skin and blur out.

inferiores de la piel y se dispersa.

And, as a result, it's a very good cue

Y, como resultado, es una referencia muy buena

to the detailed shape of the skin-pore structure

para la forma detallada de la estructura de los poros de la piel

and all of the fine wrinkles that all of us have,

y la totalidad de finas arrugas que todos tenemos,

the things that actually make us look like real humans.

cosas que efectivamente nos hacen lucir como humanos reales.

So, if we use information that comes off of this specular reflection,

Bien, si usamos la información proveniente de esta reflexión especular

we can go from a traditional face scan

podemos ir de un tradicional rostro escaneado

that might have the gross contours of the face and the basic shape,

que podría tener los burods contornos de la cara y la forma básica,

and augment it with information

y mejorarlo con la información

that puts in all of that skin pore structure and fine wrinkles.

que introduce toda esa estructura de poros y finas arrugas.

And, even more importantly,

Y, aún más importante,

since this is a photometric process that only takes three seconds to capture,

ya que es un proceso fotométrico que sólo toma tres segundos capturar,

we can shoot Emily

podemos fotografiar a Emily

in just part of an afternoon,

en apenas parte de una tarde,

in many different facial poses and facial expressions.

en poses y expresiones faciales muy diversas .

So, here you can see her moving her eyes around, moving her mouth around.

Bien, aquí pueden verla moviendo sus ojos alrededor, moviendo su boca alrededor.

And these we're actually going to use to create a photo-real digital character.

Y estas, efectivamente, vamos a utilizarlas para crear un personaje digital fotorrealista.

If you take a look at these scans that we have of Emily,

Si echan una mirada a estas imágenes que obtuvimos de Emily,

you can see that the human face does an enormous amount of amazing things

pueden ver que el rostro humano realiza una enorme cantidad de cosas asombrosas

as it goes into different facial expressions.

al formar distintas expresiones faciales.

You can see things. Not only the face shape changes,

Pueden ver cosas. No solo cambia la forma de la cara,

but all sorts of different skin buckling and skin wrinkling occurs.

sino que ocurren todo tipo de plegamientos y fruncimientos de la piel.

You can see that the skin pore structure changes enormously

Pueden ver que la estructura porosa de la piel cambia enormemente,

from stretched skin pores

desde los poros estirados,

to the regular skin texture.

hasta la textura regular de la piel.

You can see the furrows in the brow and how the microstructure changes there.

Pueden ver los surcos en el ceño y como cambia la microestructura allí.

You can see muscles pulling down at flesh to bring her eyebrows down.

Pueden ver los músculos tirando la carne para llevar sus cejas hacia abajo.

Her muscles bulging in her forehead when she winces like that.

Sus músculos sobresaliendo en la frente cuando gesticula así.

In addition to this kind of high-resolution geometry,

Además de este tipo de geometría de alta resolución,

since it's all captured with cameras, we've got a great texture map to use for the face.

ya que todo se capturó con cámaras, contamos con un gran mapa de texturas que utilizar para su cara.

And by looking at how the different color channels of the illumination,

Y al explorar cómo los diferentes canales de color de la iluminación,

the red and the green and the blue,

el rojo, y el verde y el azul,

diffuse the light differently,

esparcen la luz diferentemente,

we can come up with a way of shading the skin on the computer.

podemos conseguir una forma de matizar la piel en la computadora.

Then, instead of looking like a plaster mannequin,

Entonces, en vez de lucir como un maniquí de yeso,

it actually looks like it's made out of living human flesh.

efectivamente, luce como hecho de carne y hueso.

And this is what we used

Y esto es lo que hicimos

to give to the company Image Metrics

para entregarlo a la compañía Image Metrics

to create a rigged, digital version of Emily.

para crear una versión articulada de Emily.

We're just seeing the coarse-scale geometry here.

Estamos apenas viendo la geometría en grueso aquí.

But they basically created a digital puppet of her,

Pero, básicamente, crearon un títere digital de ella,

where you can pull on these various strings,

donde ustedes pueden halar de las diversas cuerdas,

and it actually moves her face in ways that are

y efectivamente, mover su cara en formas que son

completely consistent with the scans that we took.

completamente consistentes con las imágenes que tomamos.

And, in addition to the coarse-scale geometry,

Y, además de la geometría en grueso,

they also used all of that detail

también usaron todo aquel detalle

to create a set of what are called "displacement maps"

para crear un juego de los llamados "mapas de desplazamiento"

that animate as well.

que también dan animación.

These are the displacement maps here.

Estos aquí son los mapas de desplazamiento.

And you can see those different wrinkles actually show up as she animates.

Y de hecho, pueden ver esas diversas arrugas manifestándose mientras ella cobra animación.

So the next process was then to animate her.

Así que el siguiente proceso fue darle luego animación a ella.

We actually used one of her own performances to provide the source data.

En realidad, usamos una de sus propias actuaciones para estipular los datos originales.

So, by analyzing this video with computer vision techniques,

Bien, analizando este video con técnicas de visión por computadora,

they were able to drive the facial rig

ellos pudieron manejar el dispositivo facial

with the computer-generated performance.

con la ejecución generada en el computador.

So what you're going to see now, after this,

Por lo tanto, lo que van a ver ahora, después de esto,

is a completely photo-real digital face.

es un rostro digital completamente fotorrealista.

We can turn the volume up a little bit if that's available.

Podemos subir un poco el volumen si es posible.

Emily: Image Metrics is a markerless, performance-driven animation company.

EMILY: Image Metrics es una compañía de animación sin marcadores orientada por resultados.

We specialize in high-quality facial animation

Nos especializamos en animación facial de alta calidad

for video games and films.

para videojuegos y películas.

Image Metrics is a markerless, performance-driven animation company.

Image Metrics es una compañía de animación sin marcadores orientada por resultados.

We specialize in high quality facial animation

Nos especializamos en animación facial de alta calidad

for video games and films.

para videojuegos y películas.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

PAUL DEBEVEC: Bien, si desglosamos eso en capas, aquí está aquel difuso componente

we saw in the first slide.

que vimos en la primera diapositiva.

Here is the specular component animating.

Aquí está el componente especular en animación.

You can see all the wrinkles happening there.

Pueden ver cómo todas las arrugas se presentan allí.

And there is the underlying wireframe mesh.

Y allí está la malla de la armadura lineal subyacente.

And that is Emily herself.

Y esa es la propia Emily.

Now, where are we going with this here?

Ahora, ¿adónde vamos con esto?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Hemos ido un poquito más allá de la Light Stage 5. Ésta es Light Stage 6.

and we're looking at taking this technology

Y estamos estudiando usar esta tecnología

and applying it to whole human bodies.

y aplicarla a cuerpos humanos enteros.

This is Bruce Lawmen, one of our researchers in the group,

Éste es Bruce Lawmen, uno de nuestros investigadores en el equipo,

who graciously agreed to get captured running in the Light Stage.

quien gentilmente aceptó ser captado al correr en la Light Stage.

And let's take a look at a computer-generated version

Y vamos a echar un vistazo a la versión generada por computadora

of Bruce, running in a new environment.

de Bruce, corriendo en un nuevo ambiente.

And thank you very much.

Y muchísimas gracias.

(Applause)

Aplausos