Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

Traductor: Paula Motter Revisor: Analia Padin

Look at these images.

Observen estas imágenes y díganme cuál de estos es el Obama verdadero.

Now, tell me which Obama here is real.

(Video) Barack Obama: To help families refinance their homes,

(Vídeo) Barack Obama: Ayudar a las familias a refinanciar sus casas,

to invest in things like high-tech manufacturing,

invertir en producción de alta tecnología,

clean energy

en energía no contaminante

and the infrastructure that creates good new jobs.

y en infraestructura que genera puestos de trabajo.

Supasorn Suwajanakorn: Anyone?

Supasorn Suwajanakorn: ¿Alguien lo sabe?

The answer is none of them.

La respuesta es ninguno.

(Laughter)

(Risas)

None of these is actually real.

Ninguno es el verdadero.

So let me tell you how we got here.

Les diré cómo llegamos a este punto.

My inspiration for this work

Para este trabajo, me inspiré en un proyecto

was a project meant to preserve our last chance for learning about the Holocaust

destinado a preservar nuestra última oportunidad de saber del Holocausto

from the survivors.

a través de sus sobrevivientes.

It's called New Dimensions in Testimony,

Se llama "Nuevas dimensiones en testimonio",

and it allows you to have interactive conversations

y permite mantener una conversación interactiva

with a hologram of a real Holocaust survivor.

con el holograma de un verdadero sobreviviente del Holocausto.

(Video) Man: How did you survive the Holocaust?

(Vídeo) Hombre: ¿Cómo sobrevivió al Holocausto?

(Video) Hologram: How did I survive?

(Vídeo) Holograma: ¿Cómo sobreviví?

I survived,

Sobreviví

I believe,

posiblemente porque la Providencia velaba por mí.

because providence watched over me.

SS: Turns out these answers were prerecorded in a studio.

SS: Estas respuestas fueron previamente grabadas en un estudio.

Yet the effect is astounding.

Sin embargo, el efecto es impresionante.

You feel so connected to his story and to him as a person.

Sentimos una conexión estrecha con su historia y con él como persona.

I think there's something special about human interaction

Pienso que la interacción humana tiene algo especial.

that makes it much more profound

Es mucho más profunda y personal

and personal

than what books or lectures or movies could ever teach us.

que lo transmitido a través de libros, clases o películas.

So I saw this and began to wonder,

Cuando vi esto empecé a preguntarme:

can we create a model like this for anyone?

¿es posible crear un modelo como este con cualquier persona,

A model that looks, talks and acts just like them?

un modelo que se vea, hable y actúe como la persona real?

So I set out to see if this could be done

Así que decidí intentarlo,

and eventually came up with a new solution

y finalmente se me ocurrió una solución

that can build a model of a person using nothing but these:

para construir el modelo de una persona utilizando solo esto que vemos aquí:

existing photos and videos of a person.

fotos y vídeos de esa persona.

If you can leverage this kind of passive information,

El hecho de poder usar información que ya existe,

just photos and video that are out there,

como fotos y vídeos que encontramos por allí,

that's the key to scaling to anyone.

es la clave para poder modelar cualquier persona.

By the way, here's Richard Feynman,

Por cierto, este es Richard Feynman,

who in addition to being a Nobel Prize winner in physics

quien, además de haber ganado el Premio Nobel de física,

was also known as a legendary teacher.

también fue un legendario profesor.

Wouldn't it be great if we could bring him back

¿No sería maravilloso poder rescatarlo

to give his lectures and inspire millions of kids,

para que diera sus clases e inspirara a millones de jóvenes,

perhaps not just in English but in any language?

no solo en inglés, sino en otros idiomas?

Or if you could ask our grandparents for advice and hear those comforting words

O poder pedir consejos a nuestros abuelos y oír esas palabras reconfortantes

even if they're no longer with us?

aunque ya no estén con nosotros.

Or maybe using this tool, book authors, alive or not,

O quizá con esta herramienta los escritores, vivos o no,

could read aloud all of their books for anyone interested.

podrían leer sus libros en voz alta a quienes estén interesados.

The creative possibilities here are endless,

Las posibilidades creativas son infinitas

and to me, that's very exciting.

y, en mi opinión, esto es sumamente interesante.

And here's how it's working so far.

Les mostraré cómo funciona por ahora.

First, we introduce a new technique

Primero, usamos una nueva técnica para reconstruir un rostro en 3D

that can reconstruct a high-detailed 3D face model from any image

con un alto nivel de detalle a partir de cualquier imagen,

without ever 3D-scanning the person.

sin haber hecho nunca un escaneo en 3D de la persona.

And here's the same output model from different views.

Este es el mismo modelo obtenido, visto desde distintos ángulos.

This also works on videos,

Se puede hacer lo mismo con vídeos,

by running the same algorithm on each video frame

ejecutando el mismo algoritmo en cada cuadro del vídeo

and generating a moving 3D model.

y generando un modelo móvil en 3D.

And here's the same output model from different angles.

Aquí vemos el mismo modelo obtenido, desde distintos ángulos.

It turns out this problem is very challenging,

Esta técnica presenta numerosos desafíos,

but the key trick is that we are going to analyze

pero el truco consiste en analizar de antemano

a large photo collection of the person beforehand.

una gran colección de fotos de la persona.

For George W. Bush, we can just search on Google,

Si la persona es George W. Bush, basta con buscar en Google.

and from that, we are able to build an average model,

De allí se puede construir un modelo de base,

an iterative, refined model to recover the expression

perfeccionado iterativamente para recuperar la expresión

in fine details, like creases and wrinkles.

en sus detalles finos,

como las arrugas y líneas de expresión.

What's fascinating about this

Lo fascinante es que la colección de fotos

is that the photo collection can come from your typical photos.

puede hacerse a partir de fotos comunes de la persona,

It doesn't really matter what expression you're making

cualquiera sea la expresión de su rostro o el lugar donde se tomó la foto.

or where you took those photos.

What matters is that there are a lot of them.

Lo que importa es que haya gran cantidad.

And we are still missing color here,

Pero todavía nos falta el color,

so next, we develop a new blending technique

así que a desarrollamos una nueva técnica de mezcla

that improves upon a single averaging method

que funciona mejor que un simple promedio

and produces sharp facial textures and colors.

y produce texturas y colores faciales definidos.

And this can be done for any expression.

Y esto se puede aplicar a cualquier expresión.

Now we have a control of a model of a person,

Ahora podemos controlar el modelo de una persona,

and the way it's controlled now is by a sequence of static photos.

a través de una secuencia de fotos estáticas.

Notice how the wrinkles come and go, depending on the expression.

Observen cómo aparecen y desaparecen las líneas del rostro según la expresión.

We can also use a video to drive the model.

También se puede usar un vídeo para manejar el modelo.

(Video) Daniel Craig: Right, but somehow,

(Vídeo) Daniel Craig: Sí, pero de alguna manera,

we've managed to attract some more amazing people.

logramos atraer más gente increíble.

SS: Y aquí tenemos otra demo entretenida.

SS: And here's another fun demo.

So what you see here are controllable models

Estos son modelos controlables de personas

of people I built from their internet photos.

que construí a partir de fotos disponibles en la web.

Now, if you transfer the motion from the input video,

Trasladando el movimiento del vídeo original,

we can actually drive the entire party.

podemos manejar todos los modelos juntos.

George W. Bush: It's a difficult bill to pass,

George W. Bush: No es una ley fácil de aprobar

because there's a lot of moving parts,

porque es un tema muy complejo

and the legislative processes can be ugly.

y los procesos legislativos a veces son difíciles.

(Applause)

(Aplausos)

SS: So coming back a little bit,

SS: Retomando lo anterior,

our ultimate goal, rather, is to capture their mannerisms

nuestro objetivo principal es captar los gestos típicos

or the unique way each of these people talks and smiles.

o el modo particular de hablar y sonreír de cada persona.

So to do that, can we actually teach the computer

Para lograrlo, ¿es posible enseñarle a la computadora

to imitate the way someone talks

a imitar cómo habla una persona

by only showing it video footage of the person?

con solo mostrarle vídeos de ella?

And what I did exactly was, I let a computer watch

Lo que yo hice exactamente fue mostrarle a la computadora

14 hours of pure Barack Obama giving addresses.

14 horas de vídeos con discursos de Barack Obama.

And here's what we can produce given only his audio.

Y esto es lo se puede obtener tan solo con el audio.

(Video) BO: The results are clear.

(Vídeo) BO: Los resultados son claros.

America's businesses have created 14.5 million new jobs

Las empresas en EE. UU. han creado 14,5 millones de puestos de trabajo

over 75 straight months.

en un período de 75 meses.

SS: So what's being synthesized here is only the mouth region,

SS: En este caso sintetizamos solo la parte de la boca.

and here's how we do it.

Les mostraré cómo lo hacemos.

Our pipeline uses a neural network

Nuestro sistema de datos usa una red neuronal

to convert and input audio into these mouth points.

para convertir audio e ingresarlo en estos puntos de la boca.

(Video) BO: We get it through our job or through Medicare or Medicaid.

(Vídeo) BO: Lo conseguimos mediante nuestro trabajo, Medicare o Medicaid.

SS: Then we synthesize the texture, enhance details and teeth,

SS: Luego sintetizamos la textura, mejoramos los detalles y los dientes,

and blend it into the head and background from a source video.

y lo incorporamos a la cabeza y al fondo del vídeo original.

(Video) BO: Women can get free checkups,

(Vídeo) BO: La mujer tiene derecho al chequeo gratuito.

and you can't get charged more just for being a woman.

No se le puede cobrar más solo por ser mujer.

Young people can stay on a parent's plan until they turn 26.

Los jóvenes tienen la cobertura del plan de sus padres hasta los 26.

SS: I think these results seem very realistic and intriguing,

SS: Creo que estos resultados son muy realistas y fascinantes,

but at the same time frightening, even to me.

pero al mismo tiempo son aterradores, incluso para mí.

Our goal was to build an accurate model of a person, not to misrepresent them.

Nuestra idea fue crear el modelo exacto de una persona, no tergiversarla.

But one thing that concerns me is its potential for misuse.

Pero hay algo que me preocupa, y es su potencial de ser usado indebidamente.

People have been thinking about this problem for a long time,

Este problema es motivo de preocupación hace tiempo,

since the days when Photoshop first hit the market.

desde que Photoshop entró al mercado por primera vez.

As a researcher, I'm also working on countermeasure technology,

Como investigador, también trabajo en tecnología de prevención,

and I'm part of an ongoing effort at AI Foundation,

y formo parte de "AI Foundation",

which uses a combination of machine learning and human moderators

donde combinamos el aprendizaje automático con el control humano

to detect fake images and videos,

para detectar imágenes y vídeos falsos, combatiendo mi propio trabajo.

fighting against my own work.

And one of the tools we plan to release is called Reality Defender,

Una de las herramientas que queremos lanzar se llama "Reality Defender",

which is a web-browser plug-in that can flag potentially fake content

un complemento para el navegador que detecta contenido potencialmente falso

automatically, right in the browser.

automáticamente en el buscador.

(Applause)

(Aplausos)

Despite all this, though,

Pero, aun así,

fake videos could do a lot of damage,

los vídeos falsos pueden causar un gran daño,

even before anyone has a chance to verify,

incluso antes de ser chequeados.

so it's very important that we make everyone aware

Por eso es fundamental que la gente esté al tanto de este tipo de cosas

of what's currently possible

so we can have the right assumption and be critical about what we see.

y pueda sacar las conclusiones correctas y juzgar lo que ve.

There's still a long way to go before we can fully model individual people

Todavía falta mucho para llegar a modelar completamente una persona en particular

and before we can ensure the safety of this technology.

y garantizar la seguridad de esta tecnología.

Pero estoy entusiasmado y lleno de esperanza,

But I'm excited and hopeful,

because if we use it right and carefully,

porque si esta herramienta se usa con buen juicio

this tool can allow any individual's positive impact on the world

puede permitir amplificar enormemente

el impacto positivo de cualquier persona en el mundo

to be massively scaled

and really help shape our future the way we want it to be.

y ayudarnos a forjar el futuro que queremos.

Thank you.

Gracias.

(Applause)

(Aplausos)