Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

Traduttore: Gabriella Patricola Revisore: Paola Forti

Look at these images.

Guardate queste immagini.

Now, tell me which Obama here is real.

Ditemi quale Obama è reale.

(Video) Barack Obama: To help families refinance their homes,

(Video) Barack Obama: Gli aiuti alle famiglie per la casa,

to invest in things like high-tech manufacturing,

gli investimenti per l'alta tecnologia,

clean energy

energia pulita

and the infrastructure that creates good new jobs.

ed infrastrutture che creano nuove opportunità di lavoro.

Supasorn Suwajanakorn: Anyone?

Supason Auwajanakorn: Qual è?

The answer is none of them.

La risposta è: neanche uno.

(Laughter)

(Risate)

None of these is actually real.

Neanche uno di questi è reale.

So let me tell you how we got here.

Lasciate che vi racconti come ci siamo arrivati.

My inspiration for this work

L'ispirazione per questo lavoro

was a project meant to preserve our last chance for learning about the Holocaust

mi è venuta da un progetto volto a preservare l'ultima chance

di approfondire l'Olocausto, grazie al racconto dei sopravvissuti.

from the survivors.

It's called New Dimensions in Testimony,

Si chiama 'New Dimensions in Testimony'

and it allows you to have interactive conversations

e vi permette di conversare

with a hologram of a real Holocaust survivor.

con l'ologramma di un reale superstite dell'Olocausto.

(Video) Man: How did you survive the Holocaust?

(Video) Uomo: Com'è sopravvissuto all'Olocausto?

(Video) Hologram: How did I survive?

(Video) Ologramma: Come sono sopravvissuto?

I survived,

Sono sopravvissuto,

I believe,

io credo,

because providence watched over me.

per un disegno della provvidenza.

SS: Turns out these answers were prerecorded in a studio.

SS: Queste risposte erano state registrate in precedenza in uno studio.

Yet the effect is astounding.

Eppure l'effetto è sorprendente.

You feel so connected to his story and to him as a person.

Ci si sente davvero legati alla sua storia e a lui come persona.

I think there's something special about human interaction

Penso che ci sia qualcosa di speciale nelle interazioni umane

that makes it much more profound

che le rende più profonde

and personal

e intime

than what books or lectures or movies could ever teach us.

rispetto a quanto possano insegnare libri, conferenze o film.

Ho visto questo filmato e ho cominciato a chiedermi:

So I saw this and began to wonder,

can we create a model like this for anyone?

possiamo creare una rappresentazione 3D come questa per chiunque?

A model that looks, talks and acts just like them?

Una rappresentazione 3D che vede, parla e agisce come le persone?

So I set out to see if this could be done

Ho deciso di scoprire se lo si poteva fare

and eventually came up with a new solution

e alla fine sono arrivato ad una nuova soluzione

that can build a model of a person using nothing but these:

che può creare un un modello di persona usando nient'altro che questi:

existing photos and videos of a person.

foto e video esistenti di una persona.

If you can leverage this kind of passive information,

Se si possono sfruttare questo tipo di informazioni passive,

just photos and video that are out there,

foto e video che sono in circolazione,

that's the key to scaling to anyone.

questo è il modo per riprodurre chiunque.

By the way, here's Richard Feynman,

A proposito, lui è Richard Feynman,

who in addition to being a Nobel Prize winner in physics

che, oltre ad aver vinto il premio Nobel per la fisica,

was also known as a legendary teacher.

era anche un insegnante leggendario.

Non sarebbe grandioso se potessimo riportarlo indietro

Wouldn't it be great if we could bring him back

to give his lectures and inspire millions of kids,

a tenere le sue lezioni ed ispirare milioni di ragazzi,

perhaps not just in English but in any language?

non solo in lingua inglese ma in tutte le altre lingue?

Or if you could ask our grandparents for advice and hear those comforting words

O se potessimo chiedere consiglio ai nonni e sentire le loro parole di conforto

even if they're no longer with us?

anche se non sono più con noi?

Or maybe using this tool, book authors, alive or not,

O forse, utilizzando questo strumento, scrittori, vivi o no,

could read aloud all of their books for anyone interested.

potrebbero leggere tutti i loro libri ad alta voce a chiunque fosse interessato.

The creative possibilities here are endless,

Le possibilità sono infinite

and to me, that's very exciting.

e, a mio parere, la questione è appassionante.

And here's how it's working so far.

Ad oggi, funziona in questo modo.

First, we introduce a new technique

Primo, introduciamo una nuova tecnica

that can reconstruct a high-detailed 3D face model from any image

che può ricostruire un modello facciale 3D altamente accurato da qualsiasi immagine

without ever 3D-scanning the person.

senza mai eseguire la scansione 3D della persona.

And here's the same output model from different views.

Questa è la stessa rappresentazione partendo da differenti angolazioni.

This also works on videos,

Funziona anche con i video,

by running the same algorithm on each video frame

eseguendo lo stesso algoritmo su ogni fotogramma video

and generating a moving 3D model.

e generando una rappresentazione 3D in movimento.

And here's the same output model from different angles.

Questa è la stessa rappresentazione da diverse angolazioni.

It turns out this problem is very challenging,

In effetti, tale tecnica è molto complessa,

but the key trick is that we are going to analyze

ma il fulcro è che andremo ad analizzare

a large photo collection of the person beforehand.

preliminarmente un grande numero di immagini della persona.

For George W. Bush, we can just search on Google,

Per George W. Bush, basta cercare foto su Google

e da quelle possiamo creare un modello medio,

and from that, we are able to build an average model,

an iterative, refined model to recover the expression

una rappresentazione definita, iterativa per recuperare l'espressione

in fine details, like creases and wrinkles.

nei minimi dettagli, come grinze e rughe d'espressione.

What's fascinating about this

Ciò che affascina

is that the photo collection can come from your typical photos.

è che la raccolta fotografica può derivare dalle vostre tipiche foto.

It doesn't really matter what expression you're making

Non è importante l'espressione

or where you took those photos.

o dove sono state scattate le foto.

What matters is that there are a lot of them.

Ciò che importa è averne molte.

And we are still missing color here,

E qui non abbiamo ancora i colori,

so next, we develop a new blending technique

quindi sviluppiamo una nuova tecnica di fusione

that improves upon a single averaging method

che perfeziona il metodo a media singola

and produces sharp facial textures and colors.

e produce strutture facciali e colori nitidi.

And this can be done for any expression.

Ciò può essere fatto per ogni espressione.

Ora abbiamo il controllo del modello di una persona

Now we have a control of a model of a person,

and the way it's controlled now is by a sequence of static photos.

che viene gestito tramite una sequenza di foto statiche.

Notice how the wrinkles come and go, depending on the expression.

Notate come le rughe vanno e vengono in base all'espressione,

Possiamo anche usare un video per ottenere la rappresentazione 3D.

We can also use a video to drive the model.

(Video) Daniel Craig: Right, but somehow,

(Video) Daniel Craig: Giusto, ma in qualche modo,

we've managed to attract some more amazing people.

siamo riusciti ad attrarre persone più interessanti.

SS: And here's another fun demo.

SS: Ecco un'altra demo divertente.

So what you see here are controllable models

Quello che vedete qui sono modelli controllabili di persone

of people I built from their internet photos.

che ho costruito dalle loro foto su internet.

Now, if you transfer the motion from the input video,

Trasferendo il movimento dal video in ingresso,

we can actually drive the entire party.

possiamo gestire tutto il gruppo.

George W. Bush: È difficile far approvare questa legge,

George W. Bush: It's a difficult bill to pass,

because there's a lot of moving parts,

perché ci sono troppi emendamenti,

and the legislative processes can be ugly.

e il percorso legislativo può essere insidioso.

(Applause)

(Applausi)

SS: So coming back a little bit,

SS: Per fare un passo indietro,

our ultimate goal, rather, is to capture their mannerisms

il nostro obiettivo ultimo, piuttosto, è catturare le loro tipicità espressive

or the unique way each of these people talks and smiles.

o il modo unico in cui ciascuna di queste persone parla e sorride.

So to do that, can we actually teach the computer

Per farlo, possiamo insegnare ai computer

to imitate the way someone talks

a imitare il modo in cui uno parla

by only showing it video footage of the person?

mostrando solo la ripresa video di quella persona?

And what I did exactly was, I let a computer watch

Quello che ho fatto, è stato far guardare al computer

14 hours of pure Barack Obama giving addresses.

14 ore di discorsi tenuti da Barack Obama.

And here's what we can produce given only his audio.

Questo è ciò che possiamo produrre solo con il suo audio.

(Video) BO: The results are clear.

(Video) BO: I risultati sono chiari.

America's businesses have created 14.5 million new jobs

Le imprese americane hanno creato 14,5 milioni di nuovi posti di lavoro

over 75 straight months.

per 75 mesi di fila.

SS: So what's being synthesized here is only the mouth region,

SS: Qui abbiamo sintetizzato solo la zona della bocca,

and here's how we do it.

in questo modo.

Our pipeline uses a neural network

Le sequenze lineari usano una rete neurale

to convert and input audio into these mouth points.

per convertire un input audio in questi punti della labbra.

(Video) BO: We get it through our job or through Medicare or Medicaid.

(Video) BO: È grazie al nostro lavoro, o grazie a Medicare, o Medicaid.

SS: Then we synthesize the texture, enhance details and teeth,

SS: Dopo sintetizziamo la struttura, miglioriamo dettagli e dentatura,

and blend it into the head and background from a source video.

e li uniamo alla testa e allo sfondo, presi da un video sorgente.

(Video) BO: Women can get free checkups,

(Video) BO: Per le donne checkup gratuiti,

and you can't get charged more just for being a woman.

e non dovranno pagare di più solo per il fatto di essere donne.

Young people can stay on a parent's plan until they turn 26.

I giovani potranno rimanere a carico dei genitori fino a 26 anni.

SS: I think these results seem very realistic and intriguing,

SS: Penso che questi risultati siano realistici ed intriganti,

but at the same time frightening, even to me.

ma allo stesso tempo fanno paura, persino a me.

Our goal was to build an accurate model of a person, not to misrepresent them.

Il nostro obiettivo era un modello 3D accurato, non una falsificazione.

But one thing that concerns me is its potential for misuse.

Ciò che mi preoccupa è l'abuso che potrebbe derivarne.

People have been thinking about this problem for a long time,

Le persone si occupano di questo problema da molto tempo,

since the days when Photoshop first hit the market.

da quando Photoshop apparve per la prima volta sul mercato.

As a researcher, I'm also working on countermeasure technology,

Come ricercatore, sto anche lavorando su una tecnologia di contromisura,

and I'm part of an ongoing effort at AI Foundation,

e faccio parte di un progetto in corso alla AI Foundation,

which uses a combination of machine learning and human moderators

che usa un mix di apprendimento automatico e moderatori umani

to detect fake images and videos,

per scoprire immagini e video falsi,

fighting against my own work.

combattendo contro il mio stesso lavoro.

And one of the tools we plan to release is called Reality Defender,

Uno dei dispositivi prossimi al lancio si chiama 'Reality Defender',

which is a web-browser plug-in that can flag potentially fake content

un'estensione delle funzioni del browser in grado di segnalare contenuti falsi

automatically, right in the browser.

in automatico, direttamente nel browser.

(Applause)

(Applausi)

Despite all this, though,

Nonostante questo, tuttavia,

fake videos could do a lot of damage,

i video falsi possono arrecare molti danni,

even before anyone has a chance to verify,

persino prima che qualcuno abbia l'opportunità di verificarli,

so it's very important that we make everyone aware

quindi è molto importante che rendiamo tutti consapevoli

of what's currently possible

di ciò che è attualmente possibile

so we can have the right assumption and be critical about what we see.

così da partire dal presupposto giusto ed essere critici su ciò che vediamo.

There's still a long way to go before we can fully model individual people

Manca ancora molto prima di poter creare modelli completi di una persona

and before we can ensure the safety of this technology.

e prima di poter garantire la sicurezza di questa tecnologia.

Ma sono pieno di entusiasmo e speranza,

But I'm excited and hopeful,

because if we use it right and carefully,

perché se usato bene e attentamente,

this tool can allow any individual's positive impact on the world

questo strumento può far sì che il nostro impatto positivo sul mondo

to be massively scaled

possa essere fortemente accresciuto

and really help shape our future the way we want it to be.

e contribuire a plasmare il futuro nel modo in cui vogliamo che sia.

Thank you.

Grazie.

(Applause)

(Applausi)