Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

Translator: Deimantė Miliūnaitė Reviewer: Andrius Družinis-Vitkus

Look at these images.

Pažvelkite

Now, tell me which Obama here is real.

į tai ir pasakykite, kuris iš Obamų yra tikras:

(Video) Barack Obama: To help families refinance their homes,

(Video.) Barack Obama: „Padėti šeimoms refinansuoti būsto paskolas,

to invest in things like high-tech manufacturing,

investuoti į aukšto lygio pramonę,

clean energy

atsinaujinančią energiją

and the infrastructure that creates good new jobs.

bei infrastruktūrą, kuri sukurtų naujų gerų darbo vietų.“

Supasorn Suwajanakorn: Anyone?

Supasorn Suwajanakorn: Kuris netikras?

The answer is none of them.

Nei vienas.

(Laughter)

(Juokas.)

None of these is actually real.

Nei vienas iš čia esančių nėra tikras.

So let me tell you how we got here.

Papasakosiu, kaip tai nutiko.

My inspiration for this work

Šiam darbui mane įkvėpė projektas,

was a project meant to preserve our last chance for learning about the Holocaust

kuris turėjo leisti sužinoti apie Holokaustą

from the survivors.

iš jį išgyvenusių žmonių.

It's called New Dimensions in Testimony,

Šis projektas vadinasi „Naujos liudijimų dimensijos“ .

and it allows you to have interactive conversations

Projektas suteikia interaktyvių pokalbių galimybę,

with a hologram of a real Holocaust survivor.

kai kalbama su žmogaus, išgyvenusio Holokaustą, holograma.

(Video) Man: How did you survive the Holocaust?

(Video) Vyras: „Kaip išgyvenote Holokaustą?“

(Video) Hologram: How did I survive?

Holograma: „Kaip išgyvenau?

I survived,

Aš išgyvenau,

I believe,

turbūt todėl,

because providence watched over me.

kad mane saugojo Dievas.“

SS: Turns out these answers were prerecorded in a studio.

Kalbėtojas: Iš tiesų, atsakymai buvo įrašyti studijoje,

Yet the effect is astounding.

bet efektas nepaprastas.

You feel so connected to his story and to him as a person.

Jautiesi susijęs su jo istorija ir su juo, kaip asmenybe.

I think there's something special about human interaction

Manau, kad yra kažkas ypatingo, kas padaro žmonių bendravimą

that makes it much more profound

daug gilesniu,

and personal

asmeniškesniu.

than what books or lectures or movies could ever teach us.

Knygos ar paskaitos niekada taip nesudomintų.

So I saw this and began to wonder,

Pamatęs tai, aš galvojau,

can we create a model like this for anyone?

ar galime sukurti tokį modelį bet kokiam asmeniui?

A model that looks, talks and acts just like them?

Modelį, kuris atrodo, kalba ir elgiasi taip, kaip tas žmogus?

So I set out to see if this could be done

Nuspręndžiau pamatyti ar galima

and eventually came up with a new solution

tai padaryti, ir atradau naują sprendimą,

that can build a model of a person using nothing but these:

kuris gali sukurti asmens modelį vien tik iš

existing photos and videos of a person.

jau esamų žmogaus nuotraukų bei vaizdo įrašų.

If you can leverage this kind of passive information,

Jei galima panaudoti tokią pasyvią informaciją t. y.

just photos and video that are out there,

nuotraukas ir vaizdo įrašus,

that's the key to scaling to anyone.

taptų įmanoma atvaizduoti kiekvieną asmenį.

By the way, here's Richard Feynman,

Beje, tai yra Richard Feynman,

who in addition to being a Nobel Prize winner in physics

kuris yra ne tik Nobelio premijos laureatas fizikos srityje,

was also known as a legendary teacher.

bet ir garsus mokytojas.

Wouldn't it be great if we could bring him back

Argi nebūtų puiku, jei galėtume jį susigrąžinti

to give his lectures and inspire millions of kids,

ir per jį dėstyti ir įkvėpti milijonus vaikų?

perhaps not just in English but in any language?

O jei paskaitos vyktų ne tik anglų kalba?

Or if you could ask our grandparents for advice and hear those comforting words

Arba jei galėtumėte paklausti patarimo savo mirusių senelių ir

even if they're no longer with us?

išgirstumėte paguodos žodžius?

Or maybe using this tool, book authors, alive or not,

Arba su šio įrankio pagalba būtų galima išgirsti gyvus ir jau mirusius

could read aloud all of their books for anyone interested.

autorius garsiai skaitančius savo knygas.

The creative possibilities here are endless,

Kūrybinės galimybės beribės,

and to me, that's very exciting.

tad mane tai labai domina.

And here's how it's working so far.

Štai kaip tai veikia.

First, we introduce a new technique

Mes pristatome naują technologiją,

that can reconstruct a high-detailed 3D face model from any image

kuri atkuria detalų 3D veido modelį iš bet kokios nuotraukos

without ever 3D-scanning the person.

be tikro asmens skenavimo.

And here's the same output model from different views.

Štai tas pats galutinis rezultatas iš skirtingų pusių.

This also works on videos,

Technologija veikia ir su video,

by running the same algorithm on each video frame

kai kievienam kadrui taikomas tas pats algoritmas

and generating a moving 3D model.

ir sukuriamas judantis 3D modelis.

And here's the same output model from different angles.

Štai tas pats modelis iš skirtingų kampų.

It turns out this problem is very challenging,

Ši technologija gali sukelti problemų,

but the key trick is that we are going to analyze

bet svarbiausia yra išanalizuoti

a large photo collection of the person beforehand.

didelę asmens nuotraukų kolekciją prieš pradedant kurti modelį.

For George W. Bush, we can just search on Google,

George W. Bush galime surasti Google

and from that, we are able to build an average model,

ir iš to galime sukurti vidutinį modelį

an iterative, refined model to recover the expression

iteratyvų, tikslesnį modelį, kuris atkurtų veido išraišką,

in fine details, like creases and wrinkles.

smulkias detalas, kaip nelygumai ir raukšlės.

What's fascinating about this

Labiausiai stebina tai,

is that the photo collection can come from your typical photos.

kad nuotraukų kolekciją gali sudaryti jūsų įprastos fotografijos,

It doesn't really matter what expression you're making

Nesvarbu, kokia veido išraiška

or where you took those photos.

ar kur fotografavotės.

What matters is that there are a lot of them.

Svarbiausia yra turėti daug tokių nuotraukų.

And we are still missing color here,

Taigi dabar mums trūksta spalvų.

so next, we develop a new blending technique

Sukuriame naują suliejimo techniką,

that improves upon a single averaging method

kuri veikia geriau, nei suvidurkinimo metodas,

and produces sharp facial textures and colors.

ir sukuria tikslų veido pavšių ir spalvas.

And this can be done for any expression.

Tai galima padaryti su bet kokia veido išraiška.

Now we have a control of a model of a person,

Statiškų nuotraukų sekos pagalba galime valdyti

and the way it's controlled now is by a sequence of static photos.

šį naujai sukurtą žmogaus modelį.

Notice how the wrinkles come and go, depending on the expression.

Priklausomai nuo išraiškos, raukšlės tai atsiranda, tai išnyksta.

We can also use a video to drive the model.

Taip pat modelio valdymui galime naudoti vaizdo įrašą.

(Video) Daniel Craig: Right, but somehow,

(Video.) Daniel Craig: „Žinoma, tačiau kažkaip

we've managed to attract some more amazing people.

mes sugebėjome pritraukti daug nuostabių žmonių.“

SS: And here's another fun demo.

S. S.: Štai kita linksma ištrauka.

So what you see here are controllable models

Tai, ką matote, yra iš internetinių nuotraukų

of people I built from their internet photos.

sukurti valdomi žmonių modeliai.

Now, if you transfer the motion from the input video,

Jei perkeltume veiksmą iš pradinio vaizdo įrašo,

we can actually drive the entire party.

galėtume surengti tikrą vakarėlį.

George W. Bush: It's a difficult bill to pass,

George W. Bush: „Tokį įstatymą priimti sunku,

because there's a lot of moving parts,

nes yra daugybė kintamųjų

and the legislative processes can be ugly.

ir teisėkūros procesai gali būti nemalonūs.“

(Applause)

(Plojimai.)

SS: So coming back a little bit,

S. S.: Grižtant prie temos,

our ultimate goal, rather, is to capture their mannerisms

pagrindinis mūsų tikslas yra įamžinti žmonių manierizmus

or the unique way each of these people talks and smiles.

arba išskirtinius bruožus jiems kalbant ar šypsantis.

So to do that, can we actually teach the computer

Ar mes galime išmokinti kompiuterį

to imitate the way someone talks

imituoti kalbantį žmogų

by only showing it video footage of the person?

parodžius tik vaizdinę medžiagą?

And what I did exactly was, I let a computer watch

Štai ką dariau – aš daviau kompiuteriui peržiūrėti

14 hours of pure Barack Obama giving addresses.

14 val. trukusius įrašus, kai Barack Obama sako savo kalbas.

And here's what we can produce given only his audio.

Štai, ką galima išgauti, turint tik balso įrašą.

(Video) BO: The results are clear.

(Video.) B.O.: Rezultatai aiškūs.

America's businesses have created 14.5 million new jobs

Amerikos verslai sukūrė 14,5 mln. darbų

over 75 straight months.

per 75 mėnesius.

SS: So what's being synthesized here is only the mouth region,

SS: Taigi pakeičiama yra tik burnos sritis

and here's how we do it.

ir štai, kaip tai daroma.

Our pipeline uses a neural network

Procesorius naudoja neutralų tinklą

to convert and input audio into these mouth points.

garso įrašų konvertavimui ir pritaikymui burnoms.

(Video) BO: We get it through our job or through Medicare or Medicaid.

(Video.) B. O.: Tai gauname iš savo darbo arba iš sveikatos draudimo.

SS: Then we synthesize the texture, enhance details and teeth,

S.S: Mes susintetiname tekstūrą, patobuliname detales, dantis

and blend it into the head and background from a source video.

ir suderiname su galva ir fonu iš pirminio video.

(Video) BO: Women can get free checkups,

(Video.) B. O.: Moterims galima pasitikrinti sveikatą

and you can't get charged more just for being a woman.

nemokamai. Lytis neturi daryti įtakos kainai.

Young people can stay on a parent's plan until they turn 26.

Jauni žmonės gali gyventi su tėvais iki 26 metų.

SS: I think these results seem very realistic and intriguing,

S. S.: Manau, šie rezultatai realistiški ir intriguojantys,

but at the same time frightening, even to me.

be tuo pat metu ir gąsdinantys.

Our goal was to build an accurate model of a person, not to misrepresent them.

Mūsų tikslas buvo sukurti tikslų žmogaus modelį, o ne jo kopiją.

But one thing that concerns me is its potential for misuse.

Labiausiai gąsdina tikimybė, kad tai bus netinkamai panaudota.

People have been thinking about this problem for a long time,

Žmonės ilgai mąstė apie šią problemą

since the days when Photoshop first hit the market.

nuo to laiko, kai atsirado Photoshop.

As a researcher, I'm also working on countermeasure technology,

Kaip tyrėjas, taip pat kuriu grėsmių neutralizavimo technologiją.

and I'm part of an ongoing effort at AI Foundation,

Prisidedu prie AI Foundation veiklos,

which uses a combination of machine learning and human moderators

kuri pasitelkia mašininį bei žmogaus intelektą

to detect fake images and videos,

netikrų nuotraukų ar įrašų aptikimui.

fighting against my own work.

Tai kova su mano kūriniu.

And one of the tools we plan to release is called Reality Defender,

Planuojame pristatyti įrangą pavadinimu „Realybės gynėjas“.

which is a web-browser plug-in that can flag potentially fake content

Tai interneto naršyklės plėtinys, galintis pranešti apie suklastotą

automatically, right in the browser.

turinį automatiškai, tiesiogiai naršyklėje.

(Applause)

(Plojimai.)

Despite all this, though,

Nepaisant viso to,

fake videos could do a lot of damage,

netikri vaizdo įrašai gali pridaryti daug žalos

even before anyone has a chance to verify,

dar prieš kam nors patikrinant.

so it's very important that we make everyone aware

Labai svarbu, kad būtume informuoti apie tai,

of what's currently possible

kas dabar vyksta, ir turėtume teisingą

so we can have the right assumption and be critical about what we see.

požiūrį ir galėtume kritiškai vertinti tai, ką matome.

There's still a long way to go before we can fully model individual people

Sėkmingam individualaus asmens modeliui bei patikimai šios technologijos apsaugai

and before we can ensure the safety of this technology.

sukurti dar reikia daug darbo.

But I'm excited and hopeful,

Aš viliuosi, kad

because if we use it right and carefully,

tinkamas ir atsargus šio įrankio naudojimas

this tool can allow any individual's positive impact on the world

gali suteikti teigiamą poveikį

to be massively scaled

dideliu mastu

and really help shape our future the way we want it to be.

bei padėti formuoti savo ateitį taip, kaip norime.

Thank you.

Ačiū.

(Applause)

(Plojimai.)