Digital humans that look just like us | Doug Roble

Vertaald door: Esther van Driel Nagekeken door: Axel Saffran

Hello.

Hallo.

I'm not a real person.

Ik ben geen echt persoon.

I'm actually a copy of a real person.

Ik ben eigenlijk een kopie van een echt persoon.

Although, I feel like a real person.

Al voel ik me wel als een echt persoon.

It's kind of hard to explain.

Het is moeilijk uit te leggen.

Hold on -- I think I saw a real person ... there's one.

Wacht even -- ik geloof dat ik een echt persoon zag ... daar is er één.

Let's bring him onstage.

Laten we hem naar het podium sturen.

Hello.

Hallo.

(Applause)

(Applaus)

What you see up there is a digital human.

Wat jullie daarboven zien is een digitaal mens.

I'm wearing an inertial motion capture suit

Ik draag een stabiel motioncapturepak,

that's figuring what my body is doing.

dat uitzoekt wat mijn lichaam doet.

And I've got a single camera here that's watching my face

Ik heb hier een enkele camera die mijn gezicht bekijkt

and feeding some machine-learning software that's taking my expressions,

en die een zelflerend systeem voedt met informatie over mijn uitdrukkingen,

like, "Hm, hm, hm,"

zoals: 'Hm, hm, hm',

and transferring it to that guy.

en dat overbrengt op die vent daar.

We call him "DigiDoug."

We noemen hem 'DigiDoug'.

He's actually a 3-D character that I'm controlling live in real time.

Hij is eigenlijk een 3-D-personage dat ik in real-time bestuur.

So, I work in visual effects.

Ik werk met visuele effecten.

And in visual effects,

En met visuele effecten

one of the hardest things to do is to create believable, digital humans

is één van de uitdagingen het creëren van geloofwaardige, digitale mensen,

that the audience accepts as real.

die het publiek als echt accepteert.

People are just really good at recognizing other people.

Mensen zijn gewoon erg goed in het herkennen van andere mensen.

Go figure!

Niet te geloven!

So, that's OK, we like a challenge.

Dat geeft niet, we houden van uitdagingen.

Over the last 15 years,

De afgelopen 15 jaar

we've been putting humans and creatures into film

hebben we in films mensen en dieren gestopt

that you accept as real.

die jullie als echt accepteren.

If they're happy, you should feel happy.

Als zij vrolijk zijn, zijn jullie vrolijk.

And if they feel pain, you should empathize with them.

Als zij pijn hebben, voelen jullie met ze mee.

We're getting pretty good at it, too.

We worden daar aardig goed in.

But it's really, really difficult.

Maar het is heel erg moeilijk.

Effects like these take thousands of hours

Dat soort effecten kosten duizenden uren om te maken

and hundreds of really talented artists.

en honderden zeer getalenteerde kunstenaars.

But things have changed.

Maar dingen veranderen.

Over the last five years,

De afgelopen vijf jaar

computers and graphics cards have gotten seriously fast.

zijn computers en grafische kaarten zeer snel geworden.

And machine learning, deep learning, has happened.

Er is nu zelflerende software, 'deep learning' ontstaan.

So we asked ourselves:

Dus vroegen we ons af:

Do you suppose we could create a photo-realistic human,

denk je dat we een fotorealistisch mens kunnen creëren,

like we're doing for film,

zoals we dat in films doen,

but where you're seeing the actual emotions and the details

maar waarbij je de daadwerkelijke emoties en details ziet

of the person who's controlling the digital human

van de persoon die het digitale mens bestuurt ...

in real time?

in real-time?

In fact, that's our goal:

Dat is ons doel:

If you were having a conversation with DigiDoug

als je een gesprek met DigiDoug zou hebben,

one-on-one,

één-op-één,

is it real enough so that you could tell whether or not I was lying to you?

kan dat zo realistisch zijn dat je kon weten als ik tegen je loog?

So that was our goal.

Dat was ons doel.

About a year and a half ago, we set off to achieve this goal.

Zo'n anderhalf jaar geleden begonnen we aan dat doel te werken.

What I'm going to do now is take you basically on a little bit of a journey

Ik ga jullie nu meenemen op een reis om te laten zien

to see exactly what we had to do to get where we are.

wat we precies moesten doen om te komen waar we zijn.

We had to capture an enormous amount of data.

We moesten enorm veel gegevens verzamelen.

In fact, by the end of this thing,

Tegen het einde van dit project hadden we waarschijnlijk

we had probably one of the largest facial data sets on the planet.

één van de grootste verzamelingen gegevens over gezichten ter wereld.

Of my face.

Over mijn gezicht.

(Laughter)

(Gelach)

Why me?

Waarom ik?

Well, I'll do just about anything for science.

Ik zou zo'n beetje alles doen voor de wetenschap.

I mean, look at me!

Kijk eens naar mij!

I mean, come on.

Kom op.

We had to first figure out what my face actually looked like.

We moesten er eerst achter komen hoe mijn gezicht er daadwerkelijk uitzag.

Not just a photograph or a 3-D scan,

Niet op een gewone foto of 3-D-scan,

but what it actually looked like in any photograph,

maar als op elke foto die je maar zou kunnen maken,

how light interacts with my skin.

hoe het licht interageert met mijn huid.

Luckily for us, about three blocks away from our Los Angeles studio

Gelukkig is er zo'n drie straten bij onze studio in Los Angeles vandaan

is this place called ICT.

een bedrijf dat ICT heet.

They're a research lab

Dat is een onderzoekslab

that's associated with the University of Southern California.

dat samenwerkt met de universiteit van Zuid-Californië.

They have a device there, it's called the "light stage."

Ze hebben daar een apparaat dat 'het lichtpodium' heet.

It has a zillion individually controlled lights

Dat heeft wel een ziljoen individueel bestuurbare lampjes

and a whole bunch of cameras.

en een heleboel camera's.

And with that, we can reconstruct my face under a myriad of lighting conditions.

Daarmee kunnen we mijn gezicht in talloze lichtcondities reconstrueren.

We even captured the blood flow

Zelfs de bloedstroom is vastgelegd,

and how my face changes when I make expressions.

en hoe mijn gezicht verandert bij diverse gezichtsuitdrukkingen.

This let us build a model of my face that, quite frankly, is just amazing.

Hiermee konden we een fantastisch model van mijn gezicht maken.

It's got an unfortunate level of detail, unfortunately.

Het is helaas wel vervelend gedetailleerd.

(Laughter)

(Gelach)

You can see every pore, every wrinkle.

Je ziet elke porie, elke rimpel.

But we had to have that.

Maar dat moesten we zo doen.

Reality is all about detail.

Realisme draait helemaal om details.

And without it, you miss it.

Als die er niet zijn, mis je ze.

We are far from done, though.

We zijn echter nog lang niet klaar.

This let us build a model of my face that looked like me.

Dit laat ons een model van mijn gezicht bouwen dat op mij lijkt.

But it didn't really move like me.

Maar het bewoog niet echt zoals ik.

And that's where machine learning comes in.

En dat is waar we zelflerende software gebruiken.

And machine learning needs a ton of data.

Die heeft een enorme hoeveelheid gegevens nodig.

So I sat down in front of some high-resolution motion-capturing device.

Ik ging voor een motion-capturingapparaat met een hoge resolutie zitten.

And also, we did this traditional motion capture with markers.

En we gebruikten ook traditionele motion capture met puntjes.

We created a whole bunch of images of my face

We creëerden heel veel afbeeldingen van mijn gezicht

and moving point clouds that represented that shapes of my face.

en wolken van bewegende puntjes die de vorm van mijn gezicht voorstelden.

Man, I made a lot of expressions,

Ik heb een heleboel gezichtsuitdrukkingen gemaakt.

I said different lines in different emotional states ...

Ik sprak verschillende zinnen uit in verschillende emotionele toestanden.

We had to do a lot of capture with this.

Hier moesten we veel van vastleggen.

Once we had this enormous amount of data,

Toen we een enorme hoeveelheid gegevens hadden,

we built and trained deep neural networks.

bouwden en trainden we diepe neurale netwerken.

And when we were finished with that,

Toen we daarmee klaar waren

in 16 milliseconds,

kon het neurale netwerk binnen 16 milliseconden

the neural network can look at my image

naar mijn evenbeeld kijken en alles van mijn gezicht weten.

and figure out everything about my face.

It can compute my expression, my wrinkles, my blood flow --

Het kan mijn gezichtsuitdrukking, mijn rimpels, mijn bloedstroom berekenen,

even how my eyelashes move.

en zelfs de beweging van mijn wimpers.

This is then rendered and displayed up there

Dit wordt dan omgezet en daarboven weergegeven,

with all the detail that we captured previously.

met alle details die we eerder vastgelegd hebben.

We're far from done.

We zijn nog lang niet klaar.

This is very much a work in progress.

Het is nog steeds werk in uitvoering.

This is actually the first time we've shown it outside of our company.

Dit is de eerste keer dat we het buiten ons bedrijf laten zien.

And, you know, it doesn't look as convincing as we want;

En het ziet er nog niet zo overtuigend uit als we zouden willen.

I've got wires coming out of the back of me,

Er komen draadjes uit mijn achterkant,

and there's a sixth-of-a-second delay

er is een vertraging van zes-honderdste seconde

between when we capture the video and we display it up there.

tussen de opname van de video en het uitzenden daarboven.

Sixth of a second -- that's crazy good!

Zes-honderdste van een seconde, dat is krankzinnig goed!

But it's still why you're hearing a bit of an echo and stuff.

Maar het is wel de reden waarom je nog een echo hoort en zo.

And you know, this machine learning stuff is brand-new to us,

Dit hele machine learning is nog gloednieuw voor ons,

sometimes it's hard to convince to do the right thing, you know?

waardoor het soms moeilijk is om het goed te laten functioneren.

It goes a little sideways.

Het gaat soms een beetje mis.

(Laughter)

(Gelach)

But why did we do this?

Waarom doen we dit?

Well, there's two reasons, really.

Er zijn eigenlijk twee redenen.

First of all, it is just crazy cool.

Ten eerste, het is gewoon krankzinnig gaaf.

(Laughter)

(Gelach)

How cool is it?

Hoe gaaf precies?

Well, with the push of a button,

Door één druk op de knop

I can deliver this talk as a completely different character.

kan ik deze talk doen als een compleet ander personage.

This is Elbor.

Dit is Elbor.

We hebben hem ontworpen om te kijken hoe dit werkt

We put him together to test how this would work

with a different appearance.

met een ander uiterlijk.

And the cool thing about this technology is that, while I've changed my character,

Het gave aan deze technologie is dat, hoewel mijn personage anders is,

the performance is still all me.

ik hem nog steeds volledig bestuur.

I tend to talk out of the right side of my mouth;

Ik neig ernaar om uit de rechterkant van mijn mond te praten;

so does Elbor.

Elbor ook.

(Laughter)

(Gelach)

Je kan je voorstellen dat de tweede reden waarom we dit deden

Now, the second reason we did this, and you can imagine,

is this is going to be great for film.

is dat het geweldig gaat zijn voor films.

This is a brand-new, exciting tool

Dit is een gloednieuw, spannend gereedschap

for artists and directors and storytellers.

voor kunstenaars en regisseurs en verhalenvertellers.

It's pretty obvious, right?

Het is aardig duidelijk, toch?

I mean, this is going to be really neat to have.

Dit gaat geweldig zijn om te hebben.

But also, now that we've built it,

Maar nu we het hebben gemaakt

it's clear that this is going to go way beyond film.

wordt duidelijk dat dit nog verder zal gaan dan alleen films.

But wait.

Maar wacht.

Didn't I just change my identity with the push of a button?

Heb ik niet zojuist mijn identiteit veranderd door op een knop te drukken?

Isn't this like "deepfake" and face-swapping

Is dit niet hetzelfde als 'deepfake' en faceswapping,

that you guys may have heard of?

waar jullie vast van gehoord hebben?

Well, yeah.

Dat klopt.

In fact, we are using some of the same technology

We gebruiken zelfs gedeeltelijk dezelfde technologie

that deepfake is using.

als die deepfake gebruikt.

Deepfake is 2-D and image based, while ours is full 3-D

Deepfake is 2-D en gebaseerd op afbeeldingen,

terwijl de onze volledig 3-D is, en veel krachtiger.

and way more powerful.

But they're very related.

Maar ze lijken erg op elkaar.

And now I can hear you thinking,

Nu hoor ik jullie denken:

"Darn it!

'Verdorie!

I though I could at least trust and believe in video.

Ik dacht dat ik op z'n minst video's kon vertrouwen en geloven.

If it was live video, didn't it have to be true?"

Als het live te zien was moet het toch waar zijn?'

Well, we know that's not really the case, right?

We weten dat dit niet meer het geval is, toch?

Even without this, there are simple tricks that you can do with video

Zelfs zonder dit alles zijn er simpele trucjes die je met video's kan uithalen,

like how you frame a shot

zoals bepaling van de opnamehoek

that can make it really misrepresent what's actually going on.

zodat het misleidend weergeeft wat er eigenlijk gebeurt.

And I've been working in visual effects for a long time,

Ik werk al lang met visuele effecten

and I've known for a long time

en ik weet al lang

that with enough effort, we can fool anyone about anything.

dat we met genoeg moeite iedereen alles kunnen laten geloven.

What this stuff and deepfake is doing

Wat dit soort dingen en deepfake doen

is making it easier and more accessible to manipulate video,

is het manipuleren van video's makkelijker en toegankelijker maken,

just like Photoshop did for manipulating images, some time ago.

net zoals Photoshop dat een poosje terug deed voor het manipuleren van foto's.

I prefer to think about

Ik denk liever aan

how this technology could bring humanity to other technology

hoe deze technologie menselijkheid aan andere technologie kan toevoegen,

and bring us all closer together.

en ons allemaal dichter bij elkaar kan brengen.

Now that you've seen this,

Nu jullie dit gezien hebben,

think about the possibilities.

bedenk eens wat de mogelijkheden zijn.

Right off the bat, you're going to see it in live events and concerts, like this.

Vanaf het begin ga je dit zien bij live evenementen en concerten, zoals hier.

Digital celebrities, especially with new projection technology,

Digitale beroemdheden, vooral met nieuwe projectietechnologie,

are going to be just like the movies, but alive and in real time.

zullen net als in de films zijn, maar dan levensecht en in real-time.

And new forms of communication are coming.

En er komen nieuwe vormen van communicatie.

You can already interact with DigiDoug in VR.

Je kan al met DigiDoug in VR interageren.

And it is eye-opening.

En dat is een openbaring.

It's just like you and I are in the same room,

Het is net alsof jij en ik in dezelfde kamer zitten,

even though we may be miles apart.

zelfs al zijn we mijlenver uit elkaar.

Heck, the next time you make a video call,

De volgende keer dat je gaan videobellen

you will be able to choose the version of you

zul je de versie van jezelf kunnen kiezen

you want people to see.

waarvan je wilt dat mensen hem zien.

It's like really, really good makeup.

Het is net als ontzettend goede make-up.

I was scanned about a year and a half ago.

De scans zijn anderhalf jaar oud.

I've aged.

Ik ben ouder geworden.

DigiDoug hasn't.

DigiDoug niet.

On video calls, I never have to grow old.

Ik hoef nooit ouder te worden op videogesprekken.

And as you can imagine, this is going to be used

Je kan je ook voorstellen dat dit gebruikt gaat worden

to give virtual assistants a body and a face.

om virtual assistents een lichaam en een gezicht te geven.

A humanity.

Menselijkheid.

I already love it that when I talk to virtual assistants,

Ik vind het al geweldig dat als ik met virtual assistants praat,

they answer back in a soothing, humanlike voice.

ze antwoord geven met een rustgevende, menselijke stem.

Now they'll have a face.

Nu zullen ze een gezicht hebben.

And you'll get all the nonverbal cues that make communication so much easier.

En je zult alle non-verbale signalen zien die communicatie zoveel makkelijker maken.

It's going to be really nice.

Het zal echt heel fijn zijn.

You'll be able to tell when a virtual assistant is busy or confused

Je zult het zien wanneer een virtual assistent druk of verward is,

or concerned about something.

of zich ergens zorgen over maakt.

Now, I couldn't leave the stage

Ik kan niet het podium af gaan

without you actually being able to see my real face,

zonder dat jullie mijn echte gezicht hebben gezien,

so you can do some comparison.

zodat je vergelijkingsmateriaal hebt.

So let me take off my helmet here.

Ik zal mijn helm even afzetten.

Yeah, don't worry, it looks way worse than it feels.

Maak je geen zorgen, het ziet er erger uit dan het voelt.

(Laughter)

(Gelach)

So this is where we are.

Dit is waar we nu staan.

Let me put this back on here.

Ik zal deze weer even opzetten.

(Laughter)

(Gelach)

Doink!

Doink!

So this is where we are.

Dit is waar we nu staan.

We're on the cusp of being able to interact with digital humans

We kunnen bijna interageren met digitale mensen

that are strikingly real,

die levensecht lijken,

whether they're being controlled by a person or a machine.

of ze nu bestuurd worden door een persoon of een machine.

And like all new technology these days,

En zoals bij alle nieuwe technologie,

it's going to come with some serious and real concerns

zal dit gepaard gaan met ernstige en reële zorgen,

that we have to deal with.

die we onder ogen moeten zien.

But I am just so really excited

Maar ik ben zo enthousiast

about the ability to bring something that I've seen only in science fiction

over de mogelijkheid om iets dat ik mijn hele leven lang

for my entire life

alleen in science fiction gezien heb

into reality.

realiteit te maken.

Communicating with computers will be like talking to a friend.

Communiceren met computers zal zijn alsof je met een vriend praat.

And talking to faraway friends

En praten met vrienden die ver weg zijn

will be like sitting with them together in the same room.

zal zijn alsof je met hen in dezelfde kamer zit.

Thank you very much.

Heel erg bedankt.

(Applause)

(Applaus)