Ed Ulbrich: How Benjamin Button got his face

Vertaald door: Rik Delaet Nagekeken door: Els De Keyser

I'm here today representing a team of artists and technologists and filmmakers

Ik vertegenwoordig een team van kunstenaars, technici en filmmakers

that worked together on a remarkable film project for the last four years.

die vier jaar samenwerkten aan een opmerkelijk filmproject.

And along the way they created a breakthrough in computer visualization.

Al doende realiseerden ze een doorbraak in de computervisualisatie.

So I want to show you a clip of the film now.

Ik toon een filmclip.

Hopefully it won't stutter.

Hopelijk zonder haperen.

And if we did our jobs well, you won't know that we were even involved.

Als we ons werk goed deden, merk je niet dat wij erbij betrokken waren.

Voice (Video): I don't know how it's possible ...

Stem (Video): Ik weet niet hoe het mogelijk is ...

but you seem to have more hair.

maar je lijkt meer haar te hebben.

Brad Pitt: What if I told you that I wasn't getting older ...

Brad Pitt: Wat als ik je vertel dat ik niet ouder ...

but I was getting younger than everybody else?

maar steeds jonger word dan de rest?

I was born with some form of disease.

Ik ben geboren met een soort ziekte.

Voice: What kind of disease?

Voice: Wat voor ziekte?

BP: I was born old.

BP: Ik ben oud geboren.

Man: I'm sorry.

Man: Het spijt me.

BP: No need to be. There's nothing wrong with old age.

BP: Hoeft niet. Er is niets mis met ouderdom.

Girl: Are you sick?

Meisje: Ben je ziek?

BP: I heard momma and Tizzy whisper,

BP: Ik hoorde mama en Tizzy fluisteren

and they said I was gonna die soon.

dat ik ga spoedig ga sterven.

But ... maybe not.

Maar ... misschien ook niet.

Girl: You're different than anybody I've ever met.

Meisje: Je bent anders dan alle andere mensen die ik ooit ontmoet heb.

BB: There were many changes ...

BB: Er waren veel veranderingen ...

some you could see, some you couldn't.

sommige zag je, sommige niet.

Hair started growing in all sorts of places,

Op allerlei plaatsen begon haar te groeien,

along with other things.

samen met andere dingen.

I felt pretty good, considering.

Ik voelde me vrij goed, alles in acht genomen.

Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button."

Ed Ulbrich: Dat was een fragment uit "The Curious Case of Benjamin Button."

Many of you, maybe you've seen it or you've heard of the story,

Misschien kennen jullie het verhaal al,

but what you might not know

maar wat jullie misschien niet weten,

is that for nearly the first hour of the film,

is dat in het eerste uur van de film,

the main character, Benjamin Button, who's played by Brad Pitt,

het hoofd van Benjamin Button, rol van Brad Pitt,

is completely computer-generated from the neck up.

volledig computergegenereerd is.

Now, there's no use of prosthetic makeup

We gebruikten geen prothetische make-up

or photography of Brad superimposed over another actor's body.

of foto's van Brad op het lichaam van een andere acteur.

We've created a completely digital human head.

We hebben een volledig digitaal menselijk hoofd gecreëerd.

So I'd like to start with a little bit of history on the project.

Even wat geschiedenis van het project.

This is based on an F. Scott Fitzgerald short story.

Het is gebaseerd op een kortverhaal van F. Scott Fitzgerald.

It's about a man who's born old and lives his life in reverse.

Het gaat over een man die oud geboren wordt en zijn leven achterstevoren leeft.

Now, this movie has floated around Hollywood

Deze film lag voor meer dan een halve eeuw

for well over half a century,

in de koelkast van Hollywood.

and we first got involved with the project in the early '90s,

Wij werden er voor het eerst bij betrokken in de vroege jaren 90

with Ron Howard as the director.

met Ron Howard als regisseur.

We took a lot of meetings and we seriously considered it.

In veel vergaderingen werd het serieus onderzocht.

But at the time we had to throw in the towel.

Maar we moesten de handdoek in de ring gooien.

It was deemed impossible.

Het werd onmogelijk geacht.

It was beyond the technology of the day to depict a man aging backwards.

Met de technologie van toentertijd lukte het niet om een man te laten verjongen.

The human form, in particular the human head,

De menselijke vorm, en dan vooral het hoofd,

has been considered the Holy Grail of our industry.

werd beschouwd als de heilige graal van onze industrie.

The project came back to us about a decade later,

We zagen het project tien jaar later terug

and this time with a director named David Fincher.

met de regisseur David Fincher.

Now, Fincher is an interesting guy.

Fincher is een interessante vent.

David is fearless of technology,

Hij laat zich niet van zijn stuk brengen door de technologie

and he is absolutely tenacious.

en kan zich ergens in vastbijten.

And David won't take "no."

En hij accepteert geen 'nee'.

And David believed, like we do in the visual effects industry,

Hij geloofde, net als wij in de visuele effecten-industrie,

that anything is possible

dat alles mogelijk is

as long as you have enough time, resources and, of course, money.

zolang je genoeg tijd, middelen en, uiteraard, geld hebt.

And so David had an interesting take on the film,

David had een interessante kijk op de film

and he threw a challenge at us.

en hij daagde ons uit.

He wanted the main character of the film to be played

Hij wilde dat de hoofdpersoon van de film

from the cradle to the grave by one actor.

van de wieg tot het graf door één acteur werd gespeeld.

It happened to be this guy.

Deze man zou het worden.

We went through a process of elimination and a process of discovery

We gingen met David door een proces van eliminatie en ontdekking.

with David, and we ruled out, of course, swapping actors.

Geen sprake van meerdere acteurs.

That was one idea: that we would have different actors,

Dat was een idee: met verschillende acteurs werken

and we would hand off from actor to actor.

en de ene door de andere vervangen in de loop van de film.

We even ruled out the idea of using makeup.

Ook het gebruik van make-up sloten we uit.

We realized that prosthetic makeup just wouldn't hold up,

We beseften dat prothetische make-up niet zou werken,

particularly in close-up.

zeker niet in close-up.

And makeup is an additive process. You have to build the face up.

Make-up is een additief proces. Je moet het gezicht opbouwen.

And David wanted to carve deeply into Brad's face

En David wilde diep snijden in het gezicht van Brad

to bring the aging to this character.

om zijn personage te laten verouderen.

He needed to be a very sympathetic character.

Het moest een heel sympathiek personage worden.

So we decided to cast a series of little people

Dus namen we een reeks kleine mensen

that would play the different bodies of Benjamin

om de verschillende lichamen van Benjamin te spelen

at the different increments of his life

in de verschillende fasen van zijn leven.

and that we would in fact create a computer-generated version of Brad's head,

Het hoofd van Brad zou door de computer gegenereerd worden

aged to appear as Benjamin,

met de leeftijd van Benjamin.

and attach that to the body of the real actor.

Dat hoofd zou dan bevestigd worden op het lichaam van de echte acteur.

Sounded great.

Het klonk geweldig.

Of course, this was the Holy Grail of our industry,

Dit was de heilige graal van onze industrie.

and the fact that this guy is a global icon didn't help either,

Dat deze man een wereldwijd icoon was, hielp ook al niet.

because I'm sure if any of you ever stand in line at the grocery store,

Overal kom je

you know -- we see his face constantly.

zijn gezicht tegen.

So there really was no tolerable margin of error.

Er was echt geen aanvaardbare foutenmarge.

There were two studios involved: Warner Brothers and Paramount.

Er waren twee studio's bij betrokken: Warner Brothers en Paramount.

And they both believed this would make an amazing film, of course,

Beiden geloofden dat dit een geweldige film zou worden,

but it was a very high-risk proposition.

maar met een zeer hoog risicogehalte.

There was lots of money and reputations at stake.

Veel geld en reputaties stonden op het spel.

But we believed that we had a very solid methodology

Maar we geloofden

that might work ...

in onze manier van werken.

But despite our verbal assurances,

Maar ondanks onze mondelinge toezeggingen,

they wanted some proof.

wilden ze een bewijs.

And so, in 2004, they commissioned us to do a screen test of Benjamin.

In 2004 vroegen ze naar een screentest van Benjamin.

And we did it in about five weeks.

In vijf weken was hij klaar.

But we used lots of cheats and shortcuts.

Maar met veel trucs en binnenwegen.

We basically put something together to get through the meeting.

We moesten iets voor elkaar krijgen voor de vergadering.

I'll roll that for you now. This was the first test for Benjamin Button.

Ik toon het even. De eerste test voor Benjamin Button.

And in here, you can see, that's a computer-generated head --

Hier een door de computer gegenereerde kop -

pretty good -- attached to the body of an actor.

vrij goed - gezet op het lichaam van een acteur.

And it worked. And it gave the studio great relief.

En het werkte. Een grote opluchting.

After many years of starts and stops on this project,

Na vele jaren van starts en stops voor dit project

and making that tough decision,

en een moeilijke besluitvorming,

they finally decided to greenlight the movie.

besloten ze uiteindelijk de film groen licht te geven.

And I can remember, actually, when I got the phone call to congratulate us,

Ik weet nog dat, toen ik het telefoontje kreeg

to say the movie was a go,

dat de film zou doorgaan,

I actually threw up.

ik moest overgeven.

(Laughter)

(Gelach)

You know, this is some tough stuff.

Geen simpele klus.

So we started to have early team meetings,

We begonnen met de teamvergaderingen

and we got everybody together,

en brachten iedereen bij elkaar.

and it was really more like therapy in the beginning,

In het begin leek het meer op een soort therapie

convincing each other and reassuring each other that we could actually undertake this.

om elkaar te overtuigen dat we het zouden aankunnen.

We had to hold up an hour of a movie with a character.

Eén uur film met een personage.

And it's not a special effects film; it has to be a man.

Geen film met speciale effecten, maar met één man.

We really felt like we were in a -- kind of a 12-step program.

Een soort 12-stappenprogramma.

And of course, the first step is: admit you've got a problem. (Laughter)

Stap 1: Geef toe dat je een probleem hebt. (Gelach)

So we had a big problem:

We zaten met een groot probleem:

we didn't know how we were going to do this.

we hadden geen benul hoe dit aan te pakken.

But we did know one thing.

Maar we wisten één ding.

Being from the visual effects industry,

Omdat we van de visuele-effectenindustrie kwamen,

we, with David, believed that we now had enough time,

geloofden wij, samen met David, dat we nu genoeg tijd,

enough resources, and, God, we hoped we had enough money.

en, hopelijk, genoeg geld hadden.

And we had enough passion to will the processes and technology into existence.

In elk geval genoeg passie om de technologie tot leven te roepen.

So, when you're faced with something like that,

Als je met zoiets begint,

of course you've got to break it down.

moet je het eerst uiteenrafelen.

You take the big problem and you break it down into smaller pieces

Je breekt het grote probleem in kleinere stukken

and you start to attack that.

en je begint eraan.

So we had three main areas that we had to focus on.

Drie hoofdgebieden moesten een oplossing vinden.

We needed to make Brad look a lot older --

Eerst moest Brad er een stuk ouder gaan uitzien -

needed to age him 45 years or so.

ongeveer 45 jaar ouder.

And we also needed to make sure that we could take Brad's idiosyncrasies,

We moesten een manier vinden om Brads eigenaardigheden weer te geven.

his little tics, the little subtleties that make him who he is

Zijn tics, de subtiliteiten die hem maken tot wie hij is.

and have that translate through our process

Die dingen vertalen door middel van ons proces

so that it appears in Benjamin on the screen.

zodat ze Benjamin worden op het scherm.

And we also needed to create a character

Het personage moest onder alle omstandigheden

that could hold up under, really, all conditions.

maximaal kunnen functioneren:

He needed to be able to walk in broad daylight,

op klaarlichte dag,

at nighttime, under candlelight,

's nachts, bij kaarslicht,

he had to hold an extreme close-up,

bij een extreme close-up,

he had to deliver dialogue,

een dialoog aankunnen,

he had to be able to run, he had to be able to sweat,

kunnen draaien, zweten,

he had to be able to take a bath, to cry,

een bad nemen, huilen,

he even had to throw up.

zelfs overgeven.

Not all at the same time --

Niet allemaal tegelijk -

but he had to, you know, do all of those things.

maar hij moest dat allemaal kunnen doen.

And the work had to hold up for almost the first hour of the movie.

Dat alles in bijna het eerste uur van de film.

We did about 325 shots.

We maakten ongeveer 325 opnames.

So we needed a system that would allow Benjamin

We hadden een systeem nodig waardoor Benjamin

to do everything a human being can do.

alles kon doen wat een mens kan doen.

And we realized that there was a giant chasm

Er gaapte een enorme kloof

between the state of the art of technology in 2004

tussen de stand van de technologie in 2004

and where we needed it to be.

en wat we nodig hadden.

So we focused on motion capture.

Dus richtten we ons op 'motion capture'.

I'm sure many of you have seen motion capture.

Jullie hebben dat zeker al eens gezien.

The state of the art at the time

De stand van de techniek op dat moment

was something called marker-based motion capture.

was iets dat 'marker-based motion capture' werd genoemd.

I'll give you an example here.

Hier een voorbeeld.

It's basically the idea of, you wear a leotard,

Je draagt een soort turnpakje

and they put some reflective markers on your body,

met een aantal reflecterende markeringen.

and instead of using cameras,

In plaats van cameras

there're infrared sensors around a volume,

werken we met rondom geplaatste infraroodsensoren.

and those infrared sensors track the three-dimensional position

Deze infraroodsensoren volgen de driedimensionale positie

of those markers in real time.

van deze markers in real time.

And then animators can take the data of the motion of those markers

Animatoren kunnen de beweginggegevens van deze markers

and apply them to a computer-generated character.

toepassen op een computerpersonage.

You can see the computer characters on the right

Rechts zie je de computerpersonages

are having the same complex motion as the dancers.

dezelfde complexe beweging uitvoeren als de dansers.

But we also looked at numbers of other films at the time

We hebben toen ook vele andere films bekeken

that were using facial marker tracking,

die markertracking voor gezichtsherkenning gebruikten.

and that's the idea of putting markers on the human face

Zo ziet het eruit met markeringen op het menselijke gezicht

and doing the same process.

bij hetzelfde proces.

And as you can see, it gives you a pretty crappy performance.

Niet erg indrukwekkend, niet?

That's not terribly compelling.

Niet overtuigend.

And what we realized

We moesten ook

was that what we needed

de informatie

was the information that was going on between the markers.

tussen de markers hebben.

We needed the subtleties of the skin.

De subtiliteiten van de huid.

We needed to see skin moving over muscle moving over bone.

De huid zien bewegen over de spieren en over het bot.

We needed creases and dimples and wrinkles and all of those things.

Plooien, kuiltjes, rimpels en al die dingen.

Our first revelation was to completely abort and walk away from

Ons eerste inzicht was dat we af moesten

the technology of the day, the status quo, the state of the art.

van de toenmalige technologie.

So we aborted using motion capture.

Dus geen motion capture.

And we were now well out of our comfort zone,

Weg uit onze comfortzone,

and in uncharted territory.

in onbekend terrein.

So we were left with this idea

We bleven met dit idee

that we ended up calling "technology stew."

dat we 'technologiestoofpot' gingen noemen.

We started to look out in other fields.

We gingen uitkijken naar andere gebieden.

The idea was that we were going to find

We gingen op zoek naar

nuggets or gems of technology

technologiejuweeltjes

that come from other industries like medical imaging,

afkomstig uit andere sectoren zoals medische beeldvorming

the video game space,

en videogames

and re-appropriate them.

om ze voor ons doel aan te passen.

And we had to create kind of a sauce.

We moesten een soort saus maken.

And the sauce was code in software

Die saus was softwarecode

that we'd written to allow these disparate pieces of technology

om deze ongelijksoortige stukken technologie

to come together and work as one.

samen te laten werken.

Initially, we came across some remarkable research

In eerste instantie vonden we een opmerkelijk onderzoek

done by a gentleman named Dr. Paul Ekman in the early '70s.

van Dr Paul Ekman in de vroege jaren '70.

He believed that he could, in fact,

Hij geloofde dat hij het menselijk gezicht

catalog the human face.

kon catalogiseren.

And he came up with this idea of Facial Action Coding System, or FACS.

Hij ontwierp het Facial Action Coding System, of FACS.

He believed that there were 70 basic poses

Hij geloofde dat er 70 basishoudingen

or shapes of the human face,

of vormen van het menselijk gezicht bestaan.

and that those basic poses or shapes of the face

Deze kunnen worden gecombineerd

can be combined to create infinite possibilities

om de oneindige mogelijkheden te creëren

of everything the human face is capable of doing.

van alles wat het menselijk gezicht kan doen.

And of course, these transcend age, race, culture, gender.

Die overstijgen uiteraard leeftijd, ras, cultuur en geslacht.

So this became the foundation of our research as we went forward.

Dat werd de basis van ons onderzoek.

And then we came across some remarkable technology

We vonden nog een opmerkelijke technologie

called Contour.

met de naam Contour.

And here you can see a subject having phosphorus makeup

Hier zie je iemand met fosforiserende make-up

stippled on her face.

gestippeld op haar gezicht.

And now what we're looking at is really creating a surface capture

Nu zien we een oppervlaktecapture

as opposed to a marker capture.

in tegenstelling tot een markercapture.

The subject stands in front of a computer array of cameras,

De persoon staat voor een rij computercamera's

and those cameras can, frame-by-frame,

die frame na frame

reconstruct the geometry of exactly what the subject's doing at the moment.

de geometrie van wat ze op elk moment doet, reconstrueren.

So, effectively, you get 3D data in real time of the subject.

Je krijgt in real time 3D-gegevens van het onderwerp.

And if you look in a comparison,

Links zie je

on the left, we see what volumetric data gives us

wat volumetrische data ons geven

and on the right you see what markers give us.

in vergelijking met wat markers ons geven.

So, clearly, we were in a substantially better place for this.

Een hele stap vooruit.

But these were the early days of this technology,

Maar nog in het beginstadium.

and it wasn't really proven yet.

Nog niet echt bewezen.

We measure complexity and fidelity of data

We geven de complexiteit en de getrouwheid van data weer

in terms of polygonal count.

in termen van het aantal veelhoeken.

And so, on the left, we were seeing 100,000 polygons.

Aan de linkerkant zien we 100.000 veelhoeken.

We could go up into the millions of polygons.

We konden gaan tot miljoenen veelhoeken.

It seemed to be infinite.

Het leek wel oneindig.

This was when we had our "Aha!"

Daar hadden we ons "Aha!"-moment.

This was the breakthrough.

Dit was de doorbraak.

This is when we're like, "OK, we're going to be OK,

Nu wisten we

This is actually going to work."

dat het zou werken.

And the "Aha!" was, what if we could take Brad Pitt,

De "Aha!" was dat we Brad Pitt

and we could put Brad in this device,

in dit apparaat moesten steken

and use this Contour process,

en er dit Contourproces

and we could stipple on this phosphorescent makeup

met deze gestippelde fosforescerende make-up

and put him under the black lights,

onder UV-belichting op toepassen.

and we could, in fact, scan him in real time

Nu konden we hem in real-time scannen

performing Ekman's FACS poses.

terwijl hij Ekman's FACS houdingen aannam.

Right? So, effectively,

We verkregen

we ended up with a 3D database

een 3D-databank

of everything Brad Pitt's face is capable of doing.

met alles wat Brad Pitts gezicht kan doen.

(Laughter)

(Gelach)

From there, we actually carved up those faces

Van daaruit hebben we die gezichten opgedeeld

into smaller pieces and components of his face.

in steeds kleinere stukken.

So we ended up with literally thousands and thousands and thousands of shapes,

Zo bekwamen we letterlijk duizenden vormen,

a complete database of all possibilities

een complete database van alle mogelijkheden

that his face is capable of doing.

van zijn gezicht.

Now, that's great, except we had him at age 44.

Geweldig, maar we hadden hem alleen maar als 44-jarige.

We need to put another 40 years on him at this point.

Daar moest nog 40 jaar bijkomen.

We brought in Rick Baker,

Hier kwam Rick Baker ter hulp,

and Rick is one of the great makeup and special effects gurus

een grote make-up- en speciale-effectengoeroe

of our industry.

in onze branche.

And we also brought in a gentleman named Kazu Tsuji,

Ook Kazu Tsuji.

and Kazu Tsuji is one of the great photorealist sculptors of our time.

Kazu Tsuji is een van de grote fotorealistische beeldhouwers van onze tijd.

And we commissioned them to make a maquette,

Ze moesten een maquette,

or a bust, of Benjamin.

of liever buste, maken van Benjamin.

So, in the spirit of "The Great Unveiling" -- I had to do this --

In de geest van "De Grote Onthulling '- ik kan het niet laten -

I had to unveil something.

moet ik iets onthullen.

So this is Ben 80.

Dit is Ben 80.

We created three of these:

We maakten er drie:

there's Ben 80, there's Ben 70, there's Ben 60.

Ben 80, Ben 70, er Ben 60.

And this really became the template for moving forward.

Hierop borduurden we verder.

Now, this was made from a life cast of Brad.

Dit is een echt afgietsel van Brad.

So, in fact, anatomically, it is correct.

Anatomisch juist.

The eyes, the jaw, the teeth:

De ogen, de kaak, de tanden:

everything is in perfect alignment with what the real guy has.

alles zoals bij de echte kerel.

We have these maquettes scanned into the computer

We hebben deze maquettes in de computer gescand

at very high resolution --

met een zeer hoge resolutie -

enormous polygonal count.

enorm veel veelhoeken.

And so now we had three age increments of Benjamin

We hadden nu drie leeftijden van Benjamin

in the computer.

in de computer.

But we needed to get a database of him doing more than that.

Maar de database moest meer aankunnen.

We went through this process, then, called retargeting.

We gebruikten een proces dat we 'retargeting' noemden.

This is Brad doing one of the Ekman FACS poses.

Dit is Brad die een van de Ekman-FACS doet.

And here's the resulting data that comes from that,

Hier de daaruit resulterende data.

the model that comes from that.

Het model zeg maar.

Retargeting is the process of transposing that data

'Retargeting' is het overzetten van deze data

onto another model.

op een ander model.

And because the life cast, or the bust -- the maquette -- of Benjamin

Omdat de maquette van Benjamin

was made from Brad,

gemaakt was op basis van Brad,

we could transpose the data of Brad at 44

konden we de gegevens van de Brad van 44

onto Brad at 87.

overbrengen op de Brad van 87.

So now, we had a 3D database of everything Brad Pitt's face can do

Nu hadden we een 3D-database van alles wat zijn gezicht kon doen

at age 87, in his 70s and in his 60s.

op de leeftijd van 87, van 70 en van 60.

Next we had to go into the shooting process.

Daarna kwamen de opnames.

So while all that's going on,

We filmden

we're down in New Orleans and locations around the world.

in New Orleans en locaties over de hele wereld.

And we shot our body actors,

We filmden onze 'lichaamsacteurs'

and we shot them wearing blue hoods.

met blauwe kappen.

So these are the gentleman who played Benjamin.

Deze mannen speelden Benjamin.

And the blue hoods helped us with two things:

Die blauwe kappen hielpen op twee manieren:

one, we could easily erase their heads;

we konden zo hun hoofden gemakkelijk wissen

and we also put tracking markers on their heads

en we konden trackingmarkers op hun hoofd plaatsen

so we could recreate the camera motion

zodat we de camerabewegingen

and the lens optics from the set.

en de lensoptiek van de set konden reproduceren.

But now we needed to get Brad's performance to drive our virtual Benjamin.

Nu moest Brad's acteren onze virtuele Benjamin animeren.

And so we edited the footage that was shot on location

Wij verwerkten de op locatie opgenomen beelden

with the rest of the cast and the body actors

met de rest van de cast en de lichaamsacteurs

and about six months later

en een half jaar later

we brought Brad onto a sound stage in Los Angeles

brachten we Brad naar een geluidsstudio in Los Angeles

and he watched on the screen.

en hij bekeek alles op het scherm.

His job, then, was to become Benjamin.

Zijn taak bestond erin om Benjamin te worden.

And so we looped the scenes.

Hij bekeek de scènes telkens weer opnieuw.

He watched again and again.

Hij bekeek de scènes telkens weer opnieuw.

We encouraged him to improvise.

We moedigden hem aan om te improviseren.

And he took Benjamin into interesting and unusual places

Hij liet Benjamin allerlei dingen doen die ook voor ons verrassend waren.

that we didn't think he was going to go.

Hij liet Benjamin allerlei dingen doen die ook voor ons verrassend waren.

We shot him with four HD cameras

We filmden hem met vier HD-camera's, vanuit meerdere hoeken.

so we'd get multiple views of him

We filmden hem met vier HD-camera's, vanuit meerdere hoeken.

and then David would choose the take of Brad being Benjamin

David koos dan de opname

that he thought best matched the footage

die het best overeenstemde met de beelden

with the rest of the cast.

van de rest van de cast.

From there we went into a process called image analysis.

Vervolgens kwam de zogenaamde 'beeldanalyse'.

And so here, you can see again, the chosen take.

Hier kunnen jullie weer de gekozen opname zien.

And you are seeing, now, that data being transposed on to Ben 87.

De data worden overgezet naar Ben 87.

And so, what's interesting about this is

Het interessante hieraan is

we used something called image analysis,

dat we middels beeldanalyse

which is taking timings from different components of Benjamin's face.

de onderdelen van het gezicht apart konden weergeven.

And so we could choose, say, his left eyebrow.

Bijvoorbeeld zijn linkerwenkbrauw.

And the software would tell us that, well,

De software vertelde ons

in frame 14 the left eyebrow begins to move from here to here,

dat in frame 14 de linkerwenkbrauw van hier naar hier gaat

and it concludes moving in frame 32.

en ophoudt met bewegen in frame 32.

And so we could choose numbers of positions on the face

Van vele delen van het gezicht

to pull that data from.

legden we de data vast.

And then, the sauce I talked about with our technology stew --

Die saus van onze technologiestoofpot -

that secret sauce was, effectively, software that allowed us to

die geheime saus was software die ons in staat stelde

match the performance footage of Brad

om de acteursprestaties van Brad

in live action with our database of aged Benjamin,

te combineren met onze database van de oude Benjamin,

the FACS shapes that we had.

met andere woorden de FACS-vormen.

On a frame-by-frame basis,

Frame na frame

we could actually reconstruct a 3D head

reconstrueerden we een 3D-hoofd

that exactly matched the performance of Brad.

dat precies overeenkwam met het acteerspel van Brad.

So this was how the finished shot appeared in the film.

Zo verscheen het in de film.

And here you can see the body actor.

Hier zie je de lichaamsacteur.

And then this is what we called the "dead head," no reference to Jerry Garcia.

Dit is wat wij de 'doodskop' noemden, geen verwijzing naar Jerry Garcia.

And then here's the reconstructed performance

Hier het gereconstrueerde acteren

now with the timings of the performance.

samen met de timing ervan.

And then, again, the final shot.

Nogmaals de uiteindelijke opname.

It was a long process.

Het was een lang proces.

(Applause)

(Applaus)

The next section here, I'm going to just blast through this,

Hier ga ik even vlug overheen.

because we could do a whole TEDTalk on the next several slides.

Daar zou nog eens een hele TED-talk voor nodig zijn.

We had to create a lighting system.

We moesten een belichtingssysteem creëren.

So really, a big part of our processes was creating a lighting environment

Een groot deel van ons werk zat in het creëren van een belichtingsomgeving

for every single location that Benjamin had to appear

voor elke locatie waarin Benjamin moest verschijnen.

so that we could put Ben's head into any scene

Daardoor konden we Ben's hoofd in elke scène plaatsen

and it would exactly match the lighting that's on the other actors

exact in overeenstemming met de belichting op de andere acteurs

in the real world.

in de echte wereld.

We also had to create an eye system.

Ook de ogen moesten kloppen

We found the old adage, you know,

met het oude gezegde in het achterhoofd:

"The eyes are the window to the soul,"

"De ogen zijn het venster van de ziel."

absolutely true.

Absoluut waar.

So the key here was to keep everybody looking in Ben's eyes.

Iedereen moest in Ben's ogen kunnen kijken.

And if you could feel the warmth, and feel the humanity,

Als je daarmee de warmte, de menselijkheid

and feel his intent coming through the eyes,

en zijn bedoeling zou kunnen aanvoelen,

then we would succeed.

waren we geslaagd.

So we had one person focused on the eye system

Iemand heeft zich bijna twee volle jaren

for almost two full years.

met alleen maar het oogsysteem bezig gehouden.

We also had to create a mouth system.

Ook een mondsysteem was nodig.

We worked from dental molds of Brad.

We werkten met gebitsafgietsels van Brad.

We had to age the teeth over time.

Ook de tanden moesten in de loop van de tijd verouderen.

We also had to create an articulating tongue that allowed him to enunciate his words.

Ook de tongbewegingen moesten kloppen met de gesproken woorden.

There was a whole system written in software to articulate the tongue.

Daar hadden we aparte software voor.

We had one person devoted to the tongue for about nine months.

Met de tong is iemand negen maanden bezig geweest.

He was very popular.

Hij was erg populair.

Skin displacement: another big deal.

Huidbewegingen: een ander belangrijk punt.

The skin had to be absolutely accurate.

De huid moest absoluut nauwkeurig zijn.

He's also in an old age home, he's in a nursing home

Hij verbleef in een bejaardentehuis, in een verpleeghuis

around other old people,

met andere oude mensen,

so he had to look exactly the same as the others.

dus hij moest er precies hetzelfde uitzien als de anderen.

So, lots of work on skin deformation,

Hopen werk mee.

you can see in some of these cases it works,

Soms zie je dat het werkt,

in some cases it looks bad.

maar in sommige gevallen gaat het de mist in.

This is a very, very, very early test in our process.

Hier een heel, heel vroege test.

So, effectively we created a digital puppet

Brad Pitt kon een digitale marionet

that Brad Pitt could operate with his own face.

met zijn eigen gezicht bedienen.

There were no animators necessary to come in and interpret behavior

Zonder dat er animatoren nodig waren

or enhance his performance.

om alles af te werken.

There was something that we encountered, though,

Maar we hadden problemen met

that we ended up calling "the digital Botox effect."

wat we het 'digitale Botoxeffect' gingen noemen.

So, as things went through this process,

Fincher zei dat het

Fincher would always say, "It sandblasts the edges off of the performance."

"de finesses van de acteerprestastie zandstraalde".

And thing our process and the technology couldn't do,

Wat ons proces en de technologie niet konden doen,

is they couldn't understand intent,

is 'bedoeling' begrijpen,

the intent of the actor.

de bedoeling van de acteur.

So it sees a smile as a smile.

Het ziet een glimlach als een glimlach,

It doesn't recognize an ironic smile, or a happy smile,

zonder onderscheid tussen een ironische glimlach, een vrolijke glimlach

or a frustrated smile.

of een gefrustreerde glimlach.

So it did take humans to kind of push it one way or another.

Daar moest het door mensen worden bijgewerkt.

But we ended up calling the entire process

Daarom noemden we het hele proces

and all the technology "emotion capture,"

en de technologie 'emotion capture'

as opposed to just motion capture.

in plaats van alleen maar 'motion capture'.

Take another look.

Kijk nog eens.

Brad Pitt: Well, I heard momma and Tizzy whisper,

Brad Pitt: "Ik hoorde mamma en Tizzy fluisteren

and they said I was gonna die soon,

dat ik spoedig ga sterven.

but ... maybe not.

maar... misschien ook niet."

EU: That's how to create a digital human in 18 minutes.

EU: Zo maak je in 18 minuten een digitale mens.

(Applause)

(Applaus)

A couple of quick factoids;

Nog wat feitjes:

it really took 155 people over two years,

155 mensen hadden er meer dan twee jaar werk aan --

and we didn't even talk about 60 hairstyles and an all-digital haircut.

er waren ook nog 60 kapsels en een volledig digitale haarsnit.

But, that is Benjamin. Thank you.

Maar dat is Benjamin. Dankjewel.