Ed Ulbrich: How Benjamin Button got his face

Перекладач: Kate Popova Утверджено: Marta Chereshnovska

I'm here today representing a team of artists and technologists and filmmakers

Сьогодні я представляю команду художників, технологів і кінорежисерів,

that worked together on a remarkable film project for the last four years.

які працювали над грандіозним кінопроектом протягом останніх чотирьох років.

And along the way they created a breakthrough in computer visualization.

І водночас зробили прорив в області комп'ютерної візуалізації.

So I want to show you a clip of the film now.

А зараз я хочу показати вам уривок з фільму.

Hopefully it won't stutter.

Сподіваюсь, він не буде гальмувати.

And if we did our jobs well, you won't know that we were even involved.

І якщо ми виконали нашу роботу добре, то ви не помітите, що ми взагалі щось робили.

Voice (Video): I don't know how it's possible ...

Фільм: "Я не знаю, як це можливо...

but you seem to have more hair.

але, здається, у тебе з'явилось більше волосся".

Brad Pitt: What if I told you that I wasn't getting older ...

Бенджамін Баттон: "А що як я скажу тобі, що я не старішаю,

but I was getting younger than everybody else?

а навпаки, молодшаю.

I was born with some form of disease.

Я народився з якоюсь хворобою".

Voice: What kind of disease?

Голос: "Якою хворобою?"

BP: I was born old.

ББ: "Я народився старим".

Man: I'm sorry.

Чоловік: "Співчуваю".

BP: No need to be. There's nothing wrong with old age.

ББ: "Не треба. Бути старим непогано".

Girl: Are you sick?

Дівчинка: "Ти хворий?"

BP: I heard momma and Tizzy whisper,

ББ: "Я чув як мама з Тіззі шепотілися.

and they said I was gonna die soon.

Вони казали, що я скоро помру.

But ... maybe not.

Але... може, й ні".

Girl: You're different than anybody I've ever met.

Дівчинка: "Ти не схожий ні на кого з моїх знайомих".

BB: There were many changes ...

ББ: "Багато що змінювалось...

some you could see, some you couldn't.

Щось ти можеш бачити, а щось ні.

Hair started growing in all sorts of places,

Волосся почало рости в різних місцях,

along with other things.

як і деякі інші речі.

I felt pretty good, considering.

Загалом я почувався досить добре".

Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button."

Ед Ульбріх: Це був уривок з фільму "Загадкова історія Бенджаміна Баттона".

Many of you, maybe you've seen it or you've heard of the story,

Хоча багато хто з вас бачив або чув про цей фільм,

but what you might not know

та не всі знають, що

is that for nearly the first hour of the film,

протягом майже всієї першої години фільму

the main character, Benjamin Button, who's played by Brad Pitt,

головний герой Бенджамін Баттон, якого грає Бред Пітт,

is completely computer-generated from the neck up.

починаючи з шиї, повністю створений комп'ютером.

Now, there's no use of prosthetic makeup

І не потрібно використовувати важкий грим

or photography of Brad superimposed over another actor's body.

чи накладати фотографію Бреда поверх тіла іншого актора.

We've created a completely digital human head.

Ми створили повністю цифрову голову людини.

So I'd like to start with a little bit of history on the project.

А тепер я б хотів розповісти про те, як все відбувалось.

This is based on an F. Scott Fitzgerald short story.

Цей фільм знято за історією Ф. Скотта Фіцджеральда.

It's about a man who's born old and lives his life in reverse.

Він про людину, яка народилась старою і проживає своє життя навпаки.

Now, this movie has floated around Hollywood

Ідея зняти цей фільм існувала в Голівуді

for well over half a century,

майже півстоліття.

and we first got involved with the project in the early '90s,

Вперше ми взялись за проект на початку 1990-х

with Ron Howard as the director.

з режисером Роном Говардом.

We took a lot of meetings and we seriously considered it.

Ми часто зустрічались і все ретельно обговорювали.

But at the time we had to throw in the towel.

Але тоді нам довелось здатися.

It was deemed impossible.

Це було неможливим.

It was beyond the technology of the day to depict a man aging backwards.

Тоді це було за межами можливостей технології зобразити чоловіка, який не старів, а молодшав.

The human form, in particular the human head,

Людські форми, а особливо голова людини,

has been considered the Holy Grail of our industry.

вважались Святим Граалем в нашій індустрії.

The project came back to us about a decade later,

Приблизно через 10 років проект знову потрапив до нас.

and this time with a director named David Fincher.

Цього разу режисером мав бути Девід Фінчер.

Now, Fincher is an interesting guy.

Фінчер - досить цікавий чоловік.

David is fearless of technology,

Девід абсолютно не боїться технологій

and he is absolutely tenacious.

і в нього просто залізна воля.

And David won't take "no."

Для Девіда не існує слова "ні".

And David believed, like we do in the visual effects industry,

Девід вірив, як віримо ми, представники індустрії візуальних ефектів,

that anything is possible

що все можливе,

as long as you have enough time, resources and, of course, money.

якщо мати достатньо часу, ресурсів і, звісно, грошей.

And so David had an interesting take on the film,

У Девіда було досить цікаве уявлення про фільм,

and he threw a challenge at us.

і він кинув нам виклик.

He wanted the main character of the film to be played

Він хотів, щоб головного героя від колиски до могили

from the cradle to the grave by one actor.

грав один актор.

It happened to be this guy.

І ним став ось цей хлопець.

We went through a process of elimination and a process of discovery

Ми з Девідом пішли шляхом впровадження та відкидання деяких ідей.

with David, and we ruled out, of course, swapping actors.

І ми, звичайно, відкинули ідею заміни акторів.

That was one idea: that we would have different actors,

Це був один з варіантів: в нас будуть різні актори

and we would hand off from actor to actor.

і ми будемо переходити від одного до іншого.

We even ruled out the idea of using makeup.

Ми навіть відкинули ідею використання гриму.

We realized that prosthetic makeup just wouldn't hold up,

Ми зрозуміли, що грим нам не допоможе,

particularly in close-up.

особливо великим планом.

And makeup is an additive process. You have to build the face up.

І грим - це процес додавання. Вам потрібно вибудувати обличчя.

And David wanted to carve deeply into Brad's face

А Девід хотів проникнути всередину лиця Бреда,

to bring the aging to this character.

показати старість саме цього персонажа.

He needed to be a very sympathetic character.

Він повинен був викликати співчуття.

So we decided to cast a series of little people

Тож ми вирішили відзняти декілька людей невисокого зросту,

that would play the different bodies of Benjamin

які представляли тіло Бенджаміна

at the different increments of his life

у різні періоди його життя,

and that we would in fact create a computer-generated version of Brad's head,

і створити комп'ютерну версію голови Бреда,

aged to appear as Benjamin,

зістарену, щоб виглядати як Бенджамін,

and attach that to the body of the real actor.

і приєднати її до тіла справжнього актора.

Sounded great.

Звучало просто супер.

Of course, this was the Holy Grail of our industry,

Звичайно, це було Святим Граалем для нашої індустрії,

and the fact that this guy is a global icon didn't help either,

і факт, що цей хлопець - всесвітній кумир також не було нам на користь,

because I'm sure if any of you ever stand in line at the grocery store,

тому що я впевнений, якщо ви хоч раз стояли в черзі в продуктовому магазині,

you know -- we see his face constantly.

одним словом, ми бачимо це обличчя постійно.

So there really was no tolerable margin of error.

Тож ми не мали ані найменшого права на помилку.

There were two studios involved: Warner Brothers and Paramount.

Було залучено дві студії: Уорнер Бразерс і Парамаунт.

And they both believed this would make an amazing film, of course,

І обидві вірили, звичайно, що з цього вийде надзвичайний фільм,

but it was a very high-risk proposition.

але це була надто ризикова пропозиція.

There was lots of money and reputations at stake.

На кону стояло багато грошей та репутація.

But we believed that we had a very solid methodology

І ми вірили, що в нас була дуже надійна методологія,

that might work ...

що повинна спрацювати...

But despite our verbal assurances,

Але незважаючи на наші усні запевнення,

they wanted some proof.

вони хотіли певного підтвердження наших слів.

And so, in 2004, they commissioned us to do a screen test of Benjamin.

Отож, у 2004 році вони доручили нам провести кінопроби Бенджаміна.

And we did it in about five weeks.

На це нам знадобилось близько 5 тижнів.

But we used lots of cheats and shortcuts.

Але великою мірою ми їх обдурили.

We basically put something together to get through the meeting.

Ми просто склали щось докупи, щоб пережити цю зустріч.

I'll roll that for you now. This was the first test for Benjamin Button.

Я покажу це вам. Це був перша кінопроба Бенджаміна Баттона.

And in here, you can see, that's a computer-generated head --

І тут ви можете бачити змодельовану комп'ютером голову.

pretty good -- attached to the body of an actor.

Вона досить непогана. Її приєднали до тіла актора.

And it worked. And it gave the studio great relief.

І це спрацювало. У студії з полегшенням зітхнули.

After many years of starts and stops on this project,

Після довгих років, коли за цей проект брались і відмовлялись від нього,

and making that tough decision,

вони нарешті

they finally decided to greenlight the movie.

дали зелене світло на зйомки фільму.

And I can remember, actually, when I got the phone call to congratulate us,

Пам'ятаю, як мені подзвонили, щоб привітати нас,

to say the movie was a go,

сказати, що фільм пройшов,

I actually threw up.

я ледве не знепритомнів.

(Laughter)

(Сміх)

You know, this is some tough stuff.

Знаєте, це не жарти.

So we started to have early team meetings,

Тож ми почали проводити зустрічі команди,

and we got everybody together,

де всі збиралися.

and it was really more like therapy in the beginning,

І на початку це більше було схожим на терапію,

convincing each other and reassuring each other that we could actually undertake this.

де ми переконували та запевняли одне одного, що в нас все вийде.

We had to hold up an hour of a movie with a character.

Нам потрібно було забезпечити гру персонажа протягом години фільму.

And it's not a special effects film; it has to be a man.

І це не фільм зі спецефектами, це має бути справжня людина.

We really felt like we were in a -- kind of a 12-step program.

У нас було відчуття, що нам потрібно працювати за програмою 12 кроків для алкоголіків.

And of course, the first step is: admit you've got a problem. (Laughter)

І звичайно, перший крок - це визнати, що в нас є проблема.

So we had a big problem:

Тож у нас була велика проблема.

we didn't know how we were going to do this.

Ми не знали, як ми будемо це робити.

But we did know one thing.

Але ми знали одну річ.

Being from the visual effects industry,

Працюючи в індустрії візуальних ефектів,

we, with David, believed that we now had enough time,

ми з Девідом вірили, що на даний момент у нас є достатньо часу,

enough resources, and, God, we hoped we had enough money.

достатньо ресурсів, і, дай Боже, ми сподівались, що і достатньо грошей.

And we had enough passion to will the processes and technology into existence.

У нас було достатньо бажання, щоб втілити ці методи та технології в життя.

So, when you're faced with something like that,

Тож, коли ви стикаєтесь з чимось подібним,

of course you've got to break it down.

звичайно, потрібно розділити роботу на частини.

You take the big problem and you break it down into smaller pieces

Берете велику проблему і розбиваєте її на маленькі завдання,

and you start to attack that.

і беретесь за їх виконання.

So we had three main areas that we had to focus on.

Тож у нас було три основних області, на яких слід було зосередитись.

We needed to make Brad look a lot older --

Нам потрібно було зробити Бреда набагато старшим.

needed to age him 45 years or so.

Він повинен був виглядати старшим приблизно на 45 років.

And we also needed to make sure that we could take Brad's idiosyncrasies,

І нам також потрібно було впевнитись, що ми могли відобразити риси обличчя Бреда,

his little tics, the little subtleties that make him who he is

його найдрібнішу міміку, що робить його тим, ким він є,

and have that translate through our process

і перенести це все в процесі роботи

so that it appears in Benjamin on the screen.

на Бенджаміна на екрані.

And we also needed to create a character

І нам потрібно було створити персонаж,

that could hold up under, really, all conditions.

який би витримував будь-які умови.

He needed to be able to walk in broad daylight,

Він міг би прогулюватись у сонячний день,

at nighttime, under candlelight,

вночі, при світлі свічки,

he had to hold an extreme close-up,

його можна було б знімати великим планом,

he had to deliver dialogue,

він міг би розмовляти,

he had to be able to run, he had to be able to sweat,

він міг би бігати, пітніти,

he had to be able to take a bath, to cry,

приймати ванну, плакати,

he even had to throw up.

і навіть блювати.

Not all at the same time --

Не все одразу, звісно.

but he had to, you know, do all of those things.

Але він повинен був, знаєте, робити всі ці речі.

And the work had to hold up for almost the first hour of the movie.

І наша робота повинна була протриматись цілу годину фільму.

We did about 325 shots.

Ми провели близько 325 кінопроб.

So we needed a system that would allow Benjamin

Нам була потрібна система, що дозволила б Бенджаміну

to do everything a human being can do.

робити все, що робить звичайна людина.

And we realized that there was a giant chasm

І ми усвідомили, що існувала велика прірва

between the state of the art of technology in 2004

між технологією 2004 року

and where we needed it to be.

та тим, що нам було потрібно.

So we focused on motion capture.

Тож ми зосередились на захопленні рухів.

I'm sure many of you have seen motion capture.

Я впевнений, що ви знаєте, що таке "захоплення руху".

The state of the art at the time

На той час великим досягненням було те,

was something called marker-based motion capture.

що називається захоплення руху за мітками.

I'll give you an example here.

Наведу приклад.

It's basically the idea of, you wear a leotard,

Ця ідея полягає у наступному: одягаєте трико,

and they put some reflective markers on your body,

а на тіло прикріплюєте мітки.

and instead of using cameras,

Замість камер

there're infrared sensors around a volume,

використовуються інфрачервоні датчики по периметру приміщення.

and those infrared sensors track the three-dimensional position

І ці інфрачервоні датчики відслідковують положення міток

of those markers in real time.

у тривимірному просторі.

And then animators can take the data of the motion of those markers

Потім мультиплікатори отримують інформацію про рух цих міток

and apply them to a computer-generated character.

і застосовують її до створеного на комп'ютері персонажа.

You can see the computer characters on the right

Справа ви можете бачити, як створені комп'ютером персонажі

are having the same complex motion as the dancers.

виконують такі ж складні рухи, як і танцівники.

But we also looked at numbers of other films at the time

Ми також переглянули ряд фільмів тих часів,

that were using facial marker tracking,

де використовувалось відстеження руху за мітками на обличчі,

and that's the idea of putting markers on the human face

і в нас виникла ідея розмістити маркери на обличчі

and doing the same process.

та зробити те ж саме.

And as you can see, it gives you a pretty crappy performance.

Але як бачите, вийшло досить паршиво.

That's not terribly compelling.

Не дуже вражає.

And what we realized

І ми усвідомили,

was that what we needed

що те, що нам потрібно -

was the information that was going on between the markers.

це інформація, що йде між мітками.

We needed the subtleties of the skin.

Нам потрібні були найдрібніші рухи шкіри.

We needed to see skin moving over muscle moving over bone.

Нам потрібно було передати рух шкіри разом з м'язами, разом з кісткою.

We needed creases and dimples and wrinkles and all of those things.

Нам потрібні були складки, ямочки та зморщечки і подібні речі.

Our first revelation was to completely abort and walk away from

Нашим першим досягненням стало те, що ми повністю відмовились від

the technology of the day, the status quo, the state of the art.

технології того часу, статусу кво, становища в мистецтві.

So we aborted using motion capture.

Тож ми відмовились від використання методу "захоплення руху".

And we were now well out of our comfort zone,

Таким чином ми вийшли за межі наших комфортних умов

and in uncharted territory.

і потрапили на незвідану територію.

So we were left with this idea

У нас була ідея,

that we ended up calling "technology stew."

яку ми згодом назвали "технологічна піч".

We started to look out in other fields.

Ми почали пошуки в інших областях,

The idea was that we were going to find

й ідея полягала, що ми знайдемо

nuggets or gems of technology

крихти чи зародки технології,

that come from other industries like medical imaging,

що прийде з інших індустрій, як, наприклад, медична візуалізація,

the video game space,

відеоігри,

and re-appropriate them.

а ми переробимо її.

And we had to create kind of a sauce.

Нам потрібно було створити щось на кшталт соусу.

And the sauce was code in software

І цей соус був програмним кодом,

that we'd written to allow these disparate pieces of technology

який ми написали для того, щоб ці різні шматки технологій

to come together and work as one.

об'єднались і працювали як одне ціле.

Initially, we came across some remarkable research

На початку ми натрапили на одне видатне дослідження,

done by a gentleman named Dr. Paul Ekman in the early '70s.

проведене паном Доктором Полом Екманом на початку 1970-х років.

He believed that he could, in fact,

Він вірив, що насправді можливо

catalog the human face.

каталогізувати людське обличчя.

And he came up with this idea of Facial Action Coding System, or FACS.

І йому прийшла ідея створити Систему Кодування Рухів Обличчя.

He believed that there were 70 basic poses

Він вважав, що існує 70 основних поз

or shapes of the human face,

чи форм людського обличчя,

and that those basic poses or shapes of the face

і що з цих основних поз і форм обличчя

can be combined to create infinite possibilities

можна, комбінуючи, створювати безліч варіантів

of everything the human face is capable of doing.

всього, на що здатне людське лице.

And of course, these transcend age, race, culture, gender.

І, звичайно, вони не пов'язані з віком, расою, культурою чи статтю.

So this became the foundation of our research as we went forward.

Тож це стало основою наших наступних досліджень.

And then we came across some remarkable technology

І згодом ми знайшли надзвичайну технологію,

called Contour.

що називається Контур.

And here you can see a subject having phosphorus makeup

Ось ви можете побачити людину з фосфорним гримом,

stippled on her face.

нанесеним на обличчя.

And now what we're looking at is really creating a surface capture

І тепер те, що ми бачимо, дійсно відтворює рух поверхні

as opposed to a marker capture.

на відміну від міток.

The subject stands in front of a computer array of cameras,

Суб'єкт стоїть перед великою кількістю камер,

and those cameras can, frame-by-frame,

і ці камери можуть кадр за кадром

reconstruct the geometry of exactly what the subject's doing at the moment.

точно відтворити геометрію того, що робить суб'єкт в даний момент.

So, effectively, you get 3D data in real time of the subject.

Тож ви отримуєте тривимірну інформацію про суб'єкта в реальному часі.

And if you look in a comparison,

Для порівняння,

on the left, we see what volumetric data gives us

зліва ми бачимо, який результат дає нам просторова інформація,

and on the right you see what markers give us.

а справа - інформація з міток.

So, clearly, we were in a substantially better place for this.

Тож безумовно, ми знайшли кращий варіант.

But these were the early days of this technology,

Проте це були перші дні зародження цієї технології,

and it wasn't really proven yet.

і вона ще була не до кінця доведеною.

We measure complexity and fidelity of data

Але ми вимірюємо складність і точність інформації

in terms of polygonal count.

в одиницях полігонального підрахунку.

And so, on the left, we were seeing 100,000 polygons.

Зліва ми бачили 100 000 полігонів.

We could go up into the millions of polygons.

Ми могли навіть дійти до мільйона полігонів.

It seemed to be infinite.

Здавалось, що процес безкінечний.

This was when we had our "Aha!"

Тут і пролунало наше: "Так!"

This was the breakthrough.

Це був прорив.

This is when we're like, "OK, we're going to be OK,

У цей момент ми подумали: "Добре. У нас все буде добре.

This is actually going to work."

Це дійсно спрацює".

And the "Aha!" was, what if we could take Brad Pitt,

І наше "Так!" полягало: а що, якби ми взяли Бреда Пітта

and we could put Brad in this device,

і помістили його в пристрій,

and use this Contour process,

і застосували контурування,

and we could stipple on this phosphorescent makeup

ми могли б нанести фосфорний грим

and put him under the black lights,

і помістити його під ультрафіолетові лампи,

and we could, in fact, scan him in real time

і ми насправді могли сканувати у реальному часі те,

performing Ekman's FACS poses.

як він виконував пози згідно системи Екмана щодо кодування рухів обличчя.

Right? So, effectively,

Тож насправді

we ended up with a 3D database

ми отримали тривимірну базу даних

of everything Brad Pitt's face is capable of doing.

всього, що здатне робити обличчя Бреда Пітта.

(Laughter)

(Сміх)

From there, we actually carved up those faces

Звідси ми буквально розділили ці лиця

into smaller pieces and components of his face.

на маленькі шматочки та компоненти його обличчя.

So we ended up with literally thousands and thousands and thousands of shapes,

Тож буквально ми отримали десятки тисяч форм.

a complete database of all possibilities

Повну базу даних всього,

that his face is capable of doing.

що його обличчя здатне зобразити.

Now, that's great, except we had him at age 44.

Це чудово, тільки в нас він був у віці 44.

We need to put another 40 years on him at this point.

Нам потрібно було зробити його старшим на 40 років на цій стадії.

We brought in Rick Baker,

Ми запросили Ріка Бейкера.

and Rick is one of the great makeup and special effects gurus

Рік - це гуру в області гриму та спецефектів

of our industry.

нашої індустрії.

And we also brought in a gentleman named Kazu Tsuji,

А ще ми запросили пана Казу Цуджі,

and Kazu Tsuji is one of the great photorealist sculptors of our time.

одного з кращих скульпторів-фотореалістів нашого часу.

And we commissioned them to make a maquette,

Ми попросили їх зробити макет,

or a bust, of Benjamin.

тобто бюст Бенджаміна.

So, in the spirit of "The Great Unveiling" -- I had to do this --

І в дусі урочистого відкриття, я мусив так зробити,

I had to unveil something.

я повинен вам щось показати.

So this is Ben 80.

Тож це Бен у віці 80 років.

We created three of these:

Ми створили три макети:

there's Ben 80, there's Ben 70, there's Ben 60.

Бен у 80, 70 і 60 років.

And this really became the template for moving forward.

І це дійсно стало шаблоном, від якого ми відштовхувались.

Now, this was made from a life cast of Brad.

Він зроблений на основі зліпка з Бреда.

So, in fact, anatomically, it is correct.

Тож насправді, з анатомічної точки зору, тут все правильно.

The eyes, the jaw, the teeth:

Очі, щелепа, зуби ...

everything is in perfect alignment with what the real guy has.

все повністю відповідає тому, що є в справжнього Бреда.

We have these maquettes scanned into the computer

Ми відсканували ці макети

at very high resolution --

при дуже високому розширенні.

enormous polygonal count.

Незчисленна кількість полігонів.

And so now we had three age increments of Benjamin

Тож тепер у нас були три Бенджаміна різного віку

in the computer.

в електронному варіанті.

But we needed to get a database of him doing more than that.

Але окрім цього нам потрібна була база даних того, що вони вміють робити.

We went through this process, then, called retargeting.

Ми провели таку процедуру, яку пізніше назвали переналаштуванням.

This is Brad doing one of the Ekman FACS poses.

Тут Бред виконує одну з поз за Екманом.

And here's the resulting data that comes from that,

А це інформація, яку ми ми отримуємо в результаті,

the model that comes from that.

модель, що ми отримуємо на основі цього.

Retargeting is the process of transposing that data

А переналаштування - це процес перенесення даних

onto another model.

на іншу модель.

And because the life cast, or the bust -- the maquette -- of Benjamin

І оскільки зліпок з натури, тобто бюст, макет Бенджаміна

was made from Brad,

було зроблено з Бреда,

we could transpose the data of Brad at 44

ми могли перенести дані з Бреда у віці 44

onto Brad at 87.

на Бреда у віці 87.

So now, we had a 3D database of everything Brad Pitt's face can do

Тож ми отримали тривимірну базу даних всього, що може робити обличчя Бреда Пітта

at age 87, in his 70s and in his 60s.

у віці 87, 70 та 60 років.

Next we had to go into the shooting process.

Далі ми повинні були перейти до процесу зйомки.

So while all that's going on,

І поки все це відбувається,

we're down in New Orleans and locations around the world.

ми потрапляємо до Нового Орлеану та інші місця у всьому світі.

And we shot our body actors,

Ми зняли наших дублерів.

and we shot them wearing blue hoods.

Всі вони були одягнені у блакитні капюшони.

So these are the gentleman who played Benjamin.

Ось чоловік, який виконував роль Бенджаміна.

And the blue hoods helped us with two things:

Ці блакитні капюшони допомогли нам у двох випадках:

one, we could easily erase their heads;

по-перше, ми легко могли витерти зображення їхніх облич.

and we also put tracking markers on their heads

Ми також встановили мітки, що відстежували рухи голови,

so we could recreate the camera motion

тож ми могли відтворити рух камери

and the lens optics from the set.

та оптичні ефекти.

But now we needed to get Brad's performance to drive our virtual Benjamin.

А тепер нам потрібна була акторська гра Бреда, щоб оживити нашого віртуального Бенджаміна.

And so we edited the footage that was shot on location

Тож ми відредагували відзнятий на місці матеріал,

with the rest of the cast and the body actors

де грав основний склад акторів і дублери.

and about six months later

А через півроку

we brought Brad onto a sound stage in Los Angeles

ми запросили Бреда на студію звукозапису в Лос Анджелесі, де

and he watched on the screen.

він дивися на екран

His job, then, was to become Benjamin.

і його завданням було стати Бенджаміном.

And so we looped the scenes.

Ми прокручували сцени.

He watched again and again.

Він переглядав їх знову і знову.

We encouraged him to improvise.

Ми заохочували його до імпровізації.

And he took Benjamin into interesting and unusual places

І він надав образу Бенджаміна багато цікавого та нового,

that we didn't think he was going to go.

такого, чого ми й не очікували.

We shot him with four HD cameras

Ми знімали його чотирма камерами високої роздільної здатності,

so we'd get multiple views of him

щоб отримати достатньо його зображень,

and then David would choose the take of Brad being Benjamin

а потім Девід міг вибрати кадри Бреда в ролі Бенджаміна,

that he thought best matched the footage

які на його думку найкраще підходили до відзнятого матеріалу

with the rest of the cast.

з рештою акторського складу.

From there we went into a process called image analysis.

З цього моменту ми вступили в процес, що називається "аналізом зображення".

And so here, you can see again, the chosen take.

І ось тут, подивіться ще раз, обраний кадр.

And you are seeing, now, that data being transposed on to Ben 87.

А зараз ми бачимо, як дані переносяться на Бена у віці 87.

And so, what's interesting about this is

І тут цікаве саме те,

we used something called image analysis,

що ми використовували аналіз зображення,

which is taking timings from different components of Benjamin's face.

що виконує синхронізацію різних компонентів обличчя Бенджаміна.

And so we could choose, say, his left eyebrow.

Ми могли розглянути, наприклад, його ліву брову.

And the software would tell us that, well,

І програма сказала б нам, що

in frame 14 the left eyebrow begins to move from here to here,

в кадрі 14 ліва брова рухається від цієї точки до цієї

and it concludes moving in frame 32.

і завершує рух у кадрі 32.

And so we could choose numbers of positions on the face

Таким чином ми могли обирати безліч позицій на обличчі

to pull that data from.

для отримання інформації.

And then, the sauce I talked about with our technology stew --

А тепер соус, про який я говорив, і нашу технологічну піч.

that secret sauce was, effectively, software that allowed us to

Цей секретний соус був насправді програмою, що дозволила нам

match the performance footage of Brad

узгодити відзнятий матеріал Бреда

in live action with our database of aged Benjamin,

з нашою базою даних старого Берджаміна,

the FACS shapes that we had.

формами із системи кодування рухів обличчя.

On a frame-by-frame basis,

Кадр за кадром

we could actually reconstruct a 3D head

ми змогли відтворити тривимірну голову,

that exactly matched the performance of Brad.

що повністю відповідала грі Бреда.

So this was how the finished shot appeared in the film.

Ось таким чином завершені кадри з'явились у фільмі.

And here you can see the body actor.

Тут ви можете побачити дублера.

And then this is what we called the "dead head," no reference to Jerry Garcia.

А тут те, що ми називаємо "мертвою головою". Це не має відношення до творчості Джеррі Гарсіа.

And then here's the reconstructed performance

А тут реконструйоване виконання,

now with the timings of the performance.

синхронізоване з діями Бреда.

And then, again, the final shot.

І знову, фінальний кадр.

It was a long process.

Це був довгий процес.

(Applause)

(Оплески)

The next section here, I'm going to just blast through this,

Наступний момент, дуже коротко,

because we could do a whole TEDTalk on the next several slides.

тому що можна зробити окремий виступ на TED на основі наступних кількох слайдів.

We had to create a lighting system.

Нам потрібно було також створити систему освітлення.

So really, a big part of our processes was creating a lighting environment

Насправді велика частина нашої роботи припадала на створення освітлення

for every single location that Benjamin had to appear

в кожному місці, де з'являвся Бенджамін.

so that we could put Ben's head into any scene

Потрібно було, щоб обличчя Бенджаміна у будь-якій сцені

and it would exactly match the lighting that's on the other actors

точно відповідало освітленню інших акторів

in the real world.

в реальному світі.

We also had to create an eye system.

Нам також потрібно було створити очі.

We found the old adage, you know,

Ми зрозуміли, що стара приказка

"The eyes are the window to the soul,"

"Очі - дзеркало душі"

absolutely true.

абсолютно відповідає дійсності.

So the key here was to keep everybody looking in Ben's eyes.

Тому важливим було зробити так, щоб всі дивились Бену в очі.

And if you could feel the warmth, and feel the humanity,

І якби ви відчули теплоту, людяність,

and feel his intent coming through the eyes,

рішучість в його очах,

then we would succeed.

це б означало, що ми досягнули своєї мети.

So we had one person focused on the eye system

Тому за очі в нас була відповідальна окрема людина

for almost two full years.

протягом майже двох років.

We also had to create a mouth system.

Нам також довелось створити ротову систему.

We worked from dental molds of Brad.

Ми працювали на основі зубних зліпків Бреда.

We had to age the teeth over time.

Нам довелось зістарити зуби.

We also had to create an articulating tongue that allowed him to enunciate his words.

Нам також довелось створити рухливий язик, що дозволив би йому чітко вимовляти слова.

There was a whole system written in software to articulate the tongue.

Було розроблено цілу програму, що відповідала суто за артикуляцію язика.

We had one person devoted to the tongue for about nine months.

Наш колега присвятив розробці язика дев'ять місяців.

He was very popular.

Він був дуже популярним.

Skin displacement: another big deal.

Рухи шкіри - ще одна велика проблема.

The skin had to be absolutely accurate.

Шкіра повинна була виглядати абсолютно природно.

He's also in an old age home, he's in a nursing home

А оскільки він знаходився в геріатричному центрі, в домі для престарілих,

around other old people,

в оточенні інших літніх людей,

so he had to look exactly the same as the others.

він повинен був мати точно такий вигляд, як і всі інші.

So, lots of work on skin deformation,

Тож над шкірою теж попрацювали.

you can see in some of these cases it works,

Бачите, в деяких випадках вийшло добре,

in some cases it looks bad.

в деяких - ні.

This is a very, very, very early test in our process.

Це перші тести в нашому процесі.

So, effectively we created a digital puppet

Тож по суті ми створили цифрову ляльку,

that Brad Pitt could operate with his own face.

якою Бред Пітт міг керувати з допомогою власного обличчя.

There were no animators necessary to come in and interpret behavior

Не потрібно було жодних мультиплікаторів для того, щоб передати його поведінку

or enhance his performance.

чи покращити його гру.

There was something that we encountered, though,

Однак ми зіткнулись з тим,

that we ended up calling "the digital Botox effect."

що в результаті назвали "ефектом цифрового ботоксу".

So, as things went through this process,

І під час процесу

Fincher would always say, "It sandblasts the edges off of the performance."

Фінчер іноді казав: "Це зменшує гостроту гри".

And thing our process and the technology couldn't do,

І єдина річ, яку наш процес і наші технології не змогли зробити,

is they couldn't understand intent,

це те, що вони не змогли зрозуміти намір,

the intent of the actor.

намір актора.

So it sees a smile as a smile.

Тобто усмішка сприймалась як просто усмішка.

It doesn't recognize an ironic smile, or a happy smile,

Не розпізнавалась іронічна усмішка чи щаслива усмішка,

or a frustrated smile.

чи усмішка розчарування.

So it did take humans to kind of push it one way or another.

Різні усмішки вимагають в людей різних дій.

But we ended up calling the entire process

У результаті ми назвали весь процес

and all the technology "emotion capture,"

і всю технологію "захопленням емоції",

as opposed to just motion capture.

на противагу просто захопленню руху.

Take another look.

Погляньте ще раз.

Brad Pitt: Well, I heard momma and Tizzy whisper,

Бред Пітт: "Я чув як мама шепотілась з Тіззі.

and they said I was gonna die soon,

вони казали, що я скоро помру,

but ... maybe not.

але ... може й ні".

EU: That's how to create a digital human in 18 minutes.

Ед Ульбріх: Ось так можна створити цифрову людину за 18 хвилин.

(Applause)

(Оплески)

A couple of quick factoids;

Декілька цікавих фактів.

it really took 155 people over two years,

Над проектом працювало 155 людей понад два роки,

and we didn't even talk about 60 hairstyles and an all-digital haircut.

не говорячи про 60 зачісок і повністю цифрові стрижки.

But, that is Benjamin. Thank you.

Але так ми отримали Бенджаміна. Дякую.