Digital humans that look just like us | Doug Roble

Перекладач: Nazar Vivchar Утверджено: Sofia Kovalchuk

Hello.

Привіт.

I'm not a real person.

Я не справжня людина.

I'm actually a copy of a real person.

Насправді, я копія справжньої людини.

Although, I feel like a real person.

Проте, я почуваюся, наче справжня людина.

It's kind of hard to explain.

Це трохи важко пояснити.

Hold on -- I think I saw a real person ... there's one.

Постривайте -- здається, я помітив справжню людину ... ось він.

Let's bring him onstage.

Давайте покличемо його на сцену.

Hello.

Привіт.

(Applause)

(Оплески)

What you see up there is a digital human.

Те, що ви бачите на екрані -- цифрова людина.

I'm wearing an inertial motion capture suit

Я одягнутий в інерційний костюм для відтворення рухів,

that's figuring what my body is doing.

який визначає, що робить моє тіло.

And I've got a single camera here that's watching my face

А тут у мене одна камера, яка слідкує за обличчям

and feeding some machine-learning software that's taking my expressions,

і передає інформацію у програму з технологією машинного навчання,

яка приймає вирази обличчя типу "Хм, хм, хм" і перетворює у цього хлопця.

like, "Hm, hm, hm,"

and transferring it to that guy.

We call him "DigiDoug."

Ми називаємо його "ДіджіДаг".

He's actually a 3-D character that I'm controlling live in real time.

Це 3D персонаж, якого я контролюю у режимі реального часу.

So, I work in visual effects.

Отже, я працюю над візуальними ефектами.

And in visual effects,

І найскладніше в нашій галузі -

one of the hardest things to do is to create believable, digital humans

це створення правдоподібних цифрових людей,

that the audience accepts as real.

яких глядачі сприйматимуть, як справжніх.

People are just really good at recognizing other people.

Люди, насправді, досить добре розпізнають інших людей.

Go figure!

Це ж треба!

So, that's OK, we like a challenge.

Ну, це добре, ми любимо виклики.

Over the last 15 years,

Упродовж останніх 15 років

we've been putting humans and creatures into film

ми додавали у фільми людей та істот,

that you accept as real.

які сприймалися, як справжні.

If they're happy, you should feel happy.

Якщо вони щасливі, то ви теж почуваєтеся щасливими.

And if they feel pain, you should empathize with them.

І якщо їм боляче, то ви їм співчуваєте.

We're getting pretty good at it, too.

Нам вдається це робити щоразу краще.

But it's really, really difficult.

Але робити це дуже, дуже складно.

Effects like these take thousands of hours

Такі ефекти потребують тисячі годин

and hundreds of really talented artists.

і праці сотень справді талановитих митців.

But things have changed.

Проте це змінилося.

Over the last five years,

За останні п'ять років

computers and graphics cards have gotten seriously fast.

комп'ютери та відеокарти стали суттєво швидшими.

And machine learning, deep learning, has happened.

З'явилося машинне та глибинне навчання.

So we asked ourselves:

Тож ми подумали:

Do you suppose we could create a photo-realistic human,

"Чи зможемо ми створити фотореалістичну людину,

like we're doing for film,

як у фільмах,

but where you're seeing the actual emotions and the details

але таку, котра демонструватиме справжні емоції та деталі міміки людини,

of the person who's controlling the digital human

яка контролюватиме цифрову людину

in real time?

у реальному часі?"

In fact, that's our goal:

Якщо чесно, це і є наша мета:

If you were having a conversation with DigiDoug

якби ви вели бесіду з ДіджіДагом

віч-на-віч,

one-on-one,

чи змогли би ви зрозуміти,

is it real enough so that you could tell whether or not I was lying to you?

обманюю я вас, чи ні?

So that was our goal.

Це і була наша ціль.

Приблизно півтора року тому

About a year and a half ago, we set off to achieve this goal.

ми почали шлях до цієї цілі,

What I'm going to do now is take you basically on a little bit of a journey

а зараз я збираюся взяти вас у маленьку подорож,

to see exactly what we had to do to get where we are.

щоб показати саме те, що нам довелося зробити,

аби опинитися там, де ми зараз.

We had to capture an enormous amount of data.

Нам довелося зібрати неймовірнмй об'єм даних.

In fact, by the end of this thing,

Фактично, наприкінці цього процесу

we had probably one of the largest facial data sets on the planet.

у нас був, імовірно, найбільший набір інформації про обличчя на планеті.

Of my face.

Інформації про моє лице.

(Laughter)

(Сміх)

Why me?

Чому саме я?

Well, I'll do just about anything for science.

Ну, я готовий на все заради науки.

I mean, look at me!

Та ви тільки погляньте на мене!

I mean, come on.

Та серйозно.

Отже,

We had to first figure out what my face actually looked like.

спершу нам потрібно було визначити,

як насправді виглядає моє обличчя.

Not just a photograph or a 3-D scan,

Не просто на фото чи на 3D скані,

but what it actually looked like in any photograph,

але як воно виглядає на будь-якому фото,

how light interacts with my skin.

як світло взаємодіє з моєю шкірою.

Luckily for us, about three blocks away from our Los Angeles studio

На щастя для нас, за три квартали від нашої студії в Лос-Анджелесі

існує місце під назвою ІКТ.

is this place called ICT.

They're a research lab

Там знаходиться дослідницька лабораторія,

that's associated with the University of Southern California.

яка пов'язана з Південно-Каліфорнійським університетом.

They have a device there, it's called the "light stage."

У них є так звана "світлова сцена"--

It has a zillion individually controlled lights

пристрій, обладнаний незліченною кількістю індивідуально контрольованих лампочок

and a whole bunch of cameras.

і цілою купою камер.

And with that, we can reconstruct my face under a myriad of lighting conditions.

І за допомогою цього пристрою ми змогли реконструювати

моє обличчя за всеможливих умов освітлення.

We even captured the blood flow

Нам навіть вдалося зафіксувати кровообіг,

and how my face changes when I make expressions.

і те, як змінювалося моє обличчя залежно від різних виразів.

This let us build a model of my face that, quite frankly, is just amazing.

Це дозволило нам побудувати модель мого обличчя,

яка, чесно кажучи, просто неймовірна.

It's got an unfortunate level of detail, unfortunately.

Рівень її деталізованості виявився феноменальним.

(Laughter)

На жаль.

(Сміх)

Ви можете побачити кожну пору, кожну зморшку.

You can see every pore, every wrinkle.

But we had to have that.

Нам треба було зробити саме так.

Reality is all about detail.

Реальність -- це деталі.

And without it, you miss it.

І без деталей не було б такого результату.

We are far from done, though.

Проте, залишилося ще дуже багато роботи.

This let us build a model of my face that looked like me.

Згаданий пристрій дозволив нам зробити модель, яка виглядає, як я.

But it didn't really move like me.

Але вона не могла рухатися так, як я.

And that's where machine learning comes in.

Тут в гру і вступає машинне навчання.

And machine learning needs a ton of data.

І воно потребує безлічі даних.

So I sat down in front of some high-resolution motion-capturing device.

Тому я мусів сидіти навпроти пристрою

з високою роздільною якістю

для фіксації кожного руху.

And also, we did this traditional motion capture with markers.

Окрім того, ми відзначали рухи ще й традиційно:

за допомогою маркерів.

We created a whole bunch of images of my face

Ми створили цілу купу зображень мого обличчя

and moving point clouds that represented that shapes of my face.

і рухливих точкових хмар, які відображали форми мого обличчя.

Man, I made a lot of expressions,

Мені треба було багато кривлятися...

I said different lines in different emotional states ...

Я промовляв різні репліки з різними емоціями...

We had to do a lot of capture with this.

Нам довелося повторювати багато рухів для цього.

Once we had this enormous amount of data,

І коли ми отримали цей колосальний об'єм даних, ми побудували

we built and trained deep neural networks.

і натренували глибинні нейронні мережі.

And when we were finished with that,

Коли ми завершили, ця мережа за 16 мілісекунд,

in 16 milliseconds,

the neural network can look at my image

дивлячись на моє зображення,

and figure out everything about my face.

навчилася повністю розпізнавати моє лице.

It can compute my expression, my wrinkles, my blood flow --

Вона може обраховувати вирази мого обличчя, мої зморшки, мій кровообіг

even how my eyelashes move.

і навіть рух моїх повік.

This is then rendered and displayed up there

Після цього це все візуалізується й виводиться ось тут з усіма деталями,

with all the detail that we captured previously.

які ми зняли раніше.

We're far from done.

Ще далеко до завершення.

This is very much a work in progress.

Це, по факту, робочий прототип.

This is actually the first time we've shown it outside of our company.

Насправді, це перший показ за межами нашої компанії.

And, you know, it doesn't look as convincing as we want;

І, знаєте, воно виглядає не так переконливо, як нам хочеться.

I've got wires coming out of the back of me,

Позаду кабелі, а також затримка в одну шосту секунди між захопленням відео

and there's a sixth-of-a-second delay

between when we capture the video and we display it up there.

і демонстрацією на екрані.

Sixth of a second -- that's crazy good!

Одна шоста секунди -- це неймовірно добре!

But it's still why you're hearing a bit of an echo and stuff.

Але і через цю затримку ви можете почути ехо і тому подібне.

And you know, this machine learning stuff is brand-new to us,

Усе це машинне навчання новинка для нас і, знаєте, деколи його важко

sometimes it's hard to convince to do the right thing, you know?

змусити робити те, що нам потрібно.

It goes a little sideways.

Він деколи бешкетує.

(Laughter)

(Сміх)

But why did we do this?

Власне, чому ми розробили цю технологію?

Well, there's two reasons, really.

Ну, якщо чесно, є дві причини.

First of all, it is just crazy cool.

Перша, це дико круто.

(Laughter)

(Сміх)

How cool is it?

Наскільки?

Well, with the push of a button,

Ну, натиснувши одну клавішу, я можу продовжувати цю розмову,

I can deliver this talk as a completely different character.

як зовсім інший персонаж.

This is Elbor.

Ось це Елбор.

We put him together to test how this would work

Ми зробили його, щоб перевірити, як наша розробка працюватиме

with a different appearance.

з іншим зовнішнім виглядом.

And the cool thing about this technology is that, while I've changed my character,

Ця технологія крута тим, що, навіть змінивши персонажа,

the performance is still all me.

я все ще граю роль.

I tend to talk out of the right side of my mouth;

Наприклад, я розмовляю правою частиною рота,

so does Elbor.

а Елбор це повторює.

(Laughter)

(Сміх)

Now, the second reason we did this, and you can imagine,

Друга причина, чому ми це розробили, ви здогадуєтеся, бо ця технологія

is this is going to be great for film.

буде корисною для кінематографу.

This is a brand-new, exciting tool

Вона стане новітнім, прекрасним інструментом

for artists and directors and storytellers.

для митців, режисерів і оповідачів.

It's pretty obvious, right?

Це очевидно, правда?

I mean, this is going to be really neat to have.

Буде чудово мати таку технологію.

But also, now that we've built it,

А ще, коли ми її розробили,

it's clear that this is going to go way beyond film.

стало очевидно, що вона буде застосована не тільки для фільмів.

But wait.

Але постривайте.

Хіба я не змінив свою особистість одним натисканням на клавішу?

Didn't I just change my identity with the push of a button?

Isn't this like "deepfake" and face-swapping

Чи не схоже це на "deepfake" та заміну лиць, про яку ви, можливо, чули?

that you guys may have heard of?

Так і є.

Well, yeah.

Якщо чесно, ми навіть використовуємо ту саму технологію, що і "deepfake".

In fact, we are using some of the same technology

that deepfake is using.

Deepfake is 2-D and image based, while ours is full 3-D

"Deepfake" базується на 2D зображеннях, а наша технологія працює у 3D

and way more powerful.

і є набагато потужнішою.

But they're very related.

Але вони дуже схожі.

And now I can hear you thinking,

І тепер мені здається, що ви всі думаєте:

"Darn it!

"Щоб його! Я думав, що можна вірити відео, якщо це пряма трансляція.

I though I could at least trust and believe in video.

If it was live video, didn't it have to be true?"

Бо якщо так, то його не можна сфальсифікувати, правильно?"

Well, we know that's not really the case, right?

Що ж, ми ж знаємо, що це не так, правда?

Even without this, there are simple tricks that you can do with video

Навіть без цього існують прості хитрощі, які можна застосувати,

like how you frame a shot

як, наприклад, постановка кадру.

that can make it really misrepresent what's actually going on.

щоб показати все, що відбувається, в іншому світлі.

And I've been working in visual effects for a long time,

Я працюю з візуальними ефектами вже дуже довго

and I've known for a long time

і давно знаю, що приклавши достатньо зусиль, ми можемо обманути

that with enough effort, we can fool anyone about anything.

будь-кого стосовно будь-чого.

What this stuff and deepfake is doing

Наша технологія і "deepfake" просто спрощує і робить маніпуляції з відео

is making it easier and more accessible to manipulate video,

just like Photoshop did for manipulating images, some time ago.

доступнішими, як колись давно Photoshop вчинив із маніпуляціями над фото.

I prefer to think about

Я надаю перевагу думкам про те,

how this technology could bring humanity to other technology

як ця технологія зможе допомогти створити новіші технології

and bring us all closer together.

і зблизити нас усіх.

Now that you've seen this,

Тепер, коли ви побачили її в дії, подумайте про її можливості.

think about the possibilities.

Right off the bat, you're going to see it in live events and concerts, like this.

Перша ж думка: ви побачите її застосування

на концертах та на заходах наживо, як тут.

Digital celebrities, especially with new projection technology,

Цифрові знаменитості, особливо завдяки сучасним технологіям проектування,

are going to be just like the movies, but alive and in real time.

виглядатимуть як у фільмах, тільки наживо і в реальному часі.

And new forms of communication are coming.

І нові форми спілкування також на підході.

You can already interact with DigiDoug in VR.

Навіть зараз ви можете взаємодіяти з ДіджіДагом у віртуальній реальності.

And it is eye-opening.

І це просто приголомшує.

It's just like you and I are in the same room,

Це так, ніби ми з вами сидимо в одній кімнаті,

even though we may be miles apart.

хоча насправді ми можемо бути на відстані миль.

Heck, the next time you make a video call,

Коли ви будете телефонувати по відеозв'язку наступного разу,

you will be able to choose the version of you

ви зможете обрати ту версію вас, яку захочете показати іншим.

you want people to see.

It's like really, really good makeup.

Це як дуже, дуже якісний макіяж.

I was scanned about a year and a half ago.

Мене просканували приблизно півтора року тому.

I've aged.

Я постарів.

DigiDoug hasn't.

А ДіджіДаг -- ні.

On video calls, I never have to grow old.

Під час відеодзвінків я можу взагалі не старіти.

And as you can imagine, this is going to be used

І як ви можете уявити, це буде використано,

to give virtual assistants a body and a face.

щоб надати віртуальним помічникам тіла та обличчя.

A humanity.

Схожість на людину.

I already love it that when I talk to virtual assistants,

Мені подобається те, що віртуальні помічники відповідають мені

they answer back in a soothing, humanlike voice.

людиноподібним, спокійним голосом.

Now they'll have a face.

Тепер вони матимуть і обличчя.

And you'll get all the nonverbal cues that make communication so much easier.

А ви отримуватиме усі ці невербальні підказки,

які робитимуть спілкування набагато простішим.

It's going to be really nice.

Ви зможете зрозуміти, коли віртуальний помічник буде зайнятим, стурбованим

You'll be able to tell when a virtual assistant is busy or confused

or concerned about something.

чи схвильованим через щось.

Now, I couldn't leave the stage

Я не можу піти зі сцени, не показавши вам свого справжнього обличчя,

without you actually being able to see my real face,

so you can do some comparison.

аби ви мали змогу порівняти.

So let me take off my helmet here.

Отож, давайте я зніму шолом.

Yeah, don't worry, it looks way worse than it feels.

Так, не хвилюйтесь: це виглядає набагато гірше, ніж відчувається.

(Laughter)

(Сміх)

So this is where we are.

Ось чого ми досягнули.

Let me put this back on here.

Тепер давайте я знову одягну шолом.

(Laughter)

(Сміх)

Упс.

Doink!

So this is where we are.

Ось чого ми досягнули.

We're on the cusp of being able to interact with digital humans

Ми за крок від здатності

взаємодіяти з нереально правдоподібними цифровими людьми,

that are strikingly real,

whether they're being controlled by a person or a machine.

незалежно від того, чи ними керує інша людина чи машина.

And like all new technology these days,

І як будь-яка інша сучасна технологія, ця можливість тягне за собою

it's going to come with some serious and real concerns

серйозні і справжні занепокоєння, з якими нам треба буде справитися.

that we have to deal with.

But I am just so really excited

Але я неймовірно збуджений від можливості втілити у життя те,

about the ability to bring something that I've seen only in science fiction

що я раніше бачив хіба що в науковій фантастиці.

for my entire life

into reality.

Communicating with computers will be like talking to a friend.

Спілкування з комп'ютером буде ідентичним до розмови з другом.

And talking to faraway friends

А розмова з віддаленим другом буде

will be like sitting with them together in the same room.

подібною до розмови з людиною, яка сидить у тій самій кімнаті.

Thank you very much.

Дуже дякую.

(Applause)

(Оплески)