Digital humans that look just like us | Doug Roble

Переводчик: Vladislav Zaichenko Редактор: Yulia Kallistratova

Hello.

Привет.

I'm not a real person.

Я не настоящий человек.

I'm actually a copy of a real person.

В действительности я копия настоящего человека

Although, I feel like a real person.

Впрочем, я ощущаю себя реальным человеком.

It's kind of hard to explain.

Это трудно объяснить.

Hold on -- I think I saw a real person ... there's one.

Постойте-ка! Кажется, я вижу реального человека... вот же он.

Let's bring him onstage.

Поприветствуем его на сцене.

Hello.

Привет.

(Applause)

(Аплодисменты)

What you see up there is a digital human.

То, что вы видите, — это цифровой человек.

I'm wearing an inertial motion capture suit

На меня надет инерциальный костюм захвата движений,

that's figuring what my body is doing.

который считывает движения моего тела.

And I've got a single camera here that's watching my face

А вот здесь у меня есть камера, которая следит за моим лицом,

and feeding some machine-learning software that's taking my expressions,

передавая всё программе машинного обучения, которая получает мою мимику,

like, "Hm, hm, hm,"

например: «Хм, хм, хм»,

and transferring it to that guy.

и передает всё это тому парню.

We call him "DigiDoug."

Мы зовём его «Цифро-Даг».

He's actually a 3-D character that I'm controlling live in real time.

В действительности он трёхмерный персонаж, которого я контролирую в реальном времени.

So, I work in visual effects.

Итак, я работаю с визуальными эффектами.

And in visual effects,

И в визуальных эффектах

one of the hardest things to do is to create believable, digital humans

одна из сложнейших задач — создать правдоподобного человека,

that the audience accepts as real.

которого зрители примут за настоящего.

People are just really good at recognizing other people.

Люди вообще-то очень хорошо узнают других людей.

Go figure!

Ну правда же!

So, that's OK, we like a challenge.

Что ж, здорово, мы любим соревноваться.

Over the last 15 years,

В течение последних 15 лет

we've been putting humans and creatures into film

мы создавали людей и других существ в кино так,

that you accept as real.

чтобы вы принимали их за настоящих.

If they're happy, you should feel happy.

Когда они счастливы, вы тоже должны чувствовать счастье.

And if they feel pain, you should empathize with them.

А когда им больно, вы должны сочувствовать им.

We're getting pretty good at it, too.

И мы весьма навострились в этом деле.

But it's really, really difficult.

Но, по правде говоря, это очень сложно.

Effects like these take thousands of hours

Создание эффектов, подобных этим, занимает тысячи часов

and hundreds of really talented artists.

и требует работы сотен талантливых художников.

But things have changed.

Но всё изменилось.

Over the last five years,

За последние пять лет

computers and graphics cards have gotten seriously fast.

компьютеры и графические карты стали существенно быстрее.

And machine learning, deep learning, has happened.

И появилось машинное обучение, глубокое обучение.

So we asked ourselves:

Итак, мы спросили себя:

Do you suppose we could create a photo-realistic human,

«А что, смогли бы мы создать фото-реалистичного человека,

like we're doing for film,

такого, как мы делаем для кино,

but where you're seeing the actual emotions and the details

но так, чтобы все видели настоящие эмоции и детали

of the person who's controlling the digital human

человека, который контролирует цифровую копию

in real time?

в реальном времени?»

In fact, that's our goal:

В этом и состоит наша задача:

If you were having a conversation with DigiDoug

если вы общаетесь с Цифро-Дагом

one-on-one,

один на один,

is it real enough so that you could tell whether or not I was lying to you?

достаточно ли он настоящий, чтобы вы могли понять, вру я вам или нет?

So that was our goal.

Вот в чём была наша цель.

About a year and a half ago, we set off to achieve this goal.

Около полутора лет назад мы принялись за эту задачу.

What I'm going to do now is take you basically on a little bit of a journey

И сейчас я хочу позволить вам прикоснуться к нашему путешествию

to see exactly what we had to do to get where we are.

и показать вам, чего мы достигли и как мы к этому шли.

We had to capture an enormous amount of data.

Мы должны были собрать огромное количество данных.

In fact, by the end of this thing,

Фактически, в конце этой работы

we had probably one of the largest facial data sets on the planet.

у нас был, кажется, один из самых больших в мире наборов данных, описывающих лицо.

Of my face.

Моё лицо.

(Laughter)

(Смех)

Why me?

Почему я?

Well, I'll do just about anything for science.

Ну, я ведь готов на всё что угодно ради науки.

I mean, look at me!

Достаточно же просто на меня посмотреть!

I mean, come on.

Правда же!

We had to first figure out what my face actually looked like.

Сначала мы должны были понять, как моё лицо выглядит на самом деле.

Not just a photograph or a 3-D scan,

Не просто фотография или 3D-скан,

but what it actually looked like in any photograph,

но как оно в действительности выглядит на любой фотографии,

how light interacts with my skin.

как свет взаимодействует с моей кожей.

Luckily for us, about three blocks away from our Los Angeles studio

К счастью для нас, примерно в трёх кварталах от нашей студии в Лос-Анджелесе

is this place called ICT.

располагается место под названием ICT.

They're a research lab

Это лаборатория,

that's associated with the University of Southern California.

связанная с Университетом Южной Калифорнии.

They have a device there, it's called the "light stage."

У них там есть устройство, которое называется «световая сцена».

It has a zillion individually controlled lights

В нём есть множество индивидуально контролируемых источников света

and a whole bunch of cameras.

и целая куча камер.

And with that, we can reconstruct my face under a myriad of lighting conditions.

И с помощью его мы можем воссоздать моё лицо во всевозможных условиях освещения.

We even captured the blood flow

Мы даже оцифровали ток крови

and how my face changes when I make expressions.

и как меняется моё лицо при разных выражениях.

This let us build a model of my face that, quite frankly, is just amazing.

Нам удалось создать модель моего лица, которая, если честно, просто потрясающая.

It's got an unfortunate level of detail, unfortunately.

У него, к сожалению, ужасающий уровень деталей, просто пугающий.

(Laughter)

(Смех)

You can see every pore, every wrinkle.

Вы можете видеть каждую пору, каждую морщинку.

But we had to have that.

Но это как раз то, что нам нужно.

Reality is all about detail.

Реальность строится из деталей.

And without it, you miss it.

И без деталей реалистичность теряется.

We are far from done, though.

Нам ещё далеко до совершенства.

This let us build a model of my face that looked like me.

Мы смогли построить модель моего лица, которая очень похожа на меня.

But it didn't really move like me.

Но его движения были далеки от моих.

And that's where machine learning comes in.

И именно здесь нам на помощь пришло машинное обучение.

And machine learning needs a ton of data.

А машинному обучению нужно огромное количество данных.

So I sat down in front of some high-resolution motion-capturing device.

Так что я сел перед устройством захвата движений высокого разрешения.

And also, we did this traditional motion capture with markers.

И мы провели традиционный захват движений с маркерами.

We created a whole bunch of images of my face

Мы создали целую кучу изображений моего лица

and moving point clouds that represented that shapes of my face.

и облака движущихся точек, представляющих формы моего лица.

Man, I made a lot of expressions,

Ребята, я строил множество гримас,

I said different lines in different emotional states ...

я проговаривал разные фразы с разной эмоциональной окраской...

We had to do a lot of capture with this.

И все это мы должны были оцифровать.

Once we had this enormous amount of data,

Как только мы собрали огромное количество данных,

we built and trained deep neural networks.

мы создали и натренировали глубокую нейронную сеть.

And when we were finished with that,

И по завершении этой работы

in 16 milliseconds,

всего за 16 миллисекунд

the neural network can look at my image

нейронная сеть может посмотреть на моё изображение

and figure out everything about my face.

и узнать о моём лице всё.

It can compute my expression, my wrinkles, my blood flow --

Она может просчитать моё выражение, мои морщинки, мой кровоток,

even how my eyelashes move.

даже движение моих ресниц.

This is then rendered and displayed up there

И все это потом обрисовывается и выводится на экран

with all the detail that we captured previously.

со всеми деталями, которые мы оцифровали до этого.

We're far from done.

Мы ещё далеки от финала.

This is very much a work in progress.

И очень много всего ещё можно сделать.

This is actually the first time we've shown it outside of our company.

Сегодня, по правде, мы впервые показываем это вне наших стен.

And, you know, it doesn't look as convincing as we want;

И знаете, это выглядит не настолько убедительным, как мы хотим;

I've got wires coming out of the back of me,

у меня из спины торчат провода

and there's a sixth-of-a-second delay

и есть задержка в одну шестую секунды

between when we capture the video and we display it up there.

между захватом изображения и выводом его на экран.

Sixth of a second -- that's crazy good!

Одна шестая секунды — это очень здорово!

But it's still why you're hearing a bit of an echo and stuff.

Но из-за этого вы слышите небольшое эхо.

And you know, this machine learning stuff is brand-new to us,

И знаете, эта штука с машинным обучением — нечто совершенно новое для нас,

sometimes it's hard to convince to do the right thing, you know?

иной раз её тяжело убедить делать именно то, что нужно нам, понимаете?

It goes a little sideways.

Её порой немного перекашивает.

(Laughter)

(Смех)

But why did we do this?

Но вообще, зачем мы всё это делаем?

Well, there's two reasons, really.

Ну, на самом деле тому есть две причины.

First of all, it is just crazy cool.

Во-первых, это чертовски круто.

(Laughter)

(Смех)

How cool is it?

Насколько это круто?

Well, with the push of a button,

Ну, всего одним щелчком клавиши

I can deliver this talk as a completely different character.

я могу передать эту речь совершенно другому персонажу.

This is Elbor.

Это Эльбор.

We put him together to test how this would work

Мы собрали его, чтобы проверить,

with a different appearance.

как это будет работать с другой внешностью.

And the cool thing about this technology is that, while I've changed my character,

И самое классное в этой технологии, что когда я изменяю своего персонажа,

the performance is still all me.

в результате это все равно я.

I tend to talk out of the right side of my mouth;

Например, я обычно говорю в основном правой частью рта;

so does Elbor.

то же делает и Эльбор.

(Laughter)

(Смех)

Now, the second reason we did this, and you can imagine,

И второе, почему мы взялись за это. Вы только представьте,

is this is going to be great for film.

насколько это здорово для кино.

This is a brand-new, exciting tool

Это совершенно новый, захватывающий

for artists and directors and storytellers.

инструмент для художников, режиссёров и рассказчиков.

It's pretty obvious, right?

Довольно очевидно, правда?

I mean, this is going to be really neat to have.

То есть должно быть здорово иметь такую штуку.

But also, now that we've built it,

Однако сейчас, когда мы закончили,

it's clear that this is going to go way beyond film.

стало ясно, что эта технология пойдёт много дальше кино.

But wait.

Но подождите.

Didn't I just change my identity with the push of a button?

Разве я только что не сменил свою личность нажатием одной кнопки?

Isn't this like "deepfake" and face-swapping

Это ведь способ обмана и замены лиц,

that you guys may have heard of?

о котором вы наверняка слышали?

Well, yeah.

Ну да.

In fact, we are using some of the same technology

По факту мы используем отчасти технологии, схожие с теми,

that deepfake is using.

которые используют мошенники.

Deepfake is 2-D and image based, while ours is full 3-D

Мошенническая технология — 2D и основана на изображениях, наша же — полностью 3D

and way more powerful.

и много более совершенная.

But they're very related.

Но они во многом схожи.

And now I can hear you thinking,

И мне прямо слышны ваши мысли:

"Darn it!

«Проклятье!

I though I could at least trust and believe in video.

Я раньше хотя бы мог доверять видео.

If it was live video, didn't it have to be true?"

Если это прямая трансляция, разве можно ей не верить?»

Well, we know that's not really the case, right?

Ну, теперь мы знаем, что это не так, верно?

Even without this, there are simple tricks that you can do with video

Даже без таких штук есть много простых трюков, которые можно сделать с видео,

like how you frame a shot

чтобы построить кадр так,

that can make it really misrepresent what's actually going on.

чтобы на выходе получилась картина, сильно отличающаяся от реальной.

And I've been working in visual effects for a long time,

И я работаю в сфере визуальных эффектов уже достаточно давно

and I've known for a long time

и давно знаю,

that with enough effort, we can fool anyone about anything.

что, если постараться, можно одурачить кого угодно относительно чего угодно.

What this stuff and deepfake is doing

Все эти мошеннические штуки дают в руки

is making it easier and more accessible to manipulate video,

простые и доступные инструменты, чтобы изменять видео в той же степени,

just like Photoshop did for manipulating images, some time ago.

что и Photoshop, который уже давно позволяет манипулировать изображениями.

I prefer to think about

Однако я предпочитаю думать

how this technology could bring humanity to other technology

о том, как эта технология сможет привести человечество к новым технологиям

and bring us all closer together.

и сделать нас ближе друг к другу.

Now that you've seen this,

Теперь, увидев это всё,

think about the possibilities.

подумайте о возможностях.

Right off the bat, you're going to see it in live events and concerts, like this.

Навскидку, вы сможете увидеть это на живых выступлениях, подобных этому.

Digital celebrities, especially with new projection technology,

Цифровые знаменитости, особенно благодаря новым проекционным технологиям,

are going to be just like the movies, but alive and in real time.

будут создавать что-то наподобие кино, но вживую, в реальном времени.

And new forms of communication are coming.

И придут новые формы общения.

You can already interact with DigiDoug in VR.

Уже сейчас вы можете взаимодействовать с Цифро-Дагом в виртуальной реальности.

And it is eye-opening.

И это потрясающе.

It's just like you and I are in the same room,

Это как будто мы с вами находимся в одной комнате,

even though we may be miles apart.

хотя между нами огромное расстояние.

Heck, the next time you make a video call,

Черт побери, вскоре, когда вы будете делать видеозвонок,

you will be able to choose the version of you

вы сможете выбрать ту версию себя,

you want people to see.

которую вы хотите показать людям.

It's like really, really good makeup.

Это как очень-очень качественный макияж.

I was scanned about a year and a half ago.

Меня отсканировали полтора года назад.

I've aged.

Я изменился за это время.

DigiDoug hasn't.

А Цифро-Даг нет.

On video calls, I never have to grow old.

На экране видео звонка я никогда не постарею.

And as you can imagine, this is going to be used

И, как можно представить, эта технология будет использована,

to give virtual assistants a body and a face.

чтобы дать виртуальным ассистентам лицо и тело.

A humanity.

И человечность.

I already love it that when I talk to virtual assistants,

Уже сейчас мне очень нравится, что виртуальный ассистент

they answer back in a soothing, humanlike voice.

отвечает мне успокаивающим человеческим голосом.

Now they'll have a face.

А вскоре у них будет лицо.

And you'll get all the nonverbal cues that make communication so much easier.

И появятся новые невербальные знаки, которые сделают общение гораздо проще.

It's going to be really nice.

Это будет действительно мило.

You'll be able to tell when a virtual assistant is busy or confused

Вы сможете понять, когда ваш ассистент занят или озадачен

or concerned about something.

или обеспокоен чем-то.

Now, I couldn't leave the stage

Теперь я просто не могу покинуть сцену,

without you actually being able to see my real face,

не показав вам моего настоящего лица,

so you can do some comparison.

а вы сможете немного сравнить.

So let me take off my helmet here.

Позвольте мне снять мой шлем.

Yeah, don't worry, it looks way worse than it feels.

О, не волнуйтесь, это не так ужасно, как выглядит.

(Laughter)

(Смех)

So this is where we are.

Это то, чего мы уже достигли.

Let me put this back on here.

Дайте-ка я верну все на место.

(Laughter)

(Смех)

Doink!

Ой!

So this is where we are.

Вот чего мы уже достигли.

We're on the cusp of being able to interact with digital humans

И мы уже на грани настоящего взаимодействия с цифровыми людьми,

that are strikingly real,

невероятно реалистичного,

whether they're being controlled by a person or a machine.

вне зависимости от того, человек перед вами или машина.

And like all new technology these days,

И как и все новые технологии сегодня,

it's going to come with some serious and real concerns

эта приносит с собой некоторые серьёзные и реальные опасения,

that we have to deal with.

с которыми нам придётся столкнуться.

But I am just so really excited

Но сейчас я невероятно взволнован

about the ability to bring something that I've seen only in science fiction

возможностью воплотить то, что прежде можно было увидеть только

for my entire life

в научной фантастике,

into reality.

в реальную жизнь.

Communicating with computers will be like talking to a friend.

Общение с компьютером станет подобно разговору с другом.

And talking to faraway friends

А разговор с друзьями, которые далеко,

will be like sitting with them together in the same room.

будет подобен тому, как будто они сидят с вами вместе в одной комнате.

Thank you very much.

Спасибо большое.

(Applause)

(Аплодисменты)