Digital humans that look just like us | Doug Roble

翻訳: Yasushi Aoki 校正: Masako Kigami

Hello.

こんにちは

I'm not a real person.

私は本物の人間ではありません

I'm actually a copy of a real person.

実は本物の人間のコピーです

Although, I feel like a real person.

本物の人間のように 感じてはいますが—

It's kind of hard to explain.

説明するのが難しいです

Hold on -- I think I saw a real person ... there's one.

待ってください 本物の人間がいたような—

Let's bring him onstage.

彼をステージに 行かせましょう

Hello.

どうも

(Applause)

(拍手)

What you see up there is a digital human.

ご覧いただいたのは CGの人間です

I'm wearing an inertial motion capture suit

私が着ているのは慣性センサー式の モーション・キャプチャ・スーツで

that's figuring what my body is doing.

私の動作を把握します

And I've got a single camera here that's watching my face

ここにカメラがあって 私の顔を捉えていて

and feeding some machine-learning software that's taking my expressions,

機械学習ソフトウェアで 表情を取り出します

like, "Hm, hm, hm,"

こんな風に

and transferring it to that guy.

それをこの人物に 転送しています

We call him "DigiDoug."

彼は「デジ・ダグ」です

He's actually a 3-D character that I'm controlling live in real time.

私がリアルタイムで操作している 3Dキャラクターです

So, I work in visual effects.

私は視覚効果の 仕事をしています

And in visual effects,

視覚効果で一番難しいのは

one of the hardest things to do is to create believable, digital humans

見た人が本物の人間と 受け取るような

CGの人間を 作り出すことです

that the audience accepts as real.

People are just really good at recognizing other people.

人間は他の人間を 認識することに

驚くほど長けています

Go figure!

So, that's OK, we like a challenge.

それはいいです 挑戦は好きですから

Over the last 15 years,

この15年

we've been putting humans and creatures into film

私達は本物と思えるような 人間や生き物を

that you accept as real.

映画の中に 作り出してきました

If they're happy, you should feel happy.

そのキャラが幸せなら みんなも幸せに感じ

And if they feel pain, you should empathize with them.

苦しんでいたら 見た人も同じ気持ちになるような—

We're getting pretty good at it, too.

随分上手くできるように なってきましたが

But it's really, really difficult.

本当に難しいんです

Effects like these take thousands of hours

そういう効果を生むには 何百人もの優れたアーティストが

and hundreds of really talented artists.

何千時間もかけて 取り組む必要があります

But things have changed.

でも状況が変わりました

Over the last five years,

この５年ほどで

computers and graphics cards have gotten seriously fast.

コンピューターやグラフィックカードが ものすごく速くなりました

And machine learning, deep learning, has happened.

そして機械学習— ディープラーニングというのが現れました

So we asked ourselves:

それで考えました

Do you suppose we could create a photo-realistic human,

映画に出てくるような

写実的なCGの人物に

like we're doing for film,

but where you're seeing the actual emotions and the details

操作している人の 感情や顔の細部を

of the person who's controlling the digital human

リアルタイムで 反映させることはできないか？

in real time?

In fact, that's our goal:

それが目標です

If you were having a conversation with DigiDoug

デジ・ダグが皆さんと １対１で会話していて

one-on-one,

is it real enough so that you could tell whether or not I was lying to you?

嘘をついたら それと分かるくらいに リアルにできるか？

So that was our goal.

そこを目標にやってきました

About a year and a half ago, we set off to achieve this goal.

１年半前に 取り組み始めました

What I'm going to do now is take you basically on a little bit of a journey

今のレベルになるまでに どんなことをする必要があったのかを

to see exactly what we had to do to get where we are.

これから皆さんに お見せしましょう

We had to capture an enormous amount of data.

膨大な量のデータを 捉える必要がありました

In fact, by the end of this thing,

実際 最終的には

we had probably one of the largest facial data sets on the planet.

これは地球上で最も大きな 顔のデータの集成になりました

Of my face.

—私の顔のということですが

(Laughter)

(笑)

Why me?

なぜ私か？

Well, I'll do just about anything for science.

私は科学のためとあれば 何だってしますから

I mean, look at me!

見てください

I mean, come on.

どうです

We had to first figure out what my face actually looked like.

最初にしたのは 私の顔がどう見えるか—

単なる１枚の写真や 3Dスキャンではなく

Not just a photograph or a 3-D scan,

but what it actually looked like in any photograph,

あらゆる写真で どう見えるか

how light interacts with my skin.

皮膚に光がどう作用するかまで 捉えることです

Luckily for us, about three blocks away from our Los Angeles studio

幸いなことに ロスにある私達のスタジオの近所に

is this place called ICT.

ICTというのがあります

They're a research lab

南カリフォルニア大学の 研究施設です

that's associated with the University of Southern California.

They have a device there, it's called the "light stage."

そこに「ライトステージ」という 装置があります

It has a zillion individually controlled lights

個々に制御できる 無数の照明と

and a whole bunch of cameras.

膨大な数の カメラが付いています

And with that, we can reconstruct my face under a myriad of lighting conditions.

これを使うと 様々な光の条件下での 私の顔を再現できます

We even captured the blood flow

血の流れまで捉え

and how my face changes when I make expressions.

表情ごとに顔が どう変わるかを 把握します

This let us build a model of my face that, quite frankly, is just amazing.

これにより 見事なまでの 私の顔のモデルができました

It's got an unfortunate level of detail, unfortunately.

勘弁してほしくなるほどの 詳細さです

(Laughter)

(笑)

You can see every pore, every wrinkle.

毛穴や皺の １つひとつまで見えます

But we had to have that.

でも それが必要なんです

Reality is all about detail.

リアリティはそういう 細部から生まれるのです

And without it, you miss it.

それなくしては 上手くいきません

We are far from done, though.

まだ完成ではありません

This let us build a model of my face that looked like me.

これで私のように見える 顔のモデルはできました

But it didn't really move like me.

でも私のように 動きはしません

And that's where machine learning comes in.

そこで機械学習の出番です

And machine learning needs a ton of data.

機械学習には膨大な量の データが必要です

So I sat down in front of some high-resolution motion-capturing device.

それで私は高解像度モーション キャプチャ装置の前に座り

And also, we did this traditional motion capture with markers.

従来的なマーカーを使った モーション・キャプチャもしました

We created a whole bunch of images of my face

膨大な量の 私の顔の画像と

and moving point clouds that represented that shapes of my face.

私の顔の形状を表す 動点群を作りました

Man, I made a lot of expressions,

すごくいろんな 表情をしましたよ

I said different lines in different emotional states ...

様々な感情を込め 様々な台詞を言いました

We had to do a lot of capture with this.

たくさんのキャプチャを する必要がありました

Once we had this enormous amount of data,

そうやって膨大な データが得られたら

we built and trained deep neural networks.

それを使ってディープ・ニューラル・ ネットワークを訓練します

And when we were finished with that,

それが完了すると

in 16 milliseconds,

ニューラル・ネットワークは 私の顔を見て16ミリ秒で

the neural network can look at my image

and figure out everything about my face.

あらゆることを把握できる ようになりました

It can compute my expression, my wrinkles, my blood flow --

表情や 皺や 血流や

even how my eyelashes move.

まつげの動きまで 計算できます

This is then rendered and displayed up there

そしてそれを 以前にキャプチャした 細部のデータを使って

with all the detail that we captured previously.

レンダリングし表示します

We're far from done.

まだ完成はしていません

This is very much a work in progress.

開発中のものです

This is actually the first time we've shown it outside of our company.

社外で見せるのは これが初めてです

And, you know, it doesn't look as convincing as we want;

説得力のある 格好でもありません

I've got wires coming out of the back of me,

後ろにケーブルが 繋がっているし

and there's a sixth-of-a-second delay

映像のキャプチャから 表示までに

between when we capture the video and we display it up there.

1/6秒の遅延があります

Sixth of a second -- that's crazy good!

やっていることからすると すごく速いんですが

But it's still why you're hearing a bit of an echo and stuff.

それでもエコーなんかが 出てしまいます

And you know, this machine learning stuff is brand-new to us,

機械学習というのは 私達には目新しいもので

sometimes it's hard to convince to do the right thing, you know?

なかなか思うように なってくれず

It goes a little sideways.

おかしな具合になる こともあります

(Laughter)

(笑)

But why did we do this?

でも なぜこんなことを しているのでしょう？

Well, there's two reasons, really.

理由は２つあります

First of all, it is just crazy cool.

第一に 超イカしてるから

(Laughter)

(笑)

How cool is it?

どのくらい イカしてるかというと

Well, with the push of a button,

ボタン１つで

スピーカーのキャラを 変更できます

I can deliver this talk as a completely different character.

This is Elbor.

エルボーをご紹介します

We put him together to test how this would work

別の見かけでうまくいくか

with a different appearance.

試すために作ったキャラです

And the cool thing about this technology is that, while I've changed my character,

この技術のいいところは キャラクターを変えても

the performance is still all me.

演じているのは 依然私だということです

I tend to talk out of the right side of my mouth;

私は口の右側で しゃべる癖がありますが

so does Elbor.

エルボーもそうです

(Laughter)

(笑)

Now, the second reason we did this, and you can imagine,

これをやってる ２つ目の理由は

is this is going to be great for film.

ご想像の通り 映画での利用です

This is a brand-new, exciting tool

これはアーティストや監督や ストーリーテラーにとって

for artists and directors and storytellers.

素晴らしいツールになります

It's pretty obvious, right?

言うまでもないでしょう

I mean, this is going to be really neat to have.

すごく役に立つはずです

But also, now that we've built it,

作ってみて 明らかになったのは

it's clear that this is going to go way beyond film.

これが映画に留まるものでは ないということです

But wait.

でも待って

Didn't I just change my identity with the push of a button?

私はボタン１つで 自分の姿を変えてしまいましたが

Isn't this like "deepfake" and face-swapping

これは皆さんも 聞いたことがあるだろう

that you guys may have heard of?

「ディープフェイク」や 顔のすげ替えに当たるのでは？

Well, yeah.

確かに

In fact, we are using some of the same technology

実際私達はディープフェイクと

that deepfake is using.

同様の技術を使ってもいます

Deepfake is 2-D and image based, while ours is full 3-D

ディープフェイクが ２次元映像を使うのに対し

こちらは完全な３次元だし 遙かに強力ですが

and way more powerful.

But they're very related.

関連したものです

And now I can hear you thinking,

皆さんの頭の中の叫びが 聞こえるようです

"Darn it!

「なんてこった！

I though I could at least trust and believe in video.

映像は信頼できると 思っていた

If it was live video, didn't it have to be true?"

ライブ映像なら 本物のはずじゃないのか？」

Well, we know that's not really the case, right?

必ずしも そうとも言えません

Even without this, there are simple tricks that you can do with video

このような技術がなくても

どう撮るか 簡単なトリックを使うことで

like how you frame a shot

that can make it really misrepresent what's actually going on.

実際に起きていることとは違うものを 見せることができます

And I've been working in visual effects for a long time,

私は長年視覚効果を やってきたので

and I've known for a long time

十分な手間暇をかければ

that with enough effort, we can fool anyone about anything.

誰であれ 何についてであれ 欺けることを知っています

What this stuff and deepfake is doing

この技術やディープフェイクは

is making it easier and more accessible to manipulate video,

映像の操作を簡単で 誰でもできるようにしただけです

just like Photoshop did for manipulating images, some time ago.

Photoshopが写真編集を 容易にしたのと同じように

I prefer to think about

私はむしろ これがいかに

how this technology could bring humanity to other technology

人類に新たな 技術をもたらし

and bring us all closer together.

人を結びつけるかを 考えたいです

Now that you've seen this,

これの可能性について

think about the possibilities.

考えてみてください

Right off the bat, you're going to see it in live events and concerts, like this.

すぐにライブイベントやコンサートで こういうのを目にするようになるでしょう

Digital celebrities, especially with new projection technology,

新しいプロジェクション技術と 相まって

バーチャル有名人が 映画の中だけでなく リアルタイムの生きた存在になるでしょう

are going to be just like the movies, but alive and in real time.

And new forms of communication are coming.

新たな形のコミュニケーションが 生まれます

You can already interact with DigiDoug in VR.

すでにVRのデジ・ダグと やり取りできます

And it is eye-opening.

驚くような経験です

It's just like you and I are in the same room,

ずっと遠くにいながら

同じ部屋にいるかのように 感じられます

even though we may be miles apart.

Heck, the next time you make a video call,

今度ビデオ電話するときには

you will be able to choose the version of you

相手に見せたい自分を

選べるように なっているかもしれません

you want people to see.

It's like really, really good makeup.

すごく良くできた メークみたいなものです

I was scanned about a year and a half ago.

私がスキャンをしたのは １年半前でした

I've aged.

私は年を取りますが

DigiDoug hasn't.

デジ・ダグは取りません

On video calls, I never have to grow old.

ビデオ電話での私は ずっと若いままでいられます

And as you can imagine, this is going to be used

これが顔と体を持った バーチャルアシスタントに

to give virtual assistants a body and a face.

使われるところを 想像してください

A humanity.

とても人間的です

I already love it that when I talk to virtual assistants,

バーチャルアシスタントが 人間のような 落ち着きのある声で答えてくれるのが

they answer back in a soothing, humanlike voice.

私は気に入っていますが

Now they'll have a face.

それが顔も 持つようになるのです

And you'll get all the nonverbal cues that make communication so much easier.

非言語的なヒントがあることで コミュニケーションはずっと楽になります

It's going to be really nice.

すごくいいと思いますよ

You'll be able to tell when a virtual assistant is busy or confused

バーチャルアシスタントが 忙しかったり 困惑していたり

or concerned about something.

何か心配しているときに それと分かるというのは—

Now, I couldn't leave the stage

ちゃんと素顔を見せずに

without you actually being able to see my real face,

ステージを降りるわけには いかないでしょう

so you can do some comparison.

比較ができるように—

So let me take off my helmet here.

被り物を取りましょう

Yeah, don't worry, it looks way worse than it feels.

ああ 心配しないで 見た目ほど酷くはないので

(Laughter)

(笑)

So this is where we are.

これが現在の技術です

Let me put this back on here.

頭を戻しときましょう

(Laughter)

(笑)

Doink!

ガチャーン！

So this is where we are.

これが現在の技術です

We're on the cusp of being able to interact with digital humans

それを操作しているのが 人間であれ 機械であれ

that are strikingly real,

驚くほど本物らしく見える CGの人間と

whether they're being controlled by a person or a machine.

やり取りするようになる日も 遠くありません

And like all new technology these days,

今時の新技術の例に漏れず

it's going to come with some serious and real concerns

これにも対応が必要な

深刻で現実の懸念があります

that we have to deal with.

But I am just so really excited

でも 子供の頃からずっと

about the ability to bring something that I've seen only in science fiction

SFの世界の話でしか なかったものが

現実になろうと していることに

for my entire life

私はすごく ワクワクしています

into reality.

Communicating with computers will be like talking to a friend.

コンピューターと話すのが 友達と話すようになり

And talking to faraway friends

遠くの友達と話すのが

will be like sitting with them together in the same room.

同じ部屋に一緒にいるように 感じられるようになるんです

Thank you very much.

ありがとうございました

(Applause)

(拍手)