Fake videos of real people -- and how to spot them | Supasorn Suwajanakorn

翻訳: Yasushi Aoki 校正: Claire Ghyselen

Look at these images.

この映像を見てください

Now, tell me which Obama here is real.

本物のオバマ大統領は どれでしょう？

(Video) Barack Obama: To help families refinance their homes,

(バラク・オバマ) 住宅ローンを 借り換える家庭を助けること

to invest in things like high-tech manufacturing,

ハイテク製造業 クリーンエネルギー

clean energy

インフラといったものに 投資することで

and the infrastructure that creates good new jobs.

良い仕事が創出されます

Supasorn Suwajanakorn: Anyone?

(講演者) 分かりますか？

The answer is none of them.

答えは 全部ニセ者です

(Laughter)

(笑)

None of these is actually real.

どれ１つ本物ではありません

So let me tell you how we got here.

これまでの道のりについて お話ししましょう

My inspiration for this work

この研究をする ヒントになったのは

was a project meant to preserve our last chance for learning about the Holocaust

ホロコーストの生存者たちから 学ぶ最後の機会を

保存しようという プロジェクトでした

from the survivors.

It's called New Dimensions in Testimony,

「証言の新局面」(New Dimensions in Testimony) という名前で

and it allows you to have interactive conversations

ホロコースト生存者の ホログラムと

with a hologram of a real Holocaust survivor.

対話することができます

(Video) Man: How did you survive the Holocaust?

(男) どうやってホロコーストを 生き延びたんですか？

(Video) Hologram: How did I survive?

(ホログラム) どうやって生き延びたか？

I survived,

私が生き残れたのは—

I believe,

神が見守っていて くれたからだと

because providence watched over me.

私は思っています

SS: Turns out these answers were prerecorded in a studio.

(講演者) 答えはスタジオで あらかじめ録画されたものですが

Yet the effect is astounding.

その効果は劇的です

You feel so connected to his story and to him as a person.

その人の話や その人自身に対する 強い結び付きを感じます

I think there's something special about human interaction

人間同士のやり取りには

特別な力があるのでしょう

that makes it much more profound

本や講義や映画 などよりもずっと

and personal

深く個人的な体験を 与えてくれます

than what books or lectures or movies could ever teach us.

So I saw this and began to wonder,

それで私は 思うようになりました

can we create a model like this for anyone?

こういうモデルを 誰に対しても作れたら？

A model that looks, talks and acts just like them?

その人自身のように見え 語り 振る舞うモデルです

So I set out to see if this could be done

それが可能か検討を始め

and eventually came up with a new solution

既存の写真や映像だけから

that can build a model of a person using nothing but these:

その人物のモデルを作る方法を 考案しました

existing photos and videos of a person.

その人物のモデルを作る方法を 考案しました

If you can leverage this kind of passive information,

こういう その辺にある 写真や映像といった

just photos and video that are out there,

ありあわせの素材 だけでよいなら

that's the key to scaling to anyone.

誰に対してもモデルを 作れるようになります

By the way, here's Richard Feynman,

ちなみに この人物は リチャード・ファインマンで

who in addition to being a Nobel Prize winner in physics

ノーベル物理学賞の 受賞者であるのみならず

was also known as a legendary teacher.

優れた教師として よく知られていました

Wouldn't it be great if we could bring him back

もしファインマンを蘇らせ

to give his lectures and inspire millions of kids,

何百万という若者に話をして 刺激を与えてもらい

perhaps not just in English but in any language?

さらには他の言語でも語らせられたなら 素晴らしいでしょう

Or if you could ask our grandparents for advice and hear those comforting words

あるいは もうこの世を去ってしまった おじいさん おばあさんに

アドバイスや心温まる言葉を かけてもらえたなら

even if they're no longer with us?

Or maybe using this tool, book authors, alive or not,

またこのツールを使えば 存命か否かにかかわらず

could read aloud all of their books for anyone interested.

著者自身に本の朗読を してもらうこともできるでしょう

The creative possibilities here are endless,

これが持つ創造的可能性は 限りがなく

and to me, that's very exciting.

すごくワクワクさせられます

And here's how it's working so far.

その仕組みを お話ししましょう

First, we introduce a new technique

まず 顔の精細な ３次元モデルを

that can reconstruct a high-detailed 3D face model from any image

3Dスキャンデータなしに

任意の画像から作れる 手法を開発しました

without ever 3D-scanning the person.

And here's the same output model from different views.

これは同じモデルを 別の視点から見たものです

This also works on videos,

この技術は映像にも使えます

by running the same algorithm on each video frame

映像の各フレームに 同じアルゴリズムを適用し

and generating a moving 3D model.

動きのある３次元モデルを 生成します

And here's the same output model from different angles.

こちらは同じモデルを 違う角度から見たものです

It turns out this problem is very challenging,

この問題は とても難しいのですが

but the key trick is that we are going to analyze

あらかじめ その人物の 大量の写真を

a large photo collection of the person beforehand.

解析することが 鍵になります

For George W. Bush, we can just search on Google,

ジョージ・W・ブッシュなら Googleで画像検索するだけでよく

and from that, we are able to build an average model,

そこから平均モデルを 作ることができ

an iterative, refined model to recover the expression

段階的にモデルを 改善していって

in fine details, like creases and wrinkles.

皺のような 表情の 細部を再現します

What's fascinating about this

これのいいところは

is that the photo collection can come from your typical photos.

写真は ごく普通のもので よいということです

It doesn't really matter what expression you're making

どういう表情かとか どこで撮られたかとかは

or where you took those photos.

あまり問題ではありません

What matters is that there are a lot of them.

大事なのは写真が たくさんあるということです

And we are still missing color here,

まだ色が付いていないので

so next, we develop a new blending technique

次に新しいブレンディング技法を開発し

that improves upon a single averaging method

平均モデルを改良して

くっきりとした顔の 質感や色を付けます

and produces sharp facial textures and colors.

And this can be done for any expression.

これはどんな表情に 対しても行えます

Now we have a control of a model of a person,

これで人物の動かせる モデルができました

and the way it's controlled now is by a sequence of static photos.

動きは一連の写真に 合わせたものになります

Notice how the wrinkles come and go, depending on the expression.

表情に応じて皺が現れたり 消えたりするのに注意してください

We can also use a video to drive the model.

モデルを動かすのに 映像を使うこともできます

(Video) Daniel Craig: Right, but somehow,

(ダニエル・クレイグ) ええ しかし私達はどうにか

we've managed to attract some more amazing people.

さらに素晴らしい人たちを 引き入れました

(講演者) これで面白いことができます

SS: And here's another fun demo.

So what you see here are controllable models

ここに出ているのは

of people I built from their internet photos.

ネット上の写真から作った 有名人のモデルです

Now, if you transfer the motion from the input video,

入力源となる映像の 動きに合わせて

we can actually drive the entire party.

全部の顔を動かす ことができます

George W. Bush: It's a difficult bill to pass,

(ブッシュ) これは 通すのが難しい法案で

because there's a lot of moving parts,

構成要素がたくさんあり

立法の過程は見苦しいものに なるかもしれません

and the legislative processes can be ugly.

(Applause)

(拍手)

SS: So coming back a little bit,

(講演者) 少し話を戻すと

our ultimate goal, rather, is to capture their mannerisms

私達の究極の目標は

それぞれの人が話したり笑ったりする時の 独特なやり方や癖を捉えるということです

or the unique way each of these people talks and smiles.

So to do that, can we actually teach the computer

その人物が話している 映像を見せるだけで

to imitate the way someone talks

コンピューターが その人の話し方を

by only showing it video footage of the person?

真似られるように できるのでしょうか？

And what I did exactly was, I let a computer watch

それで オバマが演説している 14時間の映像を

14 hours of pure Barack Obama giving addresses.

コンピューターに 見せることにしました

And here's what we can produce given only his audio.

これはオバマが話す声だけから 生成した映像です

(Video) BO: The results are clear.

(オバマ) 結果は明らかです

America's businesses have created 14.5 million new jobs

アメリカの産業界は 75ヶ月にわたり

1450万の新たな仕事を 生み出したのです

over 75 straight months.

SS: So what's being synthesized here is only the mouth region,

(講演者) ここで合成されているのは 口の部分だけで

and here's how we do it.

こんな風にしています

Our pipeline uses a neural network

私達のシステムは ニューラルネットワークを使って

to convert and input audio into these mouth points.

入力された音声を 口の位置を表す点に変換します

(Video) BO: We get it through our job or through Medicare or Medicaid.

(オバマ) 仕事や メディケア メディケイドを通じて得ています

SS: Then we synthesize the texture, enhance details and teeth,

(講演者) それから質感を合成し 細部や歯を補い

and blend it into the head and background from a source video.

元の映像の頭部と背景に 埋め込みます

(Video) BO: Women can get free checkups,

(オバマ) 女性は無料の 健康診断を受けられ

and you can't get charged more just for being a woman.

女性というだけで 余分に支払うことはありません

Young people can stay on a parent's plan until they turn 26.

子供は26歳になるまで 親の保険が使えます

SS: I think these results seem very realistic and intriguing,

(講演者) 結果としてできたものは とてもリアルで興味深いものですが

but at the same time frightening, even to me.

同時に私自身でも 怖いと感じます

Our goal was to build an accurate model of a person, not to misrepresent them.

私達の目標は人物の正確なモデルを作ることで 誰かを騙ることではありません

But one thing that concerns me is its potential for misuse.

しかしこれが悪用される可能性を 危惧しています

People have been thinking about this problem for a long time,

この問題については フォトショップが現れて以来

since the days when Photoshop first hit the market.

みんなずっと考えてきました

As a researcher, I'm also working on countermeasure technology,

研究者として 私は 対策技術の開発もしていて

and I'm part of an ongoing effort at AI Foundation,

AI Foundationでの 取り組みに参加しています

which uses a combination of machine learning and human moderators

それは機械学習と 人間のモデレーターの組み合わせにより

to detect fake images and videos,

偽物の画像や映像を 検出しようという

fighting against my own work.

私自身の研究に 対抗するものです

And one of the tools we plan to release is called Reality Defender,

公開を予定しているツールに Reality Defender があり

which is a web-browser plug-in that can flag potentially fake content

これはブラウザーのプラグインで

偽物の可能性のあるコンテンツに対して 警告を出すようになっています

automatically, right in the browser.

(Applause)

(拍手)

Despite all this, though,

それでも真偽の確認が なされる前に

fake videos could do a lot of damage,

偽の映像が大きな被害を もたらすこともありうるので

even before anyone has a chance to verify,

偽の映像が大きな被害を もたらすこともありうるので

so it's very important that we make everyone aware

現在どのようなことが 可能になっているのかを

みんな理解していることが重要で

of what's currently possible

so we can have the right assumption and be critical about what we see.

それにより適切な仮定をし 批判的な目で物事を見られるようになるでしょう

There's still a long way to go before we can fully model individual people

人物の完全なモデルを作れ 安全性も確保できるまでには

and before we can ensure the safety of this technology.

まだまだ時間がかかるでしょう

でも私は希望と熱意を持っています

But I'm excited and hopeful,

because if we use it right and carefully,

この技術を正しく 注意して使うなら

this tool can allow any individual's positive impact on the world

誰もが広く世界に

良い影響を与えられるようになり

to be massively scaled

and really help shape our future the way we want it to be.

みんなが望む未来を築く 助けになるはずだからです

Thank you.

ありがとうございました

(Applause)

(拍手)