When AI Can Fake Reality, Who Can You Trust? | Sam Gregory | TED

翻訳: Tohru Fujita 校正: Natsuki Kominami

It's getting harder, isn't it, to spot real from fake,

本物と偽物の区別がつかなくなってきましたね

AI-generated from human-generated.

AIが作ったのか人間が作ったのか

With generative AI,

生成AIや

along with other advances in deep fakery,

他のディープフェイク技術の進歩で

it doesn't take many seconds of your voice,

必要なのは ほんのわずか数秒の声や

many images of your face,

顔が写った数枚の画像だけ

to fake you,

それであなたの偽物が完成

and the realism keeps increasing.

それらはますます精巧になりつつあります

I first started working on deepfakes in 2017,

私がディープフェイクの研究を始めた 2017年当時

when the threat to our trust in information was overhyped,

情報を信頼できなくなる危険性が 大々的に取り上げられ

and the big harm, in reality, was falsified sexual images.

偽造された性的画像による 大きな被害が実際にありました

Now that problem keeps growing, harming women and girls worldwide.

今もその問題は拡大し続けて世界中の女性や 少女たちを危険にさらし続けています

But also, with advances in generative AI, we're now also approaching a world

しかし 生成AIが進歩するにつれて 新たな世界に近づいてもいます

where it's broadly easier to make fake reality,

それは偽物の現実を作るのが より簡単になり

but also to dismiss reality as possibly faked.

本物の現実も偽物かもしれないと 簡単に片付けられてしまう世界です

Now, deceptive and malicious audiovisual AI

欺瞞と悪意に満ちた音声や映像に関するAIが

is not the root of our societal problems,

社会問題の根源とは言えないまでも

but it's likely to contribute to them.

それらを悪化させる可能性は高いといえます

Audio clones are proliferating in a range of electoral contexts.

選挙の様々な場面で音声クローンが 急激に増加しています

"Is it, isn't it" claims cloud human-rights evidence from war zones,

「本物か偽物か」という論争が戦争地帯での 人権侵害の証拠を雲散霧消させてしまい

sexual deepfakes target women in public and in private,

性的ディープフェイクが有名人一般人問わず 女性をターゲットにし

and synthetic avatars impersonate news anchors.

ニュースキャスターを 合成アバターが演じているのです

I lead WITNESS.

私はWITNESSの代表です

We're a human-rights group

人権保護団体で

that helps people use video and technology to protect and defend their rights.

人々が映像やテクノロジーを使って権利を 守り抜くのを支援しています

And for the last five years, we've coordinated a global effort,

過去５年間 世界的に取り組んできた活動が

"Prepare, Don't Panic,"

「備えよ 慌てるな」

around these new ways to manipulate and synthesize reality,

現実を操作し合成する 新しい手段が台頭する中で

and on how to fortify the truth

最前線の重要なジャーナリストや

of critical frontline journalists and human-rights defenders.

人権擁護者の真実を 強化する方法に関するものです

Now, one element in that is a deepfakes rapid-response task force,

その一環として ディープフェイクに対する 緊急対応部隊があります

made up of media-forensics experts

メディアの真偽を鑑定する専門家と

and companies who donate their time and skills

企業が時間とスキルを提供し

to debunk deepfakes and claims of deepfakes.

ディープフェイクまたは その可能性があるものを暴きます

The task force recently received three audio clips,

最近 この対応部隊が受け取った ３つの音声ファイルは

from Sudan, West Africa and India.

スーダン 西アフリカ インドから 来たものでした

People were claiming that the clips were deepfaked, not real.

これらのファイルがディープフェイクで 本物ではないと言われていたのです

In the Sudan case,

スーダンのケースでは

experts used a machine-learning algorithm

専門家は機械学習アルゴリズムを使いました

trained on over a million examples of synthetic speech

100万以上の合成音声サンプルで 訓練されたもので

to prove, almost without a shadow of a doubt,

ほとんど疑いの余地なく

that it was authentic.

本物であると証明しました

In the West Africa case,

西アフリカのケースでは

they couldn't reach a definitive conclusion

決定的な結論に至ることはできませんでした

because of the challenges of analyzing audio from Twitter,

Twitter上にある音声を分析する難しさと

and with background noise.

背景に聞こえるノイズが原因でした

The third clip was leaked audio of a politician from India.

３つ目はインドの政治家の音声が 流出したファイルでした

Nilesh Christopher of “Rest of World” brought the case to the task force.

『Rest of World』の ニレーシュ・クリストファーが持ち込みました

The experts used almost an hour of samples

専門家たちは約１時間分のサンプルを使用して

to develop a personalized model of the politician's authentic voice.

その政治家の本物の声を 忠実に再現したモデルを開発しました

Despite his loud and fast claims that it was all falsified with AI,

彼は声高らかに そして矢継ぎ早に AIで偽造されたと主張していたにもかかわらず

experts concluded that it at least was partially real, not AI.

専門家たちは少なくとも部分的には本物で AIではないと結論づけました

As you can see,

お分かりだと思いますが

even experts cannot rapidly and conclusively separate true from false,

専門家でさえ真偽を迅速かつ正確に 見分けることはできないということです

and the ease of calling "that's deepfaked" on something real

そして 本物であるはずのものをいとも簡単に 「ディープフェイクだ」と言えてしまう場合が

is increasing.

増加しつつあるのです

The future is full of profound challenges,

深刻な課題が山積みとなっています

both in protecting the real and detecting the fake.

本物を守るのも 偽物を見抜くのも いずれも困難な作業なのです

We're already seeing the warning signs

事実と虚構を見分ける難しさに対する

of this challenge of discerning fact from fiction.

警告のサインはすでに目の前にあります

Audio and video deepfakes have targeted politicians,

音声や映像のディープフェイクが ターゲットにしているのは政治家

major political leaders in the EU, Turkey and Mexico,

例えばEUやトルコ そしてメキシコの主要な政治指導者

and US mayoral candidates.

それにアメリカの市長候補者たちです

Political ads are incorporating footage of events that never happened,

政治広告の映像には 実際には起こっていない出来事が組み込まれ

and people are sharing AI-generated imagery from crisis zones,

人々はAIが生成した 危機に瀕した地域の画像を拡散して

claiming it to be real.

これが事実だと主張しています

Now, again, this problem is not entirely new.

繰り返しますが この問題は全く新しいものではありません

The human-rights defenders and journalists I work with

共に仕事をしている 人権擁護者やジャーナリストたちは

are used to having their stories dismissed,

自分たちの話が否定されることに慣れています

and they're used to widespread, deceptive, shallow fakes,

広く拡散された巧妙な偽情報 いわゆるシャローフェイク

videos and images taken from one context or time or place

つまり ひとつの文脈や時間 場所から切り取られた動画や画像が

and claimed as if they're in another,

あたかも 別の状況のものであるかのように主張され

used to share confusion and spread disinformation.

混乱や偽情報の拡散のために 利用されることにも慣れています

And of course, we live in a world that is full of partisanship

もちろん私たちは 自分の陣営の味方ばかりして

and plentiful confirmation bias.

確証バイアスに満ちた世界に生きています

Given all that,

これらのことを踏まえて

the last thing we need is a diminishing baseline

我々が最もさけるべきことは 民主主義の根本にある

of the shared, trustworthy information upon which democracies thrive,

みんなで共有し信頼できる情報の基盤を 弱めてしまうことです

where the specter of AI

そうなれば AIという亡霊が

is used to plausibly believe things you want to believe,

信じたいことをもっともらしく信じるための 口実として使われ

and plausibly deny things you want to ignore.

臭いものには蓋をする手段になってしまいます

But I think there's a way we can prevent that future,

しかし そのような未来を 迎えないための方法があります

if we act now;

今すぐに行動をするのです

that if we "Prepare, Don't Panic,"

「備えよ 慌てるな」の精神で

we'll kind of make our way through this somehow.

どうにかしてこの状況を 切り抜ける道があるはずです

Panic won't serve us well.

慌てたところで何も状況は良くなりません

[It] plays into the hands of governments and corporations

政府や企業の思惑通り 恐怖心に

who will abuse our fears,

つけ込まれてしまうでしょう

and into the hands of people who want a fog of confusion

そして 混乱の霧を望み AIを口実として利用する人々の

and will use AI as an excuse.

手に乗ることにもなります

How many people were taken in, just for a minute,

ほんの一瞬でも騙された人は どれくらいいますか

by the Pope in his dripped-out puffer jacket?

イケイケのダウンジャケットを着た 法王の画像です

You can admit it.

正直に認めていいですよ

(Laughter)

（笑）

More seriously,

もっと深刻な話をすると

how many of you know someone who's been scammed

我が子の声に聞こえる音声による詐欺の

by an audio that sounds like their kid?

被害者を知っている人は？

And for those of you who are thinking "I wasn't taken in,

こんな風に思っている人はいませんか？ 「私は騙されなかった

I know how to spot a deepfake,"

ディープフェイクを見抜ける」

any tip you know now is already outdated.

あなたが知っているどんなコツも もう時代遅れです

Deepfakes didn't blink, they do now.

ディープフェイクは瞬きをしなかった？ 今はします

Six-fingered hands were more common in deepfake land than real life --

ディープフェイクの世界では ６本指の手が一般的だった？

not so much.

今は違います

Technical advances erase those visible and audible clues

技術の進歩により 目に見える 耳に聞こえる手掛かりが消えてしまいます

that we so desperately want to hang on to

本物と偽物を見分ける証拠として

as proof we can discern real from fake.

私たちが必死につかまろうとする手掛かりが

But it also really shouldn’t be on us to make that guess without any help.

そもそも私たちは何の助けもなく その判断をするべきではありません

Between real deepfakes and claimed deepfakes,

ディープフェイクと 単なる候補を見極めるには

we need big-picture, structural solutions.

全体を見据えた 根本的な解決策が必要です

We need robust foundations

本物と偽物を

that enable us to discern authentic from simulated,

区別できるような堅固な基盤

tools to fortify the credibility of critical voices and images,

重要な音声や画像の信憑性を 裏付けるツール

and powerful detection technology

そして 狙ったものだけを検出する

that doesn't raise more doubts than it fixes.

強力な技術が必要なのです

There are three steps we need to take to get to that future.

そのような未来に到達するために 必要なステップは３つあります

Step one is to ensure that the detection skills and tools

１つ目のステップは 検出を行うためのスキルとツールを

are in the hands of the people who need them.

必要とする人々の手に確実に届けることです

I've talked to hundreds of journalists,

これまで対話をしてきた 何百人ものジャーナリスト

community leaders and human-rights defenders,

コミュニティのリーダーや人権保護活動者たち

and they're in the same boat as you and me and us.

彼らも あなたも私も 私たち全員 同じ立場にいるのです

They're listening to the audio, trying to think, "Can I spot a glitch?"

彼らは音声を聞いては 「不自然な点はないか」と考えます

Looking at the image, saying, "Oh, does that look right or not?"

画像を見ては 「おや これは本物かな」と言います

Or maybe they're going online to find a detector.

あるいはネットで検出ツールを 探しまわっているかもしれません

And the detector they find,

そして見つけた検出ツールの

they don't know whether they're getting a false positive, a false negative,

結果が偽陽性なのか偽陰性なのか それとも信頼に足るのか

or a reliable result.

判断できません

Here's an example.

１つ例を挙げましょう

I used a detector, which got the Pope in the puffer jacket right.

この検出ツールはダウンジャケットの 法王の画像を正しく判定しました

But then, when I put in the Easter bunny image that I made for my kids,

しかし 子供たちのために私が作った イースターバニーの画像を入れてみると

it said that it was human-generated.

人工的に生成されたものだと判定しました

This is because of some big challenges in deepfake detection.

これはディープフェイク検出における 大きな課題を示しています

Detection tools often only work on one single way to make a deepfake,

検出ツールは大抵一つの ディープフェイク生成方法に特化しているので

so you need multiple tools,

複数のツールが必要です

and they don't work well on low-quality social media content.

さらに品質の低いSNS上のコンテンツには その判定がうまく機能しないのです

Confidence score, 0.76-0.87,

判定に対する信頼度スコアが 0.76～0.87だったとして

how do you know whether that's reliable,

はたして信頼できる結果なのでしょうか？

if you don't know if the underlying technology is reliable,

基礎となる技術が信頼できるかどうか 分からない場合や

or whether it works on the manipulation that is being used?

その生成方法に対して 機能するかも分からない場合は？

And tools to spot an AI manipulation don't spot a manual edit.

また AI操作を検出するツールは手動による 編集を検出することができないのです

These tools also won't be available to everyone.

さらに これらのツールは誰でも自由に 利用できるというわけではありません

There's a trade-off between security and access,

安全性を高めるか 使いやすくするか どちらかを取るしかないのです

which means if we make them available to anyone,

つまり 誰でも利用できるようにしてしまうと

they become useless to everybody,

すべての人にとって 無用の長物になってしまいます

because the people designing the new deception techniques

なぜかというと 新しい偽造技術を設計する人々が

will test them on the publicly available detectors

公開された検出ツールを利用して テストを行い

and evade them.

回避してしまうからです

But we do need to make sure these are available

そうは言っても 利用を保証すべき人々もいます

to the journalists, the community leaders,

ジャーナリストやコミュニティリーダー

the election officials, globally, who are our first line of defense,

選挙管理官たち つまり守備の第一線にいる世界中の人々です

thought through with attention to real-world accessibility and use.

現実社会での利便性と実用性を よく考えればそうなります

Though at the best circumstances,

文句なしの状況が整っているような 場合であれば

detection tools will be 85 to 95 percent effective,

検出ツールは85%～95%の精度を期待でき これらは

they have to be in the hands of that first line of defense,

第一線でAIと戦う人々の手に 届けなければならないはずが

and they're not, right now.

現状はそうなっていません

So for step one, I've been talking about detection after the fact.

１つ目のステップは生成されたものを 検出する方法でした

Step two -- AI is going to be everywhere in our communication,

次に２つ目です AIは私たちの コミュニケーションのあらゆる場面において

creating, changing, editing.

作成 変更 編集に使われるようになります

It's not going to be a simple binary of "yes, it's AI" or "phew, it's not."

「はい これはAI」「いや 違う」 という単純な二択ではなくなるということです

AI is part of all of our communication,

AIがコミュニケーション全体の 一部になっていくので

so we need to better understand the recipe of what we're consuming.

消費しているものの成り立ちを よりしっかりと理解しておく必要があります

Some people call this content provenance and disclosure.

これをコンテンツ・プロヴェナンスや ディスクロージャーと呼ぶ人もいます

Technologists have been building ways to add invisible watermarking

技術者たちは AIで生成されたメディアに 見えない透かしを

to AI-generated media.

入れる方法を開発してきました

They've also been designing ways --

別の方法も現在 設計されていす

and I've been part of these efforts --

私もこの取り組みに参加していますが

within a standard called the C2PA,

C2PAと呼ばれる標準規格の中で

to add cryptographically signed metadata to files.

ファイルに暗号で署名された メタデータを追加するのです

This means data that provides details about the content,

このメタデータというのはコンテンツに関する 詳細な情報を提供するデータのことで

cryptographically signed in a way that reinforces our trust

情報に対する信頼を強化する方法で 暗号化された署名が

in that information.

埋め込まれています

It's an updating record of how AI was used to create or edit it,

ファイルの作成あるいは編集段階での AIの使途を記録する 更新可能なデータです

where humans and other technologies were involved,

人間や他の技術が どの部分に関わっており

and how it was distributed.

どのように配信されたかも記録します

It's basically a recipe and serving instructions

つまりAIと人間が協力して 作ったものについて

for the mix of AI and human

その作り方と提供方法が記録されており

that's in what you're seeing and hearing.

あなたが見聞きするものに組み込まれています

And it's a critical part of a new AI-infused media literacy.

これはAIを含む新しいメディアリテラシーの 欠かすことのできない部分となります

And this actually shouldn't sound that crazy.

実際 それほど奇妙な話には 聞こえないはずです

Our communication is moving in this direction already.

私たちのコミュニケーションは すでにこの方向に向かっています

If you're like me -- you can admit it --

正直になってください 私と同じように

you browse your TikTok “For You” page,

TikTokの「おすすめ」を閲覧する人は

and you're used to seeing videos that have an audio source,

よく目にしているはずですよね？ それらの動画には楽曲の音源

an AI filter, a green screen, a background,

AIフィルターやグリーンバック 背景が使われており

a stitch with another edit.

別の動画とつなぎ合わせてあったりする

This, in some sense, is the alpha version of this transparency

これは ある意味 現在主要なプラットフォームでの

in some of the major platforms we use today.

透明性に関する 開発初期段階の試作品です

It's just that it does not yet travel across the internet,

まだインターネット全体に 普及しているわけではなく

it’s not reliable, updatable, and it’s not secure.

信頼できるわけでも 更新可能でも安全でもありません

Now, there are also big challenges

信頼性に関するこの種のインフラには

in this type of infrastructure for authenticity.

大きな課題もあります

As we create these durable signs of how AI and human were mixed,

AIと人間がどのように協力しているかを示す 永続的な透かしを作成し

that carry across the trajectory of how media is made,

それがメディアの製作過程を伝達する際に

we need to ensure they don't compromise privacy or backfire globally.

プライバシーが侵害されたり 世界全体で逆効果となったりしてはいけません

We have to get this right.

正しい方法で行う必要があります

We can't oblige a citizen journalist filming in a repressive context

抑圧的な環境で撮影する市民ジャーナリストや

or a satirical maker using novel gen-AI tools

新しい生成AIツールを使って 権力者をパロディ化する

to parody the powerful ...

風刺作家に

to have to disclose their identity or personally identifiable information

カメラやChatGPTを使いたいなら 身元や個人を特定できる情報を開示しろと

in order to use their camera or ChatGPT.

義務付けることはできません

Because it's important they be able to retain their ability to have anonymity,

ツールの透明性の確保と同時に 匿名性を維持できる状況が

at the same time as the tool to create is transparent.

彼らにとって重要なことだからです

This needs to be about the how of AI-human media making,

これはAIと人間がメディアを 「どう」製作するかであって

not the who.

「誰が」ではありません

This brings me to the final step.

いよいよ最後のステップです

None of this works without a pipeline of responsibility

これまで話したことは 責任の連鎖なしにはどれひとつ機能しません

that runs from the foundation models and the open-source projects

基盤となるモデルや オープンソースのプロジェクトから

through to the way that is deployed into systems, APIs and apps,

システムやAPI そしてアプリへと 展開していく過程を経て

to the platforms where we consume media and communicate.

メディアを使いコミュニケーションを行う プラットフォームまで全部です

I've spent much of the last 15 years fighting, essentially, a rearguard action,

私は過去15年間にわたり実質のところ 最後の尻ぬぐいをしてきました

like so many of my colleagues in the human rights world,

人権擁護の世界にいる多くの仲間と同じように

against the failures of social media.

SNSの失敗の後始末をしてきたのです

We can't make those mistakes again in this next generation of technology.

技術が次世代の局面を迎える今 同じ過ちを繰り返すわけにはいきません

What this means is that governments

つまり私が言いたいのは政府が

need to ensure that within this pipeline of responsibility for AI,

AIにまつわる責任の連鎖の中に 透明性と説明責任そして法的責任を

there is transparency, accountability and liability.

しっかりと確保しなければならないのです

Without these three steps --

この３つのステップー

detection for the people who need it most,

最も必要とする人々のために 検出を可能にすること

provenance that is rights-respecting

権利を尊重するプロヴェナンス

and that pipeline of responsibility,

それと責任の連鎖がなければ

we're going to get stuck looking in vain for the six-fingered hand,

６本の指が生えた手や 瞬きをすることのない目を

or the eyes that don't blink.

無駄に探し続けることになるでしょう

We need to take these steps.

これらのステップが私たちには必要です

Otherwise, we risk a world where it gets easier and easier

でないと現実の偽造と 現実を偽物かもしれないと片付けることが

to both fake reality

どちらも簡単になるという

and dismiss reality as potentially faked.

リスクを背負うことになります

And that is a world that the political philosopher Hannah Arendt

政治哲学者のハンナ・アーレントは このような世界について

described in these terms:

次の言葉を残しています

"A people that no longer can believe anything

「もはや何をも信じることが できなくなった人々は

cannot make up its own mind.

自分の考えを持てなくなる

It is deprived not only of its capacity to act

それはつまり 行動する能力を奪われてしまうだけでなく

but also of its capacity to think and to judge.

考える能力や判断する能力も 奪われてしまうということだ

And with such a people you can then do what you please."

人々がそうなれば 好き勝手ふるまうことができる」

That's a world I know none of us want,

誰も望まないこんな世界になることを

that I think we can prevent.

私たちは防げると信じています

Thanks.

ありがとうございました

(Cheers and applause)

（歓声と拍手）