How deepfakes undermine truth and threaten democracy | Danielle Citron

翻訳: Mishima Ryosuke 校正: Masaki Yanagishita

[This talk contains mature content]

［このトークには 成人向けの内容が含まれます］

Rana Ayyub is a journalist in India

ラナ・アイユーブはインドの記者で

whose work has exposed government corruption

政府の汚職や人権侵害を 記事にしてきました

and human rights violations.

And over the years,

何年も経つうちに

she's gotten used to vitriol and controversy around her work.

彼女は自分の仕事への 非難や論争に慣れてきました

But none of it could have prepared her for what she faced in April 2018.

しかし 2018年4月に直面したことは 予期していなかったでしょう

She was sitting in a café with a friend when she first saw it:

最初にそれを目にしたとき 彼女は友人とカフェで座っていました

a two-minute, 20-second video of her engaged in a sex act.

彼女が見たものは 2分20秒の自分のセックスの動画でした

And she couldn't believe her eyes.

彼女は目を疑いました

She had never made a sex video.

セックスの動画を撮ったことなど １度もありませんでした

But unfortunately, thousands upon thousands of people

しかし 悲しいことに大勢の人々が

would believe it was her.

動画に映っているのは彼女だと思いました

I interviewed Ms. Ayyub about three months ago,

性的プライバシーに関する本を 書いていた私は

in connection with my book on sexual privacy.

３ヶ月前 彼女にインタビューをしました

I'm a law professor, lawyer and civil rights advocate.

私は法律学の教授で 弁護士で市民権を支持しています

So it's incredibly frustrating knowing that right now,

ですから 今の法律が彼女を助けるために ほぼ何もできないことを知っていて

law could do very little to help her.

非常に悔しい思いをしています

And as we talked,

話の中で彼女は

she explained that she should have seen the fake sex video coming.

偽物のセックス動画が作られることを 想定しておくべきだったと言いました

She said, "After all, sex is so often used to demean and to shame women,

「結局 セックスは女性の品位を落とし 辱める常套手段なのです

especially minority women,

特に少数派女性たち

and especially minority women who dare to challenge powerful men,"

とりわけ権力のある男性に敢然と立ち向かう 少数派の女性を辱めるためです」

as she had in her work.

彼女も権力に立ち向かってきました

The fake sex video went viral in 48 hours.

偽物のセックスの動画は 48時間で拡散しました

All of her online accounts were flooded with screenshots of the video,

彼女の全てのオンラインアカウントは 動画のスクリーンショットや

with graphic rape and death threats

生々しい性的暴行や殺害の予告

and with slurs about her Muslim faith.

イスラム教徒である彼女の 信仰に関する中傷で溢れました

Online posts suggested that she was "available" for sex.

オンラインの掲示板には彼女がセックスに 「いつでも応ずる」と書かれました

And she was doxed,

さらに 彼女は「晒され」ました

which means that her home address and her cell phone number

つまり 彼女の住所と電話番号が

were spread across the internet.

ネット上に広まったのです

The video was shared more than 40,000 times.

その動画は４万回以上も共有されました

Now, when someone is targeted with this kind of cybermob attack,

誰かがこの種の サイバーモブ攻撃の標的にされると

the harm is profound.

その被害は甚大です

Rana Ayyub's life was turned upside down.

ラナ・アイユーブの人生は 滅茶苦茶になりました

For weeks, she could hardly eat or speak.

数週間 彼女は食事も会話も ほとんどできなくなりました

She stopped writing and closed all of her social media accounts,

記事の執筆をやめて ソーシャルメディアの アカウントも全て閉鎖しました

which is, you know, a tough thing to do when you're a journalist.

ご存知の通り ジャーナリストとして この行為はつらい決断です

And she was afraid to go outside her family's home.

彼女は実家を出ることが怖くなりました

What if the posters made good on their threats?

もし投稿者が脅迫を実行したら どうなるでしょう？

The UN Council on Human Rights confirmed that she wasn't being crazy.

国連人権理事会は 彼女が正気であることを確認し

It issued a public statement saying that they were worried about her safety.

安全上の懸念があるという 声明を発表しました

What Rana Ayyub faced was a deepfake:

ラナ・アイユーブが直面したものは ディープフェイクです

machine-learning technology

機械学習の技術で

that manipulates or fabricates audio and video recordings

音声や動画を改ざんしたり 捏造して

to show people doing and saying things

本人が実際にしていないことや 言っていないことを

that they never did or said.

したように見せかけます

Deepfakes appear authentic and realistic, but they're not;

ディープフェイクは本物そっくりに 見えますが それは違っていて

they're total falsehoods.

完全な偽物です

Although the technology is still developing in its sophistication,

この技術は現在 まだ完成途上ですが

it is widely available.

簡単に利用出来ます

Now, the most recent attention to deepfakes arose,

最近 ディープフェイクに 注目が集まった分野は

as so many things do online,

ネット上のあらゆるものが 注目している分野―

with pornography.

ポルノグラフィです

In early 2018,

2018年の初頭

someone posted a tool on Reddit

誰かがRedditに あるツールを投稿しました

to allow users to insert faces into porn videos.

ポルノ動画に別人の顔を はめられるようにするものです

And what followed was a cascade of fake porn videos

そして 自分たちの好きな女性有名人の

featuring people's favorite female celebrities.

偽物のポルノ動画が次々と作られました

And today, you can go on YouTube and pull up countless tutorials

今ではYouTubeを見れば 無数のチュートリアルを見つけて

with step-by-step instructions

デスクトップアプリケーション上での

on how to make a deepfake on your desktop application.

ディープフェイクの作り方を 順を追って学習することができます

And soon we may be even able to make them on our cell phones.

もうすぐ 携帯でも動画を 作れるようになるかもしれません

Now, it's the interaction of some of our most basic human frailties

私たち人間の弱い部分と ネットワークツールの相互作用によって

and network tools

that can turn deepfakes into weapons.

ディープフェイクが凶器となりうるのです

So let me explain.

では 説明しましょう

As human beings, we have a visceral reaction to audio and video.

私たちは人間として 音や動画に対して 本能的な反応をします

We believe they're true,

私たちはそれらを正しいと感じますが

on the notion that of course you can believe

それは 自分の目や耳で体感したことは

what your eyes and ears are telling you.

信じられるはずという 考えに基づいています

And it's that mechanism

この仕組みがあるため

that might undermine our shared sense of reality.

私たちの共有する現実感を 損ないかねません

Although we believe deepfakes to be true, they're not.

私たちはディープフェイクを 本物であると感じますが 実際は違います

And we're attracted to the salacious, the provocative.

私たちは猥褻で刺激的なものに 惹きつけられます

We tend to believe and to share information

否定的で 今までにない情報を信じて 共有する傾向があります

that's negative and novel.

And researchers have found that online hoaxes spread 10 times faster

研究者たちはオンラインのデマが正しい情報の

than accurate stories.

10倍速く広まることを発見しました

Now, we're also drawn to information

また 私たちは自分のものの見方に合う 情報に引き付けられます

that aligns with our viewpoints.

Psychologists call that tendency "confirmation bias."

心理学者はこの傾向を 「確証バイアス」と呼んでいます

And social media platforms supercharge that tendency,

ソーシャルメディアプラットフォームは

by allowing us to instantly and widely share information

私たちの見方に合う情報を 即座に広く共有できるようにすることで

that accords with our viewpoints.

確証バイアスを強化します

Now, deepfakes have the potential to cause grave individual and societal harm.

今や ディープフェイクは個人と社会に 深刻な被害を及ぼす可能性があります

So, imagine a deepfake

アフガニスタンにいるアメリカ兵が

that shows American soldiers in Afganistan burning a Koran.

イスラム教の聖典を燃やしている ディープフェイク動画を想像してください

You can imagine that that deepfake would provoke violence

その動画が兵士たちへの 暴力を招くことは

against those soldiers.

容易に想像できます

And what if the very next day

そして もし翌日に

there's another deepfake that drops,

ロンドンに拠点を置く 有名なイスラム教の指導者が

that shows a well-known imam based in London

兵士たちへの攻撃を賞賛する 別のディープフェイク動画が

praising the attack on those soldiers?

投稿されたらどうでしょうか？

We might see violence and civil unrest,

アフガニスタンとイギリスだけでなく

not only in Afganistan and the United Kingdom,

世界中で暴力と社会不安が 起こるかもしれません

but across the globe.

And you might say to me,

私にこう言う方もいるかもしれません

"Come on, Danielle, that's far-fetched."

「ダニエルさん 考えすぎだよ」と

But it's not.

考えすぎではありません

We've seen falsehoods spread

WhatsAppやそれ以外の

on WhatsApp and other online message services

オンラインメッセージサービスで 広まった噂によって

lead to violence against ethnic minorities.

少数民族への暴力が起こっています

And that was just text --

それらはただの文章でしたが

imagine if it were video.

動画なら どうだったでしょう

Now, deepfakes have the potential to corrode the trust that we have

ディープフェイクは　 私たちが持つ民主主義制度への

in democratic institutions.

信頼を失わせる可能性があります

So, imagine the night before an election.

選挙前日の夜を想像してください

There's a deepfake showing one of the major party candidates

優位政党の候補者の１人が 重病にかかっている

gravely sick.

ディープフェイク動画があるとします

The deepfake could tip the election

そのディープフェイクが選挙をひっくり返し

and shake our sense that elections are legitimate.

選挙が公正であるという感覚を 揺るがす可能性があります

Imagine if the night before an initial public offering

大手のグローバル銀行の 新規上場株の公開の前夜に

of a major global bank,

there was a deepfake showing the bank's CEO

銀行のCEOが酔って 陰謀論をベラベラしゃべる

drunkenly spouting conspiracy theories.

ディープフェイク動画が 出ることを想像してください

The deepfake could tank the IPO,

IPOは失敗し

and worse, shake our sense that financial markets are stable.

ひどければ 金融市場が安定しているという 感覚を揺るがす可能性があります

So deepfakes can exploit and magnify the deep distrust that we already have

ディープフェイクは政治家やビジネスリーダー その他の有力なリーダーに対して

in politicians, business leaders and other influential leaders.

私たちが すでに持っている深い不信感を 悪用し増幅させることができます

They find an audience primed to believe them.

ディープフェイクは 信じそうな聴衆を見つけます

And the pursuit of truth is on the line as well.

そして 真実の追求も同様な危険に 曝されています

Technologists expect that with advances in AI,

技術者はAIの進歩を予想しています

soon it may be difficult if not impossible

本物と偽物の動画の違いを見分けることは

to tell the difference between a real video and a fake one.

不可能ではないにしても 難しくなるかもしれません

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

フェイクだらけの「思想の自由市場」に 真実など見いだせるでしょうか？

Will we just proceed along the path of least resistance

障害が最も少ない道を選んで

自分たちが信じたいことを信じて

and believe what we want to believe,

truth be damned?

真実を永久に無視するだけでしょうか？

And not only might we believe the fakery,

それから 偽物を信じるだけでなく

we might start disbelieving the truth.

真実を信じないということが 起き始めるかもしれません

We've already seen people invoke the phenomenon of deepfakes

ディープフェイクを使って 自分の不正行為の物的証拠に

to cast doubt on real evidence of their wrongdoing.

疑問を生じさせようとする人が すでに現れています

We've heard politicians say of audio of their disturbing comments,

自分がした不都合な発言の録音ついて こう発言した政治家が何人もいました

"Come on, that's fake news.

「まさか それはフェイクニュースだよ

You can't believe what your eyes and ears are telling you."

見聞きしたものを全部信じちゃ いけないよ」と

And it's that risk

それはロバート・チェズニー教授と私が 「嘘つきの分け前」と呼ぶリスクです

that professor Robert Chesney and I call the "liar's dividend":

the risk that liars will invoke deepfakes

嘘つきが 自分の悪行の 責任から逃れるために

to escape accountability for their wrongdoing.

ディープフェイクを持ち出す リスクのことです

So we've got our work cut out for us, there's no doubt about it.

私たちのすべき仕事がはっきりしました 疑いの余地はありません

And we're going to need a proactive solution

テクノロジー企業や議員

from tech companies, from lawmakers,

警察やメディアによる

law enforcers and the media.

予防的解決策が必要になるでしょう

And we're going to need a healthy dose of societal resilience.

そして 社会的レジリエンスが かなり必要になります

So now, we're right now engaged in a very public conversation

そこで テクノロジー企業の責任について

about the responsibility of tech companies.

公開の対話を広く実施しています

And my advice to social media platforms

ソーシャルメディアプラットフォームに対する 私のアドバイスは

has been to change their terms of service and community guidelines

被害を引き起こす ディープフェイクを禁止するために

to ban deepfakes that cause harm.

利用規約とコミュニティガイドラインを 変更することです

That determination, that's going to require human judgment,

この決定には人間の判断が必要とされ

and it's expensive.

コストがかかるでしょう

But we need human beings

けれども ディープフェイクの 内容や文脈を検討して

to look at the content and context of a deepfake

to figure out if it is a harmful impersonation

それが有害な偽物なのか それとも

or instead, if it's valuable satire, art or education.

価値のある風刺や芸術 教育なのかを 見極めるには 人間の力が必要です

So now, what about the law?

では 法律面はどうでしょう？

Law is our educator.

法律は私たちの先生です

It teaches us about what's harmful and what's wrong.

何が良くないもので 何が間違っているものかを教えてくれます

And it shapes behavior it deters by punishing perpetrators

加害者を罰して 被害者の救済策を確保することで

and securing remedies for victims.

抑止すべき行動を決定します

Right now, law is not up to the challenge of deepfakes.

現在 法律はディープフェイクという 新たな問題に対応できていません

Across the globe,

世界中で 性的プライバシーを侵害し

we lack well-tailored laws

that would be designed to tackle digital impersonations

評判を傷つけ 精神的苦痛を引き起こす

that invade sexual privacy,

なりすまし行為に対応できるように設計され

that damage reputations

and that cause emotional distress.

適切に定められた法律がありません

What happened to Rana Ayyub is increasingly commonplace.

ラナ・アイユーブに起きたことは ありふれたことになりつつあります

Yet, when she went to law enforcement in Delhi,

彼女がデリーの警察に行ったとき

she was told nothing could be done.

出来ることは何もないと言われたそうです

And the sad truth is that the same would be true

悲しいことに アメリカやヨーロッパにも

in the United States and in Europe.

同じことが当てはまります

So we have a legal vacuum that needs to be filled.

法律に埋めなければならない 空白があるのです

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

同僚のメアリー・アン・フランクス博士と私は

to devise legislation that would ban harmful digital impersonations

米国の議員と協力して 身元の盗用に当たる 有害なデジタルのなりすましを

that are tantamount to identity theft.

禁止する法律を考案しています

And we've seen similar moves

また似たような取り組みが

in Iceland, the UK and Australia.

アイスランドやイギリス オーストラリアでも進んでいます

But of course, that's just a small piece of the regulatory puzzle.

ただ これは規制というパズルの ほんの１ピースに過ぎません

Now, I know law is not a cure-all. Right?

法律で全部解決する訳ではありませんよね

It's a blunt instrument.

法律は鈍器のようなもので

And we've got to use it wisely.

賢く使わねばなりません

It also has some practical impediments.

法律は実用的な障害も抱えています

You can't leverage law against people you can't identify and find.

身元の特定や探すことが出来ない人々に対して 法律は適用できないのです

And if a perpetrator lives outside the country

被害者の住む国に加害者がいない場合

where a victim lives,

then you may not be able to insist

正当な裁判を受けさせるため

that the perpetrator come into local courts

地元の裁判所に来ることを 要求できないかもしれません

to face justice.

And so we're going to need a coordinated international response.

したがって 各国が協調して 対応する必要があるでしょう

Education has to be part of our response as well.

私たちの対応には 教育も 含まれなければなりません

Law enforcers are not going to enforce laws

警察が 自分たちの知らない法律を 順守させることはないし

they don't know about

理解していない問題を

and proffer problems they don't understand.

提起することもありません

In my research on cyberstalking,

サイバーストーカーに関する私の調査で

I found that law enforcement lacked the training

警察には利用可能な法律と

to understand the laws available to them

オンラインでの虐待の問題を 理解するための訓練が

and the problem of online abuse.

欠けていることがわかりました

And so often they told victims,

彼らは頻繁に被害者にこう言いました

"Just turn your computer off. Ignore it. It'll go away."

「コンピューターの電源を切るだけです 無視してください 解決しますから」と

And we saw that in Rana Ayyub's case.

ラナのときもそうでした

She was told, "Come on, you're making such a big deal about this.

彼女は こう言われたのです 「たいしたことない　騒ぎ過ぎです

It's boys being boys."

男の子のいたずらみたいなものですよ」

And so we need to pair new legislation with efforts at training.

新しい法律と訓練を 組み合わせる必要があります

And education has to be aimed on the media as well.

また メディアで 教育する必要もあります

Journalists need educating about the phenomenon of deepfakes

記者はディープフェイクという現象について 教育する必要があります

so they don't amplify and spread them.

ディープフェイクを増長させたり 広めたりしないためです

And this is the part where we're all involved.

これは私たち全員が関わっていることです

Each and every one of us needs educating.

私たち一人一人が教育する必要があります

We click, we share, we like, and we don't even think about it.

私たちはクリックし 共有し いいねを押し そのことについて考えません

We need to do better.

もっと努力が必要です

We need far better radar for fakery.

偽物をもっとよく見分ける手段が必要です

So as we're working through these solutions,

これらの解決策で取り組んでいくと

there's going to be a lot of suffering to go around.

多くの苦労が待ち受けています

Rana Ayyub is still wrestling with the fallout.

ラナ・アイユーブは 今だにフェイクの余波と闘っています

She still doesn't feel free to express herself on- and offline.

彼女は今でもオンラインでもオフラインでも 自分を表現することはできません

And as she told me,

そして こう話してくれました

she still feels like there are thousands of eyes on her naked body,

あのフェイクは自分の体ではなかったと 頭ではわかっていても

even though, intellectually, she knows it wasn't her body.

今も自分の裸体に何千という 視線が注がれている気がすると

And she has frequent panic attacks,

知らない誰かが写真を撮ろうとすると

especially when someone she doesn't know tries to take her picture.

彼女は頻繁にパニック発作を起こします

"What if they're going to make another deepfake?" she thinks to herself.

「ディープフェイクを作る気だったら」と 考えてしまうからです

And so for the sake of individuals like Rana Ayyub

だから ラナ・アイユーブのような個人のため

and the sake of our democracy,

そして 私たちの民主主義のために

we need to do something right now.

私たちは今すぐ 行動を起こす必要があるのです

Thank you.

ありがとうございました

(Applause)

(拍手)