How we can protect truth in the age of misinformation | Sinan Aral

Translator: Ivana Korom Reviewer: Krystian Aparta

翻訳: Kyohei Uto 校正: Eriko Tsukamoto

So, on April 23 of 2013,

2013年 ４月23日

the Associated Press put out the following tweet on Twitter.

AP通信は次のようなツイートを 投稿しました

It said, "Breaking news:

「速報

Two explosions at the White House

ホワイトハウスで２度の爆発

and Barack Obama has been injured."

バラク・オバマ大統領が負傷」

This tweet was retweeted 4,000 times in less than five minutes,

このツイートは５分足らずで 4000回以上リツイートされ

and it went viral thereafter.

その後 バズりました

Now, this tweet wasn't real news put out by the Associated Press.

しかし これはAP通信によって出された 本物のニュースではなく

In fact it was false news, or fake news,

虚偽のニュース フェイクニュースだったのです

that was propagated by Syrian hackers

これはAP通信のツイッターを乗っ取った

that had infiltrated the Associated Press Twitter handle.

シリアのハッカーたちによって 流布されたものでした

Their purpose was to disrupt society, but they disrupted much more.

社会を混乱させるのが彼らの目的でしたが 混乱は予想を超えました

Because automated trading algorithms

自動化された市場取引のアルゴリズムが

immediately seized on the sentiment on this tweet,

このツイートによる市場心理の変化を 瞬時に察知し

and began trading based on the potential

アメリカ大統領がこの爆発で負傷―

that the president of the United States had been injured or killed

もしくは殺されたという見込みで

in this explosion.

取引を始めたからです

And as they started tweeting,

ツイートが投稿されると

they immediately sent the stock market crashing,

株式市場はすぐに大混乱に陥りました

wiping out 140 billion dollars in equity value in a single day.

たった１日で 1400億ドルに相当する 株式価値が消し飛びました

Robert Mueller, special counsel prosecutor in the United States,

アメリカ合衆国特別検察官 ロバート・モラーは

issued indictments against three Russian companies

ロシアの会社３社と13人のロシア人を

and 13 Russian individuals

2016年のアメリカ大統領選に干渉して

on a conspiracy to defraud the United States

アメリカに対し詐欺を働こうとした罪で

by meddling in the 2016 presidential election.

起訴しています

And what this indictment tells as a story

起訴された会社の１つは

is the story of the Internet Research Agency,

「インターネット・リサーチ・ エージェンシー」

the shadowy arm of the Kremlin on social media.

ソーシャルメディアに携わる クレムリンの影の機関です

During the presidential election alone,

大統領選期間中だけでも

the Internet Agency's efforts

インターネット・エージェンシーは

reached 126 million people on Facebook in the United States,

フェイスブック上で １億2600万人のアメリカ人にリーチし

issued three million individual tweets

300万もの個人名義のツイートをし

and 43 hours' worth of YouTube content.

43時間分のYoutubeの動画を 作成しました

All of which was fake --

そのすべてがフェイク つまり―

misinformation designed to sow discord in the US presidential election.

アメリカ大統領選で不和の種を 蒔くために作られたデマ情報でした

A recent study by Oxford University

オックスフォード大による 近年の研究によると

showed that in the recent Swedish elections,

最近のスウェーデンの選挙では

one third of all of the information spreading on social media

ソーシャルメディアで拡散された 選挙に関する全情報のうち

about the election

３分の１が

was fake or misinformation.

フェイクかデマ情報でした

In addition, these types of social-media misinformation campaigns

さらに こうしたソーシャルメディア上の デマ情報活動というのは

can spread what has been called "genocidal propaganda,"

「集団虐殺プロパガンダ」と呼ばれてきた ものを拡散させかねません

for instance against the Rohingya in Burma,

たとえばミャンマーでの ロヒンギャを対象にしたものや

triggering mob killings in India.

インドでのリンチ殺人の 引き金になったものです

We studied fake news

私たちはこの言葉が一般的なものになる前から

and began studying it before it was a popular term.

フェイクニュースを研究してきました

And we recently published the largest-ever longitudinal study

そして最近 ネットでの フェイクニュースの広がりについて

of the spread of fake news online

史上最大規模の長期研究の成果を 発表し

on the cover of "Science" in March of this year.

それが今年の３月の「サイエンス」誌の 表紙を飾りました

We studied all of the verified true and false news stories

研究対象にしたのは ツイッターが サービスを開始した2006年から

that ever spread on Twitter,

2017年までの間に拡散された

from its inception in 2006 to 2017.

裏の取れている真実のニュースと 虚偽のニュース全部です

And when we studied this information,

これらの情報を調べるにあたり

we studied verified news stories

６つの独立した ファクトチェック機関によって

that were verified by six independent fact-checking organizations.

確認されたニュースを扱いました

So we knew which stories were true

ですからどのニュースが真実で

and which stories were false.

どれが虚偽なのか 分かっていました

We can measure their diffusion,

調べたのはニュースの拡散の度合いや

the speed of their diffusion,

拡散するスピード

the depth and breadth of their diffusion,

拡散の深さと広がり

how many people become entangled in this information cascade and so on.

どれくらい多くの人が その情報の 流れに巻き込まれたか などです

And what we did in this paper

さらに この論文では

was we compared the spread of true news to the spread of false news.

真実のニュースと虚偽のニュースの 拡散スピードを比較しました

And here's what we found.

その結果分かったのは

We found that false news diffused further, faster, deeper

虚偽のニュースは 真実よりも 遠くまで 速く 深く

and more broadly than the truth

そして大勢の人に広まるということです

in every category of information that we studied,

それも 研究対象にしたどのカテゴリの 情報においてもです

sometimes by an order of magnitude.

その差が桁違いというケースもありました

And in fact, false political news was the most viral.

とりわけ 虚偽の政治ニュースは もっともバズりやすいものでした

It diffused further, faster, deeper and more broadly

ほかのどの種類のニュースよりも 遠くまで 速く

than any other type of false news.

深く 大勢の人に広まったのです

When we saw this,

このことを発見したとき

we were at once worried but also curious.

私たちは心配になると同時に 好奇心も覚えました

Why?

なぜ？

Why does false news travel so much further, faster, deeper

なぜ虚偽のニュースは真実よりも ずっと遠くまで 速く 深く

and more broadly than the truth?

大勢の人に届くのか？

The first hypothesis that we came up with was,

私たちが思いついた第一の仮説は こういうものでした

"Well, maybe people who spread false news have more followers or follow more people,

「虚偽のニュースを広めている人たちは フォロー・フォロワー数が多いとか

or tweet more often,

ツイートの頻度が高いとか

or maybe they're more often 'verified' users of Twitter, with more credibility,

ツイッターの認証を受けていて より信頼性が高いとか

or maybe they've been on Twitter longer."

ツイッターの利用時間が多いとか だろう」

So we checked each one of these in turn.

そこでこれらの仮説を １つずつ検証してみました

And what we found was exactly the opposite.

ところが まったく逆でした

False-news spreaders had fewer followers,

虚偽のニュースを広めている人は フォロー数が少なく

followed fewer people, were less active,

フォロワー数も少なく アクティブでもなく

less often "verified"

認証を受けていないことが多く

and had been on Twitter for a shorter period of time.

ツイッターの利用時間も短かったのです

And yet,

さらに

false news was 70 percent more likely to be retweeted than the truth,

これら全てと 他の多くの要素を 調整すると 虚偽のニュースは

controlling for all of these and many other factors.

真実よりも 70％も リツイート されやすいことがわかりました

So we had to come up with other explanations.

ですから 他の説明を 探す必要がありました

And we devised what we called a "novelty hypothesis."

それで考えついたのが 「新奇性仮説」と呼んでいるものです

So if you read the literature,

記事を読む人の注目というのは

it is well known that human attention is drawn to novelty,

新奇性へと吸い寄せられることが よく知られています

things that are new in the environment.

新奇性とは その環境において 新しいものです

And if you read the sociology literature,

社会学の文献を読んだことがあれば

you know that we like to share novel information.

人は新奇性の高い情報を共有したく なるものだとご存知でしょう

It makes us seem like we have access to inside information,

そうすることで 内部情報へのアクセスを 持っているように見えますし

and we gain in status by spreading this kind of information.

新奇性のある情報を広げることで 自分の地位が高まるからです

So what we did was we measured the novelty of an incoming true or false tweet,

そこで 流れてくる真実 あるいは 虚偽のツイートの新奇性を測るために

compared to the corpus of what that individual had seen

当該のツイートを その人がツイッター上で その前の60日間に見た情報と比較しました

in the 60 days prior on Twitter.

But that wasn't enough, because we thought to ourselves,

でもこれでは不十分でした 内心ではこう考えていたからです

"Well, maybe false news is more novel in an information-theoretic sense,

「虚偽のニュースは情報理論的な意味では 真実よりも新奇性があるかもしれないが

but maybe people don't perceive it as more novel."

だからといって より新奇性があると 人々が思うとは限らない」

So to understand people's perceptions of false news,

ですから 虚偽のニュースが どう受け止められるかを理解するために

we looked at the information and the sentiment

真実のツイートと虚偽のツイートへの リプライに含まれている

contained in the replies to true and false tweets.

情報と感情を検証してみることにしました

And what we found

その結果―

was that across a bunch of different measures of sentiment --

それぞれに異なる種類の感情として

surprise, disgust, fear, sadness,

ここでは 驚き 嫌悪 恐怖 悲しみ

anticipation, joy and trust --

期待 喜び そして信頼を考えましたが

false news exhibited significantly more surprise and disgust

虚偽のツイートへのリプライには 驚き そして嫌悪が

in the replies to false tweets.

有意に多く含まれていたことが分かりました

And true news exhibited significantly more anticipation,

そして真実のツイートへのリプライには

期待や喜び そして信頼が

joy and trust

in reply to true tweets.

有意に多く含まれていました

The surprise corroborates our novelty hypothesis.

この驚きの発見は 私たちの新奇性仮説を裏付けるものです

This is new and surprising, and so we're more likely to share it.

新しくて驚かされるものは 共有したい気持ちが高まるのです

At the same time, there was congressional testimony

そして同じころ アメリカでは両議会で

in front of both houses of Congress in the United States,

議会証言が行われていました

looking at the role of bots in the spread of misinformation.

デマ情報の拡散で ボットが どんな役割を果たしているかについてでした

So we looked at this too --

これについても調べてみました

we used multiple sophisticated bot-detection algorithms

複数の高性能な ボット検出アルゴリズムを用いて

to find the bots in our data and to pull them out.

データの中のボットを見つけ 取り出します

So we pulled them out, we put them back in

そして取り出した場合と ボットも含む場合とで

and we compared what happens to our measurement.

計測結果がどう変化するか 比較しました

And what we found was that, yes indeed,

これで分かったのは そう 確かに

bots were accelerating the spread of false news online,

ボットはネットの虚偽ニュースの 拡散を加速させていましたが

but they were accelerating the spread of true news

真実のニュースの拡散もほぼ同じ度合いで

at approximately the same rate.

加速させていました

Which means bots are not responsible

つまり ボットの存在では ネットにおける

for the differential diffusion of truth and falsity online.

真実と虚偽の拡散度合いの違いを 説明できなかったのです

We can't abdicate that responsibility,

私たちがこの説明責任を 放棄することはできません

because we, humans, are responsible for that spread.

なぜなら私たち人間こそが 虚偽の情報の拡散の責任を負っているからです

Now, everything that I have told you so far,

さて ここまでお話したことはすべて

unfortunately for all of us,

大変残念ながら―

is the good news.

まだマシなお知らせです

The reason is because it's about to get a whole lot worse.

というのも まさにこれから 何もかもが どんどん悪化していくところだからです

And two specific technologies are going to make it worse.

事態を悪化させるのは ２つのテクノロジーです

We are going to see the rise of a tremendous wave of synthetic media.

合成メディアの巨大な波が 今押し寄せようとしているのです

Fake video, fake audio that is very convincing to the human eye.

人の目にとって 極めてもっともらしい フェイク動画やフェイク音声です

And this will powered by two technologies.

２つのテクノロジーが この巨大な波を推進していくでしょう

The first of these is known as "generative adversarial networks."

１つめは「敵対的生成ネットワーク （GANs）」と呼ばれるもの

This is a machine-learning model with two networks:

これは機械学習モデルで ２つのネットワークから成ります

a discriminator,

１つは識別ネットワーク

whose job it is to determine whether something is true or false,

ある情報が真実か虚偽かを 決定する役割を持ちます

and a generator,

そして生成ネットワーク

whose job it is to generate synthetic media.

合成動画を出力する役割を持ちます

So the synthetic generator generates synthetic video or audio,

生成ネットワークが 合成動画や音声を出力すると

and the discriminator tries to tell, "Is this real or is this fake?"

識別ネットワークがこれが「リアルか フェイクか」を判定しようとします

And in fact, it is the job of the generator

生成ネットワークの仕事というのは

to maximize the likelihood that it will fool the discriminator

作り出す動画や音声がリアルだと 識別ネットワークを騙せるまで

into thinking the synthetic video and audio that it is creating

合成動画のもっともらしさを

is actually true.

最大化することなのです

Imagine a machine in a hyperloop,

これは 機械が処理を高速で繰り返し

trying to get better and better at fooling us.

人間を騙すテクを どんどん 磨こうとするようなものです

This, combined with the second technology,

これが ２つめのテクノロジーと合体します

which is essentially the democratization of artificial intelligence to the people,

そのテクノロジーは本質的には AIの民主化ともいうべきものです

the ability for anyone,

誰でも

without any background in artificial intelligence

AIや機械学習の基礎知識がなくても 合成メディアを出力するための

or machine learning,

to deploy these kinds of algorithms to generate synthetic media

この手のアルゴリズムを使えるようになる AIの民主化

makes it ultimately so much easier to create videos.

これがGANsと融合し 合成動画を 作り出すことが果てしなく簡単になるのです

The White House issued a false, doctored video

たとえばホワイトハウスは 虚偽の加工動画を公開しました

of a journalist interacting with an intern who was trying to take his microphone.

これはホワイトハウスのインターンが記者から マイクを返してもらおうとしたときの動画で

They removed frames from this video

動画から数フレームを取り除き

in order to make his actions seem more punchy.

記者の動きを より攻撃的に 見せようとしたものです

And when videographers and stuntmen and women

映像作家やスタントを仕事とする人たちは

were interviewed about this type of technique,

この手の技術について聞かれて

they said, "Yes, we use this in the movies all the time

こう答えていました 「ええ 映画ではいつも使っていますよ

to make our punches and kicks look more choppy and more aggressive."

パンチやキックをより激しく 攻撃的に見せるためにね」

They then put out this video

でも この加工動画の目的の一部は

and partly used it as justification

ジム・アコスタという記者から

to revoke Jim Acosta, the reporter's, press pass

ホワイトハウスへの入館許可証を はく奪するのを

from the White House.

正当化するためでした

And CNN had to sue to have that press pass reinstated.

CNNは許可証を取り戻すために 政権を提訴しなければなりませんでした

There are about five different paths that I can think of that we can follow

これらは非常に難しい問題ですが その一部にでも取り組み 解決するために

to try and address some of these very difficult problems today.

５つの手段があると私は見ています

Each one of them has promise,

それぞれに可能性がありますが

but each one of them has its own challenges.

また それぞれに課題もあります

The first one is labeling.

１つめはラベリング

Think about it this way:

こういうものです

when you go to the grocery store to buy food to consume,

食料品店に行って食べ物を買うとします

it's extensively labeled.

どの商品もラベルがついていますね

You know how many calories it has,

カロリーはどれくらいか

how much fat it contains --

どれくらい脂肪分が含まれているか

and yet when we consume information, we have no labels whatsoever.

けれど情報を消費するときは ラベルなんて全然ついていません

What is contained in this information?

この情報には何が含まれているか？

Is the source credible?

情報源は信頼できるか？

Where is this information gathered from?

どこで集められた情報か？

We have none of that information

こうしたことを 何も知らずに

when we are consuming information.

情報を消費しているのです

That is a potential avenue, but it comes with its challenges.

情報へのラベリングは見込みのある 手段ですが 課題もあります

For instance, who gets to decide, in society, what's true and what's false?

たとえば 何が真実で何が虚偽か この社会で 誰が決めることになるんでしょう？

Is it the governments?

政府？

Is it Facebook?

フェイスブック？

Is it an independent consortium of fact-checkers?

それともファクトチェックをする 独立したコンソーシアム？

And who's checking the fact-checkers?

そしてファクトチェックを チェックするのは誰？

Another potential avenue is incentives.

２つめの見込みある手段は インセンティブです

We know that during the US presidential election

前回のアメリカの大統領選では

there was a wave of misinformation that came from Macedonia

マケドニアから誤情報が 流れこんできていました

that didn't have any political motive

政治的動機をまったく持たず

but instead had an economic motive.

経済的動機で行われたものです

And this economic motive existed,

こうした経済的動機が存在するのは

because false news travels so much farther, faster

虚偽のニュースが 真実よりも 遠くまで 速く

and more deeply than the truth,

深く届くゆえに

and you can earn advertising dollars as you garner eyeballs and attention

この手の情報で注目と関心を集めれば

with this type of information.

その分広告収入を得られるからです

But if we can depress the spread of this information,

しかしこうした情報の拡散を 抑えることができれば

perhaps it would reduce the economic incentive

そもそもデマ情報を生み出そうとする インセンティブを

to produce it at all in the first place.

減らせるかもしれません

Third, we can think about regulation,

３つめに考えられるのは規制です

and certainly, we should think about this option.

避けることなく この選択肢を考えるべきです

In the United States, currently,

現在私たちは アメリカ国内で

we are exploring what might happen if Facebook and others are regulated.

もしフェイスブックなどの企業が規制を 受けたらどうなるかを研究しています

While we should consider things like regulating political speech,

今後検討すべきなのは 政治的な発言の規制や

labeling the fact that it's political speech,

事実に基づいて 政治的発言だと ラベリングすること

making sure foreign actors can't fund political speech,

政治的な発言に外国勢力が資金投入して 介入できないようにすることなどですが

it also has its own dangers.

この手段には危険もつきまといます

For instance, Malaysia just instituted a six-year prison sentence

たとえば マレーシアでは デマ情報を拡散した人に対して

for anyone found spreading misinformation.

懲役６年を課す法を制定しました

And in authoritarian regimes,

独裁政権下では

these kinds of policies can be used to suppress minority opinions

この手の制度は少数派の意見を 封じ込めるために

and to continue to extend repression.

そして抑圧を拡大し続けるために 使われかねません

The fourth possible option is transparency.

４つめの選択肢は透明性です

We want to know how do Facebook's algorithms work.

私たちが知りたいのは フェイスブックの アルゴリズムはどう動いているのか

How does the data combine with the algorithms

データはアルゴリズムとどう組み合わされて

to produce the outcomes that we see?

私たちが目にするものを 出力しているのかということです

We want them to open the kimono

フェイスブックに情報を開示してもらい

and show us exactly the inner workings of how Facebook is working.

内部の動きがどうなっているのかを 正確に教えてもらうのです

And if we want to know social media's effect on society,

そしてソーシャルメディアが 社会へ及ぼす影響について知るには

we need scientists, researchers

科学者や研究者といった人々が

and others to have access to this kind of information.

この手の情報へ アクセスできる必要があります

But at the same time,

けれど同時に

we are asking Facebook to lock everything down,

フェイスブックには すべての厳重な保管―

to keep all of the data secure.

全データの安全な管理が 求められてもいます

So, Facebook and the other social media platforms

つまりフェイスブックなどの ソーシャルメディアプラットフォームは

are facing what I call a transparency paradox.

私が「透明性のパラドックス」と呼ぶものに 直面しているわけです

We are asking them, at the same time,

彼らは 同時に

to be open and transparent and, simultaneously secure.

オープンで透明であること そして 安全であることを求められているのです

This is a very difficult needle to thread,

これはごく小さい針に糸を通すような難題です

but they will need to thread this needle

でも やってもらわなければなりません

if we are to achieve the promise of social technologies

ソーシャルメディアの技術は 素晴らしい未来を約束していますが

while avoiding their peril.

同時に危機も内包していますから

The final thing that we could think about is algorithms and machine learning.

最後の５つめは アルゴリズムと機械学習です

Technology devised to root out and understand fake news, how it spreads,

これはフェイクニュースを探し出して それがどう広まるかを理解し

その流れを押しとどめる技術です

and to try and dampen its flow.

Humans have to be in the loop of this technology,

人間自身が このテクノロジーに 関わっていく必要があります

because we can never escape

なぜなら

that underlying any technological solution or approach

どんな技術的解決策や アプローチの根底にも

is a fundamental ethical and philosophical question

根本的な倫理的・哲学的問いが 潜んでいるからです

about how do we define truth and falsity,

「真実と虚偽をどう定義するのか」

to whom do we give the power to define truth and falsity

「それを定義する力を誰に与えるのか」

and which opinions are legitimate,

「いずれの意見が正当なのか」

which type of speech should be allowed and so on.

「どのタイプの発言が許されるべきか」 といった疑問です

Technology is not a solution for that.

テクノロジーは答えを出してはくれません

Ethics and philosophy is a solution for that.

答えを出せるとしたら それは倫理学 そして哲学です

Nearly every theory of human decision making,

人間の意志決定 協力行動

human cooperation and human coordination

そして協調行動に関する理論はほぼすべて

has some sense of the truth at its core.

真実を判別する能力を 中核に据えています

But with the rise of fake news,

けれどフェイクニュースや

the rise of fake video,

フェイク動画

the rise of fake audio,

フェイク音声の台頭によって

we are teetering on the brink of the end of reality,

現実がフェイクに浸食されていき

where we cannot tell what is real from what is fake.

今や何が現実で何がフェイクか 分からなくなっているのです

And that's potentially incredibly dangerous.

この事態には 途方もない危機が潜んでいます

We have to be vigilant in defending the truth

デマ情報から真実を守るために

against misinformation.

用心しなければなりません

With our technologies, with our policies

そのために必要なのは テクノロジーと規制ですが

and, perhaps most importantly,

それ以上に欠けてはならないのは

with our own individual responsibilities,

私たち個人個人の責任と

decisions, behaviors and actions.

決意 態度 そして行動なのです

Thank you very much.

ありがとうございました

(Applause)

（拍手）