How technology can fight extremism and online harassment | Yasmin Green

翻訳: Kai Izumi 校正: Riaki Poništ

My relationship with the internet reminds me of the setup

私のインターネットとの関係は

ありきたりのホラー映画の設定を 思わせるんです

to a clichéd horror movie.

You know, the blissfully happy family moves in to their perfect new home,

ほら 幸せな一家が 完璧な新居に入居して

excited about their perfect future,

完璧な未来を 思い描いているところ

and it's sunny outside and the birds are chirping ...

外は晴れていて 鳥のさえずりも聞こえて

And then it gets dark.

でもそのうち夜になり

And there are noises from the attic.

屋根裏部屋から音がして

And we realize that that perfect new house isn't so perfect.

完璧だと思っていた家が そうでもないことに気づく

When I started working at Google in 2006,

2006年 私がGoogleに 勤め始めた頃

Facebook was just a two-year-old,

Facebookは 誕生して２年

and Twitter hadn't yet been born.

Twitterはまだ 存在してませんでした

And I was in absolute awe of the internet and all of its promise

そして私はインターネットとその可能性に 絶大な畏敬の念を抱いていました

to make us closer

人と人の距離を縮め

and smarter

人間をさらに賢くし

and more free.

いっそう自由にしてくれると

But as we were doing the inspiring work of building search engines

しかし 私たちが検索エンジンや 動画投稿サイト

ソーシャルネットワークを創り出すという 魅力的な仕事に関わると同時に

and video-sharing sites and social networks,

criminals, dictators and terrorists were figuring out

犯罪者や独裁者 テロリストは 同じプラットフォームを

how to use those same platforms against us.

私たちに対して悪用する方法を 見いだしていったのです

And we didn't have the foresight to stop them.

私たちにはそれが予見できず 止められませんでした

Over the last few years, geopolitical forces have come online to wreak havoc.

過去数年で 地政学に強い勢力が 破壊を目的としてネット上に進出しました

And in response,

それに対してGoogleは 私と数人の同僚が

Google supported a few colleagues and me to set up a new group called Jigsaw,

Jigsawという組織を設立するのを 支援してくれました

with a mandate to make people safer from threats like violent extremism,

私たちの任務は人々を

暴力的な過激主義 検閲 迫害などの脅威から守ること

censorship, persecution --

threats that feel very personal to me because I was born in Iran,

イランで生まれ 暴力的な革命の後に 国を去った私が

and I left in the aftermath of a violent revolution.

個人的に強く感じている脅威です

But I've come to realize that even if we had all of the resources

しかし 気づいたことがあります

たとえ 世界中のテクノロジー企業が持つ すべての資源を合わせたとしても

of all of the technology companies in the world,

we'd still fail

たった１つの決定的な要素を 見落とすだけで失敗するだろうということ

if we overlooked one critical ingredient:

the human experiences of the victims and perpetrators of those threats.

その要素とは 先ほど言ったような脅威の 被害者や加害者の実体験です

There are many challenges I could talk to you about today.

私が今日ここで語れる問題点は たくさんありますが

I'm going to focus on just two.

２つに絞ることにします

The first is terrorism.

１つ目はテロです

So in order to understand the radicalization process,

過激化の過程を理解するために

we met with dozens of former members of violent extremist groups.

何十人もの元過激派構成員と 会いました

One was a British schoolgirl,

うち１人はイギリス人女子学生

who had been taken off of a plane at London Heathrow

ISISに入るためシリアに向かう途中 ロンドン・ヒースロー空港で

as she was trying to make her way to Syria to join ISIS.

飛行機から降ろされたのです

And she was 13 years old.

しかも13歳という若さでした

So I sat down with her and her father, and I said, "Why?"

私はその子の父親を交えて腰を下ろし 「なぜ？」と尋ねました

And she said,

答えはこうでした

"I was looking at pictures of what life is like in Syria,

「シリアでの生活の様子を写真で見て

and I thought I was going to go and live in the Islamic Disney World."

イスラム版ディズニーランドに 住めるんだと思った」

That's what she saw in ISIS.

それが その子から見たISISでした

She thought she'd meet and marry a jihadi Brad Pitt

ISIS版ブラッド・ピットのような人と そこで出会い 結婚し

and go shopping in the mall all day and live happily ever after.

一日中モールで買い物して 末長く幸せに暮らすのだと思っていたそうです

ISIS understands what drives people,

ISISは何が人を動かすかを知っています

and they carefully craft a message for each audience.

そしてそれぞれの読者に合わせ 丹念にメッセージを作成します

Just look at how many languages

ISISの勧誘資料が

they translate their marketing material into.

どれだけの言語に 翻訳されているか見てください

They make pamphlets, radio shows and videos

パンフレットに ラジオ番組に動画などを

in not just English and Arabic,

英語とアラビア語だけでなく

but German, Russian, French, Turkish, Kurdish,

ドイツ語 ロシア語 フランス語 トルコ語 クルド語

Hebrew,

ヘブライ語

Mandarin Chinese.

中国語でも作っています

I've even seen an ISIS-produced video in sign language.

ISISが作った 手話の動画を 見たことすらあります

Just think about that for a second:

ちょっと考えてみてください

ISIS took the time and made the effort

ISISは耳の不自由な人にも メッセージが届くよう

to ensure their message is reaching the deaf and hard of hearing.

わざわざ時間と労力を費やしたのです

It's actually not tech-savviness

ISISが人々の心を つかむことができるのは

that is the reason why ISIS wins hearts and minds.

ハイテクに精通しているからではありません

It's their insight into the prejudices, the vulnerabilities, the desires

自分たちが思いを伝えたい相手の

偏見 弱さ 願望が何なのかを

of the people they're trying to reach

that does that.

見極めているからです

That's why it's not enough

ネット上からISISの募集資料を 削除することに目を向けるだけでは

for the online platforms to focus on removing recruiting material.

不十分なのはそういうわけです

If we want to have a shot at building meaningful technology

過激派に対抗する テクノロジーとして

that's going to counter radicalization,

役に立つものを開発したいのならば

we have to start with the human journey at its core.

人間の人生の核心の部分から 始めなくてはなりません

So we went to Iraq

そこで私たちは イラクへ出向きました

to speak to young men who'd bought into ISIS's promise

ISISが約束する英雄像や

of heroism and righteousness,

正義を信じ込み

who'd taken up arms to fight for them

戦闘員として武器を手に取ったものの

and then who'd defected

ISISの支配の残虐さを目にした後 脱走した若者たちに会うためです

after they witnessed the brutality of ISIS's rule.

And I'm sitting there in this makeshift prison in the north of Iraq

私は北イラクにある 簡素な仮設刑務所で

with this 23-year-old who had actually trained as a suicide bomber

ISIS脱走前には自爆テロ犯として 訓練を受けていた―

23歳の若者と座っていました

before defecting.

彼はこう語りました

And he says,

"I arrived in Syria full of hope,

「希望に満ち溢れて シリアに到着したのに

and immediately, I had two of my prized possessions confiscated:

直後に僕にとって最も大切なものを ２つ取り上げられた

my passport and my mobile phone."

それはパスポートと携帯電話だった」

The symbols of his physical and digital liberty

自分の身体的そして 電子的な自由の象徴が

were taken away from him on arrival.

到着した途端 剥奪されたのです

And then this is the way he described that moment of loss to me.

彼はその喪失の瞬間について

He said,

こう表現しました

"You know in 'Tom and Jerry,'

「トムとジェリーのアニメでさ

when Jerry wants to escape, and then Tom locks the door

ジェリーが逃げようとしているのに トムがドアの鍵を締めて

and swallows the key

その鍵を飲み込んじゃって

and you see it bulging out of his throat as it travels down?"

それがトムの喉を通って 胃に入る様子が見える場面みたいな感じ」

And of course, I really could see the image that he was describing,

もちろん 彼の描写する場面が はっきりと目に浮かびました

and I really did connect with the feeling that he was trying to convey,

彼が伝えようとしている心情—

which was one of doom,

逃げ場がないとわかっているときの 無力感に心から共感できました

when you know there's no way out.

And I was wondering:

そして ふと思ったのです

What, if anything, could have changed his mind

彼が家を出た日に 考えを改めさせる何かがあったならば

the day that he left home?

どうなっていただろうか

So I asked,

そこで尋ねてみました

"If you knew everything that you know now

「君が今だから知っていることすべて―

about the suffering and the corruption, the brutality --

ISISでの苦痛や腐敗や残虐さなどを

that day you left home,

家を出た日に知っていたとして

would you still have gone?"

それでも行ったと思う？」

And he said, "Yes."

彼は「はい」と答えました

And I thought, "Holy crap, he said 'Yes.'"

それを聞いて困惑しました

And then he said,

そうしたら彼は

"At that point, I was so brainwashed,

「その時点では洗脳が進みすぎて

I wasn't taking in any contradictory information.

ISISを否定するような情報を 一切受け入れようとしていなかったから

I couldn't have been swayed."

気持ちは変わらなかっただろう」と

"Well, what if you knew everything that you know now

「ではもし その半年前に 知っていたならば？」と尋ねると

six months before the day that you left?"

"At that point, I think it probably would have changed my mind."

「その時なら多分考えを改めていた」 とと返ってきました

Radicalization isn't this yes-or-no choice.

過激化というものはイエスかノーかという 単純な選択ではないのです

It's a process, during which people have questions --

人々が観念 宗教 生活環境についての

about ideology, religion, the living conditions.

疑問を抱いていくなかで 起こるものなのです

And they're coming online for answers,

そこで答えを探すために ネットで検索したりしますが

which is an opportunity to reach them.

これがISISにとってはチャンスなのです

And there are videos online from people who have answers --

正しい答えを知る人からの動画も ネット上には転がっています

defectors, for example, telling the story of their journey

例えば自分が暴力的な世界に入って

into and out of violence;

抜け出した経験を語る脱走者の話

stories like the one from that man I met in the Iraqi prison.

イラクの刑務所で面会した 若者の話もそうです

There are locals who've uploaded cell phone footage

ISISの支配のもとでの生活が どのようなものなのかを

of what life is really like in the caliphate under ISIS's rule.

携帯電話で撮影してアップロードした 現地住民もいます

There are clerics who are sharing peaceful interpretations of Islam.

イスラームの平和的な解釈を説く 聖職者もいます

But you know what?

でも こういう人たちは たいてい

These people don't generally have the marketing prowess of ISIS.

ISISほどの発信力を持ちません

They risk their lives to speak up and confront terrorist propaganda,

命も惜しまず テロリストの プロパガンダに立ち向かいますが

and then they tragically don't reach the people

無残なことに 最も聞くべき人々には

who most need to hear from them.

言葉が届かないのです

And we wanted to see if technology could change that.

我が社ではそれを 技術の力で変えようと試みました

So in 2016, we partnered with Moonshot CVE

2016年に Moonshot CVEと 提携を結んで

to pilot a new approach to countering radicalization

過激派に対する新たな対抗手段である―

called the "Redirect Method."

「リダイレクトメソッド」を試しました

It uses the power of online advertising

これはオンライン広告の力を

to bridge the gap between those susceptible to ISIS's messaging

ISISの発信に影響されやすい人と ISISの欠点を暴く信用ある人との間に

and those credible voices that are debunking that messaging.

存在する隔たりを埋めるために 使うというものです

And it works like this:

仕組みを説明しますね

someone looking for extremist material --

過激派についての情報を探している人が

say they search for "How do I join ISIS?" --

「ISISに入る方法」と調べたとしましょう

will see an ad appear

すると聖職者や脱走者など

that invites them to watch a YouTube video of a cleric, of a defector --

正しい答えを知っている人が映った―

YouTubeの動画へと導く広告が現れます

someone who has an authentic answer.

And that targeting is based not on a profile of who they are,

広告ターゲットは 検索した人がどんな人かには関係なく

but of determining something that's directly relevant

その人の検索内容や疑問に 直接関連するものを特定することで

to their query or question.

設定されます

During our eight-week pilot in English and Arabic,

８週間にわたる 英語とアラビア語での試験調査の結果

we reached over 300,000 people

イスラム過激組織に興味や同情を示した 30万人以上もの人に

who had expressed an interest in or sympathy towards a jihadi group.

情報を伝えることができました

These people were now watching videos

壊滅的な選択をしてしまうのを 防ぐ効果のあるかもしれないビデオを

that could prevent them from making devastating choices.

視聴してもらえたわけです

And because violent extremism isn't confined to any one language,

そして 暴力的な過激主義は １つの言語 宗教 観念に

religion or ideology,

限ったものではないので

the Redirect Method is now being deployed globally

リダイレクトメソッドは今や 全世界で展開され

to protect people being courted online by violent ideologues,

ネット上で暴力的な観念の信奉者が 接近しないよう人々を守っています

whether they're Islamists, white supremacists

相手が イスラム過激派 白人至上主義者

or other violent extremists,

その他の暴力的な過激派であろうが

with the goal of giving them the chance to hear from someone

自分が進もうとしている道の 反対側にいる人たちの話を聞いて

on the other side of that journey;

to give them the chance to choose a different path.

違う道を選ぶチャンスを 与えるという目標です

It turns out that often the bad guys are good at exploiting the internet,

結局 悪者たちはインターネットを 悪用するのが得意なだけであることが多く

not because they're some kind of technological geniuses,

それはテクノロジーに 精通しているからではなく

but because they understand what makes people tick.

何が人を動かすかを知っているからなのです

I want to give you a second example:

ここで２つ目の例をあげましょう

online harassment.

ネット上での嫌がらせです

Online harassers also work to figure out what will resonate

オンラインで嫌がらせをする人も

人の気持ちをつかむのは何かを 知ろうとします

with another human being.

But not to recruit them like ISIS does,

でもISISみたいに 徴兵するためじゃなくて

but to cause them pain.

苦痛を与えるためです

Imagine this:

想像してください

you're a woman,

あなたは女性で

you're married,

結婚していて

you have a kid.

子供もいます

You post something on social media,

ネットに何かを投稿したところ

and in a reply, you're told that you'll be raped,

レイプしてやるという コメントがつきます

that your son will be watching,

しかも息子の見ている前で実行する と

details of when and where.

時と場所の詳細まで書かれ

In fact, your home address is put online for everyone to see.

しかも皆の目につくように 自宅住所も公開されました

That feels like a pretty real threat.

結構な脅威に感じますよね

Do you think you'd go home?

家に帰れますか？

Do you think you'd continue doing the thing that you were doing?

これまでしていたことを 続けられますか？

加害者を苛つかせている行為を これからも続けられますか？

Would you continue doing that thing that's irritating your attacker?

Online abuse has been this perverse art

ネットいじめは このところ

of figuring out what makes people angry,

何が人を怒らせ 何が人を怖がらせ

what makes people afraid,

何が人を不安にさせるかを突き止め

what makes people insecure,

そこを相手が黙り込むまで突くという

and then pushing those pressure points until they're silenced.

歪んだ遊びの極みと化しています

When online harassment goes unchecked,

ネット上の嫌がらせが横行すると

free speech is stifled.

自由な発言ができなくなります

And even the people hosting the conversation

議論の主催者側ですら

throw up their arms and call it quits,

手を上げて諦め

closing their comment sections and their forums altogether.

コメント欄やフォーラムを 閉じてしまいます

That means we're actually losing spaces online

つまりネット上での 出会いや意見交換の場が

to meet and exchange ideas.

失われていくということです

And where online spaces remain,

そして私たちは 残った場所で

we descend into echo chambers with people who think just like us.

自分と同じ考えを持つ人としか 話さなくなってしまいます

But that enables the spread of disinformation;

でもそれは偽情報の拡散を促し

that facilitates polarization.

二極化を助長します

What if technology instead could enable empathy at scale?

その代わりに テクノロジーを使って 共感を拡散できないだろうか

This was the question that motivated our partnership

この疑問がきっかけとなり

Googleの乱用対策技術チームや Wikipediaや

with Google's Counter Abuse team,

Wikipedia

New York Timesなどの 新聞社との提携が実現しました

and newspapers like the New York Times.

We wanted to see if we could build machine-learning models

言葉が感情に与える影響を理解する—

that could understand the emotional impact of language.

機械学習モデルを作れるか 試そうというものです

ネット上の会話で 誰かを退出させるコメントを

Could we predict which comments were likely to make someone else leave

the online conversation?

予測できないだろうか と

And that's no mean feat.

それはもう至難の技でしょう

That's no trivial accomplishment

AIで達成するのは

for AI to be able to do something like that.

生半可なことではありません

I mean, just consider these two examples of messages

私に先週送られてきたかもしれない

２通りのメッセージを考えてみれば わかりますね

that could have been sent to me last week.

"Break a leg at TED!"

「TEDで（足を折るくらい）頑張れ」

... and

と

"I'll break your legs at TED."

「TEDでお前の足を折ってやる」

(Laughter)

（笑）

You are human,

皆さん 人間ですから

that's why that's an obvious difference to you,

ほぼ同じような言葉でも

even though the words are pretty much the same.

明らかな違いがあることが わかりますが

AIが認識するようになるには 発話の型を教える訓練が

But for AI, it takes some training to teach the models

to recognize that difference.

ある程度必要なのです

The beauty of building AI that can tell the difference

違いがわかるAIを作ることの醍醐味は

is that AI can then scale to the size of the online toxicity phenomenon,

ネット上で起こる迷惑行為の規模に合わせて 利用を拡大できるところにあります

and that was our goal in building our technology called Perspective.

それが「Perspective」という テクノロジーを開発する際の目標でした

Perspectiveのお陰で

With the help of Perspective,

the New York Times, for example,

例えばNew York Timesは

has increased spaces online for conversation.

オンラインで会話が起こる場が増えました

我が社との提携前は

Before our collaboration,

they only had comments enabled on just 10 percent of their articles.

全記事の10％ほどでしか コメントができなかったのです

With the help of machine learning,

しかし機械学習のお陰で

they have that number up to 30 percent.

30％まで上がりました

So they've tripled it,

以前の３倍です

and we're still just getting started.

まだ始動したばかりで この成果です

But this is about way more than just making moderators more efficient.

でもこれは会話を主催する側の 効率化の話にとどまりません

今 皆さんが視界にいるので

Right now I can see you,

and I can gauge how what I'm saying is landing with you.

私の話がどう受け取られているのか 推し量ることができますが

You don't have that opportunity online.

ネット上では そんな機会はありません

Imagine if machine learning could give commenters,

もし機械学習を使って

コメントの投稿者が 文字を打ち込む間に

as they're typing,

real-time feedback about how their words might land,

相手にどう受け取られる可能性があるのか 直接の会話での表情のように

just like facial expressions do in a face-to-face conversation.

瞬時にフィードバックできたならば どうでしょうか

Machine learning isn't perfect,

機械学習は完璧ではありません

and it still makes plenty of mistakes.

まだまだ たくさん間違えます

But if we can build technology

でも 言葉が感情に与える影響を理解する テクノロジーを開発できれば

that understands the emotional impact of language,

we can build empathy.

共感を培うことができます

That means that we can have dialogue between people

それは つまり

異なる政治観や異なる世界観

with different politics,

そして異なる価値観を持つ人と人の間に

different worldviews,

会話が成立するということです

different values.

And we can reinvigorate the spaces online that most of us have given up on.

大半の人が見限ってしまったネット空間に 再び活力を与えることができます

When people use technology to exploit and harm others,

他人を食い物にしたり危害を加えるために テクノロジーを利用する人は

they're preying on our human fears and vulnerabilities.

人間が持つ恐怖や弱さを糧としています

If we ever thought that we could build an internet

もし 人間の醜い側面から隔絶された ネット世界を作れるなどという考えが

insulated from the dark side of humanity,

一度でも浮かんだのであれば

we were wrong.

それは間違いです

If we want today to build technology

人間が直面する困難を乗り越えられる

that can overcome the challenges that we face,

そんなテクノロジーを作りたければ

we have to throw our entire selves into understanding the issues

問題点を理解することや

かつ その問題点と同じくらい 人間らしい解決策を作ることに

and into building solutions

that are as human as the problems they aim to solve.

全身全霊を捧げなければなりません

私たちで実現させましょう

Let's make that happen.

Thank you.

ご清聴ありがとうございました

(Applause)

（拍手）