We're building a dystopia just to make people click on ads | Zeynep Tufekci

翻訳: Yoichi Fukuoka 校正: Eriko T

So when people voice fears of artificial intelligence,

人工知能（AI）に対する不安を 口にするとき

very often, they invoke images of humanoid robots run amok.

人々はたいてい ヒューマノイドの暴走を イメージしています

You know? Terminator?

『ターミネーター』みたいに

You know, that might be something to consider,

確かに考えておくべきことかも しれませんが

but that's a distant threat.

差し迫った脅威というわけでは ありません

Or, we fret about digital surveillance

また デジタル技術による 監視への懸念から

with metaphors from the past.

過去のメタファーを 持ち出したりもします

"1984," George Orwell's "1984,"

ジョージ・オーウェルの『1984年』が

it's hitting the bestseller lists again.

またもやベストセラー入りしています

It's a great book,

優れた小説ですが

but it's not the correct dystopia for the 21st century.

21世紀のディストピアを 正しく言い当ててはいません

What we need to fear most

私たちが最も 恐れるべきなのは

is not what artificial intelligence will do to us on its own,

AIそれ自体が私たちに 何をするかではなく

but how the people in power will use artificial intelligence

権力者が私たちをコントロールし

to control us and to manipulate us

操るために

in novel, sometimes hidden,

目新しく 予想もつかない 巧妙なやり方で

密かにAIを 使うかもしれないことです

subtle and unexpected ways.

Much of the technology

近い将来

that threatens our freedom and our dignity in the near-term future

私たちの自由と尊厳を 脅かすテクノロジーの多くは

is being developed by companies

私たちのデータと注意を捉え

in the business of capturing and selling our data and our attention

広告主その他の顧客に 販売している企業によって

to advertisers and others:

開発されています

Facebook, Google, Amazon,

Facebookや Googleや Amazonや

Alibaba, Tencent.

Alibabaや Tencent

Now, artificial intelligence has started bolstering their business as well.

AIは そうした企業のビジネスを 強化し始めています

And it may seem like artificial intelligence

ちょっと見には AIも

is just the next thing after online ads.

単にネット広告に続く技術だと 思えるかもしれません

It's not.

でも そうではありません

It's a jump in category.

カテゴリーが不連続なのです

It's a whole different world,

AIはまったく別の世界であり

and it has great potential.

大きな力を秘めています

It could accelerate our understanding of many areas of study and research.

AIによって 様々な研究分野が 急速に発展する可能性があります

But to paraphrase a famous Hollywood philosopher,

しかし ハリウッドの有名な 論者によると

"With prodigious potential comes prodigious risk."

「途方もない可能性には 途方もないリスクがつきもの」です

Now let's look at a basic fact of our digital lives, online ads.

デジタルライフの基本的な事実― オンライン広告に目を向けましょう

Right? We kind of dismiss them.

いいですか？ まあ たいてい無視しますよね

They seem crude, ineffective.

粗雑で 効果もなさそうに見えます

We've all had the experience of being followed on the web

ウェブで何かを検索したり 読んだりしたら

by an ad based on something we searched or read.

それに応じて働きかけを受けた経験は 誰にでもありますよね

You know, you look up a pair of boots

たとえば ウェブでブーツを見つけたら

and for a week, those boots are following you around everywhere you go.

それから1週間 どこへ行っても そのブーツの広告がついて回ります

Even after you succumb and buy them, they're still following you around.

たとえ根負けして購入したとしても やっぱりまだ追いかけてくるのです

We're kind of inured to that kind of basic, cheap manipulation.

こうした 初歩的で安っぽい消費者操作に 私たちは慣れっこになっています

We roll our eyes and we think, "You know what? These things don't work."

「あのさ ぜんぜん効き目ないんだけど」 と呆れてしまいます

Except, online,

ただし オンラインでの

the digital technologies are not just ads.

デジタルテクノロジーの用途は 広告に限りません

Now, to understand that, let's think of a physical world example.

そのことを理解するために 物理的世界の例を考えてみましょう

You know how, at the checkout counters at supermarkets, near the cashier,

スーパーに行くとレジのそばに

there's candy and gum at the eye level of kids?

子供の目の高さで キャンディやガムが置いてありますよね

That's designed to make them whine at their parents

あれは親が支払いを しようとしているときに

just as the parents are about to sort of check out.

子供がねだるように 仕向けるための手法です

Now, that's a persuasion architecture.

「説得アーキテクチャ」の例です

It's not nice, but it kind of works.

好ましくはないけれど ともかく機能します

That's why you see it in every supermarket.

だからこそ どこのスーパーでも 見られるのです

Now, in the physical world,

物理的世界において

such persuasion architectures are kind of limited,

こうした説得アーキテクチャは いくらか制限を受けます

because you can only put so many things by the cashier. Right?

レジの横に置ける商品の数は 限られているからです そうですね？

And the candy and gum, it's the same for everyone,

そして キャンディやガムは 誰にとっても同じ製品です

even though it mostly works

ただし 一番効果があるのは

only for people who have whiny little humans beside them.

おチビさんを連れている 人に対してだけですけれど

In the physical world, we live with those limitations.

物理的世界で私たちは そうした制約とともに生きています

In the digital world, though,

しかし デジタル世界では

persuasion architectures can be built at the scale of billions

説得アーキテクチャを 何十億というスケールで構築でき

and they can target, infer, understand

個人に狙いを定めて 推論し 理解し

and be deployed at individuals

投入することが可能で

one by one

１人１人の

by figuring out your weaknesses,

弱点を把握して

and they can be sent to everyone's phone private screen,

その人のスマートフォンの画面に 送信できるため

so it's not visible to us.

仕組みが目に見えないのです

And that's different.

大きな違いです

And that's just one of the basic things that artificial intelligence can do.

これは AIがやってのける基本的な事柄の たった１つにすぎません

Now, let's take an example.

例を挙げましょう

Let's say you want to sell plane tickets to Vegas. Right?

たとえば ラスベガス行きの航空券を 売りたいとしましょう

So in the old world, you could think of some demographics to target

以前の世界なら 購入してくれそうな層を

based on experience and what you can guess.

経験や想像に基づいて 設定するでしょう

You might try to advertise to, oh,

広告を打つなら

men between the ages of 25 and 35,

25歳から35歳までの男性か

or people who have a high limit on their credit card,

クレジットカードの 限度額が大きい人々や

or retired couples. Right?

リタイアしたカップル向けに するかもしれません

That's what you would do in the past.

これまでならそうしたでしょう

With big data and machine learning,

ビッグデータと機械学習の出現で

that's not how it works anymore.

もうそれは通用しません

So to imagine that,

事態を想像するために

think of all the data that Facebook has on you:

Facebookが持っている あなたの全データを思い浮かべてください

every status update you ever typed,

これまでにあなたが入力した すべての近況アップデート

every Messenger conversation,

Messengerのすべての会話

every place you logged in from,

どこからログインしたかという記録

all your photographs that you uploaded there.

アップロードしたすべての写真

If you start typing something and change your mind and delete it,

何か打ち込み始めてから 気が変わって削除しても

Facebook keeps those and analyzes them, too.

Facebookはそれも記録し 分析します

Increasingly, it tries to match you with your offline data.

オフラインデータとの突き合わせも どんどん進めています

It also purchases a lot of data from data brokers.

また データブローカーから 大量のデータを購入しています

It could be everything from your financial records

財務記録から ブラウザの膨大な閲覧履歴まで

to a good chunk of your browsing history.

あらゆるものが含まれます

Right? In the US, such data is routinely collected,

アメリカではこうしたデータが 日常的に収集され

collated and sold.

照合され 販売されています

In Europe, they have tougher rules.

ヨーロッパでは もっと厳しいルールがあります

So what happens then is,

それで何が起こるかというと

by churning through all that data, these machine-learning algorithms --

「学習アルゴリズム」と呼ばれる 機械学習のアルゴリズムは

that's why they're called learning algorithms --

あらゆるデータを 組み合わせることで

they learn to understand the characteristics of people

これまでにラスベガス行きの 航空券を買った人々の特徴を

who purchased tickets to Vegas before.

把握するようになります

When they learn this from existing data,

既存データからの学習が進むと

they also learn how to apply this to new people.

それを別の人々に 適用する方法も学びます

So if they're presented with a new person,

つまり 他のユーザーがいたら

they can classify whether that person is likely to buy a ticket to Vegas or not.

その人物がラスベガス行き航空券を 購入しそうかどうか分類できるのです

Fine. You're thinking, an offer to buy tickets to Vegas.

あなたはラスベガス行き航空券の 広告を見て考えます

I can ignore that.

「無視してもいいな」

But the problem isn't that.

しかし 問題はそこではありません

The problem is,

問題なのは

we no longer really understand how these complex algorithms work.

これら複雑なアルゴリズムがどう働いているか もうよく分からなくなってしまっている事です

We don't understand how they're doing this categorization.

どうやって分類しているのか 私たちには分かりません

It's giant matrices, thousands of rows and columns,

何千 いや何百万もの 行と列で構成された

maybe millions of rows and columns,

巨大なマトリクスがあって

and not the programmers

プログラマーや 他の誰かが

and not anybody who looks at it,

そのマトリクスを見ても

even if you have all the data,

たとえ全データを持っていようと

understands anymore how exactly it's operating

どう機能しているかを 正確に理解することはできません

any more than you'd know what I was thinking right now

私の脳の断面を見ても

if you were shown a cross section of my brain.

私が何を考えているかは 分からないのと同じです

It's like we're not programming anymore,

もうプログラミングをしている という次元ではなく

we're growing intelligence that we don't truly understand.

人智を超えた知能を 育てているかのようです

And these things only work if there's an enormous amount of data,

こういう仕組みが機能するには 膨大なデータが必要なため

so they also encourage deep surveillance on all of us

私たち全員を深層まで監視して

so that the machine learning algorithms can work.

機械学習アルゴリズムを機能させよう という力も働きます

That's why Facebook wants to collect all the data it can about you.

だから Facebookはあなたについて 出来る限りのデータを集めようとします

The algorithms work better.

アルゴリズムが上手く機能するように

So let's push that Vegas example a bit.

ラスベガスの例を もう少し掘り下げましょう

What if the system that we do not understand

もし私たちの理解できない システムの判断で

was picking up that it's easier to sell Vegas tickets

ラスベガス行き航空券を 売りつけやすい相手は

to people who are bipolar and about to enter the manic phase.

双極性障害で躁状態になりかけの人だ ということになったらどうでしょう

Such people tend to become overspenders, compulsive gamblers.

浪費したり ギャンブルにのめり込んだり しやすい人たちです

They could do this, and you'd have no clue that's what they were picking up on.

そんな基準で選び出されたとしても その事実を知る手がかりがありません

I gave this example to a bunch of computer scientists once

あるとき この例について コンピュータ科学者たちに尋ねてみたところ

and afterwards, one of them came up to me.

そのうちの１人が後で 私のところへ来ました

He was troubled and he said, "That's why I couldn't publish it."

苦しげな様子で こう言いました 「だから論文を発表できなかったんです」

I was like, "Couldn't publish what?"

「何をですか？」

He had tried to see whether you can indeed figure out the onset of mania

彼が調べようとしていたのは 躁状態になりかけているかどうかを

from social media posts before clinical symptoms,

症状が現れる前にSNSの投稿で 判断できるかということで

and it had worked,

実際 うまくいきました

and it had worked very well,

非常にうまく 判別できたのですが

and he had no idea how it worked or what it was picking up on.

なぜうまくいくのか 何を拾い出しているのか 分かりませんでした

Now, the problem isn't solved if he doesn't publish it,

でも 論文が発表されなくても 問題は解決していません

because there are already companies

既にいくつもの企業が

that are developing this kind of technology,

この種のテクノロジーを開発していて

and a lot of the stuff is just off the shelf.

簡単に入手できるものが たくさんあるからです

This is not very difficult anymore.

もう それほど 難しいことではないのです

Do you ever go on YouTube meaning to watch one video

動画を１本見ようと思って YouTubeのサイトへ行き

and an hour later you've watched 27?

１時間経つと27本も 見ていたという経験は？

You know how YouTube has this column on the right

YouTubeのページでは 右側の欄に

that says, "Up next"

「次の動画」とあって

and it autoplays something?

自動再生するのをご存じですね？

It's an algorithm

アルゴリズムが選び出すのは

picking what it thinks that you might be interested in

あなたが興味を持ちそうだけれど

and maybe not find on your own.

自分では見つけられない可能性があると 判断された動画です

It's not a human editor.

人が判断しているのではなく

It's what algorithms do.

アルゴリズムが決めているのです

It picks up on what you have watched and what people like you have watched,

あなたがこれまでに見たものや あなたに似た人が見たものを選び出し

and infers that that must be what you're interested in,

あなたが何に興味を持っていて

what you want more of,

何をもっと見たがるか推論し

and just shows you more.

さらに見せようとするのです

It sounds like a benign and useful feature,

無害で役に立つ機能のように 聞こえますが

except when it isn't.

常にそうとは限りません

So in 2016, I attended rallies of then-candidate Donald Trump

2016年に私は 当時大統領候補だった ドナルド・トランプの集会に行って

to study as a scholar the movement supporting him.

彼の支持者たちの運動を 研究しました

I study social movements, so I was studying it, too.

社会運動研究の中で トランプ支持についても調べたのです

And then I wanted to write something about one of his rallies,

トランプ支持者の集会について 何か書こうと思って

so I watched it a few times on YouTube.

その様子をYouTubeで何度か見ました

YouTube started recommending to me

YouTubeは白人至上主義者の 動画を私に推奨し

and autoplaying to me white supremacist videos

自動再生するようになり

in increasing order of extremism.

どんどん過激なものを 出してくるようになりました

If I watched one,

私が１本 視聴すれば

it served up one even more extreme

さらに過激な１本を提示し

and autoplayed that one, too.

それも自動再生しました

If you watch Hillary Clinton or Bernie Sanders content,

ヒラリー・クリントンや バーニー・サンダースの動画を見れば

YouTube recommends and autoplays conspiracy left,

YouTubeは左翼の陰謀に関する 動画を推奨して自動再生し

and it goes downhill from there.

さらにどんどん ひどくなっていきます

Well, you might be thinking, this is politics, but it's not.

それが政治だと思うかもしれませんが 間違いです

This isn't about politics.

政治などではありません

This is just the algorithm figuring out human behavior.

人間の行動を読んでいる アルゴリズムにすぎないのです

I once watched a video about vegetarianism on YouTube

あるとき YouTubeで ベジタリアンについての動画を見たら

and YouTube recommended and autoplayed a video about being vegan.

YouTubeはヴィーガン暮らしの動画を 推奨し 自動再生しました

It's like you're never hardcore enough for YouTube.

まるでこちらの覚悟が 足りないとでもいうように

(Laughter)

(笑)

So what's going on?

何が起きているのでしょう？

Now, YouTube's algorithm is proprietary,

YouTubeのアルゴリズムは 公開されていませんが

but here's what I think is going on.

私はこう考えています

The algorithm has figured out

アルゴリズムが

that if you can entice people

人々を誘導して

into thinking that you can show them something more hardcore,

より過激な画像を見られると 誘惑できれば

they're more likely to stay on the site

そのサイトから離れにくくなって

watching video after video going down that rabbit hole

次から次へと動画を見続け

while Google serves them ads.

Googleが表示する広告を 見ながらのめり込むという訳です

Now, with nobody minding the ethics of the store,

販売者が倫理的かどうか 今は誰も気にしていないので

these sites can profile people

こうしたサイトが人々を プロファイリングして

who are Jew haters,

ユダヤ人嫌いの人

who think that Jews are parasites

ユダヤ人は社会に 寄生していると思っている人

and who have such explicit anti-Semitic content,

あからさまに反ユダヤ主義的な内容を 掲げている人だと分類し

and let you target them with ads.

広告のターゲットにもできるわけです

They can also mobilize algorithms

アルゴリズムはそれだけでなく

to find for you look-alike audiences,

自分と似たような人を 探し出すのにも利用でき

people who do not have such explicit anti-Semitic content on their profile

明確に反ユダヤ主義的なことを プロフィールに書いていなくても

but who the algorithm detects may be susceptible to such messages,

そんなメッセージに影響されやすい人を アルゴリズムで検知して

and lets you target them with ads, too.

広告のターゲットにすることも可能です

Now, this may sound like an implausible example,

ありえない話のように 聞こえるかもしれませんが

but this is real.

これは現実です

ProPublica investigated this

ProPublicaが調査したところ

and found that you can indeed do this on Facebook,

実際にFacebook上でも この機能が利用でき

and Facebook helpfully offered up suggestions

訪問者を増やすための方法を

on how to broaden that audience.

Facebookが助言までしてくれます

BuzzFeed tried it for Google, and very quickly they found,

BuzzFeedがGoogleで試すと すぐに分かりました

yep, you can do it on Google, too.

そう Googleでも 同じことができるのです

And it wasn't even expensive.

しかも 費用は たいしてかかりません

The ProPublica reporter spent about 30 dollars

ProPublicaの記者は 30ドルほど払って

to target this category.

ターゲットを絞りました

So last year, Donald Trump's social media manager disclosed

去年 ドナルド・トランプの SNS担当者が明らかにしたのは

that they were using Facebook dark posts to demobilize people,

Facebookの「ダークポスト」の使い方が 動員の逆を狙ったもので

not to persuade them,

投票勧誘ではなく

but to convince them not to vote at all.

まったく投票しない意思を 固めさせるためだったということです

And to do that, they targeted specifically,

そのためにターゲットにしたのは 例えば

for example, African-American men in key cities like Philadelphia,

フィラデルフィアなど 要となる都市の アフリカ系の男性でした

and I'm going to read exactly what he said.

担当者の言葉を そのまま読み上げます

I'm quoting.

ここからは引用です

They were using "nonpublic posts

陣営が使ったのは 「視聴者を限定できる

whose viewership the campaign controls

公開範囲の指定で

so that only the people we want to see it see it.

我々が見て欲しい人だけが それを見るようにした

We modeled this.

投稿のねらいはこうだ

It will dramatically affect her ability to turn these people out."

支持者を投票に出かけさせる[ヒラリーの] 力に劇的な影響を及ぼすこと」

What's in those dark posts?

ダークポストには 何が書かれていたのか？

We have no idea.

分かりません

Facebook won't tell us.

Facebookは答えません

So Facebook also algorithmically arranges the posts

Facebookはアルゴリズムによる 投稿の並べ換えを

友達の投稿や あなたがフォローしている ページでも行っています

that your friends put on Facebook, or the pages you follow.

It doesn't show you everything chronologically.

全てを時系列で 表示しているのではなく

It puts the order in the way that the algorithm thinks will entice you

あなたが興味を持って サイトに長く留まってくれるだろうと

アルゴリズムが判断した 順序で表示しているのです

to stay on the site longer.

Now, so this has a lot of consequences.

このことが様々な影響を 生んでいます

You may be thinking somebody is snubbing you on Facebook.

誰かがFacebook上で あなたを無視していると思ったことは？

The algorithm may never be showing your post to them.

アルゴリズムがあなたの投稿を 彼らに表示していないのかも

The algorithm is prioritizing some of them and burying the others.

アルゴリズムは一部の投稿を優先し 他は埋もれさせてしまいます

Experiments show

実験で明らかになったのですが

that what the algorithm picks to show you can affect your emotions.

アルゴリズムが選んで提示するものに 人の感情は影響を受けます

But that's not all.

でも それだけでなく

It also affects political behavior.

政治的な行動にも影響が及びます

So in 2010, in the midterm elections,

2010年の中間選挙で

Facebook did an experiment on 61 million people in the US

Facebookは6100万人の アメリカ人を対象に実験を行い

that was disclosed after the fact.

後日そのことを公表しました

So some people were shown, "Today is election day,"

一部の人に「今日は投票日です」と

the simpler one,

シンプルなメッセージを示し

and some people were shown the one with that tiny tweak

他の人には少しだけ 手を加えて

with those little thumbnails

「投票しました」をクリックした友達の

of your friends who clicked on "I voted."

サムネイル画像も表示したのです

This simple tweak.

単純な細工です

OK? So the pictures were the only change,

いいですか？ 違いは写真だけで

and that post shown just once

たった一度だけの投稿でしたが

turned out an additional 340,000 voters

研究によると この選挙では

in that election,

投票した人が

according to this research

34万人増えたことが

as confirmed by the voter rolls.

投票人名簿で確認されました

A fluke? No.

偶然？ いいえ

Because in 2012, they repeated the same experiment.

なぜなら2012年にも同じ実験を しているからです

And that time,

このときは

that civic message shown just once

公共メッセージを１回出しただけで

turned out an additional 270,000 voters.

投票者は27万人増えました

For reference, the 2016 US presidential election

参考までに 2016年の 大統領選挙では

was decided by about 100,000 votes.

約10万票の差で結果が 決まっています

Now, Facebook can also very easily infer what your politics are,

また あなたが 政治的な内容を書いていなくても

even if you've never disclosed them on the site.

Facebookはあなたの政治的信条を たやすく推論できます

Right? These algorithms can do that quite easily.

アルゴリズムを使って ごく簡単にできるのです

What if a platform with that kind of power

そんな力を持つ プラットフォームが

decides to turn out supporters of one candidate over the other?

ある候補を別の候補よりも 支持すると決めたらどうでしょう？

How would we even know about it?

私たちにそれを知る術が あるでしょうか？

Now, we started from someplace seemingly innocuous --

さて ここでは 一見すると 無害そうなこと―

online adds following us around --

私たちを追いかけてくる オンライン広告からスタートして

and we've landed someplace else.

別の場所に行き着いたわけです

As a public and as citizens,

国民として 市民として

we no longer know if we're seeing the same information

私たちはもう 同じ情報を見ているのかどうか

or what anybody else is seeing,

他の人が何を見ているのか 分かりません

and without a common basis of information,

情報に共通の基盤がないため

little by little,

少しずつ

public debate is becoming impossible,

国民全体での議論が 不可能になりつつあります

and we're just at the beginning stages of this.

これでもまだ 始まったばかりの段階です

These algorithms can quite easily infer

こうしたアルゴリズムは かなり容易に

things like your people's ethnicity,

あなたの人種や 宗教や 政治的見解や

religious and political views, personality traits,

人格特性や 知性や 幸福度や

intelligence, happiness, use of addictive substances,

薬物の使用や 両親の離婚や

parental separation, age and genders,

年齢や 性別など 個人的なことを

just from Facebook likes.

Facebookなどから推察できます

These algorithms can identify protesters

こうしたアルゴリズムを使えば 顔の一部が隠れていても

even if their faces are partially concealed.

抗議活動をしている人が誰かを 特定できます

These algorithms may be able to detect people's sexual orientation

デートの相手を探すための プロフィール画像だけからでも

just from their dating profile pictures.

性的指向を探り当てられる かもしれません

Now, these are probabilistic guesses,

こうした判断は確率に基づく推定なので

so they're not going to be 100 percent right,

100％正しいわけではありません

but I don't see the powerful resisting the temptation to use these technologies

しかし 判断の誤りが いくらか交じるというだけで

just because there are some false positives,

権力者がこうしたテクノロジーの使用を 思いとどまるとは考えにくく

which will of course create a whole other layer of problems.

当然ながら 派生的な問題が 山のように生じるでしょう

Imagine what a state can do

国家が市民に関する膨大なデータを 手に入れたら

with the immense amount of data it has on its citizens.

どんなことができるか 想像してみてください

China is already using face detection technology

中国は既に顔認識技術を使って

to identify and arrest people.

人物を特定し 逮捕しています

And here's the tragedy:

何が悲劇的かというと

we're building this infrastructure of surveillance authoritarianism

私たちが監視による独裁を可能にする インフラを整備しているのは

merely to get people to click on ads.

ただ 広告をクリックしてもらうためだ という点です

And this won't be Orwell's authoritarianism.

オーウェルの描いた独裁の ようにはなりません

This isn't "1984."

『1984年』とは違います

Now, if authoritarianism is using overt fear to terrorize us,

恐怖で公然と人々を 支配するのであれば

we'll all be scared, but we'll know it,

誰もが恐れを抱くにしても 何が起きているかは分かるので

we'll hate it and we'll resist it.

私たちはそれを嫌悪し 抵抗するでしょう

But if the people in power are using these algorithms

しかし 権力者が こうしたアルゴリズムを使って

to quietly watch us,

密かに私たちを監視し

to judge us and to nudge us,

判別し 突つきまわし

to predict and identify the troublemakers and the rebels,

トラブルを起こしそうな 反抗的な者を洗い出してマークし

to deploy persuasion architectures at scale

説得アーキテクチャを 大々的に利用し

and to manipulate individuals one by one

個人の弱みや脆弱な面を突いて

using their personal, individual weaknesses and vulnerabilities,

１人ずつ操作しようとするなら―

and if they're doing it at scale

市民の仲間や隣人が 何を目にしているか

through our private screens

私たちが互いに分からないように

so that we don't even know

個人の画面を通して

what our fellow citizens and neighbors are seeing,

大きなスケールで実行するなら

that authoritarianism will envelop us like a spider's web

この独裁体制が私たちを クモの巣のように包み込んでも

and we may not even know we're in it.

自分がその中にいるとは 夢にも思わないかもしれません

So Facebook's market capitalization

Facebookの時価総額は

is approaching half a trillion dollars.

5000億ドルに近づいています

It's because it works great as a persuasion architecture.

説得アーキテクチャが 絶大な効果を発揮しているからです

But the structure of that architecture

しかし アーキテクチャの構造は

is the same whether you're selling shoes

その広告が靴を売っていようと

or whether you're selling politics.

政治信条を売っていようと同じです

The algorithms do not know the difference.

アルゴリズムに その違いは分かりません

The same algorithms set loose upon us

広告にもっと影響されやすくなるよう

to make us more pliable for ads

私たちに投げかけられるのと 同じアルゴリズムが

are also organizing our political, personal and social information flows,

政治的 個人的 社会的な 情報の流れも組織している―

and that's what's got to change.

そこを変えなければなりません

Now, don't get me wrong,

ただし 誤解しないでください

we use digital platforms because they provide us with great value.

私たちがデジタル技術を使うのは 大きな価値を提供してくれるからです

I use Facebook to keep in touch with friends and family around the world.

私は世界中にいる友人や家族と 繋がるためにFacebookを使っています

I've written about how crucial social media is for social movements.

また SNSが社会運動にとって どれほど重要かを文章にしてきました

I have studied how these technologies can be used

こうしたテクノロジーを使って 世界中で検閲を回避する方法も

to circumvent censorship around the world.

研究してきました

But it's not that the people who run, you know, Facebook or Google

でも FacebookやGoogleの 経営者たちが

are maliciously and deliberately trying

悪意をもって意図的に

to make the country or the world more polarized

この国や世界の分極化を進め

and encourage extremism.

過激化を後押ししている わけではありません

I read the many well-intentioned statements

良心的に行動するという彼らの声明を

that these people put out.

これまでにいくつも読みました

But it's not the intent or the statements people in technology make that matter,

しかし 技術力を持つ人々の 意図や声明ではなく

it's the structures and business models they're building.

彼らが構築している構造や ビジネスモデルが問題なのです

And that's the core of the problem.

それが問題の核心です

Either Facebook is a giant con of half a trillion dollars

もしかして Facebookは 5000億ドルの巨大な詐欺であり

and ads don't work on the site,

サイト上の広告は効果がなく

it doesn't work as a persuasion architecture,

説得アーキテクチャとして 無力なのか―

or its power of influence is of great concern.

そうでないとしたら その影響力は 重大な懸念を招きます

It's either one or the other.

真実はそのどちらかです

It's similar for Google, too.

Googleについても同様です

So what can we do?

では 私たちは何ができるのか？

This needs to change.

現状を変える必要があります

Now, I can't offer a simple recipe,

私には 単純な処方箋を 提示できません

because we need to restructure

今のデジタルテクノロジーのあり方を

the whole way our digital technology operates.

根底から構築し直す 必要があるからです

Everything from the way technology is developed

技術開発の方法から

to the way the incentives, economic and otherwise,

経済面その他の インセンティブまで

are built into the system.

すべてがシステムに 組み込まれています

We have to face and try to deal with

私たちが直視し 対処しなければならないのは

the lack of transparency created by the proprietary algorithms,

独自非公開アルゴリズムが もたらす透明性の欠如や

the structural challenge of machine learning's opacity,

機械学習の不透明さという 構造的な課題や

all this indiscriminate data that's being collected about us.

個人についての情報が 見境なく収集されていることです

We have a big task in front of us.

私たちは大きな難題に 直面しています

We have to mobilize our technology,

テクノロジーや

our creativity

創造性や

and yes, our politics

そう 政治力も結集して

so that we can build artificial intelligence

私たちが作り上げたいのは

that supports us in our human goals

私たちの人間的な目標の追求を 支えてくれるとともに

but that is also constrained by our human values.

人間的な価値によって 制約も受けるようなAIです

And I understand this won't be easy.

容易でないことは 分かっています

We might not even easily agree on what those terms mean.

その言葉の定義についてさえ 簡単には合意できないかも

But if we take seriously

それでも 私たちがこれほど深く 依存しているシステムが

how these systems that we depend on for so much operate,

どのように働いているかを 真剣に考えるなら

I don't see how we can postpone this conversation anymore.

この議論をこれ以上 先延ばしにできるとは思えません

These structures

こうした構造が

are organizing how we function

私たちの行動を組織し

and they're controlling

私たちに何ができ 何ができないかを

what we can and we cannot do.

コントロールしています

And many of these ad-financed platforms,

広告収入で維持される こうしたプラットフォームの多くは

they boast that they're free.

無料で利用できることを 強調しています

In this context, it means that we are the product that's being sold.

つまり 販売されているのは 私たち自身だということです

We need a digital economy

私たちにとって必要な デジタル経済は

where our data and our attention

最も高い値段をつけた 独裁者や扇動的な政治家に

is not for sale to the highest-bidding authoritarian or demagogue.

私たちのデータや注目が 売り渡されないシステムです

(Applause)

(拍手)

So to go back to that Hollywood paraphrase,

先ほど紹介した ハリウッドの言葉に話を戻すなら

we do want the prodigious potential

AIの途方もない可能性と デジタルテクノロジーが

of artificial intelligence and digital technology to blossom,

開花することを 切に望みながらも

but for that, we must face this prodigious menace,

私たちは 途方もない脅威から 目をそらさず

open-eyed and now.

正に今 直視しなければなりません

Thank you.

ありがとうございました

(Applause)

(拍手)