The era of blind faith in big data must end | Cathy O'Neil

翻訳: Kazunori Akashi 校正: Yasushi Aoki

Algorithms are everywhere.

アルゴリズムは どこにでもあります

They sort and separate the winners from the losers.

アルゴリズムが勝者と敗者を分けます

The winners get the job

勝者は仕事を手に入れ

有利なクレジットカードを 申し込めます

or a good credit card offer.

The losers don't even get an interview

一方 敗者は就職面接すら受けられず

or they pay more for insurance.

保険料は より高くなります

We're being scored with secret formulas that we don't understand

私たちは 理解できない上に 不服申し立ての機会もない—

that often don't have systems of appeal.

秘密の数式によって 格付けされているのです

That begs the question:

そこで疑問が湧いてきます

What if the algorithms are wrong?

もしアルゴリズムが間違っていたら？

To build an algorithm you need two things:

アルゴリズムを作る時 必要なものが２つあります

you need data, what happened in the past,

データ つまり過去の出来事の記録と

and a definition of success,

人が追い求める「成功」を 定義する基準です

the thing you're looking for and often hoping for.

人が追い求める「成功」を 定義する基準です

そして観察と理解を通して アルゴリズムを訓練します

You train an algorithm by looking, figuring out.

アルゴリズムに 成功と関係する要素を 理解させるためです

The algorithm figures out what is associated with success.

What situation leads to success?

どんな状況が 成功に繋がるのでしょう？

Actually, everyone uses algorithms.

実は アルゴリズムは 誰でも使っています

They just don't formalize them in written code.

プログラムに書かないだけです

Let me give you an example.

１つ例を挙げましょう

I use an algorithm every day to make a meal for my family.

私は毎日アルゴリズムを使って 家族の食事を用意します

The data I use

私が利用するデータは

is the ingredients in my kitchen,

台所にどんな材料があるか

the time I have,

どれだけ時間をかけられるか

the ambition I have,

どれだけ料理に凝るかで

and I curate that data.

私はそのデータをまとめます

I don't count those little packages of ramen noodles as food.

ちなみにインスタントラーメンは 食べ物とは認めません

(Laughter)

（笑）

My definition of success is:

私にとって成功の基準は

a meal is successful if my kids eat vegetables.

子供たちが野菜を食べることです

もし下の息子が決めるなら 基準はガラッと変わり

It's very different from if my youngest son were in charge.

He'd say success is if he gets to eat lots of Nutella.

「いっぱいチョコナッツクリームを 食べられれば成功」と言うでしょう

But I get to choose success.

でも基準を決めるのは私です

I am in charge. My opinion matters.

責任者は私で 私の意見が重要なんですから

That's the first rule of algorithms.

これがアルゴリズムの第１のルールです

Algorithms are opinions embedded in code.

アルゴリズムとはプログラムに 埋め込まれた意見なのです

It's really different from what you think most people think of algorithms.

これは ほとんどの人が持つ アルゴリズムのイメージとはかけ離れています

They think algorithms are objective and true and scientific.

人々はアルゴリズムが客観的で正しく 科学的なものと思っていますが

それはマーケティング上のトリックです

That's a marketing trick.

It's also a marketing trick

アルゴリズムで人を怯ませるのも

to intimidate you with algorithms,

マーケティングのトリックですし

to make you trust and fear algorithms

アルゴリズムを信用させたり 恐れさせたりするのもそう

because you trust and fear mathematics.

皆 数学を恐れつつ信用していますから

A lot can go wrong when we put blind faith in big data.

ビッグデータを盲信すると いろいろな問題が生じかねません

This is Kiri Soares. She's a high school principal in Brooklyn.

彼女はキリ・ソアーズ ブルックリンの高校で校長をしています

In 2011, she told me her teachers were being scored

2011年に彼女が教えてくれたのですが 彼女の学校では

with a complex, secret algorithm

「付加価値モデル」という 複雑な秘密のアルゴリズムで

called the "value-added model."

教員が評価されている ということでした

I told her, "Well, figure out what the formula is, show it to me.

私は こう伝えました 「数式を調べてみましょう

見せてくれれば説明しますよ」

I'm going to explain it to you."

すると彼女は 「数式を入手しようとしたら

She said, "Well, I tried to get the formula,

but my Department of Education contact told me it was math

市教育局の担当者に『これは数学ですよ 理解できないでしょう』と

and I wouldn't understand it."

言われたんです」

It gets worse.

事態はさらに深刻化します

The New York Post filed a Freedom of Information Act request,

ニューヨーク・ポスト紙が 情報自由法に基づく開示請求をして

got all the teachers' names and all their scores

ニューヨーク市の全教員の 名前とスコアを手に入れ

and they published them as an act of teacher-shaming.

教員を辱めるような データを公表しました

When I tried to get the formulas, the source code, through the same means,

一方 私がソース・コードを 同じ方法で手に入れようとしたところ

I was told I couldn't.

無理だと言われました

I was denied.

却下されたのです

I later found out

後にわかったことですが

that nobody in New York City had access to that formula.

ニューヨーク市で その数式を 見られる人は誰もおらず

No one understood it.

誰も理解していなかったのです

Then someone really smart got involved, Gary Rubinstein.

その後 ゲイリー・ルービンスタインという 頭のキレる人物が登場します

He found 665 teachers from that New York Post data

彼はニューヨーク・ポスト紙のデータから

２種類のスコアを持っている 教員665名を見つけ出しました

that actually had two scores.

That could happen if they were teaching

それに該当するのは 例えば

seventh grade math and eighth grade math.

数学を７年生と８年生で 教えている場合です

He decided to plot them.

彼は２種類のスコアを散布図にしました

Each dot represents a teacher.

点はそれぞれ 先生を表します

(Laughter)

（笑）

What is that?

これは どういうことでしょう？

(Laughter)

（笑）

That should never have been used for individual assessment.

こんなものを教員の個人評価に 使ってはいけません

It's almost a random number generator.

まるで乱数発生器じゃないですか

(Applause)

（拍手）

But it was.

でも実際に使われたんです

This is Sarah Wysocki.

彼女はサラ・ワイサキ

She got fired, along with 205 other teachers,

他の205人のワシントンD.C.学区の 先生たちと共に

from the Washington, DC school district,

解雇されました

even though she had great recommendations from her principal

校長や保護者からの評価は 非常に高かったのにです

and the parents of her kids.

校長や保護者からの評価は 非常に高かったのにです

I know what a lot of you guys are thinking,

皆さんが今 考えていることは わかります

especially the data scientists, the AI experts here.

特にデータサイエンティストや AIの専門家なら思うでしょう

You're thinking, "Well, I would never make an algorithm that inconsistent."

「自分なら そんなデタラメな アルゴリズムは作らない」って

But algorithms can go wrong,

でもアルゴリズムは誤ることもあれば

even have deeply destructive effects with good intentions.

善意に基づいていても 破壊的な影響を及ぼすことだってあります

And whereas an airplane that's designed badly

飛行機なら 設計がまずければ

crashes to the earth and everyone sees it,

墜落しますし その様子が見えますが

an algorithm designed badly

アルゴリズムだと設計がまずくても

長期間に渡って 音もなく 大惨事をもたらし続けかねないんです

can go on for a long time, silently wreaking havoc.

This is Roger Ailes.

彼はロジャー・エイルズ

(Laughter)

（笑）

He founded Fox News in 1996.

1996年にFOXニュースを創設しました

More than 20 women complained about sexual harassment.

20人以上の女性が セクハラ被害を訴えました

They said they weren't allowed to succeed at Fox News.

またキャリアアップを 妨害されたそうです

He was ousted last year, but we've seen recently

彼自身は2016年に地位を追われましたが

that the problems have persisted.

最近のニュースにある通り 問題は依然残っています

That begs the question:

ここで疑問が湧いてきます

What should Fox News do to turn over another leaf?

再起をはかるために FOXニュースは何をすべきか？

Well, what if they replaced their hiring process

人材採用プロセスを 機械学習アルゴリズムに

with a machine-learning algorithm?

替えるのはどうでしょう？

That sounds good, right?

いいアイデアでしょう？

Think about it.

検討してみましょう

The data, what would the data be?

まずデータには 何が使えるでしょう？

A reasonable choice would be the last 21 years of applications to Fox News.

過去21年間に FOXニュースに送られた 履歴書がいいでしょう

Reasonable.

妥当なデータです

What about the definition of success?

では成功の基準は？

Reasonable choice would be,

妥当な基準は…

well, who is successful at Fox News?

どんな人がFOXニュースで 成功するんでしょう？

I guess someone who, say, stayed there for four years

例えば ４年在職して 最低１回は昇進していれば

and was promoted at least once.

成功と言えそうです

Sounds reasonable.

妥当な基準です

And then the algorithm would be trained.

それをアルゴリズムに学習させます

It would be trained to look for people to learn what led to success,

人々を探って 何が成功につながるか—

what kind of applications historically led to success

これまで どんな履歴書が 成功に繋がってきたのかを

この基準に従って学習させるのです

by that definition.

Now think about what would happen

さて このアルゴリズムを

if we applied that to a current pool of applicants.

現在の就職希望者に 当てはめると どうなるでしょう？

It would filter out women

まず女性は除外されるでしょう

because they do not look like people who were successful in the past.

過去に成功してきたようには 見えないからです

Algorithms don't make things fair

配慮もなく やみくもに アルゴリズムを適用しても

if you just blithely, blindly apply algorithms.

物事は公平にはならないんです

They don't make things fair.

アルゴリズムは公平を生みません

They repeat our past practices,

過去の行為や行動パターンを

our patterns.

繰り返し

They automate the status quo.

自動的に現状を維持するだけです

That would be great if we had a perfect world,

この世界が完璧なら それでいいんでしょうが

but we don't.

そうではありません

And I'll add that most companies don't have embarrassing lawsuits,

さらに付け加えると ほとんどの企業は みっともない裁判を抱えている訳ではありませんが

but the data scientists in those companies

こういった企業にいる データサイエンティストは

are told to follow the data,

正確性に焦点を当て

データに従うよう指示されています

to focus on accuracy.

Think about what that means.

その意味を考えてみましょう

Because we all have bias, it means they could be codifying sexism

誰でもバイアスを持っているので

アルゴリズムに性差別や その他の偏見が コード化されている可能性があります

or any other kind of bigotry.

Thought experiment,

思考実験をしてみましょう

because I like them:

私は思考実験が好きなので

an entirely segregated society --

人種を完全に隔離した 社会があるとします

racially segregated, all towns, all neighborhoods

どの街でも どの地域でも 人種は隔離され

and where we send the police only to the minority neighborhoods

犯罪を見つけるために 警察を送り込むのは

マイノリティーが住む地域だけです

to look for crime.

The arrest data would be very biased.

すると逮捕者のデータは かなり偏ったものになるでしょう

What if, on top of that, we found the data scientists

さらに データサイエンティストを 探してきて

and paid the data scientists to predict where the next crime would occur?

報酬を払い 次の犯罪が起こる場所を 予測させたらどうなるでしょう？

Minority neighborhood.

マイノリティーの地域になります

Or to predict who the next criminal would be?

あるいは 次に犯罪を犯しそうな人を 予測させたら？

A minority.

マイノリティーでしょうね

The data scientists would brag about how great and how accurate

データサイエンティストは モデルの素晴らしさと正確さを

their model would be,

自慢するでしょうし

and they'd be right.

確かにその通りでしょう

Now, reality isn't that drastic, but we do have severe segregations

さて 現実はそこまで極端ではありませんが

実際に多くの市や町で 深刻な人種差別があり

in many cities and towns,

and we have plenty of evidence

警察の活動や司法制度のデータが 偏っているという

of biased policing and justice system data.

証拠が揃っています

And we actually do predict hotspots,

実際にホットスポットと呼ばれる 犯罪多発地域を

places where crimes will occur.

予測しています

And we do predict, in fact, the individual criminality,

さらには個々人の犯罪傾向を

実際に予測しています

the criminality of individuals.

The news organization ProPublica recently looked into

報道組織プロパブリカが最近 いわゆる「再犯リスク」アルゴリズムの

one of those "recidivism risk" algorithms,

１つを取り上げ調査しました

as they're called,

１つを取り上げ調査しました

フロリダ州で 判事による 量刑手続に使われているものです

being used in Florida during sentencing by judges.

Bernard, on the left, the black man, was scored a 10 out of 10.

左側の黒人男性バーナードのスコアは 10点満点の10点で

Dylan, on the right, 3 out of 10.

右の白人ディランは３点でした

10 out of 10, high risk. 3 out of 10, low risk.

10点中10点はハイリスクで 3点はローリスクです

They were both brought in for drug possession.

２人とも麻薬所持で逮捕され

They both had records,

どちらも前科はありましたが

but Dylan had a felony

３点のディランには重罪の前科があり

but Bernard didn't.

10点のバーナードにはありませんでした

This matters, because the higher score you are,

これが重要な理由は スコアが高ければ高いほど

the more likely you're being given a longer sentence.

刑期が長くなる 傾向があるからです

What's going on?

どうなっているのでしょう？

Data laundering.

これは「データ・ロンダリング」です

It's a process by which technologists hide ugly truths

このプロセスを通して 技術者が ブラックボックスのようなアルゴリズムの内部に

inside black box algorithms

醜い現実を隠し

and call them objective;

「客観的」とか

call them meritocratic.

「能力主義」と称しているんです

When they're secret, important and destructive,

秘密にされている 重要で破壊的なアルゴリズムを

I've coined a term for these algorithms:

私はこんな名前で呼んでいます

"weapons of math destruction."

「大量破壊数学」です

(Laughter)

（笑）

(Applause)

（拍手）

They're everywhere, and it's not a mistake.

それは間違いなく どこにでも存在します

These are private companies building private algorithms

民間企業が 私的なアルゴリズムを 私的な目的で

for private ends.

作っているんです

Even the ones I talked about for teachers and the public police,

先程お話しした 教員や警察向けのアルゴリズムでさえ

those were built by private companies

民間企業が制作し

and sold to the government institutions.

政府機関に販売したものです

They call it their "secret sauce" --

アルゴリズムは 「秘伝のタレ」だから

that's why they can't tell us about it.

公開できないと 企業側は主張します

It's also private power.

また アルゴリズムは私的な権力です

They are profiting for wielding the authority of the inscrutable.

この謎めいた存在が持つ権威を振りかざして 企業は利益を得ています

Now you might think, since all this stuff is private

ただ こう思うかもしれません アルゴリズムが民間のものなら

and there's competition,

競争があるので

maybe the free market will solve this problem.

自由市場の力が 問題を解決するのではないか…

It won't.

でも そうはいきません

There's a lot of money to be made in unfairness.

不公平は大きな利益を 生み出しますから

Also, we're not economic rational agents.

それに我々人間は 合理的経済人ではなく

We all are biased.

誰もがバイアスを持っています

We're all racist and bigoted in ways that we wish we weren't,

私たちは 自分が望みも 気づきもしない形で

in ways that we don't even know.

差別や偏見を持っているのです

We know this, though, in aggregate,

全体を俯瞰して見ると そのことがわかります

because sociologists have consistently demonstrated this

なぜなら社会学者が 考案した実験を通して

with these experiments they build,

一貫して実証されてきたからです

where they send a bunch of applications to jobs out,

その実験では研究者が 履歴書を大量に送付しました

equally qualified but some have white-sounding names

同じように資格は満たしていますが 一部は白人っぽい名前で

and some have black-sounding names,

一部は黒人っぽい名前

そして結果は 常にがっかりするものでした

and it's always disappointing, the results -- always.

So we are the ones that are biased,

つまりバイアスがあるのは私たちで

and we are injecting those biases into the algorithms

どんなデータを集め選ぶかによって

そのバイアスをアルゴリズムに 注入しているんです

by choosing what data to collect,

like I chose not to think about ramen noodles --

これは私がインスタントラーメンを 含めないのと同じで

I decided it was irrelevant.

不適切だと決めたのは 私なんです

But by trusting the data that's actually picking up on past practices

しかし実際に過去の行動を元にした データを信頼し

and by choosing the definition of success,

成功の基準を恣意的に選びながら

how can we expect the algorithms to emerge unscathed?

どうして欠陥のないアルゴリズムを 期待できるのでしょう？

We can't. We have to check them.

それは無理です チェックが必要なんです

We have to check them for fairness.

公平性を確かめる必要があるんです

The good news is, we can check them for fairness.

幸い公正性は確認できます

Algorithms can be interrogated,

アルゴリズムに問いただせば

and they will tell us the truth every time.

常に本当のことしか 答えないので

And we can fix them. We can make them better.

修正を加え より良いものに 作り替えられます

I call this an algorithmic audit,

私は これを アルゴリズム監査と呼んでいます

and I'll walk you through it.

その手順を説明しましょう

First, data integrity check.

まずはデータ完全性チェックです

For the recidivism risk algorithm I talked about,

先ほど登場した 再犯リスク・アルゴリズムの場合—

a data integrity check would mean we'd have to come to terms with the fact

データ完全性チェックとは 事実を直視するという意味になるでしょう

that in the US, whites and blacks smoke pot at the same rate

例えばアメリカでは 大麻の使用率は 白人と黒人で同じなのに

but blacks are far more likely to be arrested --

逮捕される割合は 黒人の方がはるかに高く

four or five times more likely, depending on the area.

地域によっては ４〜５倍になるという事実があります

What is that bias looking like in other crime categories,

このようなバイアスは 他の犯罪では どんな形で表れ

and how do we account for it?

私たちは それを どう説明したらいいでしょうか？

Second, we should think about the definition of success,

次に 私たちは成功の基準について 考えなければなりません

audit that.

その基準を監査するのです

Remember -- with the hiring algorithm? We talked about it.

採用アルゴリズムを 思い出してください

Someone who stays for four years and is promoted once?

勤続年数が４年で 昇進１回の人はどうだったでしょう

Well, that is a successful employee,

その人は成功した社員でしょうが

but it's also an employee that is supported by their culture.

同時に その会社の文化に 支持されたとも言えます

That said, also it can be quite biased.

ただ その文化に バイアスがあるかもしれないので

We need to separate those two things.

この２つは分けて考える必要があります

We should look to the blind orchestra audition

一つの例として オーケストラの ブラインド・オーディションを見るべきでしょう

as an example.

一つの例として オーケストラの ブラインド・オーディションを見るべきでしょう

That's where the people auditioning are behind a sheet.

オーディションを受ける人は 衝立の向こうにいます

What I want to think about there

ここで注目したいのは

is the people who are listening have decided what's important

審査員は 何が重要で 何が重要でないかを

and they've decided what's not important,

あらかじめ決めて

and they're not getting distracted by that.

重要でないものに 惑わされないようにしている点です

When the blind orchestra auditions started,

ブラインド・オーディションを するようになって

the number of women in orchestras went up by a factor of five.

女性がオーケストラに占める割合は ５倍に増えました

Next, we have to consider accuracy.

次に正確性を吟味しなければなりません

This is where the value-added model for teachers would fail immediately.

教員向けの付加価値モデルなら すぐ落第になる項目です

No algorithm is perfect, of course,

当然 完璧なアルゴリズムなどないので

so we have to consider the errors of every algorithm.

あらゆるアルゴリズムの 誤りを検討する必要があります

How often are there errors, and for whom does this model fail?

誤りを起こす頻度は？ どんな相手だと そのモデルは機能しないのか？

What is the cost of that failure?

失敗した時の損失規模は？

And finally, we have to consider

そして最後に考えなければならないのは

the long-term effects of algorithms,

アルゴリズムの長期的影響 つまり

the feedback loops that are engendering.

それによって生じる フィードバック・ループです

That sounds abstract,

抽象的な話に 聞こえるかもしれませんが

but imagine if Facebook engineers had considered that

もしFacebookのエンジニアが 友人の投稿だけを表示する前に

フィードバック・ループの影響を 考慮していたらと考えてみてください

before they decided to show us only things that our friends had posted.

I have two more messages, one for the data scientists out there.

伝えたいことは あと２つ １つはデータサイエンティストに向けたものです

Data scientists: we should not be the arbiters of truth.

私たちデータサイエンティストが 真実を決めるべきではありません

We should be translators of ethical discussions that happen

私たちは もっと広い社会に生じる 倫理的な議論を

解釈する存在であるべきです

in larger society.

(Applause)

（拍手）

And the rest of you,

そしてデータサイエンティスト以外の 皆さん—

the non-data scientists:

そしてデータサイエンティスト以外の 皆さん—

this is not a math test.

この状況は数学のテストではなく

This is a political fight.

政治闘争なのです

We need to demand accountability for our algorithmic overlords.

専制君主のようなアルゴリズムに対して 私たちは説明を求める必要があります

(Applause)

（拍手）

The era of blind faith in big data must end.

ビッグデータを盲信する時代は 終わらせるべきです

Thank you very much.

ありがとうございました

(Applause)

（拍手）