Machine intelligence makes human morals more important | Zeynep Tufekci

翻訳: Naoko Fujii 校正: Misaki Sato

So, I started my first job as a computer programmer

私はコンピュータ・プログラマー としての最初の仕事を

in my very first year of college --

大学１年生で始めました

basically, as a teenager.

まあ 10代だったんですね

Soon after I started working,

ある会社で ソフトウェアを

writing software in a company,

書くという仕事を 始めてまもなく

a manager who worked at the company came down to where I was,

会社のマネージャーが 私のところに来て

and he whispered to me,

こうささやきました

"Can he tell if I'm lying?"

「僕の嘘 彼にばれてる？」

There was nobody else in the room.

部屋には他に誰もいません

「誰にばれてるって言うんです？ それにどうしてひそひそ声で？」

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

マネージャーは 室内のコンピュータを指さして

"Can he tell if I'm lying?"

「僕の嘘 彼にばれてる？」

Well, that manager was having an affair with the receptionist.

実はこのマネージャー 受付係と浮気してたんです

(Laughter)

（笑）

私はまだ10代でした

And I was still a teenager.

So I whisper-shouted back to him,

だからささやき声で 彼に叫び返しました

"Yes, the computer can tell if you're lying."

「ええ コンピュータには お見通しですよ」って

（笑）

(Laughter)

Well, I laughed, but actually, the laugh's on me.

笑っちゃいましたが 実は その笑いは自分に返ってきました

Nowadays, there are computational systems

今日 コンピュータ・システムは

that can suss out emotional states and even lying

人間の顔画像を処理することによって

from processing human faces.

感情や 嘘まで見抜けるんです

Advertisers and even governments are very interested.

広告主や 政府までもが 非常に関心を寄せています

I had become a computer programmer

コンピュータプログラマーに 私がなったのは

because I was one of those kids crazy about math and science.

子どもの頃から数学と科学が 熱狂的に好きだったからです

But somewhere along the line I'd learned about nuclear weapons,

しかしその過程で 核兵器についても学び

科学の倫理について 非常に懸念するようになりました

and I'd gotten really concerned with the ethics of science.

悩みました

I was troubled.

However, because of family circumstances,

しかし 家庭の事情で

I also needed to start working as soon as possible.

私はできるだけ早く 働き始めなければなりませんでした

So I thought to myself, hey, let me pick a technical field

それでひそかに考えました 技術者として

where I can get a job easily

簡単に職が得られて

and where I don't have to deal with any troublesome questions of ethics.

倫理という厄介な問題を何も 考えなくていい分野の仕事はないかと

それで選んだのがコンピュータです

So I picked computers.

(Laughter)

（笑）

Well, ha, ha, ha! All the laughs are on me.

ハハ 笑っちゃう 自分のことを笑ってるんです

近頃 コンピュータ科学者は

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

10億人が毎日見ているものを制御する プラットフォームを作っています

誰をひき殺すか決定できる 車を開発しています

They're developing cars that could decide who to run over.

They're even building machines, weapons,

戦争で人間を殺すかもしれないような

that might kill human beings in war.

機械や兵器さえも作っています

It's ethics all the way down.

全てにおいて重要になるのが倫理です

Machine intelligence is here.

機械知能は もう存在しています

We're now using computation to make all sort of decisions,

私たちは今や コンピュータを使って あらゆる種類の決定を下し

but also new kinds of decisions.

さらに新しい類の決定も下します

We're asking questions to computation that have no single right answers,

私たちは 単一の正答がない問題の答えを コンピュータに尋ねています

that are subjective

その問題とは 主観的で

and open-ended and value-laden.

オープンエンドで 価値観にかかわるものです

私たちがする質問はこんなふうです

We're asking questions like,

"Who should the company hire?"

「誰を社員に採用すべきか？」

「どの友達からの新着情報を 表示すべきか？」

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

「再犯する可能性の高い受刑者は誰か？」

"Which news item or movie should be recommended to people?"

「人々に勧めるべき ニュースや映画はどれか？」

Look, yes, we've been using computers for a while,

確かに私たちは しばらくの間 コンピュータを使ってきました

but this is different.

しかしこれは違います

This is a historical twist,

これは歴史的なひずみです

because we cannot anchor computation for such subjective decisions

なぜならそのような主観的な決定を コンピュータには頼れないからです

the way we can anchor computation for flying airplanes, building bridges,

飛行機を飛ばしたり 建物を建てたり

going to the moon.

月に行く場合とは違うんです

Are airplanes safer? Did the bridge sway and fall?

飛行機の方が安全か？ その橋は揺れたり落ちたりしたか？

There, we have agreed-upon, fairly clear benchmarks,

そこでは合意された かなり明確な基準があり

and we have laws of nature to guide us.

自然の法則が私たちを導いてくれます

We have no such anchors and benchmarks

私たちがそのような 支えや基準を何も持っていないのが

for decisions in messy human affairs.

人間くさい事柄における 厄介な決定についてです

To make things more complicated, our software is getting more powerful,

もっと複雑なことに ソフトウェアは強力になりつつあります

but it's also getting less transparent and more complex.

その一方で 透明性を減らし 複雑さを増してもいるのです

Recently, in the past decade,

ここ10年のあいだ

complex algorithms have made great strides.

複雑なアルゴリズムは 大きく前進しました

They can recognize human faces.

人間の顔を認識できます

They can decipher handwriting.

手書き文字を読み取れます

They can detect credit card fraud

クレジットカードの不正使用を探知し

and block spam

スパムをブロックし

and they can translate between languages.

言語の翻訳もできます

They can detect tumors in medical imaging.

医用イメージングで 腫瘍を探しあてることもできます

They can beat humans in chess and Go.

チェスや碁で人間を 打ち負かすこともできます

Much of this progress comes from a method called "machine learning."

この進歩の多くは 「機械学習」と 呼ばれる方法から成り立っています

機械学習は コンピュータに 詳細で正確、綿密な指示を与える―

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

伝統的なプログラミングとは異なります

It's more like you take the system and you feed it lots of data,

機械学習は システムに 大量のデータを しこたま詰め込むやり方です

including unstructured data,

そこには非構造化データという

like the kind we generate in our digital lives.

人間がデジタルライフで 生成する類のものも含まれます

And the system learns by churning through this data.

そしてシステムはこのデータを 組み合わせながら学習します

And also, crucially,

そしてまた重要なことに

these systems don't operate under a single-answer logic.

これらのシステムは 答が単一になる論理で動いてはいません

They don't produce a simple answer; it's more probabilistic:

単純に回答を与えるのではなく もっと確率論的です

"This one is probably more like what you're looking for."

「これはおそらくあなたが 探しているものにより近いでしょう」

これの良い面は この方法が非常に強力であることです

Now, the upside is: this method is really powerful.

GoogleのAIシステムのトップはこれを

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

「データの理不尽なほどの強力さ」 と呼んでいます

The downside is,

このシステムの悪い面は

we don't really understand what the system learned.

これが何を学習しているのか 私たちはそれほど理解していないことです

In fact, that's its power.

実際 その強力さが問題なのです

This is less like giving instructions to a computer;

これはコンピュータに 指示を与えるというよりは

it's more like training a puppy-machine-creature

むしろ子犬のような生き物として 訓練するようなものです

we don't really understand or control.

その機械をそれほど 理解も制御もできていないのにです

So this is our problem.

これは問題です

It's a problem when this artificial intelligence system gets things wrong.

この人工知能システムが 誤りを犯したときだけでなく

It's also a problem when it gets things right,

正しいことをした場合にも 問題が生じます

because we don't even know which is which when it's a subjective problem.

なぜなら主観的な問題の場合 私たちには正誤さえも分からないからです

We don't know what this thing is thinking.

私たちはこの物体が 何を考えているか知りません

So, consider a hiring algorithm --

ですから たとえば雇用アルゴリズムを 考えてみましょう

社員を雇う際に使われるシステムで 機械学習システムを使っています

a system used to hire people, using machine-learning systems.

そのようなシステムは過去の従業員の データに基づいて訓練されています

Such a system would have been trained on previous employees' data

and instructed to find and hire

そしてそのシステムが指示するのは

people like the existing high performers in the company.

その会社に在籍する業績優秀者に似た 人材を探し雇うことです

Sounds good.

良さそうですね

I once attended a conference

以前ある会議に 出席した折のことですが

そこには人事部のマネージャーと 執行役が集まっていました

that brought together human resources managers and executives,

高い職位の人たちで

high-level people,

using such systems in hiring.

そのようなシステムを 雇用に活用しています

They were super excited.

彼らは非常にワクワクしていました

They thought that this would make hiring more objective, less biased,

彼らの考えでは このシステムは より客観的で偏見の少ない雇用を行い

and give women and minorities a better shot

マネージャーの偏見に対して 女性や少数派の人々に

against biased human managers.

より良い機会を与えるものでした

And look -- human hiring is biased.

そうです　 雇用には偏見が混じるのです

私は知っています

I know.

I mean, in one of my early jobs as a programmer,

ある職場で プログラマーとして 働きだした頃

my immediate manager would sometimes come down to where I was

直属のマネージャーが 時々私のところに来ました

really early in the morning or really late in the afternoon,

それも早朝とか夕方にです

そして彼女はこう言うんです 「ゼイナップ ランチ行きましょ」

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

おかしなタイミングで 全く訳が分かりませんでした

It's 4pm. Lunch?

午後４時にランチ？

私はお金がなかったので おごりでした いつも行きました

I was broke, so free lunch. I always went.

I later realized what was happening.

後で何が起こっていたのか悟りました

My immediate managers had not confessed to their higher-ups

直属のマネージャーは上層部に

that the programmer they hired for a serious job was a teen girl

重要な仕事のために雇ったのが

who wore jeans and sneakers to work.

ジーンズとスニーカーで仕事をする 10代女子だと言ってなかったんです

私は良い仕事ぶりだったのに 体裁が悪くて

I was doing a good job, I just looked wrong

and was the wrong age and gender.

年齢や性別の点でも 良くなかったんです

ですから性別や人種に 惑わされない形での雇用は

So hiring in a gender- and race-blind way

certainly sounds good to me.

非常に良いことだと 私には思えます

でもこのシステムを用いると 事態はより複雑になります なぜなら

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

現在コンピュータシステムは あなたに関するあらゆる類のことを

from your digital crumbs,

デジタル情報の断片から 推測できるからです

even if you have not disclosed those things.

自分が開示していなくてもです

They can infer your sexual orientation,

システムはあなたの性的志向や

your personality traits,

性格特徴や

your political leanings.

政治的傾向を推測できます

They have predictive power with high levels of accuracy.

システムは高水準の正確さで 予測する力を持っています

Remember -- for things you haven't even disclosed.

思い出してください 開示さえしていない事柄をですよ

This is inference.

これが推測です

I have a friend who developed such computational systems

ある友達は そのようなコンピュータシステムを

to predict the likelihood of clinical or postpartum depression

病的な あるいは産後の 抑うつの可能性を 予測するために開発しています

from social media data.

SNSのデータを用いるんです

The results are impressive.

結果は素晴らしいです

Her system can predict the likelihood of depression

彼女のシステムは うつ罹患の可能性を

months before the onset of any symptoms --

症状が現れる数か月前に 予測できるのです

months before.

数か月も前ですよ

No symptoms, there's prediction.

症状が全くない段階での予測です

She hopes it will be used for early intervention. Great!

彼女はこれを早期介入のために 活用したがっています 素晴らしい！

But now put this in the context of hiring.

でもこれを雇用の文脈で 考えてみましょう

例の 人事マネージャーの会議では

So at this human resources managers conference,

私はある非常に大きな企業の 高職位のマネージャーに近づき

I approached a high-level manager in a very large company,

and I said to her, "Look, what if, unbeknownst to you,

こう言いました 「まだご存じないこととは思いますが

your system is weeding out people with high future likelihood of depression?

もしそのシステムが 将来うつになる可能性が 高い人を排除しているとしたらどうでしょう？

They're not depressed now, just maybe in the future, more likely.

今ではなく　 将来そうなる可能性が高い人です

What if it's weeding out women more likely to be pregnant

妊娠する可能性の 高い女性を排除しているとしたら？

in the next year or two but aren't pregnant now?

来年か再来年のことで 今は妊娠していない場合ですよ？

What if it's hiring aggressive people because that's your workplace culture?"

もし職場の文化に合っているからと 攻撃的な人が雇われたらどうします？」

性別の構成からは そのことを読み取れません

You can't tell this by looking at gender breakdowns.

Those may be balanced.

構成比はバランスが取れています

And since this is machine learning, not traditional coding,

これは機械学習で 伝統的なプログラムではないので

there is no variable there labeled "higher risk of depression,"

たとえば「うつハイリスク」とか 「妊娠ハイリスク」

"higher risk of pregnancy,"

「攻撃的な人物度」

"aggressive guy scale."

などの変数は登場しません

Not only do you not know what your system is selecting on,

システムが何に基づいて選択しているのか 分からないばかりか

you don't even know where to begin to look.

どうすれば分かるのかの 手がかりもありません

ブラックボックスなんです

It's a black box.

It has predictive power, but you don't understand it.

システムには予測力がありますが 人間には理解できない代物です

"What safeguards," I asked, "do you have

「どんな安全対策をしていますか？

to make sure that your black box isn't doing something shady?"

あなたのブラックボックスが やましいことをしないようにです」

She looked at me as if I had just stepped on 10 puppy tails.

彼女は子犬の尻尾を10匹分も踏みつけた 人でなしを見るかのような顔になりました

(Laughter)

（笑）

彼女は私をじっと見て言いました

She stared at me and she said,

"I don't want to hear another word about this."

「これについては もう何も聞きたくない」

And she turned around and walked away.

そして彼女は踵を返して 行ってしまいました

彼女が失礼なわけではありません

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

明らかに 聞かなかったことにしたい あっち行ってという憎悪の眼差しでした

(Laughter)

（笑）

Look, such a system may even be less biased

いいですか そのようなシステムは ある意味 偏見の程度は

than human managers in some ways.

人間のマネージャーよりは 少ないかもしれません

And it could make monetary sense.

費用の面でも 理にかなっているでしょう

But it could also lead

でもそれはまた

to a steady but stealthy shutting out of the job market

ひそやかながら確実に 労働市場からの

うつハイリスク者の締め出しに つながりかねません

of people with higher risk of depression.

Is this the kind of society we want to build,

これが私たちの築きたい 社会の姿でしょうか？

without even knowing we've done this,

こんなことをしていることさえ 私たちは知らないんです

because we turned decision-making to machines we don't totally understand?

完全には理解していない機械に 意思決定をさせているんですからね

Another problem is this:

もう１つの問題はこれです

these systems are often trained on data generated by our actions,

このようなシステムの訓練は往々にして 人間の行動データに基づいています

human imprints.

人間らしさが刻み込まれています

Well, they could just be reflecting our biases,

それらは私たちの偏見を 反映している可能性があり

これらのシステムは 私たちの偏見を拾い上げ

and these systems could be picking up on our biases

and amplifying them

それを増幅して

and showing them back to us,

私たちに示し返しかねません

while we're telling ourselves,

私たちはこんな言いっぷりなのにですよ

"We're just doing objective, neutral computation."

「私たちはまさしく客観的です 中立的なコンピューティングですから」

Researchers found that on Google,

研究者たちは Googleにおいて

女性には 高給の求人広告が 表示されにくいことを見出しました

women are less likely than men to be shown job ads for high-paying jobs.

And searching for African-American names

また アフリカ系アメリカ人の 名前を検索すると

犯罪歴をほのめかす広告が 高確率で表示されます

is more likely to bring up ads suggesting criminal history,

even when there is none.

犯罪歴がない人の場合でもそうです

Such hidden biases and black-box algorithms

そのような隠れた偏見と ブラックボックスのアルゴリズムを

that researchers uncover sometimes but sometimes we don't know,

研究者が暴くこともありますが 知られない場合もあります

can have life-altering consequences.

それらは人生を 変える結果になりうるのです

In Wisconsin, a defendant was sentenced to six years in prison

ウィスコンシンで ある被告が 刑期６年の判決を受けました

警察官から逃げたためです

for evading the police.

You may not know this,

ご存知ないかもしれませんが

仮釈放や判決の決定においても アルゴリズムの使用が増えています

but algorithms are increasingly used in parole and sentencing decisions.

彼はこのスコアが計算される仕組みを 知りたいと思いました

He wanted to know: How is this score calculated?

It's a commercial black box.

それは商用のブラックボックスです

The company refused to have its algorithm be challenged in open court.

企業はアルゴリズムが 公開の法廷で検証されるのを拒みました

But ProPublica, an investigative nonprofit, audited that very algorithm

でもProPublicaという非営利の調査団体が そのアルゴリズムを監査しました

with what public data they could find,

入手可能だった 公開データを用いてです

and found that its outcomes were biased

そして分かったのは 結果には偏見が影響しており

and its predictive power was dismal, barely better than chance,

予測力はひどいものでした 偶然よりわずかにましな程度です

and it was wrongly labeling black defendants as future criminals

黒人の被告は 白人の被告に比べて 将来犯罪を起こす確率が

at twice the rate of white defendants.

２倍高いと 誤ってラベリングされていました

So, consider this case:

ではこのケースを考えてみましょう

女性のほうは予定より遅れて 親友を迎えに行くため

This woman was late picking up her godsister

from a school in Broward County, Florida,

フロリダ州ブロワード郡の ある学校に向かって

running down the street with a friend of hers.

友達と一緒に道を走っていました

ふたりはある家の玄関で 無施錠の 子ども用の自転車とキックスケーターを見つけ

They spotted an unlocked kid's bike and a scooter on a porch

and foolishly jumped on it.

愚かにもそれに飛び乗りました

As they were speeding off, a woman came out and said,

走り去ろうとしたところ 女性が出てきて言いました

"Hey! That's my kid's bike!"

「ちょっと！ それはうちの子の自転車よ！」

They dropped it, they walked away, but they were arrested.

ふたりは降りて 歩き去りましたが 逮捕されました

彼女は間違っていたし愚かでした でもまだ18歳です

She was wrong, she was foolish, but she was also just 18.

She had a couple of juvenile misdemeanors.

彼女は２回の非行歴がありました

Meanwhile, that man had been arrested for shoplifting in Home Depot --

一方 男性のほうは Home Depoで 万引きをして捕まりました

彼が万引きしたのは85ドル相当で 同じく軽犯罪ですが

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

彼は強盗で前科２犯でした

But the algorithm scored her as high risk, and not him.

でもアルゴリズムは 男性ではなく 女性の方をハイリスクと評価しました

Two years later, ProPublica found that she had not reoffended.

その女性が２年後に再犯していないことを ProPiblicaは明らかにしています

It was just hard to get a job for her with her record.

犯罪記録をもつ彼女が 職を得るのは実に困難でした

He, on the other hand, did reoffend

一方 男性の方は再犯し

and is now serving an eight-year prison term for a later crime.

２つ目の犯罪のために 現在は８年間の収監中です

ブラックボックスに対して 監査が必要なのは明白です

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

チェックしないままこの種の権力を 与えてはいけないのです

（拍手）

(Applause)

監査は偉大で重要ですが それで全ての問題を解決できはしません

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

Facebookのニュース・フィードの 強力なアルゴリズムの場合

全てをランク付けし 全ての友達やフォロー中のページのなかで

you know, the one that ranks everything and decides what to show you

from all the friends and pages you follow.

何を見るべきか決定する仕組みですね

Should you be shown another baby picture?

赤ちゃんの写真をもう１枚見るべきか？

(Laughter)

（笑）

A sullen note from an acquaintance?

知り合いからの ご機嫌斜めのコメントは？

An important but difficult news item?

重要だけど難解なニュース記事は？

There's no right answer.

正答はありません

Facebook optimizes for engagement on the site:

Facebookはサイト上での やりとりに応じて最適化します

likes, shares, comments.

「いいね」やシェア コメント といったものです

2014年8月

In August of 2014,

protests broke out in Ferguson, Missouri,

ミズーリ州ファーガソンで 抗議運動が勃発しました

after the killing of an African-American teenager by a white police officer,

アフリカ系アメリカ人の10代が 白人の警察官に殺され

その状況が不審だったのです

under murky circumstances.

The news of the protests was all over

抗議運動のニュースは

フィルタリングされない Twitterフィードを埋め尽くしました

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

でもFacebookには何ら 表示されませんでした

Was it my Facebook friends?

Facebook上の友達との 関連でしょうか？

I disabled Facebook's algorithm,

私はFacebookのアルゴリズムを 無効にしました

which is hard because Facebook keeps wanting to make you

Facebookはアルゴリズムの 管理下に置きたがるので

come under the algorithm's control,

難しかったですけどね

and saw that my friends were talking about it.

すると友達が 抗議運動のことを 話しているのが分かりました

It's just that the algorithm wasn't showing it to me.

アルゴリズムが私に 見せなかっただけなんです

I researched this and found this was a widespread problem.

調査して分かりましたが これは広範囲にわたる問題でした

The story of Ferguson wasn't algorithm-friendly.

ファーガソンの話題は アルゴリズムに馴染まなかったんです

「いいね」しにくいのです

It's not "likable."

Who's going to click on "like?"

誰が「いいね」します？

It's not even easy to comment on.

コメントをするのさえ 容易じゃありません

Without likes and comments,

「いいね」もコメントもないので

アルゴリズムは少数の人にしか それを表示しません

the algorithm was likely showing it to even fewer people,

so we didn't get to see this.

だから目にすることがなかったんです

Instead, that week,

そのかわり その週

Facebook's algorithm highlighted this,

Facebookのアルゴリズムが ハイライトしたのは

which is the ALS Ice Bucket Challenge.

ALSアイス・バケツ・チャレンジでした

Worthy cause; dump ice water, donate to charity, fine.

価値のある目的で氷水をかぶり チャリティに寄付 良いですね

But it was super algorithm-friendly.

でも極めてよく アルゴリズムに馴染みます

The machine made this decision for us.

機械が私たちのために これを決定したんです

A very important but difficult conversation

非常に重要だけれど難解な会話は

might have been smothered,

Facebookが唯一の経路の場合

had Facebook been the only channel.

抑え込まれてきたのかもしれません

さて最後にこれらのシステムは

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

人間のシステムとは似つかない誤りを 犯しうるのです

Do you guys remember Watson, IBM's machine-intelligence system

皆さんはワトソンを覚えていますか IBMの機械知能システムで

that wiped the floor with human contestants on Jeopardy?

クイズ番組『ジェパディ！』で 対戦相手の人間を打ち負かしました

すごい選手だったんです

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

しかし最終問題で ワトソンは こんな質問をされました

"Its largest airport is named for a World War II hero,

「その地域最大の空港の名は 第二次世界大戦の英雄に由来し

its second-largest for a World War II battle."

２番目の空港の名の由来は 第二次世界大戦中の戦いです」

(Hums Final Jeopardy music)

（最終問題の音楽をハミング）

Chicago.

「シカゴ」

The two humans got it right.

人間ふたりは正答でした

Watson, on the other hand, answered "Toronto" --

一方ワトソンの答えは 「トロント」

米国の都市についての 問題だったのに！

for a US city category!

The impressive system also made an error

この素晴らしいシステムも エラーをするんです

that a human would never make, a second-grader wouldn't make.

人間はしないようなエラーです ２年生の子どもでもしません

Our machine intelligence can fail

機械知能は失敗を犯すこともあるんです

in ways that don't fit error patterns of humans,

人間のエラーパターンとは 異なります

予想外であり 備えもできないような方法です

in ways we won't expect and be prepared for.

資質のある人が仕事を得られないのも ひどい話ですが

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

もしそれがプログラムのサブルーチンに伴う スタックオーバーフローが原因なら

in some subroutine.

３倍ひどい話です

(Laughter)

（笑）

In May of 2010,

2010年5月

a flash crash on Wall Street fueled by a feedback loop

ウォールストリートの 「売り」アルゴリズムでの

in Wall Street's "sell" algorithm

フィードバックループによって 瞬間暴落が起き

wiped a trillion dollars of value in 36 minutes.

36分間で１兆ドル相当の 損失が出ました

I don't even want to think what "error" means

「エラー」の意味を 考えたくもないのが

in the context of lethal autonomous weapons.

無人攻撃機の場合です

So yes, humans have always made biases.

ええ人間には 偏見がつきものです

Decision makers and gatekeepers,

意思決定者やゲートキーパー

in courts, in news, in war ...

法廷、ニュース、戦争・・・

they make mistakes; but that's exactly my point.

そこではミスが生じますが これこそ私の言いたいことです

We cannot escape these difficult questions.

これらの難問から 私たちは逃れられません

We cannot outsource our responsibilities to machines.

私たちは責任を 機械に外部委託することはできないのです

(Applause)

（拍手）

人工知能は「倫理問題からの解放」カードを 私たちにくれたりしません

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

データ科学者のフレッド・ベネンソンは これを数学による洗脳だと呼びました

私たちに必要なのは逆のものです

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

私たちはアルゴリズムを疑い 精査するようにならねばなりません

We need to make sure we have algorithmic accountability,

私たちは アルゴリズムについての 説明責任を持ち

auditing and meaningful transparency.

監査や意味のある透明化を 求めなければなりません

We need to accept that bringing math and computation

私たちは厄介で価値観にかかわる 人間くさい事柄に対して

to messy, value-laden human affairs

数学や計算機は 客観性をもたらしえないことを

does not bring objectivity;

受け入れなければなりません

rather, the complexity of human affairs invades the algorithms.

むしろ人間くささのもつ複雑さが アルゴリズムを管理するのです

確かに私たちは コンピュータを 良い決断を下す助けとして

Yes, we can and we should use computation

to help us make better decisions.

使いうるし そうすべきです

But we have to own up to our moral responsibility to judgment,

でも私たちは判断を下すことへの 自分の道徳的な責任を認め

そしてアルゴリズムを その枠内で用いなければなりません

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

自分の責任を放棄して 別の人間へ委ねることとは

to one another as human to human.

異なるのです

Machine intelligence is here.

機械知能はもう存在しています

That means we must hold on ever tighter

つまり私たちは 人間としての価値観や倫理感を

to human values and human ethics.

よりしっかり持たねばなりません

ありがとうございました

Thank you.

(Applause)

（拍手）