Damon Horowitz calls for a "moral operating system"

デイモン・ホロビッツは道徳のオペレーティングシステムを提言する

翻訳: Natsuhiko Mizutani 校正: Kayo Mizutani

Power.

「力（ちから）」

That is the word that comes to mind.

そんな言葉が頭に浮かびます

We're the new technologists.

我々は新しい技術者です

We have a lot of data, so we have a lot of power.

多くのデータ すなわち大きな力を手にしています

How much power do we have?

どれほどの力があるのでしょう

Scene from a movie: "Apocalypse Now" -- great movie.

「地獄の黙示録」を思いだしてください　素晴らしい映画です

We've got to get our hero, Captain Willard, to the mouth of the Nung River

主人公のウィラード大尉は カーツ大佐を追跡するために

so he can go pursue Colonel Kurtz.

ナン河の河口に向かわねばなりません

The way we're going to do this is fly him in and drop him off.

そこで空路で運んで彼を降下させる

So the scene:

そんな場面です

the sky is filled with this fleet of helicopters carrying him in.

彼を乗せたヘリコプター軍団が空いっぱいに広がり

And there's this loud, thrilling music in the background,

スリリングな音楽が大きく響きます

this wild music.

この力強い音楽です

♫ Dum da ta da dum ♫

♫ダンダラダーダン

♫ Dum da ta da dum ♫

ダンダラダーダン

♫ Da ta da da ♫

ダダラダー♫

That's a lot of power.

凄まじい力です

That's the kind of power I feel in this room.

ここでもその種の力を感じます

That's the kind of power we have

私たちの手に入れたデータに由来する力は

because of all of the data that we have.

この種の力です

Let's take an example.

例を示します

What can we do

ある一人の個人データから

with just one person's data?

何ができるでしょうか

What can we do

たとえば

with that guy's data?

彼のデータでは？

I can look at your financial records.

財務記録を見て

I can tell if you pay your bills on time.

支払いに遅れがないかを調べ

I know if you're good to give a loan to.

お金を貸し付けて大丈夫とわかります

I can look at your medical records; I can see if your pump is still pumping --

医療記録を調べて 心臓に問題がなければ

see if you're good to offer insurance to.

保険を勧めて良いことがわかります

I can look at your clicking patterns.

クリックの癖も調べられます

When you come to my website, I actually know what you're going to do already

私のウェブサイトに来たときには どう振る舞うかお見通しです

because I've seen you visit millions of websites before.

これまでの無数のサイト訪問を見ているからです

And I'm sorry to tell you,

申し訳ないですが

you're like a poker player, you have a tell.

手の内を見透かされたポーカープレイヤーは

I can tell with data analysis what you're going to do

何かする前から やろうとしていることを

before you even do it.

見抜かれています

I know what you like. I know who you are,

あなたが好きなものも あなたが何者かも

and that's even before I look at your mail

メールや電話を見なくたって

or your phone.

わかるのです

Those are the kinds of things we can do

我々が集めているデータで

with the data that we have.

こんなことができるのです

But I'm not actually here to talk about what we can do.

でも今日は 何ができるかでなく

I'm here to talk about what we should do.

何をすべきかについて 話します

What's the right thing to do?

「正しい行い」とは何か？

Now I see some puzzled looks

戸惑った顔の方もいます

like, "Why are you asking us what's the right thing to do?

「何が正しい行動か？なんてどうして聞くんだ

We're just building this stuff. Somebody else is using it."

僕らは何かを作る それを使うのは他の人だ」

Fair enough.

いいでしょう

But it brings me back.

では昔を振り返って

I think about World War II --

第二次世界大戦のことを考えましょう

some of our great technologists then,

当時の偉大な技術者と

some of our great physicists,

偉大な物理学者で

studying nuclear fission and fusion --

核分裂や核融合などの

just nuclear stuff.

原子核物理を研究していた人たちが

We gather together these physicists in Los Alamos

ロス・アラモスに集まって

to see what they'll build.

何を作ったのでしょう

We want the people building the technology

技術を作っている人たちには

thinking about what we should be doing with the technology.

技術をどう使うべきか考えて欲しいのです

So what should we be doing with that guy's data?

つまり あの人のデータをどう扱うべきでしょうか

Should we be collecting it, gathering it,

データを集めて蓄積し より良いオンライン生活を

so we can make his online experience better?

提供するために役立てますか？

So we can make money?

お金を稼ぐために使いますか？

So we can protect ourselves

もしも彼が問題人物だったときに

if he was up to no good?

自分たちを守るために使いますか？

Or should we respect his privacy,

あるいは 彼のプライバシーを尊重して

protect his dignity and leave him alone?

彼の尊厳を守り そっとしておきますか

Which one is it?

どちらにしましょうか

How should we figure it out?

どうやって決めましょうか

I know: crowdsource. Let's crowdsource this.

そうだ クラウドソースです

So to get people warmed up,

まず手始めに

let's start with an easy question --

簡単な質問から始めます

something I'm sure everybody here has an opinion about:

これは 誰もが自分の考えを持っているはずです

iPhone versus Android.

iPhone とアンドロイドです

Let's do a show of hands -- iPhone.

手を挙げてください -- iPhone

Uh huh.

ふむふむ

Android.

アンドロイド

You'd think with a bunch of smart people

こんなに賢い人たちの集まりに

we wouldn't be such suckers just for the pretty phones.

電話のことだけ聞いたらマズイですよね

(Laughter)

(笑)

Next question,

次の質問は

a little bit harder.

少し手応えがあります

Should we be collecting all of that guy's data

彼のデータを全て集めて

to make his experiences better

よりよい経験を提供し

and to protect ourselves in case he's up to no good?

もし問題人物なら身を守るために使ってよいか？

Or should we leave him alone?

それとも データ収集は止めますか

Collect his data.

データを集める人

Leave him alone.

集めない人

You're safe. It's fine.

安心していいよ 大丈夫です

(Laughter)

(笑)

Okay, last question --

では 最後の質問は

harder question --

もっと厄介な質問です

when trying to evaluate

このケースで何を行うべきか

what we should do in this case,

評価するときに

should we use a Kantian deontological moral framework,

カントの義務論に従うべきでしょうか

or should we use a Millian consequentialist one?

それともミルの帰結主義に従いますか

Kant.

カント

Mill.

ミル

Not as many votes.

挙手が減ってしまいました

(Laughter)

(笑)

Yeah, that's a terrifying result.

いや ぞっとするような結果です

Terrifying, because we have stronger opinions

恐ろしいのは 携帯機器に対して

about our hand-held devices

明確な意見があるのに

than about the moral framework

意思決定を導くべき道徳観には

we should use to guide our decisions.

それほどの意見がないからです

How do we know what to do with all the power we have

手にした力をどう使うべきかを

if we don't have a moral framework?

道徳観を持たずして どう決められますか？

We know more about mobile operating systems,

皆さんはモバイルの OS のほうに詳しいですが

but what we really need is a moral operating system.

本当に必要なのは道徳のOSなのです

What's a moral operating system?

道徳の OS とは何でしょうか

We all know right and wrong, right?

良し悪しは誰もが分かることです

You feel good when you do something right,

良いことをすれば気分が良いし

you feel bad when you do something wrong.

悪いことをすると気分が良くない

Our parents teach us that: praise with the good, scold with the bad.

両親は 良いことを褒め 悪いことを叱って教えます

But how do we figure out what's right and wrong?

では 良し悪しはどう判断するのでしょう？

And from day to day, we have the techniques that we use.

日常的に 使われている方法があります

Maybe we just follow our gut.

直感で決めるかもしれません

Maybe we take a vote -- we crowdsource.

投票 --クラウドソースかもしれません

Or maybe we punt --

あるいは回避して

ask the legal department, see what they say.

法務部門の意見を聞いてみるかもしれません

In other words, it's kind of random,

言い換えれば ランダムなのです

kind of ad hoc,

間に合わせの方法で

how we figure out what we should do.

「何をすべきか」を決めるのです

And maybe, if we want to be on surer footing,

足場をしっかりさせたいなら

what we really want is a moral framework that will help guide us there,

そもそも物事の正誤を明らかにして

that will tell us what kinds of things are right and wrong in the first place,

状況に応じて何をすべきかを示し

and how would we know in a given situation what to do.

導いてくれる道徳観が求められます

So let's get a moral framework.

では道徳観を獲得しましょう

We're numbers people, living by numbers.

皆さん数字で暮らす 数字人間ですね

How can we use numbers

いったいどうすれば

as the basis for a moral framework?

数字を道徳の基準に使えるでしょう

I know a guy who did exactly that.

まさにこのことを考えた人がいます

A brilliant guy --

明晰な人物で

he's been dead 2,500 years.

2千5百年前に亡くなりました

Plato, that's right.

そう プラトンです

Remember him -- old philosopher?

昔の哲学者ですが 覚えていますか？

You were sleeping during that class.

あの授業のときは寝てましたか？

And Plato, he had a lot of the same concerns that we did.

プラトンは 我々と同じ多くの心配を抱え

He was worried about right and wrong.

善悪について悩みました

He wanted to know what is just.

「正しい」とは何かを追求しました

But he was worried that all we seem to be doing

皆 意見を交換しているだけではないかと

is trading opinions about this.

彼は心配していました

He says something's just. She says something else is just.

彼はこれが正しいと言い 彼女は別のことが正しいと言う

It's kind of convincing when he talks and when she talks too.

彼の話に納得し 彼女の話にも納得する

I'm just going back and forth; I'm not getting anywhere.

堂々巡りで どこにも行き着きません

I don't want opinions; I want knowledge.

欲しいのは意見ではなく知識です

I want to know the truth about justice --

数学で真理があるように 正義についての

like we have truths in math.

真理を知りたいのです

In math, we know the objective facts.

数学では客観的な真実があります

Take a number, any number -- two.

どんな数字でも -- 例えば 2 です

Favorite number. I love that number.

いい番号です 私は好きです

There are truths about two.

2 についてはこんな真実があります

If you've got two of something,

何かが 2 つあるときに

you add two more, you get four.

あと 2 つ加えると 4 つになります

That's true no matter what thing you're talking about.

モノが何であっても これは真です

It's an objective truth about the form of two,

2 という形式 -- 抽象的な形式における

the abstract form.

客観的な真実です

When you have two of anything -- two eyes, two ears, two noses,

どんなものでも 2 つあれば -- 目や耳 鼻

just two protrusions --

単なる突起が 2 つでも

those all partake of the form of two.

全ては 2 という形式を引き継ぎ

They all participate in the truths that two has.

2 に伴う真実を共有します

They all have two-ness in them.

全てが「2 らしさ」を有します

And therefore, it's not a matter of opinion.

だからそれは意見の問題ではありません

What if, Plato thought,

プラトンは考えました

ethics was like math?

もし倫理も数学のようなものだったら？

What if there were a pure form of justice?

純粋な正義というものがあるとしたら？

What if there are truths about justice,

正義についての真実があるとしたら

and you could just look around in this world

この世界をよく眺めることで

and see which things participated,

物事が引き継ぎ 共有している

partook of that form of justice?

正義という形式を見いだせるのではないだろうか

Then you would know what was really just and what wasn't.

そうすれば 何が本当に正しく 何が正しくないか分かるだろう

It wouldn't be a matter

意見の問題や

of just opinion or just appearances.

外見の問題ではなくなるだろう

That's a stunning vision.

とても魅力的なビジョンです

I mean, think about that. How grand. How ambitious.

考えてみてください 実に壮大で 実に野心的です

That's as ambitious as we are.

私たちとおなじくらい野心的です

He wants to solve ethics.

プラトンは倫理の答えを求め

He wants objective truths.

客観的な真実を求めました

If you think that way,

皆さんもこういうふうに考えるなら

you have a Platonist moral framework.

プラトン派の道徳観を持っています

If you don't think that way,

こう考えない人は

well, you have a lot of company in the history of Western philosophy,

西洋の哲学の歴史においては多数派で

because the tidy idea, you know, people criticized it.

この整然とした考えは批判されてきました

Aristotle, in particular, he was not amused.

とくに アリストテレスはこれが気にいりませんでした

He thought it was impractical.

実用的ではないと考えたのです

Aristotle said, "We should seek only so much precision in each subject

「それぞれの主題ごとに許される範囲内でのみ正確さを追求すべきだ」

as that subject allows."

とアリストテレスは言いました

Aristotle thought ethics wasn't a lot like math.

彼は倫理と数学はあまり似ていないと考えました

He thought ethics was a matter of making decisions in the here-and-now

彼の考える倫理とは 今ここで

using our best judgment

最良の判断で意思決定をして

to find the right path.

正しい道を探すことでした

If you think that, Plato's not your guy.

そう思うならプラトン派ではありません

But don't give up.

でもあきらめないで

Maybe there's another way

もしかすると他にも

that we can use numbers as the basis of our moral framework.

数量を基準とする道徳観があるかもしれません

How about this:

これはどうでしょう

What if in any situation you could just calculate,

ある状況で選択肢を比べて

look at the choices,

それぞれについて推定をして

measure out which one's better and know what to do?

どれが良い選択で何をすべきか明らかにできるとしたら？

That sound familiar?

聞いたことはありませんか

That's a utilitarian moral framework.

これは功利主義の道徳観です

John Stuart Mill was a great advocate of this --

ジョン・スチュワート・ミルは功利主義を

nice guy besides --

大いに推進して ー いい男ですし

and only been dead 200 years.

200 年ほど前に亡くなりました

So basis of utilitarianism --

功利主義の基本ですが

I'm sure you're familiar at least.

多くの方 ー 少なくとも

The three people who voted for Mill before are familiar with this.

先ほどミルに投票した3人はご存知でしょう

But here's the way it works.

こんな仕組みです

What if morals, what if what makes something moral

道徳や何かを道徳たらしめるものは

is just a matter of if it maximizes pleasure

快楽を最大化し苦痛を最小化させる

and minimizes pain?

ものである としたらどうでしょう

It does something intrinsic to the act.

行動に固有の何かが作用します

It's not like its relation to some abstract form.

何かの抽象的な形式との関係とは違って

It's just a matter of the consequences.

結果だけを問題とします

You just look at the consequences

結果だけを考え

and see if, overall, it's for the good or for the worse.

全体としてこれが良いか悪いかを判断します

That would be simple. Then we know what to do.

これは単純です そして何をすべきか分かります

Let's take an example.

例で考えてみましょう

Suppose I go up

もし私がこう言ったとします

and I say, "I'm going to take your phone."

「お電話を預からせていただきます」

Not just because it rang earlier,

さっき鳴ったからではなく

but I'm going to take it because I made a little calculation.

簡単に推測してみたからです

I thought, that guy looks suspicious.

あの人はどうも怪しいと考えたからです

And what if he's been sending little messages to Bin Laden's hideout --

もしも彼がビンラディンの隠れ家と

or whoever took over after Bin Laden --

あるいは誰でもその後継者と通信していたら

and he's actually like a terrorist, a sleeper cell.

そして彼が潜伏中のテロリストのようであったら

I'm going to find that out, and when I find that out,

これは はっきりさせないといけません

I'm going to prevent a huge amount of damage that he could cause.

当たっていたら 重大な損害を防ぐことになるでしょう

That has a very high utility to prevent that damage.

この損害を防ぐことは大いなる便益となります

And compared to the little pain that it's going to cause --

電話を調べたときの少々の苦痛と比べても

because it's going to be embarrassing when I'm looking on his phone

— FarmVille にハマっていることなど

and seeing that he has a Farmville problem and that whole bit --

バレてしまうのは不愉快ですが

that's overwhelmed

電話を調査することの価値と比べれば

by the value of looking at the phone.

小さな問題です

If you feel that way,

こういうふうに考える人は

that's a utilitarian choice.

功利主義を選んでいます

But maybe you don't feel that way either.

でもこれも違うと思われるかもしれません

Maybe you think, it's his phone.

彼の電話なのだ それを取り上げるのは

It's wrong to take his phone

間違いだとお考えかもしれません

because he's a person

人としての彼は

and he has rights and he has dignity,

権利と尊厳を有し

and we can't just interfere with that.

それを妨げてはいけません

He has autonomy.

彼は自立した存在で

It doesn't matter what the calculations are.

どういう推定がなされても問題ではない

There are things that are intrinsically wrong --

そもそも正しくないこともあります

like lying is wrong,

ウソを付くことが間違いであるとか

like torturing innocent children is wrong.

罪のないこどもを拷問することとか

Kant was very good on this point,

カントはこの点を巧みに捕らえて

and he said it a little better than I'll say it.

私よりも上手に述べています

He said we should use our reason

自分の理性を使って 自分の行動を—

to figure out the rules by which we should guide our conduct,

導くルールを明らかにするべきだと言っています

and then it is our duty to follow those rules.

そうしたらそのルールに従うのは義務です

It's not a matter of calculation.

推測などの問題ではありません

So let's stop.

これは終わりにしましょう

We're right in the thick of it, this philosophical thicket.

我々はこの哲学的な密林の真ん中にいます

And this goes on for thousands of years,

こう言った話は果てしなく続きます

because these are hard questions,

難しい問題だからです

and I've only got 15 minutes.

15分しかありません

So let's cut to the chase.

単刀直入に言いましょう

How should we be making our decisions?

決定をどのように下すべきなのか

Is it Plato, is it Aristotle, is it Kant, is it Mill?

プラトンかアリストテレス カントかミル

What should we be doing? What's the answer?

何をするべきなのか 答えは何か

What's the formula that we can use in any situation

どんな状況であっても何をするべきか決められる

to determine what we should do,

公式は何でしょう

whether we should use that guy's data or not?

あの人のデータを使ってよいかどうか

What's the formula?

決めるための公式は何でしょう

There's not a formula.

公式はありません

There's not a simple answer.

単純な答えはありません

Ethics is hard.

倫理は難しいものです

Ethics requires thinking.

倫理は思考を求めます

And that's uncomfortable.

それは快適なものではありません

I know; I spent a lot of my career

私はこれまで長いこと

in artificial intelligence,

人工知能を研究し

trying to build machines that could do some of this thinking for us,

このような思考を代行できる装置を作ろうとしてきました

that could give us answers.

答えを与えるような装置です

But they can't.

しかしそれはできません

You can't just take human thinking

人の思考を取り出して

and put it into a machine.

機械に入れることはできません

We're the ones who have to do it.

自分たちで考えなければいけないのです

Happily, we're not machines, and we can do it.

幸い 私たちは機械ではなく 考えることができます

Not only can we think,

単にできるだけではなく

we must.

考えなければなりません

Hannah Arendt said,

ハンナ・アーレントが言っています

"The sad truth

「悲しいかな

is that most evil done in this world

この世のほとんどの悪は

is not done by people

悪をなそうと覚悟した人が

who choose to be evil.

行うのではない

It arises from not thinking."

悪は考えないことから生じるのである」

That's what she called the "banality of evil."

このことを彼女は「悪の陳腐さ」と呼びました

And the response to that

これを踏まえて

is that we demand the exercise of thinking

全ての良識ある人は

from every sane person.

思考を練習するよう求められるのです

So let's do that. Let's think.

やってみましょう 考えてみましょう

In fact, let's start right now.

つまり 今から始めましょう

Every person in this room do this:

会場のみなさん これをやってください

think of the last time you had a decision to make

一番最近 正しく行えるか気になって

where you were worried to do the right thing,

「どうしたらいいのだろう」と思った

where you wondered, "What should I be doing?"

決断のことを考えてください

Bring that to mind,

そのことを思い出してください

and now reflect on that

それを思いだしたら考えてください

and say, "How did I come up that decision?

「どうやってその決断に達したのか

What did I do? Did I follow my gut?

自分は何をしたのか？直感に従ったのか？

Did I have somebody vote on it? Or did I punt to legal?"

投票してもらったのか？法務部に聞いたのか？」

Or now we have a few more choices.

選択肢は他にもいくつかあります

"Did I evaluate what would be the highest pleasure

「ミルのように何が便益を最大化するかと

like Mill would?

評価したのか」

Or like Kant, did I use reason to figure out what was intrinsically right?"

それともカントのように 理性を用いて固有の正しさを見いだしたか

Think about it. Really bring it to mind. This is important.

考えてみてください きちんと思いだすこと これが大事です

It is so important

大変重要なことなので

we are going to spend 30 seconds of valuable TEDTalk time

この貴重な TED Talk の30秒を使いましょう

doing nothing but thinking about this.

何もせず このことを考えるのです

Are you ready? Go.

用意して 始め

Stop. Good work.

おしまい ごくろうさま

What you just did,

今やって頂いたことが

that's the first step towards taking responsibility

なすべきことに対して責任を持って

for what we should do with all of our power.

我々の力を行使するための第一歩です

Now the next step -- try this.

次のステップです これも挑戦してください

Go find a friend and explain to them

誰か友達に 決定を下した経緯を

how you made that decision.

説明してください

Not right now. Wait till I finish talking.

今ではありません トークが終わるまで待ってください

Do it over lunch.

昼食のときにやってください

And don't just find another technologist friend;

技術者の友人ではなくて

find somebody different than you.

自分と違うタイプを探してください

Find an artist or a writer --

芸術家やライターや

or, heaven forbid, find a philosopher and talk to them.

ありえないかもしれませんが 哲学者をみつけて話してください

In fact, find somebody from the humanities.

人文科学の誰かを見つけてください

Why? Because they think about problems

なぜか？ 彼らの問題の考え方は

differently than we do as technologists.

技術者とは違うからです

Just a few days ago, right across the street from here,

数日前ですが ここから通りの向かいで

there was hundreds of people gathered together.

数百人の人が 集まりました

It was technologists and humanists

技術者と人文科学者が

at that big BiblioTech Conference.

ビブリオテック会議に集まったのです

And they gathered together

集まった理由は

because the technologists wanted to learn

人文科学の見方で思考すると

what it would be like to think from a humanities perspective.

どうなるかを技術者が知りたかったからです

You have someone from Google

グーグルから来た人が

talking to someone who does comparative literature.

比較文化論の研究者と話しました

You're thinking about the relevance of 17th century French theater --

17 世紀のフランスの劇場とベンチャーキャピタルが

how does that bear upon venture capital?

どう関係するのかとお考えでしょう

Well that's interesting. That's a different way of thinking.

面白い点です 考え方が違うのです

And when you think in that way,

こういうふうに考えたときに

you become more sensitive to the human considerations,

人への配慮について もっと敏感になるでしょう

which are crucial to making ethical decisions.

それは倫理的決断に大事なことです

So imagine that right now

出かけて行って音楽家の友人と会うことを

you went and you found your musician friend.

今 想像してください

And you're telling him what we're talking about,

聞いたことを彼に伝え

about our whole data revolution and all this --

我々のデータ革命とかこれらのこと全部

maybe even hum a few bars of our theme music.

テーマ音楽も数小節鼻歌で歌ってもいいです

♫ Dum ta da da dum dum ta da da dum ♫

♫ダンダダダーダンタダダダン♫

Well, your musician friend will stop you and say,

音楽家の友達が制止して言うでしょう

"You know, the theme music

「データ革命の

for your data revolution,

そのテーマ曲は

that's an opera, that's Wagner.

オペラだ それはワーグナーだ

It's based on Norse legend.

北欧の神話が元になっていて

It's Gods and mythical creatures

神と神話世界の住人が

fighting over magical jewelry."

魔法の指輪を巡って戦う話だ」

That's interesting.

これは興味深いことです

Now it's also a beautiful opera,

美しいオペラでもあったのです

and we're moved by that opera.

感動的なオペラです

We're moved because it's about the battle

それは善と悪の戦いを

between good and evil,

描いているので

about right and wrong.

感動するのです

And we care about right and wrong.

善と悪とが気になります

We care what happens in that opera.

オペラで何が起きるのかも気になります

We care what happens in "Apocalypse Now."

「地獄の黙示録」で何が起きたかも気になります

And we certainly care

もちろん 我々の技術に何が起きるのかも

what happens with our technologies.

気になることです

We have so much power today,

これほどの力を手に入れた今日

it is up to us to figure out what to do,

それをどうするかは我々の手に委ねられています

and that's the good news.

それは朗報と言えます

We're the ones writing this opera.

我々がこのオペラを書くのです

This is our movie.

これは我々の映画です

We figure out what will happen with this technology.

この技術で何が起こるか明らかにしましょう

We determine how this will all end.

どういう結末を迎えるのか決めましょう

Thank you.

ありがとうございます

(Applause)

(拍手)