What moral decisions should driverless cars make? | Iyad Rahwan

翻訳: Yasushi Aoki 校正: Eriko T

Today I'm going to talk about technology and society.

今日はテクノロジーと 社会についてお話しします

The Department of Transport estimated that last year

運輸省の推計では

去年の交通事故死者数は 米国だけで３万５千人に上ります

35,000 people died from traffic crashes in the US alone.

Worldwide, 1.2 million people die every year in traffic accidents.

世界全体では 毎年120万人が 交通事故で亡くなっています

If there was a way we could eliminate 90 percent of those accidents,

そのような交通事故の９割を なくせる方法があるとしたら

would you support it?

皆さんは支持しますか？

Of course you would.

もちろんするでしょう

This is what driverless car technology promises to achieve

これは自動運転車の技術が 実現を約束していることです

by eliminating the main source of accidents --

事故の主要な原因である

human error.

人的なミスを 取り除くことによってです

Now picture yourself in a driverless car in the year 2030,

想像してみてください 2030年に自動運転車に乗って

sitting back and watching this vintage TEDxCambridge video.

くつろいで この大昔の TEDxCambridgeのビデオを見ているところを

(Laughter)

(笑)

All of a sudden,

突然 車が故障を起こし

the car experiences mechanical failure and is unable to stop.

ブレーキが 効かなくなりました

If the car continues,

もし真っ直ぐ進み続けたら

it will crash into a bunch of pedestrians crossing the street,

道を横断する歩行者の群れに 突っ込むことになります

but the car may swerve,

でもハンドルを切れば

hitting one bystander,

歩道の１人を死なせるかわりに

killing them to save the pedestrians.

何人もの歩行者を 救うことができます

What should the car do, and who should decide?

車はどうすべきで そして誰が それを決めるべきなのでしょう？

What if instead the car could swerve into a wall,

あるいはハンドルを切って 壁に突っ込んで

crashing and killing you, the passenger,

歩行者を救うかわりに

車の中の人を死なせるとしたら どうでしょう？

in order to save those pedestrians?

This scenario is inspired by the trolley problem,

このシナリオは

倫理的な問題について考察するために 数十年前に哲学者が考案した―

which was invented by philosophers a few decades ago

「トロッコ問題」を ヒントにしたものです

to think about ethics.

Now, the way we think about this problem matters.

この問題を我々がどう考えるか ということが重要です

We may for example not think about it at all.

たとえば まったく考えない というのもありえます

We may say this scenario is unrealistic,

こんなシナリオは 非現実的で ありそうになく

incredibly unlikely, or just silly.

馬鹿げていると

But I think this criticism misses the point

しかしそのような批判は

話を文字通りに取りすぎて 本質を見逃していると思います

because it takes the scenario too literally.

Of course no accident is going to look like this;

もちろん現実の事故は この通りには行かないでしょう

no accident has two or three options

事故状況において選択肢が ２つか３つしかなく

where everybody dies somehow.

いずれの場合も誰かが死ぬ などということはなく

Instead, the car is going to calculate something

実際には 車がそれぞれの相手を轢く 確率のようなものを

like the probability of hitting a certain group of people,

計算することになるでしょう

if you swerve one direction versus another direction,

ハンドルを切る方向によって

車の乗員や 歩行者や 他のドライバーのリスクが

you might slightly increase the risk to passengers or other drivers

versus pedestrians.

どう変わるかなどです

It's going to be a more complex calculation,

計算はずっと複雑なものに なるでしょうが

but it's still going to involve trade-offs,

トレードオフの問題があることに 変わりはありません

and trade-offs often require ethics.

そしてトレードオフには 倫理がからむのです

We might say then, "Well, let's not worry about this.

「そんなことに 頭を悩ませるのはやめて

Let's wait until technology is fully ready and 100 percent safe."

技術がすっかり成熟して100%安全なものに なるまで待とう」と思うかもしれません

Suppose that we can indeed eliminate 90 percent of those accidents,

今後10年で そういった事故の90%—

or even 99 percent in the next 10 years.

いや 99%まで なくせると仮定しましょう

What if eliminating the last one percent of accidents

でも 残りの１%の事故を なくすために

requires 50 more years of research?

さらに50年の研究が 必要だったとしたらどうでしょう？

Should we not adopt the technology?

この技術の採用を 見送るべきでしょうか？

That's 60 million people dead in car accidents

現在の状況が続くとしたら

その間に６千万人が 交通事故で死ぬことになります

if we maintain the current rate.

So the point is,

技術がすっかり安全になるまで

waiting for full safety is also a choice,

待つというのも １つの選択であり

and it also involves trade-offs.

それにもトレードオフは 伴うということです

People online on social media have been coming up with all sorts of ways

人々はソーシャルメディア上で

この問題に頭を悩ませないための あらゆる方法を考え出しています

to not think about this problem.

One person suggested the car should just swerve somehow

ある人は

車は歩行者の間をすり抜ければ いいんだと指摘しました—

in between the passengers --

(Laughter)

(笑)

and the bystander.

道端の人も避けながら

Of course if that's what the car can do, that's what the car should do.

それができるなら もちろん そうすべきでしょうが

We're interested in scenarios in which this is not possible.

我々に興味があるのは それができない場合です

And my personal favorite was a suggestion by a blogger

私が気に入っているのは

あるブロガーが提案したものですが 脱出ボタンで車から飛び出して—

to have an eject button in the car that you press --

(Laughter)

(笑)

just before the car self-destructs.

車は自己破壊させる という方法です

(Laughter)

(笑)

So if we acknowledge that cars will have to make trade-offs on the road,

車が道路上でトレードオフの 判断をしなければならないと認めるとして

how do we think about those trade-offs,

では そのようなトレードオフは どう考え

and how do we decide?

どのように 決めたらよいのでしょう？

Well, maybe we should run a survey to find out what society wants,

社会が何を望むのか探るため 世論調査をすべきかもしれません

because ultimately,

規制や法というのは

regulations and the law are a reflection of societal values.

社会の価値観を 反映したものであるわけですから

So this is what we did.

それで やってみました

With my collaborators,

共同研究者の

Jean-François Bonnefon and Azim Shariff,

ジャン=フランソワ・ボンフォンと アジム・シャリフとともに

we ran a survey

こういった感じの シナリオを提示する

in which we presented people with these types of scenarios.

世論調査をしました

We gave them two options inspired by two philosophers:

２人の哲学者にヒントを得た 選択肢を用意しました

Jeremy Bentham and Immanuel Kant.

ジェレミ・ベンサムと イマヌエル・カントです

Bentham says the car should follow utilitarian ethics:

ベンサムなら 車は 功利主義倫理に従うべきだと言うでしょう

it should take the action that will minimize total harm --

被害の総量を最小化するような 行動を取るべきだと

even if that action will kill a bystander

たとえその行動によって

and even if that action will kill the passenger.

歩行者や乗員が 死ぬことになっても

Immanuel Kant says the car should follow duty-bound principles,

イマヌエル・カントなら

「殺すべからず」といった道義的な原則に 従った行動をすべきだと言うでしょう

like "Thou shalt not kill."

So you should not take an action that explicitly harms a human being,

意図的に人を害する行動を 取るべきではなく

and you should let the car take its course

結果的に より多くの人が 被害に遭おうとも

even if that's going to harm more people.

車は そのまま進めるべきだと

What do you think?

皆さんはどう思いますか？

Bentham or Kant?

ベンサムかカントか？

Here's what we found.

私たちの調査で分かったのは

Most people sided with Bentham.

多くの人はベンサムの側の 意見だということです

So it seems that people want cars to be utilitarian,

車が功利主義的に 被害を最小化することを

minimize total harm,

みんな望んでいるようなので

and that's what we should all do.

我々はそうすべきなのでしょう

Problem solved.

問題解決です

But there is a little catch.

しかし これには 小さな落とし穴があります

When we asked people whether they would purchase such cars,

そんな功利主義的な車を 買いますかと聞いてみたところ

they said, "Absolutely not."

「絶対買わない」 という答えだったのです

(Laughter)

(笑)

They would like to buy cars that protect them at all costs,

どんな犠牲を払っても 乗る者を 守る車を自分では望んでいますが

but they want everybody else to buy cars that minimize harm.

他の人たちには 被害を最小化する車を買って欲しいのです

(Laughter)

(笑)

We've seen this problem before.

このような問題は 以前にも見たことがあります

It's called a social dilemma.

社会的ジレンマと 呼ばれる問題です

And to understand the social dilemma,

社会的ジレンマを 理解するためには

we have to go a little bit back in history.

少し歴史を遡る 必要があります

In the 1800s,

1800年代に

English economist William Forster Lloyd published a pamphlet

イギリスの経済学者 ウィリアム・フォースター・ロイドは

こんなシナリオが書かれた 小冊子を出版しました

which describes the following scenario.

You have a group of farmers --

一団の農家がいて—

English farmers --

イギリスの農家です—

who are sharing a common land for their sheep to graze.

羊が草を食むための 牧草地を共有しています

Now, if each farmer brings a certain number of sheep --

それぞれの農家は 同じ数の 羊を連れて来ます—

let's say three sheep --

３頭ずつとしましょう

the land will be rejuvenated,

その場合には 牧草地は回復し

the farmers are happy,

農家はハッピー

the sheep are happy,

羊もハッピーで

everything is good.

万事問題はありません

Now, if one farmer brings one extra sheep,

農家のうちの１人が １頭余計に連れてきたら

that farmer will do slightly better, and no one else will be harmed.

その農家は少し得をしますが 他の人が損害を受けるわけではありません

But if every farmer made that individually rational decision,

しかし農家の誰もが 同じ 自分に好都合な判断をすると

the land will be overrun, and it will be depleted

牧草が過剰に消費されて 枯渇してしまい

to the detriment of all the farmers,

農家全員にとって 損害となり

and of course, to the detriment of the sheep.

そしてもちろん 羊にとっても損害となります

We see this problem in many places:

この問題はいろんなところで 目にします

in the difficulty of managing overfishing,

過剰漁獲を防ぐ難しさとか

or in reducing carbon emissions to mitigate climate change.

気候変動を軽減するための 二酸化炭素排出量削減もそうです

When it comes to the regulation of driverless cars,

自動運転車の規制 ということで言うと

the common land now is basically public safety --

共有地に当たるのは 公共の基本的な安全です—

that's the common good --

これは共通の利益です—

and the farmers are the passengers

そして農家に当たるのは

or the car owners who are choosing to ride in those cars.

そういう車に乗ることを選択する 乗員や車の所有者です

And by making the individually rational choice

自分の安全を優先するという

各自にとって都合の良い選択を みんながすると

of prioritizing their own safety,

they may collectively be diminishing the common good,

結果的に 被害の総量を最小化するという 共通の利益が

which is minimizing total harm.

損なわれることになります

It's called the tragedy of the commons,

この問題は伝統的に

「共有地の悲劇」と呼ばれています

traditionally,

but I think in the case of driverless cars,

しかし自動運転車の場合には

the problem may be a little bit more insidious

問題はもう少し 嫌らしいものになります

because there is not necessarily an individual human being

そういった判断をするのが

必ずしも当人ではないからです

making those decisions.

So car manufacturers may simply program cars

自動車メーカーは

単に顧客の安全を最大化するように 車をプログラムするかもしれません

that will maximize safety for their clients,

and those cars may learn automatically on their own

そして車は そのためには 歩行者のリスクを多少上げる必要があると

that doing so requires slightly increasing risk for pedestrians.

自分で判断するかもしれません

So to use the sheep metaphor,

羊のメタファーを使うなら

it's like we now have electric sheep that have a mind of their own.

今や自分の考えを持った 電気羊が現れたようなものです

(Laughter)

(笑)

And they may go and graze even if the farmer doesn't know it.

そして その羊は飼い主の知らぬうちに 勝手に草を食べに行くかもしれません

So this is what we may call the tragedy of the algorithmic commons,

「アルゴリズム的共有地の悲劇」 とでも呼びましょうか

and if offers new types of challenges.

これは新たなタイプの問題を 提起します

Typically, traditionally,

伝統的には このようなタイプの社会的ジレンマは

we solve these types of social dilemmas using regulation,

規制によって 解決されてきました

so either governments or communities get together,

政府ないしは コミュニティが力を合わせ

and they decide collectively what kind of outcome they want

どのような結果を望むのか

個々人の行動にどのような制約を 課す必要があるのかを

and what sort of constraints on individual behavior

they need to implement.

集団的に決めるのです

And then using monitoring and enforcement,

それから監視と強制力によって

they can make sure that the public good is preserved.

公共の利益が 守られるようにします

So why don't we just,

それでは 被害の最小化を

as regulators,

すべての車の 要件にするよう

require that all cars minimize harm?

規制当局に求めては どうでしょう？

After all, this is what people say they want.

それが みんなが望むと 言っていることなんですから

And more importantly,

さらに大事なのは

I can be sure that as an individual,

フェアだと確信できることです

if I buy a car that may sacrifice me in a very rare case,

まれに自分を犠牲にするような 車を買うのであれば

I'm not the only sucker doing that

他のみんなが無条件の保護を 享受している中で

while everybody else enjoys unconditional protection.

ただ１人馬鹿を見たくはありません

In our survey, we did ask people whether they would support regulation

私たちの調査で 規制を支持するか聞いたところ

and here's what we found.

こんなことがわかりました

First of all, people said no to regulation;

まず人々は規制に対しては 拒否を示しました

and second, they said,

そして「そんな風に

"Well if you regulate cars to do this and to minimize total harm,

被害の総量を最小化するよう 規制するのであれば

I will not buy those cars."

そんな車は買わない」 と言うのです

So ironically,

皮肉なことに

by regulating cars to minimize harm,

車を規制して被害を 最小化しようとすると

we may actually end up with more harm

被害をもっと大きくすることに なるかもしれません

because people may not opt into the safer technology

人間のドライバーよりも ずっと安全であっても

even if it's much safer than human drivers.

そのような技術を人々が 選ばなくなるのですから

I don't have the final answer to this riddle,

この難問に対する最終的な答えは 持ち合わせていませんが

but I think as a starting point,

どんなトレードオフなら 受け入れるのか

we need society to come together

そのようなトレードオフを どう強制できるのか

to decide what trade-offs we are comfortable with

社会が一緒になって 見出さなければならない時が

and to come up with ways in which we can enforce those trade-offs.

来ていると思います

As a starting point, my brilliant students,

その出発点として

Edmond Awad and Sohan Dsouza,

私の優秀な教え子たち エドモンド・アワドと ソハン・ドスーザが

built the Moral Machine website,

『モラル・マシン』という ウェブサイトを作りました

which generates random scenarios at you --

様々なシナリオを ランダムに生成して

basically a bunch of random dilemmas in a sequence

一連のランダムな ジレンマ状況に対して

where you have to choose what the car should do in a given scenario.

車がどうすべきか 選んでもらいます

And we vary the ages and even the species of the different victims.

被害者の年齢から生物種まで 様々に変えたシナリオがあります

So far we've collected over five million decisions

このウェブサイトを通じて

世界の100万人以上の 人たちから

by over one million people worldwide

500万以上の決断のデータを 集めました

from the website.

And this is helping us form an early picture

これは 文化を超えて

of what trade-offs people are comfortable with

人々にとって どんなトレードオフなら良く

and what matters to them --

何は譲れないのか

大まかな理解を得る 助けになります

even across cultures.

But more importantly,

さらに大事な点は

doing this exercise is helping people recognize

このようなことを通して

そういう決断がいかに難しいか

the difficulty of making those choices

当局がいかに無理な選択を迫られているか 人々が認識するようになることです

and that the regulators are tasked with impossible choices.

And maybe this will help us as a society understand the kinds of trade-offs

そして いつか規制に 盛り込まれるトレードオフを

that will be implemented ultimately in regulation.

社会が理解する 助けになるかもしれません

And indeed, I was very happy to hear

実際 喜ばしいことに

that the first set of regulations

先週発表された

that came from the Department of Transport --

運輸省による

announced last week --

最初の規制には

included a 15-point checklist for all carmakers to provide,

すべての自動車メーカーが提示すべき 15項目のチェックリストが含まれていて

and number 14 was ethical consideration --

その14番目は 倫理的な考慮—

how are you going to deal with that.

そういう問題にどう対処するか ということでした

We also have people reflect on their own decisions

私たちはまた その人がした選択の 要約を見せることで

by giving them summaries of what they chose.

自分の決断を振り返るよう 促しています

I'll give you one example --

ある人の例を お見せしましょう

I'm just going to warn you that this is not your typical example,

これは典型例ではない ということを

your typical user.

あらかじめ お断りしておきます

This is the most sacrificed and the most saved character for this person.

これは この人物によって １番救われた対象(猫)と １番犠牲にされた対象(ベビーカー)です

(Laughter)

(笑)

Some of you may agree with him,

皆さんの中には この人に同意する人も

or her, we don't know.

いるかもしれません

But this person also seems to slightly prefer passengers over pedestrians

しかしまた この人は歩行者よりも

車の乗員を 優先する傾向があり

in their choices

and is very happy to punish jaywalking.

信号を無視して横断する人は 喜んで罰します

(Laughter)

(笑)

So let's wrap up.

ではまとめましょう

We started with the question -- let's call it the ethical dilemma --

私たちは 倫理的ジレンマに関する 問いかけから始めました

of what the car should do in a specific scenario:

ある特殊な状況で 車はどうすべきか

swerve or stay?

直進するか 曲がるか

But then we realized that the problem was a different one.

しかしそれから問うべきことが 別にあることに気付きました

It was the problem of how to get society to agree on and enforce

どんなトレードオフなら 受け入れられるものか

社会で どう合意し どう強制するか という問題です

the trade-offs they're comfortable with.

It's a social dilemma.

これが社会的ジレンマです

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

1940年代にアイザック・アシモフが

有名な「ロボット工学三原則」 というのを作りました

the three laws of robotics.

A robot may not harm a human being,

ロボットは人間に 危害を加えてはならない

a robot may not disobey a human being,

ロボットは人間に 服従しなければなならない

and a robot may not allow itself to come to harm --

ロボットは自分自身を 守らなければならない

in this order of importance.

これは重要な順に並んでいます

But after 40 years or so

その後40年ほどの間に

and after so many stories pushing these laws to the limit,

これらの原則を限界まで突き詰めるような 沢山の物語が生まれ

Asimov introduced the zeroth law

アシモフは三原則に優先する

which takes precedence above all,

ゼロ番目の原則を付け加えました

and it's that a robot may not harm humanity as a whole.

ロボットは人類全体に 危害を加えてはならない というものです

I don't know what this means in the context of driverless cars

これが自動運転車や 特定の状況という文脈で

or any specific situation,

どのような意味を持つのか 分かりませんし

and I don't know how we can implement it,

どう実現したら良いのかも 分かりませんが

but I think that by recognizing

自動運転車の規制は

that the regulation of driverless cars is not only a technological problem

技術だけの問題ではなく

社会的協力に関する問題でもある と認識することで

but also a societal cooperation problem,

我々が少なくとも正しい質問を 問い始められると期待しています

I hope that we can at least begin to ask the right questions.

Thank you.

ありがとうございました

(Applause)

(拍手)