What moral decisions should driverless cars make? | Iyad Rahwan

번역: Moonjeong Kang 검토: Jihyeon J. Kim

Today I'm going to talk about technology and society.

저는 오늘 기술과 사회에 대한 이야기를 하려고 합니다.

The Department of Transport estimated that last year

교통부 추산에 따르면

작년 한 해 동안 미국에서만 3만 5천 명이 교통사고로 죽었습니다.

35,000 people died from traffic crashes in the US alone.

Worldwide, 1.2 million people die every year in traffic accidents.

세계적으로는 매년 120만 명이 교통사고로 죽죠.

If there was a way we could eliminate 90 percent of those accidents,

만약 이런 사고의 90%를 없앨 수 있는 방법이 있다면

would you support it?

여러분은 지지하시겠습니까?

Of course you would.

물론 그러시겠죠.

This is what driverless car technology promises to achieve

이것이 바로 자율주행차 기술의 목표입니다.

by eliminating the main source of accidents --

사고의 주요 원인이라 할 수 있는

human error.

인간의 실수를 없앰으로써 말이죠.

Now picture yourself in a driverless car in the year 2030,

2030년에 자율주행차에 타고 있다고 상상해 보세요.

sitting back and watching this vintage TEDxCambridge video.

느긋이 앉아서 오래된 TEDxCambridge 영상을 보고 있죠.

(Laughter)

(웃음)

All of a sudden,

여기서 갑자기

the car experiences mechanical failure and is unable to stop.

차량 오작동으로 인해 차를 멈출 수 없게 됩니다.

If the car continues,

만약 계속 간다면

it will crash into a bunch of pedestrians crossing the street,

길 건너편에 있는 보행자들과 부딪칠 거예요.

but the car may swerve,

하지만 차는 방향을 바꾸어서

hitting one bystander,

한 사람만 치어 죽이고

killing them to save the pedestrians.

보행자 무리를 구할 수도 있어요.

What should the car do, and who should decide?

차는 무엇을 해야 하며, 이런 결정은 누가 해야 할까요?

What if instead the car could swerve into a wall,

만약에 보행자들을 구하기 위해서

crashing and killing you, the passenger,

차가 벽으로 돌진해서

in order to save those pedestrians?

탑승자인 당신을 죽게 한다면요?

This scenario is inspired by the trolley problem,

이 시나리오는 '트롤리의 문제'에서 영감을 받았어요.

which was invented by philosophers a few decades ago

수 십 년전에 철학자들이 윤리에 대해 생각하기 위해 고안한 문제죠.

to think about ethics.

Now, the way we think about this problem matters.

우리가 이 문제에 대해 생각하는 방식은 중요합니다.

We may for example not think about it at all.

예를 들어, 우리는 이 문제에 대해 전혀 생각하지 않을 수 있고요.

We may say this scenario is unrealistic,

이 시나리오가 비현실적이라거나

incredibly unlikely, or just silly.

있을 수 없는 일이라거나, 그저 바보같다고도 할 수도 있죠.

But I think this criticism misses the point

하지만 이런 비판은 논점을 벗어나요.

because it takes the scenario too literally.

시나리오를 문자 그대로 받아들이기 때문이죠.

Of course no accident is going to look like this;

물론 사고가 이런 식으로 일어나긴 힘듭니다.

no accident has two or three options

사고가 일어날 수 있는 두 세가지의 확률에서

where everybody dies somehow.

모든 경우에 사망자가 생기는 경우는 잘 없죠.

Instead, the car is going to calculate something

대신에 차는 어떤 확률 같은 걸 계산 할 거예요.

like the probability of hitting a certain group of people,

각 경우에 사람들을 치게 되는 확률 말이죠.

if you swerve one direction versus another direction,

가령, 여러분이 저 쪽 대신 이 쪽으로 방향을 바꾸면

you might slightly increase the risk to passengers or other drivers

탑승자나 다른 운전자들의 위험도가 보행자에 비해 더 증가할겁니다.

versus pedestrians.

It's going to be a more complex calculation,

조금 더 복잡한 계산이 되겠지만

but it's still going to involve trade-offs,

이것은 트레이드 오프와 관련이 있습니다.

and trade-offs often require ethics.

트레이드 오프는 흔히 도덕성을 필요로 합니다.

We might say then, "Well, let's not worry about this.

그럼 이렇게 말하겠죠 "음, 이건 신경쓰지 말자"

Let's wait until technology is fully ready and 100 percent safe."

"기술이 좀 더 발전해서 100% 안전해 질 때까지 기다리자"

Suppose that we can indeed eliminate 90 percent of those accidents,

우리가 앞으로 10년안에

or even 99 percent in the next 10 years.

사고율을 90%, 혹은 99% 까지 감소시킬 수 있다고 가정해 봅시다.

What if eliminating the last one percent of accidents

나머지 1% 의 사고확률을 없애기 위해

requires 50 more years of research?

50 여년의 연구가 더 필요하다면요?

Should we not adopt the technology?

그 기술을 사용하지 말아야 할까요?

That's 60 million people dead in car accidents

이 말은 현재의 추세로 따져보았을 때, 6천만 명의 사람들이

if we maintain the current rate.

차 사고로 죽는 셈이 됩니다.

So the point is,

요점은

waiting for full safety is also a choice,

완벽한 안전을 위해 기다리는 것 또한 하나의 선택이고

and it also involves trade-offs.

트레이드 오프와 관련이 있다는 겁니다.

People online on social media have been coming up with all sorts of ways

사람들은 온라인 소셜미디어에서

이 문제를 회피하기 위한 온갖 방법을 제시해 왔습니다.

to not think about this problem.

One person suggested the car should just swerve somehow

어떤 사람은 차가 어떻게 해서든지 탑승자들과 행인 사이로 가도록

in between the passengers --

(Laughter)

(웃음)

and the bystander.

방향을 틀어야 한다고 했죠.

Of course if that's what the car can do, that's what the car should do.

만약 차가 그렇게 할 수만 있다면, 그렇게 해야 할 겁니다.

We're interested in scenarios in which this is not possible.

우리는 이런 시나리오가 불가능한 경우에 관심이 있습니다.

And my personal favorite was a suggestion by a blogger

제가 개인적으로 가장 좋아하는 의견은 어떤 블로거가 제안한 것인데요.

to have an eject button in the car that you press --

차에 탈출 버튼이 있어서

(Laughter)

(웃음)

just before the car self-destructs.

차가 부서지기 직전에 그 버튼을 누르는 거예요.

(Laughter)

(웃음)

So if we acknowledge that cars will have to make trade-offs on the road,

이렇게 차들이 도로에서 트레이드 오프 함을 인정한다면

how do we think about those trade-offs,

우리는 이 트레이드 오프를 어떤 방식으로 대해야 하며

and how do we decide?

어떻게 결정을 내려야 할까요?

Well, maybe we should run a survey to find out what society wants,

사회가 원하는 게 무엇인지 알기 위해 우리는 아마 설문 조사를 해야 할 거예요.

because ultimately,

왜냐하면, 궁극적으로

regulations and the law are a reflection of societal values.

규제과 법은 사회적 가치를 반영하고 있기 때문입니다.

So this is what we did.

그래서 우리는 다음과 같은 일을 했어요

With my collaborators,

저는 제 동료인

Jean-François Bonnefon and Azim Shariff,

장 프랑수아 보네퐁, 아짐 샤리프와 함께

we ran a survey

설문조사를 실시했어요.

in which we presented people with these types of scenarios.

이런 종류의 시나리오들을 사람들에게 보여줍니다.

We gave them two options inspired by two philosophers:

두 철학자에게서 영감을 받은 두 가지 옵션을 줍니다.

Jeremy Bentham and Immanuel Kant.

제레미 벤담과 엠마누엘 칸트

Bentham says the car should follow utilitarian ethics:

벤담은 차가 공리주의적 윤리에 따라야 한다고 말합니다.

it should take the action that will minimize total harm --

전체의 피해를 최소화할 수 있는 행동을 취해야 한다는 입장이죠

even if that action will kill a bystander

그 결정이 한 사람의 행인이나

and even if that action will kill the passenger.

탑승자를 죽이는 결정이라 하더라도요.

Immanuel Kant says the car should follow duty-bound principles,

칸트는 차가 의무에 입각한 원칙을 따라야 한다고 합니다.

like "Thou shalt not kill."

가령 "살인을 하지 말라" 와 같은 원칙이죠.

So you should not take an action that explicitly harms a human being,

명백하게 인류를 해치게 만드는 행위를 해서는 안되고

and you should let the car take its course

차가 원래 가던길을 가게 해야 합니다.

even if that's going to harm more people.

그 결정이 더 많은 사람들을 죽이게 될지라도요.

What do you think?

어떻게 생각하시나요?

Bentham or Kant?

벤담입니까? 칸트입니까?

Here's what we found.

설문조사의 결과입니다.

Most people sided with Bentham.

대부분의 사람들이 벤담의 손을 들었습니다.

So it seems that people want cars to be utilitarian,

사람들은 차가 공리주의적으로

minimize total harm,

전체 피해를 최소화하길 원하며

and that's what we should all do.

우리 모두가 그렇게 하길 바랍니다.

Problem solved.

문제는 해결되었습니다.

But there is a little catch.

하지만 조금 걸리는 점이 있어요.

When we asked people whether they would purchase such cars,

우리가 사람들에게 이런 차를 사겠냐고 물었더니

they said, "Absolutely not."

절대로 사지 않겠다고 대답했어요.

(Laughter)

(웃음)

They would like to buy cars that protect them at all costs,

사람들은 어떻게 해서든 자기를 보호할 차를 사고싶어 하지만

but they want everybody else to buy cars that minimize harm.

다른 사람들은 전체 피해를 최소화하는 차를 사길 원하죠.

(Laughter)

(웃음)

We've seen this problem before.

우리는 전에 이 문제를 본 적이 있어요.

It's called a social dilemma.

이것을 사회적 딜레마라고 합니다.

And to understand the social dilemma,

사회적 딜레마를 이해하기 위해서는

we have to go a little bit back in history.

역사를 잠시 살펴보아야 합니다.

In the 1800s,

1800년대에

English economist William Forster Lloyd published a pamphlet

영국 경제학자인 윌리엄 포스터 로이드가 글을 발표했는데

which describes the following scenario.

다음과 같은 시나리오를 담고 있어요.

You have a group of farmers --

한 무리의 농부들이 있어요.

English farmers --

영국 농부들이구요

who are sharing a common land for their sheep to graze.

이들은 양을 방목하기 위한 땅을 공유하고 있어요.

Now, if each farmer brings a certain number of sheep --

각 농부마다 몇 마리의 양을 데리고 와요.

let's say three sheep --

농부당 세 마리 라고 합시다.

the land will be rejuvenated,

땅은 활력을 찾을 것이고

the farmers are happy,

농부들은 행복하고

the sheep are happy,

양들도 행복하고

everything is good.

모든 것이 좋을 거예요.

Now, if one farmer brings one extra sheep,

이제 한 농부가 양을 한 마리 더 데리고 와요.

that farmer will do slightly better, and no one else will be harmed.

그 농부는 조금 더 이익을 보지만, 여기서 손해를 보는 사람은 아무도 없어요.

But if every farmer made that individually rational decision,

하지만 모든 농부가 이렇게 개인에게 합리적인 선택을 한다면

the land will be overrun, and it will be depleted

땅은 꽉 차게 되고, 고갈될 거예요.

to the detriment of all the farmers,

농부들에게 해를 입히고

and of course, to the detriment of the sheep.

양들에게까지 해를 입힐 정도로 말이죠.

We see this problem in many places:

우리는 많은 곳에서 이와 비슷한 문제를 봅니다.

in the difficulty of managing overfishing,

남획 관리의 어려움에서

or in reducing carbon emissions to mitigate climate change.

혹은 기후 변화를 완화하기 위해 탄소 배출량을 줄이는 것에서요.

When it comes to the regulation of driverless cars,

자율주행차에 대한 규제에 있어서

the common land now is basically public safety --

공유지는 기본적으로 공공안전입니다.

that's the common good --

그것이 공익입니다.

and the farmers are the passengers

농부들은 탑승자들 혹은

or the car owners who are choosing to ride in those cars.

그 차에 타는 결정을 한 차량소유주들 이겠죠.

And by making the individually rational choice

본인의 안전을 우선으로 하는

of prioritizing their own safety,

개인에게 합리적인 선택을 함으로써

they may collectively be diminishing the common good,

총체적으로는

전체적인 피해를 최소화하는, 이 공익을 약화시킬 겁니다.

which is minimizing total harm.

It's called the tragedy of the commons,

이것은 공유지의 비극으로 불립니다

traditionally,

전통적으로요,

but I think in the case of driverless cars,

하지만 자율주행차의 경우엔

the problem may be a little bit more insidious

이 문제는 좀 미묘하게 됩니다.

because there is not necessarily an individual human being

왜냐하면 개개인이 반드시 그런 선택을 해야하는 것은

making those decisions.

So car manufacturers may simply program cars

따라서 자동차 제조사들은 아마 고객의 안전을 최대한 보장하도록

that will maximize safety for their clients,

차량 프로그램을 단순하게 할 겁니다.

and those cars may learn automatically on their own

그러면 차들은 자동으로 자율학습을 할 수 있습니다.

that doing so requires slightly increasing risk for pedestrians.

그러한 선택이 보행자들의 위험을 살짝 증가시킨다는 점을 말이죠.

So to use the sheep metaphor,

양으로 비유하자면

it's like we now have electric sheep that have a mind of their own.

우린 이제 스스로 생각할 수 있는 전자 양으로 가진 셈이죠.

(Laughter)

(웃음)

And they may go and graze even if the farmer doesn't know it.

이 양들은 농부 몰래 가서 풀을 뜯어 먹을 수 있어요.

So this is what we may call the tragedy of the algorithmic commons,

우리는 이것을 알고리즘적 공유지의 비극이라 부를 수 있겠고요.

and if offers new types of challenges.

이는 새로운 종류의 도전을 야기합니다.

Typically, traditionally,

일반적으로, 전통적으로

we solve these types of social dilemmas using regulation,

이런 종류의 사회적 딜레마를 해결하기 위해서 규제가 사용됩니다.

so either governments or communities get together,

정부나 지역사회들이 함께 모여 집단적으로 결정합니다.

and they decide collectively what kind of outcome they want

어떤 종류의 결과를 원하는지

and what sort of constraints on individual behavior

그리고 개인들의 행동에 대해선

어떤 종류의 제한을 둘 것인지를 말이죠.

they need to implement.

And then using monitoring and enforcement,

그런 다음에, 감시과 강화를 통해

they can make sure that the public good is preserved.

공익이 보존됨을 확인할 수 있죠.

So why don't we just,

그렇다면 우리는

as regulators,

규제를 만드는 입장으로서

require that all cars minimize harm?

모든 차량들에게 그저 피해를 최소화하도록 요구하면 되는 것 아닐까요?

After all, this is what people say they want.

결국엔 이것이 사람들이 원한다고 말하는 것이에요.

And more importantly,

그리고 더 중요한 것은

I can be sure that as an individual,

한 개인으로서 저는 확신합니다.

if I buy a car that may sacrifice me in a very rare case,

제가 만약 아주 드물 확율로 저를 희생시킬 수도 있는 차를 산다면

I'm not the only sucker doing that

다른 모든 사람들이 무조건적인 보호를 즐기는 동안

while everybody else enjoys unconditional protection.

저만 홀로 그런 선택을 하는 사람은 아닐 겁니다.

In our survey, we did ask people whether they would support regulation

우리 설문 조사에서 사람들에게 규제를 지지하는지를 물어보았고

and here's what we found.

여기 그 결과가 있습니다.

First of all, people said no to regulation;

우선 사람들은 규제에는 반대한다고 했습니다.

and second, they said,

그리고 말하더군요.

"Well if you regulate cars to do this and to minimize total harm,

"만약 차량에 대해 이런식으로 규제를 하고, 전체 피해를 줄이고자 한다면"

I will not buy those cars."

"그 차를 사지 않겠어요"

So ironically,

아이러니하게도

by regulating cars to minimize harm,

피해를 최소화하려고 규제를 하는 것은

we may actually end up with more harm

더 큰 피해를 불러올 수 있습니다

because people may not opt into the safer technology

왜냐하면 사람들이 더 안전한 기술에 동의하지 않을 수도 있기 때문이죠.

even if it's much safer than human drivers.

비록 그것이 사람이 운전하는 것보다 훨씬 안전하다 할지라도요.

I don't have the final answer to this riddle,

이 난제에 대한 최종 정답은 없습니다.

but I think as a starting point,

하지만 출발점으로서

we need society to come together

사회를 한 곳에 모을 필요는 있습니다.

to decide what trade-offs we are comfortable with

어떤 트레이드 오프가 우리에게 편안한지를 결정하고

and to come up with ways in which we can enforce those trade-offs.

그 트레이드 오프를 실행하기 위한 방법들을 제시하기 위해서 말이죠

As a starting point, my brilliant students,

출발점으로서

저의 똑똑한 학생들인 에드몬드 어와드와 소한 드수자는

Edmond Awad and Sohan Dsouza,

built the Moral Machine website,

도덕 기계 (Moral Machine) 웹사이트를 만들었습니다.

which generates random scenarios at you --

랜덤한 시나리오들을 여러분에게 보여줍니다.

basically a bunch of random dilemmas in a sequence

기본적으로 랜덤한 딜레마들이 연속적으로 나오는 것이고요.

where you have to choose what the car should do in a given scenario.

여러분은 차가 무엇을 해야 하는지를 골라야 합니다.

And we vary the ages and even the species of the different victims.

여기서 희생자들의 나이와 인종은 각각 다릅니다.

So far we've collected over five million decisions

지금까지 우리는 500만 건이 넘는 결정들을 수집했습니다.

by over one million people worldwide

전 세계적으로 100만명이 넘는 사람들이

from the website.

웹사이트를 통해 참여했습니다.

And this is helping us form an early picture

이 결과는 저희가 초기 연구를 만드는 데에 도움이 되고 있습니다.

of what trade-offs people are comfortable with

사람들이 편안해 하는 트레이드 오프가 무엇이고

and what matters to them --

무엇이 그들에게 중요한지에 대해서

even across cultures.

문화를 넘어서까지 말이죠.

But more importantly,

하지만 더 중요한 것은

doing this exercise is helping people recognize

이 훈련은 사람들로 하여금

the difficulty of making those choices

이런 선택을 하는 것이 힘들다는 것과

and that the regulators are tasked with impossible choices.

결정권자들이 불가능한 선택을 가지고 일함을 인지시키는데에 도움이 되고 있습니다.

And maybe this will help us as a society understand the kinds of trade-offs

이것은 사회가 궁극적으로 규제로 만들 트레이드 오프의 종류를 이해하는 데

that will be implemented ultimately in regulation.

도움이 될 것입니다.

And indeed, I was very happy to hear

지난주에 교통부에서

that the first set of regulations

첫 번째 규제를 발표했다는 소식을 듣고

that came from the Department of Transport --

announced last week --

저는 참으로 기뻤습니다.

included a 15-point checklist for all carmakers to provide,

이 규제는 모든 자동차 회사들이 제공해야 할 15개의 체크리스트를 담고 있는데

and number 14 was ethical consideration --

이 중 14번이 윤리적인 고려입니다.

how are you going to deal with that.

그걸 어떻게 처리할 것이냐 하는 것이죠.

We also have people reflect on their own decisions

우리는 또 사람들에게 자신의 선택들을 돌이켜보게 합니다.

by giving them summaries of what they chose.

그들이 선택한 것을 다시 요약해줌으로써 말이죠.

I'll give you one example --

한 가지 예를 들어볼게요.

I'm just going to warn you that this is not your typical example,

여러분에게 경고드립니다.

이것은 일반적인 예나 일반적인 사용자가 아닙니다.

your typical user.

This is the most sacrificed and the most saved character for this person.

이것은 이 사람에게 가장 희생되고 가장 구원받은 캐릭터입니다.

(Laughter)

(웃음)

Some of you may agree with him,

여러분 중 일부는

or her, we don't know.

이 사람에게 동의하실지도 모르겠어요.

But this person also seems to slightly prefer passengers over pedestrians

하지만 이 사람의 선택을 살펴보면

보행자 보다는 탑승자를 약간 더 선호하고

in their choices

and is very happy to punish jaywalking.

무단횡단자를 벌주고 싶어해요.

(Laughter)

(웃음)

So let's wrap up.

정리하겠습니다.

We started with the question -- let's call it the ethical dilemma --

우리는 이 질문과 함께 시작했어요. 윤리적 딜레마라고 부를게요.

of what the car should do in a specific scenario:

시나리오 상에서 차가 어떻게 해야하는지를 물어요.

swerve or stay?

방향을 틀 것인가? 가만히 있을 것인가?

But then we realized that the problem was a different one.

그런 다음에 우린 문제는 다른 것이라는 사실을 깨닫죠.

It was the problem of how to get society to agree on and enforce

그것은 어떻게 사회적인 합의를 이끌어내고

the trade-offs they're comfortable with.

사람들이 편안해하는 트레이드 오프를 집행할 것인가의 문제였죠.

It's a social dilemma.

이것은 사회적 딜레마입니다.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

1940년대에 아이작 아시모프는

그의 유명한 로봇의 3원칙을 저술합니다.

the three laws of robotics.

A robot may not harm a human being,

로봇은 인간에게 해를 끼칠 수 없고

a robot may not disobey a human being,

로봇은 인간이 내리는 명령에 복종해야 하며

and a robot may not allow itself to come to harm --

로봇은 자신의 존재를 보호해야 한다.

in this order of importance.

순서대로 중요하죠.

But after 40 years or so

하지만 40여년의 세월이 흐르고

and after so many stories pushing these laws to the limit,

많은 스토리들이 나타나며 이 법칙들이 한계에 부딪치자

Asimov introduced the zeroth law

아시모프는 0번째 법칙을 소개했습니다.

which takes precedence above all,

이는 3가지 법칙보다 우선하는 법칙으로

and it's that a robot may not harm humanity as a whole.

바로, 로봇은 인류 전체에게 해를 끼칠 수 없다는 것입니다.

I don't know what this means in the context of driverless cars

저는 이것이 자율주행차의 경우나 다른 경우에 있어

or any specific situation,

어떤 의미가 되는지 잘 모르겠습니다.

and I don't know how we can implement it,

우리가 어떻게 구현할지도 잘 모르겠고요.

but I think that by recognizing

하지만 자율주행차에 대한 규제가

that the regulation of driverless cars is not only a technological problem

단지 기술적인 문제가 아니라

but also a societal cooperation problem,

사회적 협력 문제임을 인식함으로써

I hope that we can at least begin to ask the right questions.

우리가 적어도 올바른 질문을 시작할 수 있게 되기를 희망해봅니다.

Thank you.

감사합니다.

(Applause)

(박수)