What moral decisions should driverless cars make? | Iyad Rahwan

Переводчик: Valeriya Salter Редактор: Anna Kotova

Today I'm going to talk about technology and society.

Сегодня я поговорю о технологиях и обществе.

The Department of Transport estimated that last year

Министерство транспорта подсчитало, что в прошлом году

35,000 people died from traffic crashes in the US alone.

35 000 человек погибло в автомобильных авариях в США.

Worldwide, 1.2 million people die every year in traffic accidents.

В мире 1,2 миллиона человек погибает в авариях ежегодно.

If there was a way we could eliminate 90 percent of those accidents,

Если бы была инициатива сократить эту цифру на 90%,

would you support it?

вы бы её поддержали?

Of course you would.

Конечно же да.

This is what driverless car technology promises to achieve

Технология беспилотных автомобилей обещает это

by eliminating the main source of accidents --

за счёт исключения основной причины аварий —

human error.

человеческой ошибки.

Now picture yourself in a driverless car in the year 2030,

Представьте, что вы в беспилотной машине в 2030 году —

sitting back and watching this vintage TEDxCambridge video.

смотрите этот винтажный ролик TEDxCambridge.

(Laughter)

(Смех)

All of a sudden,

Как вдруг

the car experiences mechanical failure and is unable to stop.

происходит поломка и машина не может затормозить.

If the car continues,

Если машина продолжит движение,

it will crash into a bunch of pedestrians crossing the street,

она врежется в пешеходов, переходящих дорогу.

but the car may swerve,

Но машина может повернуть

hitting one bystander,

и сбить прохожего,

killing them to save the pedestrians.

убив его и сохранив жизнь других пешеходов.

What should the car do, and who should decide?

Что должна сделать машина, и кто это решает?

What if instead the car could swerve into a wall,

А что, если машина врежется в стену,

crashing and killing you, the passenger,

убив тебя, пассажира,

in order to save those pedestrians?

чтобы спасти этих пешеходов?

This scenario is inspired by the trolley problem,

Этот сценарий был вдохновлён «Проблемой вагонетки» —

which was invented by philosophers a few decades ago

она была придумана философами несколько десятилетий назад

to think about ethics.

с целью поразмышлять об этике.

Now, the way we think about this problem matters.

Важно, как мы решаем этот этический вопрос.

We may for example not think about it at all.

Мы можем, например, вообще об этом не задумываться.

We may say this scenario is unrealistic,

Можно сказать, что сценарий не реалистичен,

incredibly unlikely, or just silly.

маловероятен и глуп.

But I think this criticism misses the point

Я думаю, что такая критика упускает главное

because it takes the scenario too literally.

из-за того, что смотрит на проблему слишком буквально.

Of course no accident is going to look like this;

Конечно, авария будет выглядеть иначе,

no accident has two or three options

в авариях не бывает, чтобы два или три исхода

where everybody dies somehow.

вели к чьей-то неминуемой смерти.

Instead, the car is going to calculate something

Вместо этого машина будет рассчитывать вероятность

like the probability of hitting a certain group of people,

вреда для группы людей

if you swerve one direction versus another direction,

при различной смене движения,

you might slightly increase the risk to passengers or other drivers

возможно, повышая риск для пассажиров или других водителей

versus pedestrians.

по сравнению с пешеходами.

It's going to be a more complex calculation,

Такой расчёт будет довольно сложным,

but it's still going to involve trade-offs,

но так или иначе будет включать компромисс,

and trade-offs often require ethics.

а компромисс — это часто вопрос этики.

We might say then, "Well, let's not worry about this.

Кто-то скажет: «Давайте не будем об этом думать,

Let's wait until technology is fully ready and 100 percent safe."

пока технология не разовьётся и не станет безопасной на 100%».

Suppose that we can indeed eliminate 90 percent of those accidents,

Представим, что мы сможем сократить число аварий на 90%,

or even 99 percent in the next 10 years.

или даже 99%, в ближайшие десять лет,

What if eliminating the last one percent of accidents

а на устранение последнего процента аварий

requires 50 more years of research?

потребуется ещё 50 лет исследований,

Should we not adopt the technology?

нужно ли будет внедрить технологию?

That's 60 million people dead in car accidents

60 миллионов человек погибнут в автомобильных авариях,

if we maintain the current rate.

если мы продолжим ждать.

So the point is,

Я хочу сказать,

waiting for full safety is also a choice,

что продолжать ждать — это такой же выбор,

and it also involves trade-offs.

требующий компромисса.

People online on social media have been coming up with all sorts of ways

Люди в социальных сетях обмениваются идеями,

to not think about this problem.

как избежать этого конфликта.

One person suggested the car should just swerve somehow

Один человек предложил, что машина должна повернуть так,

in between the passengers --

чтобы проехать между пешеходами...

(Laughter)

(Смех)

and the bystander.

и прохожим.

Of course if that's what the car can do, that's what the car should do.

Конечно, если такой вариант есть, машина так и поступит.

We're interested in scenarios in which this is not possible.

Нас интересуют сценарии, где такой исход невозможен.

And my personal favorite was a suggestion by a blogger

Мой любимый вариант дал один блогер,

to have an eject button in the car that you press --

который предложил сделать кнопку эвакуации в машине...

(Laughter)

(Смех)

just before the car self-destructs.

на которую нажимаешь перед аварией.

(Laughter)

(Смех)

So if we acknowledge that cars will have to make trade-offs on the road,

В общем, если принять, что компромисс на дорогах неизбежен,

how do we think about those trade-offs,

как мы подойдём к его решению

and how do we decide?

и кто будет принимать решение?

Well, maybe we should run a survey to find out what society wants,

Мы можем провести опрос, чтобы узнать общественное мнение,

because ultimately,

в конце концов

regulations and the law are a reflection of societal values.

законы и регламенты являются отражением общественных ценностей.

So this is what we did.

Мы так и поступили.

With my collaborators,

Мои коллеги,

Jean-François Bonnefon and Azim Shariff,

Жан-Франсуа Боннефон и Азим Шариф,

we ran a survey

и я провели опрос,

in which we presented people with these types of scenarios.

в котором предлагались такого рода сценарии

We gave them two options inspired by two philosophers:

и два варианта решения, навеянные двумя философами,

Jeremy Bentham and Immanuel Kant.

Иеремией Бентамом и Иммануилом Кантом.

Bentham says the car should follow utilitarian ethics:

По Бентаму, машина должна следовать утилитарной этике:

it should take the action that will minimize total harm --

действовать так, чтобы минимизировать вред,

even if that action will kill a bystander

даже если такое действие приведёт к гибели прохожего

and even if that action will kill the passenger.

или пассажира.

Immanuel Kant says the car should follow duty-bound principles,

По Иммануилу Канту, машина должна действовать по принципу долга:

like "Thou shalt not kill."

«Не убий».

So you should not take an action that explicitly harms a human being,

То есть нельзя совершать действие, которое навредит человеку,

and you should let the car take its course

машина должна продолжать движение,

even if that's going to harm more people.

даже если в результате погибнет больше людей.

What do you think?

Что вы думаете?

Bentham or Kant?

Бентам или Кант?

Here's what we found.

Мы обнаружили следующее.

Most people sided with Bentham.

Бо́льшая часть людей выбирает Бентама.

So it seems that people want cars to be utilitarian,

Кажется, что люди более утилитарны

minimize total harm,

и хотят минимизировать вред,

and that's what we should all do.

и надо этому следовать.

Problem solved.

Проблема решена.

But there is a little catch.

Но есть небольшая загвоздка.

When we asked people whether they would purchase such cars,

Когда мы спросили людей, купят ли они такой автомобиль,

they said, "Absolutely not."

они ответили: «Ни за что».

(Laughter)

(Смех)

They would like to buy cars that protect them at all costs,

Они хотят купить машину, которая их защитит, что бы ни случилось,

but they want everybody else to buy cars that minimize harm.

при этом пусть другие покупают машины, минимизирующие вред.

(Laughter)

(Смех)

We've seen this problem before.

Эта проблема не нова,

It's called a social dilemma.

она называется социальной дилеммой.

And to understand the social dilemma,

И чтобы понять социальную дилемму,

we have to go a little bit back in history.

вернёмся ранее в историю,

In the 1800s,

в XIX век.

English economist William Forster Lloyd published a pamphlet

Английский экономист Уильям Фостер Ллойд опубликовал памфлет,

which describes the following scenario.

описывающий сценарий,

You have a group of farmers --

в котором группа фермеров,

English farmers --

английских фермеров,

who are sharing a common land for their sheep to graze.

имеет общее поле, на котором пасутся их овцы.

Now, if each farmer brings a certain number of sheep --

Если у каждого определённое количество овец,

let's say three sheep --

скажем, три,

the land will be rejuvenated,

то поле успевает восстановиться,

the farmers are happy,

фермеры довольны,

the sheep are happy,

овцы счастливы,

everything is good.

всё прекрасно.

Now, if one farmer brings one extra sheep,

Если один фермер приведёт ещё одну овцу,

that farmer will do slightly better, and no one else will be harmed.

он заживёт чуть лучше, никому не навредив.

But if every farmer made that individually rational decision,

Но если каждый фермер примет такое разумное решение,

the land will be overrun, and it will be depleted

то поле будет переполнено, оно истощится

to the detriment of all the farmers,

в убыток всем фермерам

and of course, to the detriment of the sheep.

и, конечно, к огорчению овец.

We see this problem in many places:

Такого рода проблема встречается часто,

in the difficulty of managing overfishing,

например черезмерный отлов рыбы

or in reducing carbon emissions to mitigate climate change.

или сокращение выброса углерода для предотвращения изменения климата.

When it comes to the regulation of driverless cars,

Когда речь идёт о регламентах для беспилотных автомобилей,

the common land now is basically public safety --

общее поле — это, по сути, общественная безопасность,

that's the common good --

это общее благо,

and the farmers are the passengers

где фермеры — это пассажиры

or the car owners who are choosing to ride in those cars.

или владельцы автомобилей, которые в них ездят.

And by making the individually rational choice

Если каждый сделает выбор, рациональный для себя,

of prioritizing their own safety,

приоритизируя собственную безопасность,

they may collectively be diminishing the common good,

то в целом пострадает общее благо,

which is minimizing total harm.

то есть минимизация общего вреда.

It's called the tragedy of the commons,

Это традиционно называется

traditionally,

«трагедией общин».

but I think in the case of driverless cars,

Но в случае с беспилотными автомобилями, я думаю,

the problem may be a little bit more insidious

проблема более хитрая,

because there is not necessarily an individual human being

так как необязательно кто-то конкретный

making those decisions.

принимает эти решения.

So car manufacturers may simply program cars

Производители машин могут запрограммировать их так,

that will maximize safety for their clients,

чтобы максимизировать безопасность своих клиентов,

and those cars may learn automatically on their own

и эти машины могут самостоятельно усвоить,

that doing so requires slightly increasing risk for pedestrians.

что это будет несколько более рискованно для пешеходов.

So to use the sheep metaphor,

Используя метафору с овцами,

it's like we now have electric sheep that have a mind of their own.

получается, у нас теперь есть электронная овца со своим разумом.

(Laughter)

(Смех)

And they may go and graze even if the farmer doesn't know it.

И они могут пастись самостоятельно, не спрашивая фермера.

So this is what we may call the tragedy of the algorithmic commons,

Можно это назвать «трагедией алгоритмических общин»,

and if offers new types of challenges.

уже с другими задачами.

Typically, traditionally,

Традиционно такого рода

we solve these types of social dilemmas using regulation,

социальные дилеммы решаются с помощью законов,

so either governments or communities get together,

правительства или сообщества вместе решают,

and they decide collectively what kind of outcome they want

что им нужно и как для этого

and what sort of constraints on individual behavior

ограничить поведение

they need to implement.

отдельной личности.

And then using monitoring and enforcement,

Далее они контролируют соблюдение этих правил,

they can make sure that the public good is preserved.

чтобы обеспечить сохранность общественного блага.

So why don't we just,

Почему бы тогда

as regulators,

ни создать закон,

require that all cars minimize harm?

требующий минимизации вреда в машинах?

After all, this is what people say they want.

В конце концов, это то, чего хотят люди.

And more importantly,

И что более важно,

I can be sure that as an individual,

я могу быть уверенным, что как личность,

if I buy a car that may sacrifice me in a very rare case,

если я покупаю машину и в редком случае она мной жертвует,

I'm not the only sucker doing that

я буду не единственным лохом,

while everybody else enjoys unconditional protection.

в то время как другие получают абсолютную безопасность.

In our survey, we did ask people whether they would support regulation

В нашем опросе мы спросили людей, поддержат ли они такой закон,

and here's what we found.

и вот что мы обнаружили.

First of all, people said no to regulation;

Прежде всего, люди были против такого закона,

and second, they said,

и во-вторых, они сказали:

"Well if you regulate cars to do this and to minimize total harm,

«Если машины будут обязаны минимизировать вред,

I will not buy those cars."

то я такую машину не куплю».

So ironically,

Как ни странно,

by regulating cars to minimize harm,

обязывая машины минимизировать вред,

we may actually end up with more harm

можно спровоцировать больший вред,

because people may not opt into the safer technology

так как люди не обязательно выберут более безопасную технологию,

even if it's much safer than human drivers.

даже если она надёжнее, чем водитель.

I don't have the final answer to this riddle,

У меня нет конечного ответа на эту загадку,

but I think as a starting point,

но я думаю, что для начала

we need society to come together

нужно, чтобы общество

to decide what trade-offs we are comfortable with

согласилось с тем, что является приемлемым компромиссом

and to come up with ways in which we can enforce those trade-offs.

и как его можно обеспечить.

As a starting point, my brilliant students,

В качестве отправного пункта мои замечательные студенты

Edmond Awad and Sohan Dsouza,

Эдмонд Авад и Сохан Дзуза

built the Moral Machine website,

сделали сайт «Moral Machine»,

which generates random scenarios at you --

который генерирует различные сценарии,

basically a bunch of random dilemmas in a sequence

по сути, различные дилеммы,

where you have to choose what the car should do in a given scenario.

где вы выбираете, что машина должна сделать в каждом случае.

And we vary the ages and even the species of the different victims.

Мы варьируем возраст и даже биологический вид жертв.

So far we've collected over five million decisions

Мы собрали более пяти миллионов решений

by over one million people worldwide

от более миллиона человек со всего мира

from the website.

на этом сайте.

And this is helping us form an early picture

Это помогает нам иметь раннее представление

of what trade-offs people are comfortable with

о приемлемых компромиссах

and what matters to them --

и о том, что важно людям

even across cultures.

разных культур.

But more importantly,

И ещё важнее,

doing this exercise is helping people recognize

такое упражнение помогает людям осознать

the difficulty of making those choices

тяжесть такого рода решений

and that the regulators are tasked with impossible choices.

и что тот, кто принимает закон, столкнётся с невыносимым выбором.

And maybe this will help us as a society understand the kinds of trade-offs

И возможно, это даст нам, обществу, понять, какого рода компромиссы

that will be implemented ultimately in regulation.

будут в итоге приняты в законодательстве.

And indeed, I was very happy to hear

Я действительно был очень рад

that the first set of regulations

увидеть, что первый набор регламентов

that came from the Department of Transport --

от Министерства транспорта,

announced last week --

объявленный на прошлой неделе,

included a 15-point checklist for all carmakers to provide,

включает 15 вопросов для всех автопроизводителей,

and number 14 was ethical consideration --

где вопрос под номером 14 — этический,

how are you going to deal with that.

какое решение принять.

We also have people reflect on their own decisions

Мы также позволяем людям поразмышлять над выбором,

by giving them summaries of what they chose.

увидев сумму своих решений.

I'll give you one example --

Дам вам один пример.

I'm just going to warn you that this is not your typical example,

Я предупреждаю, это не самый обычный

your typical user.

и типичный пользователь.

This is the most sacrificed and the most saved character for this person.

Котика он спасал чаще всего, а ребёнком чаще всего жертвовал.

(Laughter)

(Смех)

Some of you may agree with him,

Кто-то может с ним

or her, we don't know.

или с ней согласиться.

But this person also seems to slightly prefer passengers over pedestrians

Он также предпочитает пассажиров пешеходам

in their choices

в своём выборе

and is very happy to punish jaywalking.

и рад наказать тех, кто перебегает дорогу.

(Laughter)

(Смех)

So let's wrap up.

Подводя итог,

We started with the question -- let's call it the ethical dilemma --

мы начали с вопроса, назовём его этической дилеммой,

of what the car should do in a specific scenario:

о том, что должна сделать машина в определённом сценарии,

swerve or stay?

повернуть или ехать дальше?

But then we realized that the problem was a different one.

Но затем мы поняли, что проблема не в этом.

It was the problem of how to get society to agree on and enforce

Проблема в том, как достичь согласия в обществе и как контролировать

the trade-offs they're comfortable with.

установленные компромиссы.

It's a social dilemma.

Это социальная дилемма.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

В 1940-е Айзек Азимов написал свои знаменитые законы роботехники,

the three laws of robotics.

три закона.

A robot may not harm a human being,

Робот не может причинить вред человеку,

a robot may not disobey a human being,

робот должен повиноваться приказам человека,

and a robot may not allow itself to come to harm --

Робот должен заботиться о своей безопасности.

in this order of importance.

В этом порядке.

But after 40 years or so

Около 40 лет спустя,

and after so many stories pushing these laws to the limit,

после всех историй, проверяющих эти законы,

Asimov introduced the zeroth law

Азимов ввёл нулевой закон,

which takes precedence above all,

идущий прежде всех остальных:

and it's that a robot may not harm humanity as a whole.

робот не должен навредить человечеству в целом.

I don't know what this means in the context of driverless cars

Я не знаю, какое это имеет влияние в контексте беспилотных автомобилей

or any specific situation,

или любой конкретной ситуации,

and I don't know how we can implement it,

и не знаю, как мы можем это обеспечить,

but I think that by recognizing

но думаю, что важно осознать,

that the regulation of driverless cars is not only a technological problem

что законы для беспилотных автомобилей не только проблема технологии,

but also a societal cooperation problem,

но и проблема взаимного сотрудничества.

I hope that we can at least begin to ask the right questions.

Я надеюсь, что мы начнём задавать правильные вопросы.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)