What moral decisions should driverless cars make? | Iyad Rahwan

Перекладач: Hanna Malienkina Утверджено: Khrystyna Romashko

Today I'm going to talk about technology and society.

Сьогодні я буду говорити про технології та суспільство.

The Department of Transport estimated that last year

Міністерство Транспорту встановило, що минулого року

35,000 people died from traffic crashes in the US alone.

35 000 людей загинуло в автомобільних аваріях лише у США.

Worldwide, 1.2 million people die every year in traffic accidents.

В усьому світі 1,2 мільйони людей помирають щороку в автомобільних аваріях.

If there was a way we could eliminate 90 percent of those accidents,

Якщо була б можливість усунути 90 процентів з цих аварій,

would you support it?

чи ви підтримали б її?

Of course you would.

Звичайно, що так.

This is what driverless car technology promises to achieve

Це те, чого технологія безпілотних автомобілів обіцяє досягнути

by eliminating the main source of accidents --

шляхом усунення основного джерела аварій -

human error.

людського фактору.

Now picture yourself in a driverless car in the year 2030,

Уявіть себе у безпілотному автомобілі у 2030 році,

як ви сидите позаду

sitting back and watching this vintage TEDxCambridge video.

та дивитесь це вінтажне відео від TEDxCambridge.

(Laughter)

(Сміх)

All of a sudden,

Аж раптом

the car experiences mechanical failure and is unable to stop.

в автомобіля стається механічний збій і він не може зупинитись.

If the car continues,

Якщо автомобіль продовжить рух,

it will crash into a bunch of pedestrians crossing the street,

він вріжеться у групу пішоходів, що переходять вулицю,

but the car may swerve,

але автомобіль може повернути,

hitting one bystander,

і врізатись в одного перехожого,

killing them to save the pedestrians.

вбивши його, щоб врятувати пішоходів.

What should the car do, and who should decide?

Що має зробити автомобіль, та хто має вирішувати?

What if instead the car could swerve into a wall,

Що, як замість того автомобіль міг би повернути у напрямку стіни,

crashing and killing you, the passenger,

врізатись і вбити вас, пасажира,

in order to save those pedestrians?

щоб врятувати тих пішоходів?

This scenario is inspired by the trolley problem,

На цей сценарій надихнула проблема вагонетки,

which was invented by philosophers a few decades ago

яка була запропонована філософами кілька десятиліть тому

to think about ethics.

для обмірковування етичної сторони.

Now, the way we think about this problem matters.

Наше ставлення до цієї проблеми має значення.

We may for example not think about it at all.

Ми могли б, наприклад, не думати про це зовсім.

We may say this scenario is unrealistic,

Ми могли б сказати, що такий сценарій є нереалістичний,

incredibly unlikely, or just silly.

дуже малоймовірний або просто безглуздий.

But I think this criticism misses the point

Але я вважаю, що такий критицизм втрачає головне,

because it takes the scenario too literally.

тому що сприймає сценарій надто буквально.

Of course no accident is going to look like this;

Звичайно, що ніяка аварія не буде саме такою;

no accident has two or three options

ніяка аварія не має два чи три шляхи,

where everybody dies somehow.

в яких всі помирають так чи інакше.

Instead, the car is going to calculate something

Натомість, автомобіль буде дещо розраховувати,

like the probability of hitting a certain group of people,

на кшталт можливості наїхати на якусь групу людей,

if you swerve one direction versus another direction,

якщо повернути в певному напрямку замість іншого,

you might slightly increase the risk to passengers or other drivers

можна трохи підвищити ризик для пасажирів чи інших водіїв

versus pedestrians.

замість пішоходів.

It's going to be a more complex calculation,

Це буде складніший розрахунок,

but it's still going to involve trade-offs,

але все одно будуть компроміси,

and trade-offs often require ethics.

а компроміси часто вимагають етики.

We might say then, "Well, let's not worry about this.

Ми могли б сказати: "Давайте не хвилюватись про це.

Let's wait until technology is fully ready and 100 percent safe."

Давайте зачекаємо, поки технологія буде повністю готова

та на 100 процентів безпечна."

Suppose that we can indeed eliminate 90 percent of those accidents,

Припускаючи це, ми справді можемо усунути 90 процентів тих аварій,

or even 99 percent in the next 10 years.

або навіть 99 процентів у найближчі 10 років.

What if eliminating the last one percent of accidents

Що, як усунення останнього одного проценту аварій

requires 50 more years of research?

вимагатиме ще 50 років досліджень?

Should we not adopt the technology?

Чи маємо відмовитися від технології?

That's 60 million people dead in car accidents

Це 60 мільйонів людей, загиблих у автомобільних аваріях,

if we maintain the current rate.

при поточному рівні аварій.

So the point is,

Тож суть у тому,

waiting for full safety is also a choice,

що очікування на повну безпеку - це також вибір,

and it also involves trade-offs.

і він також потребує компромісів.

People online on social media have been coming up with all sorts of ways

Люди в інтернеті на соціальних ресурсах пропонували різноманітні шляхи,

to not think about this problem.

як уникнути міркувань про цю проблему.

One person suggested the car should just swerve somehow

Одна людина запропонувала, щоб автомобіль просто вивернув якось

in between the passengers --

поміж пасажирами

(Laughter)

(Сміх)

and the bystander.

та спостерігачем.

Of course if that's what the car can do, that's what the car should do.

Звичайно, якщо це те, що автомобіль може зробити,

то це те, що автомобіль має зробити.

We're interested in scenarios in which this is not possible.

Нас цікавлять сценарії, в яких це неможливо.

And my personal favorite was a suggestion by a blogger

Та мою улюблену пропозицію запропонував блогер:

to have an eject button in the car that you press --

вбудувати в автомобіль кнопку катапульти, яку ти натискаєш

(Laughter)

(Сміх)

just before the car self-destructs.

перед тим, як автомобіль самознищується.

(Laughter)

(Сміх)

So if we acknowledge that cars will have to make trade-offs on the road,

Тож, якщо ми визнаємо, що автомобілі будуть змушені

робити компроміси на дорозі,

how do we think about those trade-offs,

то що ми думаємо з приводу цих компромісів,

and how do we decide?

та як нам вирішувати?

Well, maybe we should run a survey to find out what society wants,

Можливо, треба провести опитування, щоб дізнатися, чого суспільство хоче,

because ultimately,

тому що зрештою,

regulations and the law are a reflection of societal values.

правила та закон - це відображення суспільних цінностей.

So this is what we did.

Це те, що ми зробили.

With my collaborators,

З моїми співробітниками,

Jean-François Bonnefon and Azim Shariff,

Жаном-Франсуа Боннефоном та Азімом Шаріфом,

we ran a survey

ми провели опитування,

in which we presented people with these types of scenarios.

в якому презентували людям ці види сценаріїв.

We gave them two options inspired by two philosophers:

Ми дали їм два варіанти, що були натхненні двома філософами:

Jeremy Bentham and Immanuel Kant.

Джеремі Бентамом та Іммануїлом Кантом.

Bentham says the car should follow utilitarian ethics:

Бентам стверджує, що автомобіль має дотримуватися утилітарної етики:

it should take the action that will minimize total harm --

він має вжити дій, що мінімізують загальну шкоду,

even if that action will kill a bystander

навіть, якщо ця дія вб'є спостерігача,

and even if that action will kill the passenger.

і навіть, якщо ця дія вб'є пасажира.

Immanuel Kant says the car should follow duty-bound principles,

Іммануїл Кант стверджує, що автомобіль має дотримуватись відчуття обов'язку,

like "Thou shalt not kill."

як заповіді "Не вбивай".

So you should not take an action that explicitly harms a human being,

Тож, тобі не слід вживати дію, що вочевидь шкодить людині,

and you should let the car take its course

та слід дозволити автомобілю рухатися своїм шляхом,

even if that's going to harm more people.

навіть, якщо це нашкодить більшій кількості людей.

What do you think?

Як ви вважаєте?

Bentham or Kant?

Бентам чи Кант?

Here's what we found.

Ось, що ми з'ясували.

Most people sided with Bentham.

Більшість людей стали на бік Бентама.

So it seems that people want cars to be utilitarian,

Тож здається, що люди хочуть, щоб автомобілі були утилітарними,

minimize total harm,

мінімізували загальну шкоду,

and that's what we should all do.

і це те, що нам всім слід робити.

Problem solved.

Проблему вирішено.

But there is a little catch.

Але є маленький нюанс.

When we asked people whether they would purchase such cars,

Коли ми спитали людей, чи придбали б вони такі автомобілі,

they said, "Absolutely not."

вони сказали: "Ні в якому разі."

(Laughter)

(Сміх)

They would like to buy cars that protect them at all costs,

Вони хотіли б придбати автомобілі, які б захищали їх за будь-яку ціну,

but they want everybody else to buy cars that minimize harm.

але вони хочуть, щоб усі інші купували автомобілі, що мінімізують шкоду.

(Laughter)

(Сміх)

We've seen this problem before.

Ми стикалися з такою проблемою раніше.

It's called a social dilemma.

Це називається соціальна дилема.

And to understand the social dilemma,

І щоб зрозуміти соціальну дилему,

we have to go a little bit back in history.

нам треба звернутися трошки до історії.

In the 1800s,

У 1800-х роках

English economist William Forster Lloyd published a pamphlet

англійський економіст Вільям Фостер Лойд опублікував памфлет,

which describes the following scenario.

в якому описано наступний сценарій.

You have a group of farmers --

Маєте групу фермерів -

English farmers --

англійських фермерів -

who are sharing a common land for their sheep to graze.

які використовують спільну земельну ділянку для випасу їхніх овець.

Now, if each farmer brings a certain number of sheep --

Якщо кожен фермер виведе певну кількість овець -

let's say three sheep --

скажімо, три вівці -

the land will be rejuvenated,

ділянка буде оновлюватись,

the farmers are happy,

фермери - щасливі,

the sheep are happy,

вівці - щасливі,

everything is good.

все добре.

Now, if one farmer brings one extra sheep,

Якщо ж один фермер виведе ще одну вівцю,

that farmer will do slightly better, and no one else will be harmed.

цьому фермеру буде трохи краще, і ніхто інший не постраждає.

But if every farmer made that individually rational decision,

Але якщо всі фермери приймуть таке індивідуально раціональне рішення,

the land will be overrun, and it will be depleted

ділянка буде виснажена та збіднена,

to the detriment of all the farmers,

що зашкодить усім фермерам,

and of course, to the detriment of the sheep.

і, звичайно ж, зашкодить вівцям.

We see this problem in many places:

Ми бачимо цю проблему у багатьох місцях:

in the difficulty of managing overfishing,

у складнощах керування переловом риби

or in reducing carbon emissions to mitigate climate change.

чи у зменшенні викидів вуглецю, щоб пом'якшити кліматичні зміни.

When it comes to the regulation of driverless cars,

Стосовно ж регулювань для безпілотних автомобілів,

the common land now is basically public safety --

спільна земельна ділянка - це загальна безпека,

that's the common good --

це спільне благо -

and the farmers are the passengers

а фермери - це пасажири

or the car owners who are choosing to ride in those cars.

або власники автомобілів, які обирають їздити у цих автомобілях.

And by making the individually rational choice

Та зробивши індивідуально раціональний вибір

of prioritizing their own safety,

і надавши пріоритет їх власній безпеці,

they may collectively be diminishing the common good,

вони разом могли б зменшити спільне благо,

which is minimizing total harm.

яке мінімізує загальну шкоду.

It's called the tragedy of the commons,

Це називається трагедія спільного,

traditionally,

традиційно,

but I think in the case of driverless cars,

але я гадаю, що у випадку безпілотних автомобілів,

the problem may be a little bit more insidious

проблема може бути трошки більш підступною

because there is not necessarily an individual human being

через те, що це необов'язково людина

making those decisions.

приймає ці рішення.

So car manufacturers may simply program cars

Виробники автомобілів можуть просто запрограмувати автомобілі,

that will maximize safety for their clients,

щоб максимізувати безпеку для їхніх клієнтів,

and those cars may learn automatically on their own

і такі автомобілі можуть автоматично навчатися,

that doing so requires slightly increasing risk for pedestrians.

що певна дія вимагає трохи підвищити ризик для пішоходів.

So to use the sheep metaphor,

Використовуючи метафору з вівцями,

it's like we now have electric sheep that have a mind of their own.

це ніби у нас електричні вівці, які мають власний розум.

(Laughter)

(Сміх)

And they may go and graze even if the farmer doesn't know it.

І вони можуть піти та випасатися, навіть, якщо фермер не знає про це.

So this is what we may call the tragedy of the algorithmic commons,

Це те, що ми можемо назвати трагедією алгоритмічного спільного,

and if offers new types of challenges.

і це пропонує нові виклики.

Typically, traditionally,

Зазвичай, традиційно,

we solve these types of social dilemmas using regulation,

ми вирішуємо такі типи соціальних дилем за допомогою правил,

so either governments or communities get together,

тож держава або спільнота збираються разом

and they decide collectively what kind of outcome they want

та колективно вирішують, який результат вони хочуть,

and what sort of constraints on individual behavior

та які обмеження поведінки суб'єкта

they need to implement.

їм треба розробити.

And then using monitoring and enforcement,

А потім, за допомогою моніторингу та примушення,

they can make sure that the public good is preserved.

вони можуть переконатися, що суспільне благо зберігається.

So why don't we just,

Тож чому б нам, як регулювальникам,

as regulators,

require that all cars minimize harm?

не вимагати, щоб всі автомобілі мінімізували шкоду?

After all, this is what people say they want.

Зрештою, це те, чого люди хочуть, за їх словами.

And more importantly,

І що більш важливо,

I can be sure that as an individual,

я можу бути впевнений, як окрема людина,

if I buy a car that may sacrifice me in a very rare case,

що якщо я куплю автомобіль, який може пожертвувати мною у рідкому випадку,

I'm not the only sucker doing that

то я не єдиний невдаха, який це робить,

while everybody else enjoys unconditional protection.

поки всі інші насолоджуються безумовним захистом.

In our survey, we did ask people whether they would support regulation

У нашому опитуванні ми запитали людей, чи підтримали б вони правила,

and here's what we found.

і ось, що ми виявили.

First of all, people said no to regulation;

Перш за все, люди відмовилися від правил;

and second, they said,

і по-друге, вони сказали:

"Well if you regulate cars to do this and to minimize total harm,

"Якщо за правилами автомобілі будуть робити це і мінімізувати загальну шкоду,

I will not buy those cars."

то я не купуватиму такі автомобілі."

So ironically,

Тож за іронією,

by regulating cars to minimize harm,

встановивши правила для автомобілів мінімізувати шкоду,

we may actually end up with more harm

ми можемо зрештою прийти до ще більшої шкоди,

because people may not opt into the safer technology

адже люди не підтримають більш безпечну технологію,

even if it's much safer than human drivers.

навіть, якщо вона набагато безпечніша, ніж люди-водії.

I don't have the final answer to this riddle,

В мене немає остаточної відповіді на цю дилему,

but I think as a starting point,

але я вважаю, що для початку треба,

we need society to come together

щоб суспільство зібралося разом

to decide what trade-offs we are comfortable with

для вирішення, які компроміси є комфортними для нас

and to come up with ways in which we can enforce those trade-offs.

та придумати шляхи для втілення цих компромісів.

As a starting point, my brilliant students,

У якості стартової точки, мої блискучі студенти,

Edmond Awad and Sohan Dsouza,

Едмонд Авад та Сохан Дсоуза,

built the Moral Machine website,

створили веб-сайт - Моральну Машину,

which generates random scenarios at you --

яка генерує для вас випадкові сценарії -

basically a bunch of random dilemmas in a sequence

по суті, набір випадкових дилем одна за одною,

where you have to choose what the car should do in a given scenario.

де вам потрібно обрати, що автомобіль має зробити у наданому сценарії.

And we vary the ages and even the species of the different victims.

Ми також змінюємо вік і навіть біологічні види різних потерпілих.

So far we've collected over five million decisions

На даний момент ми зібрали більше п'яти мільйонів рішень

by over one million people worldwide

від більше, ніж одного мільйона людей по всьому світу

from the website.

з веб-сайту.

And this is helping us form an early picture

І це допомагає нам отримати первинну картину того,

of what trade-offs people are comfortable with

які компроміси є прийнятні для людей

and what matters to them --

та що є важливо для них -

even across cultures.

навіть поміж різних культур.

But more importantly,

Та що важливіше,

doing this exercise is helping people recognize

виконання цієї вправи допомагає людям усвідомити

the difficulty of making those choices

складність прийняття таких рішень

and that the regulators are tasked with impossible choices.

і те, що перед регулювальниками постає неможливий вибір.

And maybe this will help us as a society understand the kinds of trade-offs

І, можливо, це допоможе нам, як суспільству, зрозуміти ті компроміси,

that will be implemented ultimately in regulation.

що будуть запроваджені зрештою у регулюваннях.

And indeed, I was very happy to hear

І справді, я був щасливий почути,

that the first set of regulations

що перший набір регулювань,

that came from the Department of Transport --

що видали у Міністерстві Транспорту -

announced last week --

оголошено минулого тижня -

included a 15-point checklist for all carmakers to provide,

містить 15 пунктів, що мають забезпечити всі виробники автомобілів,

and number 14 was ethical consideration --

і номер 14 стосувався етичного аспекту -

how are you going to deal with that.

як ви вчините щодо цього.

We also have people reflect on their own decisions

Ми також даємо людям обміркувати їх власні рішення,

by giving them summaries of what they chose.

надавши їм підсумки того, що вони обирали.

I'll give you one example --

Ось один приклад -

I'm just going to warn you that this is not your typical example,

але попереджаю, що це нетиповий приклад,

your typical user.

типовий користувач.

This is the most sacrificed and the most saved character for this person.

Це - найбільш постраждалий та найбільш врятований персонажі

(Laughter)

для цієї людини.

(Сміх)

Some of you may agree with him,

Дехто з вас може погодитися з ним,

or her, we don't know.

чи з нею, ми не знаємо.

But this person also seems to slightly prefer passengers over pedestrians

Але ця людина також надає трохи більше переваги пасажирам, ніж пішоходам

in their choices

у своїх рішеннях

and is very happy to punish jaywalking.

та дуже охоче наказує порушників.

(Laughter)

(Сміх)

So let's wrap up.

Тож, підсумуємо.

We started with the question -- let's call it the ethical dilemma --

Ми почали з питання - назвемо це етичною дилемою -

of what the car should do in a specific scenario:

що автомобіль має робити у наданому сценарії:

swerve or stay?

повернути чи залишитись?

But then we realized that the problem was a different one.

Але згодом ми усвідомили, що проблема, насправді, у іншому.

It was the problem of how to get society to agree on and enforce

Вона у тому, як погодити суспільство та запровадити

the trade-offs they're comfortable with.

компроміси, з якими воно погоджується.

It's a social dilemma.

Це соціальна дилема.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

У 1940-х роках Айзек Азімов написав свої відомі закони робототехніки -

the three laws of robotics.

три закони робототехніки.

A robot may not harm a human being,

Робот не може заподіяти шкоду людині,

a robot may not disobey a human being,

робот повинен підкорятися наказам людини,

and a robot may not allow itself to come to harm --

і робот повинен захищати самого себе -

in this order of importance.

у цій послідовності за важливістю.

But after 40 years or so

Але після 40 років чи близько цього,

and after so many stories pushing these laws to the limit,

та після стількох історій, що наполягають на цих трьох законах,

Asimov introduced the zeroth law

Азімов впроваджує нульовий закон,

which takes precedence above all,

що має перевагу над усіма,

and it's that a robot may not harm humanity as a whole.

і він про те, що робот не може заподіяти шкоду людству в цілому.

I don't know what this means in the context of driverless cars

Я не знаю, що це значить у контексті безпілотних автомобілів

or any specific situation,

або будь-якої конкретної ситуації,

and I don't know how we can implement it,

і я не знаю, як ми можемо це реалізувати,

but I think that by recognizing

але я думаю, що визнавши,

that the regulation of driverless cars is not only a technological problem

що регулювання безпілотних автомобілів - це не лише технологічна проблема,

but also a societal cooperation problem,

але також проблема соціальної співдружності,

I hope that we can at least begin to ask the right questions.

сподіваюсь, ми принаймні можемо почати ставити правильні питання.

Thank you.

Дякую.

(Applause)

(Оплиски)