What moral decisions should driverless cars make? | Iyad Rahwan

Translator: Adele Mikoliunaite Reviewer: Andrius Družinis-Vitkus

Today I'm going to talk about technology and society.

Šiandien kalbėsiu apie technologiją ir visuomenę.

The Department of Transport estimated that last year

Transporto departamentas apskaičiavo, kad praėjusiais metais

35,000 people died from traffic crashes in the US alone.

vien JAV auto įvykiuose žuvo 35 tūkstančiai žmonių.

Worldwide, 1.2 million people die every year in traffic accidents.

Pasaulio mastu kasmet auto įvykiuose žūsta 1,2 milijono žmonių.

If there was a way we could eliminate 90 percent of those accidents,

Jeigu rastumėme būdą išvengti 90 procentų šių įvykių,

would you support it?

ar pritartumėte šiam sprendimui?

Of course you would.

Žinoma pritartumėte.

This is what driverless car technology promises to achieve

Būtent tai ir žada savieigių transporto priemonių technologija,

by eliminating the main source of accidents --

panaikindama esminę auto įvykių priežąstį –

human error.

žmogiškąją klaidą.

Now picture yourself in a driverless car in the year 2030,

Įsivaizduokite save savieigiame automobilyje 2030-iais metais –

sitting back and watching this vintage TEDxCambridge video.

sėdite atsipalaidavę ir žiūrite šį seną įrašą iš TED konferencijos Kembridže.

(Laughter)

(Juokas.)

All of a sudden,

Staiga,

the car experiences mechanical failure and is unable to stop.

automobilyje įvyksta mechaninė klaida ir jis negali sustoti.

If the car continues,

Jei nekeis krypties

it will crash into a bunch of pedestrians crossing the street,

automobilis rėšis į būrį per perėją einančių pėsčiųjų.

but the car may swerve,

Jis taip pat gali pasukti į šalį,

hitting one bystander,

tačiau tuomet partrenks šalikelėje stovintį žmogų,

killing them to save the pedestrians.

kad išgelbėtų penkis pėsčiuosius.

What should the car do, and who should decide?

Kaip automobilis turėtų pasielgti, ir kas turėtų tai nuspręsti?

What if instead the car could swerve into a wall,

O jei automobilis galėtų pasukti ir rėžtis į sieną

crashing and killing you, the passenger,

taip užmušdamas jus – keleivį,

in order to save those pedestrians?

kad išgelbėtų tuos penkis pėsčiuosius?

This scenario is inspired by the trolley problem,

Šį scenarijų įkvėpė vežimėlio problema,

which was invented by philosophers a few decades ago

kurią filosofai sukūrė prieš kelis dešimtmečius,

to think about ethics.

mąstydami apie etiką.

Now, the way we think about this problem matters.

Tai, kaip mes suvokiame šią problemą, yra svarbu.

We may for example not think about it at all.

Galbūt mes visai ir nesistengiame jos suvokti,

We may say this scenario is unrealistic,

sakydami, kad šis scenarijus nėra realistiškas,

incredibly unlikely, or just silly.

ypač mažai tikėtinas ar tiesiog kvailas.

But I think this criticism misses the point

Tačiau aš manau, kad tokia kritika pameta esmę,

because it takes the scenario too literally.

nes priima scenarijų pernelyg tiesiogiai.

Of course no accident is going to look like this;

Žinoma joks įvykis taip neatrodys,

no accident has two or three options

nė vienas įvykis nėra apribotas dviem ar trimis pasirinkimais

where everybody dies somehow.

kuriuose visuose kas nors žūsta.

Instead, the car is going to calculate something

Iš tiesų automobilis suskaičiuos kažką panašaus į tikimybę,

like the probability of hitting a certain group of people,

jog rėšis į tam tikrą žmonių grupę,

if you swerve one direction versus another direction,

jeigu pasuks į vieną, o ne į kitą pusę.

you might slightly increase the risk to passengers or other drivers

Taip galbūt padidindamas keleivių ar kitų vairuotojų riziką

versus pedestrians.

vietoj pėsčiųjų.

It's going to be a more complex calculation,

Tai bus kur kas sudetingesni skaičiavimai,

but it's still going to involve trade-offs,

tačiau jie vis tiek reikalaus kompromisų,

and trade-offs often require ethics.

o kompromisai dažnai reikalauja etikos.

We might say then, "Well, let's not worry about this.

Galime sakyti: „Nesijaudinkime dėl to.

Let's wait until technology is fully ready and 100 percent safe."

Geriau palaukime kol technologija bus pilnai paruošta ir 100-u procentų saugi.“

Suppose that we can indeed eliminate 90 percent of those accidents,

Tarkime, kad galime išvengti 90 procentų šių įvykių,

or even 99 percent in the next 10 years.

ar netgi 99 procentų per ateinančius 10-čia metų.

What if eliminating the last one percent of accidents

O jeigu išvengti to paskutinio procento auto įvykių

requires 50 more years of research?

pareikalaus dar 50 metų tyrimų?

Should we not adopt the technology?

Ar turėtume nesinaudoti šia technologija iki tol?

That's 60 million people dead in car accidents

Tai – 60 milijonų žmonių, žuvusių auto įvykiuose,

if we maintain the current rate.

jei nieko nekeisime.

So the point is,

Esmė tokia,

waiting for full safety is also a choice,

kad visiškai saugios technologijos laukimas taip pat yra pasirinkimas,

and it also involves trade-offs.

ir jis taip pat reikalauja kompromisų.

People online on social media have been coming up with all sorts of ways

Žmonės internete ir socialinėse medijose sugalvojo daugybę būdų,

to not think about this problem.

kaip negalvoti apie šią problemą.

One person suggested the car should just swerve somehow

Vienas žmogus pasiūlė, kad automobilis turėtų tiesiog kažkaip saugiai išlaviruoti

in between the passengers --

tarp pėsčiųjų

(Laughter)

(Juokas.)

and the bystander.

ir stovinčiųjų šalikelėse.

Of course if that's what the car can do, that's what the car should do.

Žinoma, jeigu automobilis gali tai padaryti, jis turėtų taip ir padaryti.

We're interested in scenarios in which this is not possible.

Mums labiau rūpi situacijos, kuriose tokie sprendimai nėra įmanomi.

And my personal favorite was a suggestion by a blogger

Mano mėgstamiausią sprendimą pasiūlė vienas blogeris –

to have an eject button in the car that you press --

automobilyje įdiegti katapulto mygtuką, kurį galima paspausti

(Laughter)

(Juokas.)

just before the car self-destructs.

prieš automobiliui susinaikinant.

(Laughter)

(Juokas.)

So if we acknowledge that cars will have to make trade-offs on the road,

Tad jeigu pripažįstame,

kad automobiliai keliuose privalės priimti kompromisus,

how do we think about those trade-offs,

kaip mums galvoti apie tuos kompromisus,

and how do we decide?

ir kaip nuspręsti?

Well, maybe we should run a survey to find out what society wants,

Galėtume atlikti apklausą, kad išsiaiškintume ko nori visuomenė,

because ultimately,

nes juk nuostatai ir įstatymai – visuomenės vertybių atspindys.

regulations and the law are a reflection of societal values.

So this is what we did.

Būtent tai ir padarėme.

With my collaborators,

Su bendradarbiais

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon ir Azim Shariff

we ran a survey

atlikome apklausą,

in which we presented people with these types of scenarios.

kurioje pateikėme tokio tipo situacijas.

We gave them two options inspired by two philosophers:

Dalyviams davėme du pasirinkimus, įkvėptus dviejų filosofų:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham ir Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham teigia, kad automobiliai turėtų sekti utilitarine logika –

it should take the action that will minimize total harm --

priimti bendrai mažiausią žalą darantį sprendimą,

even if that action will kill a bystander

net jei tai užmuštų šalikelėje stovintį žmogų,

and even if that action will kill the passenger.

net jei tai užmuštų keleivį.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant teigia, kad automobilis turėtų sekti pareigos principu,

like "Thou shalt not kill."

tokiu kaip „Nežudyk“.

So you should not take an action that explicitly harms a human being,

Tad neturėtume rinktis sprendimo, kuris tyčia kelia žalą žmogui

and you should let the car take its course

ir automobilis turėtų važiuoti savo keliu,

even if that's going to harm more people.

net jeigu nuo to nukentės daugiau žmonių.

Ką manote jūs?

What do you think?

Bentham ar Kant?

Bentham or Kant?

Here's what we found.

Štai ką išsiaiškinome.

Most people sided with Bentham.

Dauguma žmonių sekė Bentham.

So it seems that people want cars to be utilitarian,

Panašu, kad žmonės nori utilitarinių automobilių,

minimize total harm,

mažinančių bendrą žalą,

and that's what we should all do.

ir mes visi turėtume taip daryti.

Problem solved.

Problema išspręsta.

But there is a little catch.

Bet tai dar ne viskas.

When we asked people whether they would purchase such cars,

Kai paklausėme žmonių, ar jie pirktų tokias mašinas,

they said, "Absolutely not."

jie atsakė: „Tikrų tikriausiai ne.“

(Laughter)

(Juokas.)

They would like to buy cars that protect them at all costs,

Jie nori pirkti automobilius, kurie apsaugos juos bet kokiomis priemonėmis.

but they want everybody else to buy cars that minimize harm.

Tačiau nori, kad visi kiti pirktų automobilius mažinančius bendrą žalą.

(Laughter)

(Juokas.)

We've seen this problem before.

Ši problema nėra nauja.

It's called a social dilemma.

Ji vadinama socialine dilema.

And to understand the social dilemma,

Kad suprastume socialinę dilemą,

we have to go a little bit back in history.

turime žvilgtelti į istoriją.

In the 1800s,

1800-aisiais,

English economist William Forster Lloyd published a pamphlet

anglų ekonomistas William Forster Lloyd išspausdino brošiūrą,

which describes the following scenario.

kuri apibūdino tokią situaciją.

You have a group of farmers --

Turite grupę ūkininkų,

English farmers --

anglų ūkininkų,

who are sharing a common land for their sheep to graze.

kurie dalinasi bendra žeme avims ganytis.

Now, if each farmer brings a certain number of sheep --

Jei kiekvienas ūkininkas atsives tam tikrą skaičių avių,

let's say three sheep --

sakykime tris avis,

the land will be rejuvenated,

žemė atsinaujins,

the farmers are happy,

ūkininkai bus laimingi,

the sheep are happy,

avys – laimingos,

everything is good.

viskas gerai.

Now, if one farmer brings one extra sheep,

Jei vienas ūkininkas atsives viena avimi daugiau,

that farmer will do slightly better, and no one else will be harmed.

šiam ūkininkui seksis truputį geriau ir niekas nuo to nenukentės.

But if every farmer made that individually rational decision,

Bet jei kiekvienas ūkininkas priims tokį individualų ir racionalų sprendimą –

the land will be overrun, and it will be depleted

žemė bus suniokota ir išeikvota,

to the detriment of all the farmers,

sukeldama žalą kitiems ūkininkams

and of course, to the detriment of the sheep.

ir žinoma kitoms avims.

We see this problem in many places:

Šią problemą matome daugelyje sričių:

in the difficulty of managing overfishing,

pernelyg intensyvios žvejybos valdymo sunkumuose

or in reducing carbon emissions to mitigate climate change.

ar siekiant sumažinti anglies dvideginio išmetimą klimato kaitai sušvelninti.

When it comes to the regulation of driverless cars,

Kalbant apie savieigių automobilių nuostatus,

the common land now is basically public safety --

bendra žemė čia yra visuomenės saugumas.

that's the common good --

Tai – visuotinis gėris.

and the farmers are the passengers

Ūkininkai – tai keleviai,

or the car owners who are choosing to ride in those cars.

arba automobilių savininkai, kurie pasirinko naudotis šiais automobiliais.

And by making the individually rational choice

Priimdami individualų racionalų sprendimą –

of prioritizing their own safety,

suteikti pirmenybę savo saugumui

they may collectively be diminishing the common good,

jie kartu naikina visuotinį gėrį –

which is minimizing total harm.

bendros žalos mažinimą.

It's called the tragedy of the commons,

Tai tradiciškai vadinama bendrųjų išteklių tragedija,

traditionally,

but I think in the case of driverless cars,

tačiau kalbant apie savieigius automobilius, aš manau,

the problem may be a little bit more insidious

problema yra šiek tiek klastingesnė,

because there is not necessarily an individual human being

nes nebūtinai tai bus individualūs asmenys

making those decisions.

priimantys šiuos sprendimus.

So car manufacturers may simply program cars

Automobilių gamintojai

galbūt paprasčiausiai užprogramuos automobilius taip,

that will maximize safety for their clients,

kad jie užtikrintų maksimalų saugumą jų klientams.

and those cars may learn automatically on their own

Ir automobiliai galbūt patys išmoks,

that doing so requires slightly increasing risk for pedestrians.

kad toks veiksmas reikalauja padidinti pėsčiųjų riziką.

So to use the sheep metaphor,

Grįžtant prie avių metaforos,

it's like we now have electric sheep that have a mind of their own.

įsivaizduokite, kad šios avys – elektrinės ir turi sąmonę.

(Laughter)

(Juokas.)

And they may go and graze even if the farmer doesn't know it.

Taigi jos eis ir ganysis, net jeigu jų ūkininkas ir nežino apie tai.

So this is what we may call the tragedy of the algorithmic commons,

Būtent tai vadiname algoritmine bendrumo tragedija

and if offers new types of challenges.

ir tai kelia naujus iššūkius.

Typically, traditionally,

Paprastai, tradiciškai

we solve these types of social dilemmas using regulation,

tokias socialines problemas sprendžiame nuostatų pagalba.

so either governments or communities get together,

Kai vyriausybės ar bendruomenės susiburia

and they decide collectively what kind of outcome they want

ir kartu nusprendžia, kokio rezultato siekti

and what sort of constraints on individual behavior

ir kokius individualaus elgesio apribojimus

they need to implement.

reikėtų pritaikyti.

And then using monitoring and enforcement,

Tuomet per stebėjimą ir veiksmus

they can make sure that the public good is preserved.

jie gali užtikrinti visuotinį gėrį.

So why don't we just,

Tad kodėl mums, reguliuotojams,

as regulators,

nepareikalavus,

require that all cars minimize harm?

kad automobiliai sumažintų žalą?

After all, this is what people say they want.

Juk tai yra būtent tai, ko žmonės sako, kad nori.

And more importantly,

Bet svarbiausia,

I can be sure that as an individual,

tokiu būdu aš, kaip asmuo,

if I buy a car that may sacrifice me in a very rare case,

pirkdamas automobilį, kuris paaukos mane itin retoje situacijoje,

I'm not the only sucker doing that

nebūsiu vienintelis toks nevykėlis,

while everybody else enjoys unconditional protection.

kol visi kiti mėgausis besąlygiška apsauga.

In our survey, we did ask people whether they would support regulation

Savo apklausoje,

mes klausėme žmonių, ar jie palaikytų tokias nuostatas

and here's what we found.

ir štai ką atradome.

First of all, people said no to regulation;

Visų pirma, žmonės nesutiko su tokiomis nuostatomis,

and second, they said,

ir antra, jie sakė:

"Well if you regulate cars to do this and to minimize total harm,

„Jeigu jūs reguliuosite automobilių veiksmus bendrai žalai mažinti,

I will not buy those cars."

aš nepirksiu tokių automobilių.“

So ironically,

Ironiška,

by regulating cars to minimize harm,

bet reguliuodami automobilius bendrai žalai mažinti,

we may actually end up with more harm

rezultate galbūt turėsime daugiau žalos,

because people may not opt into the safer technology

nes žmonės nesirinks saugesnės technologijos,

even if it's much safer than human drivers.

net jeigu ji ir yra kur kas saugesnė už žmones vairuotojus.

I don't have the final answer to this riddle,

Aš neturiu galutinio šios mįslės sprendimo.

but I think as a starting point,

Tačiau manau, kad pirmiausia

we need society to come together

mes, visuomenė, turime susiburti

to decide what trade-offs we are comfortable with

ir nuspręsti, kokius kompromisus esame pasirengę priimti

and to come up with ways in which we can enforce those trade-offs.

ir surasti būdus, kuriais galėtume šiuos kompromisus pritaikyti.

As a starting point, my brilliant students,

Pirmąjį žingsnį žengė mano puikūs studentai

Edmond Awad and Sohan Dsouza,

Edmond Awad ir Sohan Dsouza

built the Moral Machine website,

sukurdami Moral Machine (ang. moralinė mašina) tinklapį,

which generates random scenarios at you --

kuris generuoja atsitiktines situacijas,

basically a bunch of random dilemmas in a sequence

tiesiog daugybę atsitiktinių dilemų paeiliui.

where you have to choose what the car should do in a given scenario.

Ir jūs turite nuspręsti, kaip automobilis turėtų pasielgti duotoje situacijoje.

And we vary the ages and even the species of the different victims.

Situacijose mes keičiame aukų amžių ir netgi rūšį.

So far we've collected over five million decisions

Šiuo metu turime surinkę virš penkių milijonų sprendimų

by over one million people worldwide

iš daugiau nei milijono žmonių visame pasaulyje,

from the website.

šio tinklapio dėka.

And this is helping us form an early picture

Ši informacija padeda mums susidaryti ankstyvą įspūdį

of what trade-offs people are comfortable with

apie tai, kokius kompromisus žmonės yra pasirengę priimti,

and what matters to them --

ir kas jiems rūpi,

even across cultures.

visose kultūrose.

But more importantly,

Tačiau svarbiausia yra tai,

doing this exercise is helping people recognize

kad toks pratimas padeda žmonėms suvokti

the difficulty of making those choices

kokie sudėtingi yra šie sprendimai,

and that the regulators are tasked with impossible choices.

ir kokius neįmanomas užduotis turi atlikti reguliuotojai.

And maybe this will help us as a society understand the kinds of trade-offs

Galbūt tai padės mums, kaip visuomenei, suprasti kokie kompromisai

that will be implemented ultimately in regulation.

galiausiai bus pritaikyti realybėje.

And indeed, I was very happy to hear

Nudžiugau išgirdęs,

that the first set of regulations

kad į pirmuosius Transporto departamento išleistus nuostatus,

that came from the Department of Transport --

announced last week --

paskelbtus praėjusią savaitę,

included a 15-point checklist for all carmakers to provide,

buvo įtrauktas ir 15-os punktų kontrolinis sąrašas,

skirtas automobilių gamintojams.

and number 14 was ethical consideration --

14-as punktas jame – etikos klausimas –

how are you going to deal with that.

kaip ketinate tai spręsti.

We also have people reflect on their own decisions

Mes taip pat skatiname žmones pagalvoti apie savo pačių sprendimus

by giving them summaries of what they chose.

pateikdami jiems jų pasirinkimų santraukas.

I'll give you one example --

Duosiu jums vieną pavyzdį.

I'm just going to warn you that this is not your typical example,

Tik įspėju, tai nėra įprastas pavyzdys

your typical user.

ir tai nėra įprastas vartotojas.

This is the most sacrificed and the most saved character for this person.

Tai – šio dalyvio dažniausiai išgelbėtas ir dažniausiai užmuštas personažai.

(Laughter)

(Juokas.)

Some of you may agree with him,

Kai kurie jūsų galbūt sutiks su juo

or her, we don't know.

ar ja, mes nežinome.

But this person also seems to slightly prefer passengers over pedestrians

Tačiau šis asmuo savo pasirinkimuose

išreiškia nestiprų polinkį gelbėti keleivius vietoj pėsčiųjų

in their choices

and is very happy to punish jaywalking.

ir mėgsta bausti einančius per raudoną.

(Laughter)

(Juokas.)

So let's wrap up.

Apibendrinant,

We started with the question -- let's call it the ethical dilemma --

mes pradėjome klausimu, pavadinkime tai etikos dilema,

of what the car should do in a specific scenario:

ką tam tikroje situacijoje turėtų daryti automobilis –

swerve or stay?

keisti kryptį ar ne?

But then we realized that the problem was a different one.

Tačiau tuomet suvokėme, kad problema yra visai kita.

It was the problem of how to get society to agree on and enforce

Tikroji problema – kaip pasiekti visuomenės susitarimą

ir pritaikyti kompromisus, kuriems būtume pasirengę.

the trade-offs they're comfortable with.

It's a social dilemma.

Tai socialinė dilema.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

1940-aisiais Isaac Asimov parašė garsiąsias robotikos taisykles,

the three laws of robotics.

tris robotikos taisykles.

A robot may not harm a human being,

Robotas privalo nekenkti žmogui,

a robot may not disobey a human being,

robotas privalo paklusti žmogui

and a robot may not allow itself to come to harm --

ir robotas privalo apsaugoti save nuo žalos.

in this order of importance.

Būtent tokiu svarbos eiliškumu.

But after 40 years or so

Tačiau po 40 metų

and after so many stories pushing these laws to the limit,

ir po daugybės bandymų pastūmėti šias ribas,

Asimov introduced the zeroth law

Asimov sukūrė dar vieną, nulinį įstatymą,

which takes precedence above all,

turintį aukščiausią pirmenybę –

and it's that a robot may not harm humanity as a whole.

robotas privalo nekenkti žmonijai kaip visumai.

I don't know what this means in the context of driverless cars

Aš nežinau ką tai reiškia savieigių automobilių kontekste

or any specific situation,

ar bet kokioje specifinėje situacijoje.

and I don't know how we can implement it,

Nežinau ir kaip reikėtų tai pritaikyti.

but I think that by recognizing

Tačiau pripažindami,

that the regulation of driverless cars is not only a technological problem

jog savieigių automobilių nustatymai nėra tik technologinė problema,

but also a societal cooperation problem,

bet taip pat ir socialinės kooperacijos problema,

I hope that we can at least begin to ask the right questions.

tikiuosi, kad galėsime bent jau pradėti kelti teisingus klausimus.

Thank you.

Ačiū.

(Applause)

(Plojimai.)