What moral decisions should driverless cars make? | Iyad Rahwan

Fordító: Péter Pallós Lektor: Zsuzsanna Lőrincz

Today I'm going to talk about technology and society.

Ma a technológiáról és a társadalomról fogok beszélni.

The Department of Transport estimated that last year

A Közlekedési Minisztérium 2015-ös adata szerint

35,000 people died from traffic crashes in the US alone.

csupán az USA-ban 35 000 fő halt meg közlekedési balesetben.

Worldwide, 1.2 million people die every year in traffic accidents.

A világon ugyanezen okból 1,2 milliónyian.

If there was a way we could eliminate 90 percent of those accidents,

Ha mód lenne a balesetek 90%-ának elkerülésére,

would you support it?

támogatnák-e?

Of course you would.

Nyilvánvalóan igen.

This is what driverless car technology promises to achieve

A vezető nélküli autó technológiája erre ad reményt,

by eliminating the main source of accidents --

mert megszünteti a fő baleseti forrást,

human error.

az emberi hibát.

Now picture yourself in a driverless car in the year 2030,

Képzeljük el magunkat a 2030-as évek vezető nélküli autójában,

sitting back and watching this vintage TEDxCambridge video.

amint hátuljában nézzük a TEDxCambridge ősrégi videóját.

(Laughter)

(Nevetés)

All of a sudden,

Az autó váratlanul

the car experiences mechanical failure and is unable to stop.

műszaki hibát észlel, de képtelen megállni.

If the car continues,

Ha továbbhalad,

it will crash into a bunch of pedestrians crossing the street,

elüt egy csomó, zebrán átkelő gyalogost,

but the car may swerve,

de elkanyarodhat,

hitting one bystander,

s így egy bámészkodót gázol halálra,

killing them to save the pedestrians.

s ezzel megóvja a gyalogosokat.

What should the car do, and who should decide?

Mit tegyen a kocsi, és ki döntsön róla?

What if instead the car could swerve into a wall,

De mi lenne, ha falba csapódna,

crashing and killing you, the passenger,

s ezzel önt, az utast ölné meg,

in order to save those pedestrians?

hogy a gyalogosokat mentse meg?

This scenario is inspired by the trolley problem,

E feladványt az ún. villamoskocsi-dilemma ihlette,

which was invented by philosophers a few decades ago

amelyet filozófusok pár évtizede

to think about ethics.

erkölcsi döntésre gondoltak ki.

Now, the way we think about this problem matters.

Fontos, miként oldjuk meg a dilemmát.

We may for example not think about it at all.

De azt is lehet, hogy nem törődünk vele.

We may say this scenario is unrealistic,

Mondhatjuk, hogy a feladvány nem reális,

incredibly unlikely, or just silly.

teljesen valószínűtlen és ostobaság.

But I think this criticism misses the point

De a kritika szem elől téveszti a lényeget,

because it takes the scenario too literally.

mert szó szerint veszi a feladványt.

Of course no accident is going to look like this;

Igaz, hogy ilyen baleset nem történik,

no accident has two or three options

nem szokott két-három választási lehetőség adódni,

where everybody dies somehow.

ahol valaki mindenképp meghal.

Instead, the car is going to calculate something

Az autó valamit ki fog számolni,

like the probability of hitting a certain group of people,

pl. mennyi valamely embercsoportba való csapódás valószínűsége,

if you swerve one direction versus another direction,

ha egyik vagy másik irányba kanyarodik,

you might slightly increase the risk to passengers or other drivers

kissé növelhető az utasok vagy idegen vezetők kockázata

versus pedestrians.

a gyalogosokéhoz képest.

It's going to be a more complex calculation,

A számítás elég bonyolult lesz,

but it's still going to involve trade-offs,

de a kompromisszum benne lesz,

and trade-offs often require ethics.

és a kompromisszum gyakran erkölcsi kérdés.

We might say then, "Well, let's not worry about this.

Mondhatják: "Ne törődjünk vele, várjuk ki,

Let's wait until technology is fully ready and 100 percent safe."

amíg a technológia 100%-osan fejlett és biztonságos nem lesz."

Suppose that we can indeed eliminate 90 percent of those accidents,

Tegyük föl, hogy 10 éven belül valóban kiküszöbölhetjük a balesetek 90%-át,

or even 99 percent in the next 10 years.

vagy akár 99%-ukat.

What if eliminating the last one percent of accidents

Mi van, ha az utolsó százalék kiküszöbölése

requires 50 more years of research?

további 50 kutatói évet igényel?

Should we not adopt the technology?

Addig ne vezessük be a technológiát?

That's 60 million people dead in car accidents

A jelenlegi arányok mellett

if we maintain the current rate.

ez 60 millió halott.

So the point is,

A lényeg:

waiting for full safety is also a choice,

a teljes biztonság kivárása is lehetőség,

and it also involves trade-offs.

s ennek ára is kompromisszum.

People online on social media have been coming up with all sorts of ways

A közösségi oldalakon rengeteg az ötlet,

to not think about this problem.

hogyan kerüljük el e konfliktust.

One person suggested the car should just swerve somehow

Valaki azt javasolta, hogy az autó

in between the passengers --

valahogy szlalomozzon a gyalogosok...

(Laughter)

(Nevetés)

and the bystander.

és a bámészkodó között.

Of course if that's what the car can do, that's what the car should do.

Persze, ha nincs más lehetőség, az autó így fog tenni.

We're interested in scenarios in which this is not possible.

De minket azok a változatok érdekelnek, ahol ez nem lehetséges.

And my personal favorite was a suggestion by a blogger

Kedvencem az egyik blogger ötlete,

to have an eject button in the car that you press --

hogy legyen katapultáló gomb az autóban, amelyet megnyomunk...

(Laughter)

(Nevetés)

just before the car self-destructs.

mielőtt az autó megsemmisítené magát.

(Laughter)

(Nevetés)

So if we acknowledge that cars will have to make trade-offs on the road,

Ha elfogadjuk, hogy az autóknak kompromisszumokat kell kötniük

how do we think about those trade-offs,

mit tartunk róluk,

and how do we decide?

és ki fog dönteni?

Well, maybe we should run a survey to find out what society wants,

Tán kutatást kellene végeznünk, hogy mit akar a társadalom,

because ultimately,

mert végül is,

regulations and the law are a reflection of societal values.

a szabályozások és törvények a társadalmi értékekhez igazodnak.

So this is what we did.

Ezt tettük.

With my collaborators,

Munkatársaimmal,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefonnal és Azim Shariff-fal,

we ran a survey

kutatást végeztünk,

in which we presented people with these types of scenarios.

amelyben az emberek elé tártuk a lehetőségeket.

We gave them two options inspired by two philosophers:

Két filozófus, Jeremy Bentham

és Immanuel Kant alapján két lehetőséget adtunk meg.

Jeremy Bentham and Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham szerint az autónak haszonelvű etikát kell követnie:

it should take the action that will minimize total harm --

úgy kell tennie, hogy csak minimális kár keletkezzék,

even if that action will kill a bystander

még ha a bámészkodó meghal is,

and even if that action will kill the passenger.

és még ha miatta meghal egy utas.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant szerint az autónak kötelességelvű etikát kell követnie:

like "Thou shalt not kill."

pl, a "Ne ölj!" elvét.

So you should not take an action that explicitly harms a human being,

Nem szabad olyat tenni, ami kárt okoz egy emberi lénynek,

and you should let the car take its course

s hagyni kell, hogy a kocsi csak menjen,

even if that's going to harm more people.

még ha több embert megsebesít is.

What do you think?

Önök mit gondolnak?

Bentham or Kant?

Bentham vagy Kant?

Here's what we found.

Mi az eredmény?

Most people sided with Bentham.

A legtöbben Benthamot támogatták.

So it seems that people want cars to be utilitarian,

Úgy látszik, az emberek inkább haszonelvűek,

minimize total harm,

minimalizálják a teljes kárt,

and that's what we should all do.

és ezt kell tennünk.

Problem solved.

A kérdés megoldva.

But there is a little catch.

De van egy kis bökkenő.

When we asked people whether they would purchase such cars,

Amikor azt kérdeztük: "Vennének-e ilyen autót?",

they said, "Absolutely not."

határozott nemmel válaszoltak.

(Laughter)

(Nevetés)

They would like to buy cars that protect them at all costs,

Olyan kocsit vennének, amely mindenáron megvédi őket,

but they want everybody else to buy cars that minimize harm.

ám azt akarják, hogy mások csakis a kárt minimalizálót vegyenek.

(Laughter)

(Nevetés)

We've seen this problem before.

Már találkoztunk ezzel a problémával:

It's called a social dilemma.

ez a társadalmi dilemma.

And to understand the social dilemma,

A társadalmi dilemma megértéséhez

we have to go a little bit back in history.

egy kissé menjünk vissza a történelemben.

In the 1800s,

Az 1800-as években

English economist William Forster Lloyd published a pamphlet

William Forster Lloyd angol közgazdász

az alábbi tartalmú vitairatot jelentette meg.

which describes the following scenario.

You have a group of farmers --

Gazdák egy csoportja –

English farmers --

angol gazdák –

who are sharing a common land for their sheep to graze.

fölosztják maguk között a közlegelőt, hogy birkáik legelhessenek.

Now, if each farmer brings a certain number of sheep --

Na mármost, ha mindenki ugyanannyi juhot,

let's say three sheep --

mondjuk, hármat legeltet,

the land will be rejuvenated,

a legelő megújul,

the farmers are happy,

a gazdák elégedettek,

the sheep are happy,

a birkák elégedettek,

everything is good.

minden rendben.

Now, if one farmer brings one extra sheep,

Ha valamelyik gazda még egy birkát odavisz,

that farmer will do slightly better, and no one else will be harmed.

az kissé jobban jár, és senki sem károsodik.

But if every farmer made that individually rational decision,

Ám ha mindenki ezt az egyénileg észszerű döntést hozná,

the land will be overrun, and it will be depleted

a legelőt túlhasználnák és fölélnék

to the detriment of all the farmers,

minden gazda hátrányára,

and of course, to the detriment of the sheep.

és persze, a birkák hátrányára is.

We see this problem in many places:

E problémával gyakran találkozunk:

in the difficulty of managing overfishing,

pl. a túlhalászat esetén,

or in reducing carbon emissions to mitigate climate change.

vagy a klímaváltozás mérséklésére a CO₂-kibocsátás csökkentésénél.

When it comes to the regulation of driverless cars,

A vezető nélküli autó szabályozása esetén

the common land now is basically public safety --

a közlegelő itt a közbiztonság,

that's the common good --

ez a közjó;

and the farmers are the passengers

a gazdák az utasok,

or the car owners who are choosing to ride in those cars.

vagy a kocsitulajdonos, aki az autóban utazik.

And by making the individually rational choice

Egyénileg észszerű döntéssel

of prioritizing their own safety,

előnyben részesítve saját biztonságunkat

they may collectively be diminishing the common good,

közösségileg csökkentenénk a közjót,

which is minimizing total harm.

amely minimalizálná a teljes kárt.

It's called the tragedy of the commons,

Hagyományosan ezt hívjuk

traditionally,

a közbirtok tragédiájának,

but I think in the case of driverless cars,

de a vezető nélküli autó esetében

the problem may be a little bit more insidious

a dilemma tán kissé még fogósabb,

because there is not necessarily an individual human being

mert nem szükségképpen emberi lény

making those decisions.

hozza a döntéseket.

So car manufacturers may simply program cars

Az autógyárak a kocsikat egyszerűen beprogramozhatják,

that will maximize safety for their clients,

amellyel maximalizálhatják ügyfeleik biztonságát,

and those cars may learn automatically on their own

és a kocsik automatikusan önállóan tanulhatnak,

that doing so requires slightly increasing risk for pedestrians.

és ez a biztonság kissé fokozza a gyalogosok kockázatát.

So to use the sheep metaphor,

A birka-hasonlattal élve:

it's like we now have electric sheep that have a mind of their own.

nekünk most saját tudatú elektromos birkáink vannak.

(Laughter)

(Nevetés)

And they may go and graze even if the farmer doesn't know it.

A gazda tudtán kívül is bemehetnek a legelőre.

So this is what we may call the tragedy of the algorithmic commons,

Hívhatjuk ezt az algoritmikus közbirtok tragédiájának,

and if offers new types of challenges.

s ez új feladatot ró ránk.

Typically, traditionally,

E társadalmi jellegű dilemmákat

we solve these types of social dilemmas using regulation,

általában szabályozással oldjuk meg.

so either governments or communities get together,

Kormányszervek vagy közösségek megvitatják őket,

and they decide collectively what kind of outcome they want

és közösen döntik el, milyen eredményt szeretnének,

and what sort of constraints on individual behavior

és az egyéni cselekvés

milyen korlátozására van szükség.

they need to implement.

And then using monitoring and enforcement,

Aztán ellenőrzési és végrehajtási intézkedésekkel

they can make sure that the public good is preserved.

elérhető a közjó megmaradása.

So why don't we just,

Akkor szabályozó szervként

as regulators,

mondjuk ki,

require that all cars minimize harm?

hogy minden autó köteles minimalizálni a kárt!

After all, this is what people say they want.

Végtére, mindenki ezt akarja.

And more importantly,

De ennél is fontosabb,

I can be sure that as an individual,

hogy személy szerint biztos lehetek benne,

if I buy a car that may sacrifice me in a very rare case,

hogy ha ilyen kocsit veszek, és kivételes esetben engem föláldoz,

I'm not the only sucker doing that

nem én leszek az egyetlen palimadár,

while everybody else enjoys unconditional protection.

miközben a többiek élvezik a feltétlen biztonságot.

In our survey, we did ask people whether they would support regulation

Kutatásunkban azt kérdeztük az emberektől,

támogatnák-e a szabályozást; íme, az eredmény.

and here's what we found.

First of all, people said no to regulation;

Nemet mondtak a szabályozásra,

and second, they said,

s hozzátették:

"Well if you regulate cars to do this and to minimize total harm,

"Ha szabályozzák az autókat, hogy minimalizálják a kárt,

I will not buy those cars."

nem veszek olyan kocsit."

So ironically,

Elég vicces,

by regulating cars to minimize harm,

hogy a kárminimalizációs szabályozás

we may actually end up with more harm

nagyobb kárral járhat,

because people may not opt into the safer technology

mert az emberek nem a biztonságosabb technológiát választják,

even if it's much safer than human drivers.

még ha a vezetőnél megbízhatóbb is.

I don't have the final answer to this riddle,

Nincs végső válaszom e rejtélyre,

but I think as a starting point,

de mindenekelőtt

we need society to come together

a társadalomnak kell megvitatnia,

to decide what trade-offs we are comfortable with

mi az elfogadható kompromisszum,

and to come up with ways in which we can enforce those trade-offs.

és azt hogyan lehet megvalósítani.

As a starting point, my brilliant students,

Kiváló hallgatóim,

Edmond Awad and Sohan Dsouza,

Edmond Awad és Sohan Dsouza

built the Moral Machine website,

létrehozták a Moral Machine honlapot,

which generates random scenarios at you --

amely véletlenszerűen generál baleseti helyzeteket,

basically a bunch of random dilemmas in a sequence

dilemmákat,

where you have to choose what the car should do in a given scenario.

ahol ki kell választanunk, mit tegyen az autó.

And we vary the ages and even the species of the different victims.

Az áldozatok korát és fajtáját változtatjuk.

So far we've collected over five million decisions

Idáig több mint ötmillió döntést gyűjtöttünk össze világszerte,

by over one million people worldwide

egymillió fő részvételével

from the website.

a honlapról.

And this is helping us form an early picture

Ezzel fölvázolhatjuk, milyen kompromisszummal

of what trade-offs people are comfortable with

lennének elégedettek az emberek,

and what matters to them --

és mi fontos nekik

even across cultures.

a különböző kultúrákban.

But more importantly,

De még ennél is fontosabb,

doing this exercise is helping people recognize

hogy e gyakorlatok megértetik az emberekkel,

the difficulty of making those choices

milyen bonyolult dönteni,

and that the regulators are tasked with impossible choices.

s hogy a szabályozó szervek lehetetlen döntésekre kényszerülnek.

And maybe this will help us as a society understand the kinds of trade-offs

Talán ez elősegíti, hogy a társadalom megértse a kompromisszum szerepét

that will be implemented ultimately in regulation.

a meghozandó szabályozásban.

And indeed, I was very happy to hear

Nagyon örültem, amikor meghallottam,

that the first set of regulations

hogy a Közlekedési Minisztérium

that came from the Department of Transport --

kezdeti szabályozása

announced last week --

– múlt héten tették közzé –

included a 15-point checklist for all carmakers to provide,

minden autógyártóra kötelező, 15 tételből álló követelménylistát tartalmaz;

and number 14 was ethical consideration --

és a 14. pont erkölcsi jellegű:

how are you going to deal with that.

milyen döntés szülessen.

We also have people reflect on their own decisions

Arra késztetjük az embereket, hogy gondolkozzanak el döntéseiken

by giving them summaries of what they chose.

az összesített eredmények ismeretében.

I'll give you one example --

Mondok egy példát.

I'm just going to warn you that this is not your typical example,

A példa nem tipikus.

your typical user.

A használó sem az.

This is the most sacrificed and the most saved character for this person.

Az illető megkíméli a macskákat, és föl szokta áldozni a gyerekeket.

(Laughter)

(Nevetés)

Some of you may agree with him,

Lehet, hogy van,

or her, we don't know.

aki egyetért vele.

But this person also seems to slightly prefer passengers over pedestrians

De az illető inkább az utasoknak kedvez döntései során,

in their choices

semmint a gyalogosoknak, és boldog,

and is very happy to punish jaywalking.

ha megbüntetheti a szabálytalankodó gyalogosokat.

(Laughter)

(Nevetés)

So let's wrap up.

Összegezve:

We started with the question -- let's call it the ethical dilemma --

azzal kezdtük, hívjuk erkölcsi dilemmának,

of what the car should do in a specific scenario:

mit tegyen az autó bizonyos helyzetben,

swerve or stay?

kanyarodjon vagy álljon meg.

But then we realized that the problem was a different one.

De rájöttünk, hogy más a probléma,

It was the problem of how to get society to agree on and enforce

az, hogyan vegyük rá a társadalmat

egy általa elfogadott kompromisszum betartására?

the trade-offs they're comfortable with.

It's a social dilemma.

Ez társadalmi dilemma.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

1940-ben Isaac Asimov leírta a híres robotikai törvényeit,

the three laws of robotics.

a három törvényt.

A robot may not harm a human being,

A robot nem árthat az emberi lénynek,

a robot may not disobey a human being,

engedelmeskednie kell neki,

and a robot may not allow itself to come to harm --

és a robot magában sem tehet kárt:

in this order of importance.

ez a fontossági sorrend.

But after 40 years or so

Ám kb. 40 év múltán,

and after so many stories pushing these laws to the limit,

s annyi történet után, amelyek kipróbálták a törvényeket,

Asimov introduced the zeroth law

Asimov bevezette a nulladik törvényt,

which takes precedence above all,

amely minden mást megelőz.

and it's that a robot may not harm humanity as a whole.

Ez pedig: a robot nem árthat az egész emberiségnek.

I don't know what this means in the context of driverless cars

Nem tudom, hogy értendő ez a vezető nélküli autóra

or any specific situation,

vagy valami különleges helyzetre,

and I don't know how we can implement it,

s azt sem, hogyan vezethetnénk be,

but I think that by recognizing

de ha elismerjük,

that the regulation of driverless cars is not only a technological problem

hogy a vezető nélküli autóra vonatkozó szabályozás nem csak technológiai,

but also a societal cooperation problem,

hanem társadalmi együttműködési probléma is, remélem,

I hope that we can at least begin to ask the right questions.

hogy legalább hozzáláthatunk a helyes kérdések föltevéséhez.

Thank you.

Köszönöm.

(Applause)

(Taps)