What moral decisions should driverless cars make? | Iyad Rahwan

Vertaald door: Eric Cornelissen Nagekeken door: Peter van de Ven

Today I'm going to talk about technology and society.

Vandaag ga ik het hebben over technologie en maatschappij.

The Department of Transport estimated that last year

Het ministerie van transport schatte dat afgelopen jaar

35,000 people died from traffic crashes in the US alone.

35.000 mensen zijn overleden door verkeersongelukken in de VS.

Worldwide, 1.2 million people die every year in traffic accidents.

Wereldwijd overlijden er ieder jaar 1,2 miljoen mensen in verkeersongelukken.

If there was a way we could eliminate 90 percent of those accidents,

Als er een manier was om 90% van die ongelukken te voorkomen,

would you support it?

zou je er dan vóór zijn?

Of course you would.

Natuurlijk ben je daar voor.

This is what driverless car technology promises to achieve

Dit is wat zelfrijdende auto's beloven te doen

by eliminating the main source of accidents --

door de hoofdoorzaak van ongevallen, menselijke fouten, weg te nemen.

human error.

Now picture yourself in a driverless car in the year 2030,

Stel je voor dat je in een zelfrijdende auto zit, het is 2030,

sitting back and watching this vintage TEDxCambridge video.

en je kijkt naar deze vintage TEDxCambridge video.

(Laughter)

(Gelach)

All of a sudden,

Plotseling gaat er iets fout met de auto en de auto kan niet meer stoppen.

the car experiences mechanical failure and is unable to stop.

If the car continues,

Als de auto door blijft rijden,

it will crash into a bunch of pedestrians crossing the street,

rijdt deze in op een groep voetgangers die de straat aan het oversteken zijn.

but the car may swerve,

Maar de auto kan uitwijken en een omstander aanrijden,

hitting one bystander,

killing them to save the pedestrians.

wiens dood de redding van de voetgangers zou betekenen.

What should the car do, and who should decide?

Wat zou de auto moeten doen en wie moet dat besluiten?

What if instead the car could swerve into a wall,

Wat als de auto in plaats daarvan kan uitwijken naar een muur,

crashing and killing you, the passenger,

waarbij jij dan wel overlijdt,

in order to save those pedestrians?

maar de voetgangers worden gered?

This scenario is inspired by the trolley problem,

Dit scenario is gebaseerd op 'The trolley problem',

which was invented by philosophers a few decades ago

bedacht door filosofen een paar decennium geleden

to think about ethics.

om te redeneren over ethiek.

Now, the way we think about this problem matters.

Hoe we over dit probleem denken, is belangrijk.

We may for example not think about it at all.

We kunnen het bijvoorbeeld negeren.

We may say this scenario is unrealistic,

We kunnen zeggen dat dit scenario onrealistisch,

incredibly unlikely, or just silly.

onwaarschijnlijk of zelfs flauw is.

But I think this criticism misses the point

Maar ik denk dat dit soort kritiek het punt mist,

because it takes the scenario too literally.

omdat het het scenario te letterlijk neemt.

Of course no accident is going to look like this;

Natuurlijk is er geen ongeluk wat er precies zo uit ziet.

no accident has two or three options

Er zijn nooit maar twee of drie mogelijkheden,

where everybody dies somehow.

waarbij altijd iedereen overlijdt.

Instead, the car is going to calculate something

In plaats daarvan gaat de auto iets berekenen.

like the probability of hitting a certain group of people,

Bijvoorbeeld, de kans dat hij een bepaalde groep mensen gaat raken;

if you swerve one direction versus another direction,

als je naar de ene kant uitwijkt in plaats van de andere;

you might slightly increase the risk to passengers or other drivers

je kunt het risico van passagiers of andere bestuurders verhogen

versus pedestrians.

tegenover dat van voetgangers.

It's going to be a more complex calculation,

De berekening zal complexer zijn.

but it's still going to involve trade-offs,

Maar er zullen afwegingen gemaakt moeten worden.

and trade-offs often require ethics.

En afwegingen vereisen vaak ethische overwegingen.

We might say then, "Well, let's not worry about this.

We kunnen ervoor kiezen om ons er geen zorgen over te maken.

Let's wait until technology is fully ready and 100 percent safe."

Wacht gewoon tot de technologie helemaal klaar en 100% veilig is.

Suppose that we can indeed eliminate 90 percent of those accidents,

Stel dat we daadwerkelijk 90% van de ongelukken kunnen voorkomen,

or even 99 percent in the next 10 years.

of zelfs 99%, in de komende 10 jaar.

What if eliminating the last one percent of accidents

Wat als het voorkomen van die laatste 1%

requires 50 more years of research?

ons 50 jaar extra onderzoek kost?

Should we not adopt the technology?

Moeten we de technologie dan negeren?

That's 60 million people dead in car accidents

Dat betekent dat er 60 miljoen mensen overlijden in auto-ongelukken,

if we maintain the current rate.

gegeven de huidige trend.

So the point is,

Het punt is,

waiting for full safety is also a choice,

wachten op veiligheid is ook een keuze

and it also involves trade-offs.

en heeft ook ethische afwegingen.

People online on social media have been coming up with all sorts of ways

Mensen, online en op social media, hebben allerlei manieren bedacht

to not think about this problem.

om niet stil te hoeven staan bij dit probleem.

One person suggested the car should just swerve somehow

Iemand stelde voor:

"De auto moet op de een of andere manier tussen de passagiers en de voetgangers

in between the passengers --

(Laughter)

(Gelach)

and the bystander.

door rijden."

Of course if that's what the car can do, that's what the car should do.

Natuurlijk moet de auto dat doen als dat mogelijk is.

We're interested in scenarios in which this is not possible.

Onze focus ligt op de scenarios waar dit niet mogelijk is.

And my personal favorite was a suggestion by a blogger

Mijn persoonlijke favoriet was een suggestie van een blogger,

to have an eject button in the car that you press --

om een schietstoel in de auto te hebben die afgaat --

(Laughter)

(Gelach)

just before the car self-destructs.

net voor de auto botst.

(Laughter)

(Gelach)

So if we acknowledge that cars will have to make trade-offs on the road,

Als we erkennen dat auto's afwegingen moeten maken op de weg,

how do we think about those trade-offs,

hoe denken we over die overwegingen

and how do we decide?

en hoe nemen we die beslissing.

Well, maybe we should run a survey to find out what society wants,

Misschien moeten we een enquête houden om te bepalen wat men wil,

because ultimately,

want uiteindelijk zijn regels en wetten

regulations and the law are a reflection of societal values.

een afspiegeling van maatschappelijke waarden.

So this is what we did.

Dus deden we dat.

With my collaborators,

Met mijn collega's,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon en Azim Shariff,

we ran a survey

hielden we een enquête

in which we presented people with these types of scenarios.

waarin we mensen dit soort scenario's voorlegden.

We gave them two options inspired by two philosophers:

We gaven mensen twee opties geïnspireerd door twee filosofen:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham en Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham zegt dat de auto utilitaristisch moet handelen:

it should take the action that will minimize total harm --

de auto moet dát doen wat het minste letsel veroorzaakt.

even if that action will kill a bystander

Zelfs als dat betekent dat er een omstander overlijdt

and even if that action will kill the passenger.

en zelfs als dat betekent dat de passagier overlijdt.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant zegt dat de auto plichtgebonden moet handelen,

like "Thou shalt not kill."

zoals in 'gij zult niet doden'.

So you should not take an action that explicitly harms a human being,

Hij mag dus niets doen wat expliciet iemand letsel toebrengt

and you should let the car take its course

en de auto moet niet van richting veranderen,

even if that's going to harm more people.

zelfs als dat meer letsel veroorzaakt.

What do you think?

Wat denk jij?

Bentham or Kant?

Bentham of Kant?

Here's what we found.

Dit is wat wij vonden.

Most people sided with Bentham.

De meeste mensen kozen voor Bentham.

So it seems that people want cars to be utilitarian,

Het lijkt dus dat mensen utilitaire auto's willen,

minimize total harm,

letsel willen voorkomen,

and that's what we should all do.

en dat iedereen dat zo moet doen.

Problem solved.

Probleem opgelost.

But there is a little catch.

Maar er is één klein probleem.

When we asked people whether they would purchase such cars,

Toen we vroegen of mensen zo'n auto zouden kopen,

they said, "Absolutely not."

zeiden ze: "Natuurlijk niet."

(Laughter)

(Gelach)

They would like to buy cars that protect them at all costs,

Men koopt graag een auto die hen te allen tijde beschermt,

but they want everybody else to buy cars that minimize harm.

maar wil dat de rest een auto koopt die de totale schade vermindert.

(Laughter)

(Gelach)

We've seen this problem before.

Dit is een bekent probleem

It's called a social dilemma.

en het heet een sociaal dilemma.

And to understand the social dilemma,

En om dit sociale dilemma te begrijpen,

we have to go a little bit back in history.

moeten we naar het verleden kijken.

In the 1800s,

In de 18de eeuw

English economist William Forster Lloyd published a pamphlet

publiceerde de Engelse econoom William Forster Lloyd een pamflet

which describes the following scenario.

waarin het volgende scenario werd beschreven.

You have a group of farmers --

Er is een groep boeren --

English farmers --

Engelse boeren --

who are sharing a common land for their sheep to graze.

die een stuk land delen om hun schapen te laten grazen.

Now, if each farmer brings a certain number of sheep --

Als iedere boer een bepaald aantal schapen heeft --

let's say three sheep --

laten we zeggen drie --

the land will be rejuvenated,

dan blijft het land goed

the farmers are happy,

en zijn de boeren en de schapen gelukkig.

the sheep are happy,

everything is good.

Alles is goed.

Now, if one farmer brings one extra sheep,

Als een boer een extra schaap introduceert,

that farmer will do slightly better, and no one else will be harmed.

dan heeft die boer het iets beter en daar heeft niemand last van.

But if every farmer made that individually rational decision,

Maar als iedere boer die individueel rationele keuze maakt,

the land will be overrun, and it will be depleted

wordt het land overbegrazen en is het niet meer bruikbaar.

to the detriment of all the farmers,

Ten nadele van alle boeren

and of course, to the detriment of the sheep.

en natuurlijk de schapen.

We see this problem in many places:

Dit is een probleem wat veel voorkomt:

in the difficulty of managing overfishing,

bij het beleid van overbevissing,

or in reducing carbon emissions to mitigate climate change.

of CO2-uitstoot verminderen om klimaatverandering tegen te gaan.

When it comes to the regulation of driverless cars,

Als het gaat over het reguleren van autonome voertuigen

the common land now is basically public safety --

kan veiligheid worden gezien als het gedeelde land van de boeren --

that's the common good --

dat is het algemeen goed --

and the farmers are the passengers

en de boeren zijn de passagiers

or the car owners who are choosing to ride in those cars.

of de eigenaren van die auto's die ervoor kiezen er in te rijden.

And by making the individually rational choice

En door de individueel rationele keuze te maken,

of prioritizing their own safety,

het prioriteren van de eigen veiligheid,

they may collectively be diminishing the common good,

zorgt iedereen ervoor dat het algemeen goed afneemt,

which is minimizing total harm.

wat het verminderen van het totale letsel is.

It's called the tragedy of the commons,

Dit heet de tragedie van de meent,

traditionally,

van oudsher,

but I think in the case of driverless cars,

maar in de context van zelfrijdende auto's

the problem may be a little bit more insidious

is het probleem misschien wat verraderlijk,

because there is not necessarily an individual human being

want er is niet perse een menselijk individu

making those decisions.

dat de beslissingen neemt.

So car manufacturers may simply program cars

En dus kunnen autofabrikanten auto's zo programmeren

that will maximize safety for their clients,

dat ze de veiligheid van hun klanten maximaliseren,

and those cars may learn automatically on their own

en dit soort auto's leren automatisch en zelfstandig

that doing so requires slightly increasing risk for pedestrians.

dat dit vereist dat voetgangers meer risico lopen.

So to use the sheep metaphor,

Dus in het schaapmetafoor:

it's like we now have electric sheep that have a mind of their own.

we hebben nu elektrische schapen die zelf kunnen denken.

(Laughter)

(Gelach)

And they may go and graze even if the farmer doesn't know it.

En die kunnen gaan grazen zonder dat de boer het weet.

So this is what we may call the tragedy of the algorithmic commons,

Dit kunnen we 'de tragedie van de algoritmische meent' noemen.

and if offers new types of challenges.

En het brengt nieuwe uitdagingen met zich mee.

Typically, traditionally,

Normaal gesproken, traditioneel,

we solve these types of social dilemmas using regulation,

lossen we dit soort sociale dilemmas op met regulaties,

so either governments or communities get together,

dus overheden of gemeenschappen komen samen

and they decide collectively what kind of outcome they want

en beslissen samen wat voor uitkomst men wil

and what sort of constraints on individual behavior

en wat voor limitaties op individueel vlak daarvoor nodig zijn.

they need to implement.

And then using monitoring and enforcement,

En dan, door middel van monitoring en handhaving,

they can make sure that the public good is preserved.

zorgen ze ervoor dat het publieke goed beschermd wordt.

So why don't we just,

Dus waarom vragen we regelgevers niet

as regulators,

require that all cars minimize harm?

om te vereisen dat alle auto's letsel verminderen.

After all, this is what people say they want.

Uiteindelijk zegt men dat te willen.

And more importantly,

En nog belangrijker,

I can be sure that as an individual,

als individu ben ik zeker dat,

if I buy a car that may sacrifice me in a very rare case,

indien mijn auto mij opoffert in een buitengewoon scenario,

I'm not the only sucker doing that

ik niet de enige ben die dat doet en dat anderen ongelimiteerd beschermd worden.

while everybody else enjoys unconditional protection.

In our survey, we did ask people whether they would support regulation

In onze enquête vroegen we mensen of ze regulatie zouden steunen

and here's what we found.

en dit is waar we achter kwamen.

First of all, people said no to regulation;

Ten eerste, mensen zeiden nee tegen regulatie.

and second, they said,

En ten tweede zegt men:

"Well if you regulate cars to do this and to minimize total harm,

"Als je wel de auto's reguleert om letsel te verminderen,

I will not buy those cars."

dan koop ik die autos niet."

So ironically,

Ironisch:

by regulating cars to minimize harm,

door auto's te reguleren om letsel te verminderen,

we may actually end up with more harm

eindigen we misschien met meer letsel.

because people may not opt into the safer technology

Want mensen kiezen dan niet voor de veiligere technologie,

even if it's much safer than human drivers.

zelfs als die veel veiliger is dan mensen.

I don't have the final answer to this riddle,

Ik heb niet de oplossing voor dit probleem,

but I think as a starting point,

maar ik denk dat om te beginnen

we need society to come together

de maatschappij samen moet komen

to decide what trade-offs we are comfortable with

om te besluiten met welke trade-offs we comfortabel zijn,

and to come up with ways in which we can enforce those trade-offs.

en om manieren te bedenken waarop we die kunnen afdwingen.

As a starting point, my brilliant students,

Dus als een startpunt hebben mijn briljante studenten

Edmond Awad and Sohan Dsouza,

Edmond Awad en Sohan Dsouza

built the Moral Machine website,

de Morele Machine website gebouwd,

which generates random scenarios at you --

die random scenarios voor je maakt --

basically a bunch of random dilemmas in a sequence

simpelweg een hoop random dilemma's op een rij

where you have to choose what the car should do in a given scenario.

waarbij jij moet kiezen wat de auto moet doen in dat scenario.

And we vary the ages and even the species of the different victims.

Hierbij variëren de leeftijden en zelfs de diersoort van de slachtoffers.

So far we've collected over five million decisions

Tot nu toe hebben we meer dan vijf miljoen beslissingen verzameld,

by over one million people worldwide

door meer dan een miljoen mensen,

from the website.

via de website.

And this is helping us form an early picture

Dit helpt ons een beeld te schetsen

of what trade-offs people are comfortable with

van het soort trade-offs waar men comfortabel mee is

and what matters to them --

en wat voor hen belangrijk is --

even across cultures.

zelfs voor verschillende culturen.

But more importantly,

Maar nog belangrijker,

doing this exercise is helping people recognize

door dit te doen herkennen mensen

the difficulty of making those choices

hoe lastig het is om dit soort keuzes te maken

and that the regulators are tasked with impossible choices.

en dat regelgevers de taak hebben om onmogelijke keuzes te maken.

And maybe this will help us as a society understand the kinds of trade-offs

En misschien helpt dit ons om verschillende trade-offs te begrijpen

that will be implemented ultimately in regulation.

die geïmplementeerd zullen worden in regulaties.

And indeed, I was very happy to hear

En ik was dan ook blij om te horen

that the first set of regulations

dat de eerste regulaties

that came from the Department of Transport --

van het ministerie van transport --

announced last week --

vorige week aangekondigd --

included a 15-point checklist for all carmakers to provide,

een 15-punts checklist voor alle autofabrikanten bevatten,

and number 14 was ethical consideration --

en nummer 14 was ethische overwegingen --

how are you going to deal with that.

hoe ben je van plan dit te implementeren?

We also have people reflect on their own decisions

We vragen ook te reflecteren op de eigen beslissingen

by giving them summaries of what they chose.

door men een samenvatting te geven van hun keuzes.

I'll give you one example --

Ik zal een voorbeeld geven --

I'm just going to warn you that this is not your typical example,

en ik waarschuw dat dit niet een typisch voorbeeld is

your typical user.

van een typische gebruiker.

This is the most sacrificed and the most saved character for this person.

Dit zijn de figuren die het meest opgeofferd and gered zijn door de persoon.

(Laughter)

(Gelach)

Some of you may agree with him,

Misschien ben je het met hem eens,

or her, we don't know.

of haar, dat weten we niet.

But this person also seems to slightly prefer passengers over pedestrians

Maar deze persoon lijkt een voorkeur te hebben voor passagiers boven voetgangers

in their choices

in de keuzes

and is very happy to punish jaywalking.

en straft gevaarlijk oversteken af.

(Laughter)

(Gelach)

So let's wrap up.

Om af te ronden.

We started with the question -- let's call it the ethical dilemma --

We begonnen met de vraag -- noem 't het ethisch dilemma --

of what the car should do in a specific scenario:

wat moet een auto doen in een bepaald scenario:

swerve or stay?

uitwijken of doorrijden?

Toen realiseerden we ons dat het om een ander probleem ging.

But then we realized that the problem was a different one.

It was the problem of how to get society to agree on and enforce

Namelijk: de gemeenschap zal het eens moeten worden over wat ze wil

the trade-offs they're comfortable with.

en dit ook gaan afdwingen.

It's a social dilemma.

Het is een sociaal dilemma.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

In de jaren 40 schreef Isaac Asimov zijn bekende wetten van robotica,

the three laws of robotics.

de drie wetten van de robotica.

A robot may not harm a human being,

Een robot mag niet een mens letsel toebrengen;

a robot may not disobey a human being,

een robot moet mensen gehoorzamen;

and a robot may not allow itself to come to harm --

een robot mag zichzelf niet laten beschadigen.

in this order of importance.

In afnemende mate van belangrijkheid.

But after 40 years or so

Maar na ongeveer 40 jaar

and after so many stories pushing these laws to the limit,

en na zoveel verhalen die deze wetten hebben beproefd,

Asimov introduced the zeroth law

introduceerde Asimov de nulde wet,

which takes precedence above all,

die belangrijker is dan alle andere.

and it's that a robot may not harm humanity as a whole.

Deze zegt dat een robot niet de mensheid als geheel letsel mag toebrengen.

I don't know what this means in the context of driverless cars

Ik weet niet wat dit betekent in de context van zelfrijdende auto's

or any specific situation,

of welke specifieke situatie dan ook.

and I don't know how we can implement it,

En ik weet niet hoe we het kunnen implementeren,

but I think that by recognizing

maar ik hoop dat door te erkennen

that the regulation of driverless cars is not only a technological problem

dat de regulatie van zelfrijdende auto's niet alleen een technisch probleem is,

but also a societal cooperation problem,

maar ook een sociaal-economisch probleem,

I hope that we can at least begin to ask the right questions.

we op zijn minst de juiste vragen kunnen beginnen te stellen.

Thank you.

Dank u zeer.

(Applause)

(Applaus)