What moral decisions should driverless cars make? | Iyad Rahwan

Übersetzung: Lisa Dietrich Lektorat: seohyeon Yoon

Today I'm going to talk about technology and society.

Ich werde heute über Technologie und Gesellschaft sprechen.

The Department of Transport estimated that last year

Das Verkehrsministerium schätzt, dass im letzten Jahr

35,000 people died from traffic crashes in the US alone.

35.000 Menschen bei Verkehrsunfällen allein in den USA gestorben sind.

Worldwide, 1.2 million people die every year in traffic accidents.

Weltweit sterben jährlich 1,2 Millionen Menschen bei Verkehrsunfällen.

If there was a way we could eliminate 90 percent of those accidents,

Wenn es eine Möglichkeit gäbe, 90 % dieser Unfälle zu vermeiden,

would you support it?

wären Sie dafür?

Of course you would.

Natürlich wären Sie das.

This is what driverless car technology promises to achieve

Genau das ist es, was die Technologie fahrerloser Autos erreichen möchte,

by eliminating the main source of accidents --

indem sie die Hauptursache für Autounfälle eliminiert –

human error.

menschliches Versagen.

Now picture yourself in a driverless car in the year 2030,

Stellen Sie sich vor, Sie sitzen im Jahr 2030 in einem fahrerlosen Auto.

sitting back and watching this vintage TEDxCambridge video.

Sie sind entspannt und schauen dieses alte TEDxCambridge-Video.

(Laughter)

(Lachen)

All of a sudden,

Plötzlich tritt ein mechanischer Fehler auf und das Auto kann nicht anhalten.

the car experiences mechanical failure and is unable to stop.

If the car continues,

Wenn das Auto weiterfährt,

it will crash into a bunch of pedestrians crossing the street,

wird es in in ein paar Fußgänger fahren, die gerade die Straße überqueren.

but the car may swerve,

Das Auto könnte jedoch auch ausweichen,

hitting one bystander,

einen Beobachter treffen und töten,

killing them to save the pedestrians.

um die Fußgänger zu schützen.

What should the car do, and who should decide?

Was sollte das Auto machen und wer sollte entscheiden?

What if instead the car could swerve into a wall,

Was wäre, wenn das Auto stattdessen ausweichen und eine Wand treffen könnte

crashing and killing you, the passenger,

und dabei Sie, den Insassen, töten würde,

in order to save those pedestrians?

um die Fußgänger zu retten?

This scenario is inspired by the trolley problem,

Dieses Szenario ist vom Trolley-Problem inspiriert,

which was invented by philosophers a few decades ago

das vor einigen Jahrzehnten von Philosophen erfunden wurde,

to think about ethics.

um Ethik zu erforschen.

Now, the way we think about this problem matters.

Die Art, wie wir über das Problem denken, zählt.

We may for example not think about it at all.

So könnten wir etwa gar nicht darüber nachdenken.

We may say this scenario is unrealistic,

Wir könnten sagen, dass das Szenario unrealistisch,

incredibly unlikely, or just silly.

extrem unwahrscheinlich oder albern ist.

But I think this criticism misses the point

Aber ich denke, dass diese Kritik am Thema vorbeigeht,

because it takes the scenario too literally.

da sie das Szenario zu wörtlich nimmt.

Of course no accident is going to look like this;

Natürlich wird kein Unfall genauso aussehen.

no accident has two or three options

Bei keinem Unfall gibt es zwei oder drei Optionen,

where everybody dies somehow.

bei denen immer jemand stirbt.

Instead, the car is going to calculate something

Stattdessen wird das Auto eine Zahl ausrechnen,

like the probability of hitting a certain group of people,

wie die Wahrscheinlichkeit, eine bestimmte Menschengruppe zu treffen.

if you swerve one direction versus another direction,

Wenn es in die eine oder die andere Richtung ausweicht.

you might slightly increase the risk to passengers or other drivers

könnte das Risiko für Passagiere geringfügig höher sein,

versus pedestrians.

als das Risiko für Fußgänger.

It's going to be a more complex calculation,

Die Berechnung wäre komplexer,

but it's still going to involve trade-offs,

würde aber immer noch Abwägungen beinhalten

and trade-offs often require ethics.

und Abwägungen beinhalten oft Ethik.

We might say then, "Well, let's not worry about this.

Jetzt könnten wir sagen: „Lasst uns keine Sorgen machen.

Let's wait until technology is fully ready and 100 percent safe."

Lasst uns warten, bis die Technologie bereit und zu 100 % sicher ist.“

Suppose that we can indeed eliminate 90 percent of those accidents,

Nehmen wir an, wir können tatsächlich 90 % dieser Unfälle vermeiden

or even 99 percent in the next 10 years.

oder sogar 99 % in den nächsten 10 Jahren.

What if eliminating the last one percent of accidents

Was wäre, wenn die Eliminierung der letzen 1 % der Unfälle

requires 50 more years of research?

50 weitere Jahre der Forschung bedeuten würde?

Should we not adopt the technology?

Sollten wir die Technologie ablehnen?

That's 60 million people dead in car accidents

Dann würden 60 Millionen Menschen bei Autounfällen sterben,

if we maintain the current rate.

wenn wir die Rate so beibehalten.

So the point is,

Der Punkt ist also,

waiting for full safety is also a choice,

dass das Warten auf vollkommene Sicherheit eine Möglichkeit wäre,

and it also involves trade-offs.

diese aber auch Abwägungen beinhalten würde.

People online on social media have been coming up with all sorts of ways

In den sozialen Medien haben die Nutzer unzählige Möglichkeiten entwickelt,

to not think about this problem.

um diesem Problem aus dem Weg zu gehen.

One person suggested the car should just swerve somehow

Eine Person schlug vor, das sich das Auto

in between the passengers --

zwischen den Fußgängern durchschlängeln soll,

(Laughter)

(Lachen)

and the bystander.

und dem Beobachter.

Of course if that's what the car can do, that's what the car should do.

Natürlich könnte und sollte das Auto dies machen,

We're interested in scenarios in which this is not possible.

aber wir beleuchten Szenarien, in denen das unmöglich ist.

And my personal favorite was a suggestion by a blogger

Mein Lieblingsvorschlag kam von einem Blogger,

der vorschlug eine Schleudersitz-Taste im Auto zu haben, die gedrückt wird,

to have an eject button in the car that you press --

(Laughter)

(Lachen)

just before the car self-destructs.

bevor sich das Auto zerstört.

(Laughter)

(Lachen)

So if we acknowledge that cars will have to make trade-offs on the road,

Wenn wir also anerkennen, dass Autos auf der Straße abwägen müssen,

how do we think about those trade-offs,

wie denken wir über diese Abwägungen

and how do we decide?

und wie entscheiden wir uns?

Well, maybe we should run a survey to find out what society wants,

Vielleicht sollten wir eine Umfrage in der Gesellschaft machen.

because ultimately,

Denn letztendlich

regulations and the law are a reflection of societal values.

sind Vorschriften und das Gesetz ein Spiegel der gesellschaftlichen Werte.

So this is what we did.

Genau das haben wir getan.

With my collaborators,

Mit meinen Mitarbeitern,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon und Azim Shariff,

we ran a survey

haben wir eine Umfrage gemacht,

in which we presented people with these types of scenarios.

in der wir Menschen diese Art von Szenarien zeigten.

We gave them two options inspired by two philosophers:

Wir haben ihnen zwei Optionen gegeben, von zwei Philosophen inspiriert:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham und Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham sagt, dass das Auto utilitaristischer Ethik folgen sollte:

it should take the action that will minimize total harm --

Es soll die Handlung ausführen, die den Gesamtschaden minimiert,

even if that action will kill a bystander

sogar, wenn dies einen Beobachter tötet

and even if that action will kill the passenger.

und sogar, wenn diese Handlung den Passagier tötet.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant sagt, dass das Auto pflichtgemäßen Prinzipien folgen sollte,

like "Thou shalt not kill."

wie „Du sollst nicht töten.“

So you should not take an action that explicitly harms a human being,

Man sollte also nicht so handeln, dass es einen Menschen explizit verletzt,

and you should let the car take its course

sondern das Auto seinen Weg nehmen lassen,

even if that's going to harm more people.

sogar, wenn dies mehr Menschen verletzt.

What do you think?

Was denken Sie?

Bentham or Kant?

Bentham oder Kant?

Here's what we found.

Hier ist unser Ergebnis.

Most people sided with Bentham.

Die Meisten sind auf Benthams Seite.

So it seems that people want cars to be utilitarian,

Die Menschen scheinen also zu wollen, dass Autos utilitaristisch sind

minimize total harm,

und den Gesamtschaden minimieren

and that's what we should all do.

und das sollten wir alle tun.

Problem solved.

Problem gelöst.

But there is a little catch.

Da gibt es aber einen Haken.

When we asked people whether they would purchase such cars,

Als wir die Leute fragten, ob sie solche Autos kaufen würden

they said, "Absolutely not."

antworteten sie: „Niemals.“

(Laughter)

(Lachen)

They would like to buy cars that protect them at all costs,

Sie möchten Autos kaufen, die sie um jeden Preis schützen,

but they want everybody else to buy cars that minimize harm.

aber alle anderen sollen Autos kaufen, die Schaden minimieren.

(Laughter)

(Lachen)

We've seen this problem before.

Das Problem kannten wir.

It's called a social dilemma.

Man nennt es soziales Dilemma.

And to understand the social dilemma,

Um das soziale Dilemma zu verstehen,

we have to go a little bit back in history.

müssen wir in die Vergangenheit schauen.

In the 1800s,

Im 19. Jahrhundert veröffentlichte

English economist William Forster Lloyd published a pamphlet

der englische Ökonom William Forster Lloyd ein Merkblatt,

which describes the following scenario.

das das folgende Szenario beschreibt.

You have a group of farmers --

Eine Gruppe von Bauern –

English farmers --

englische Bauern –

who are sharing a common land for their sheep to graze.

teilen sich ein Stück Land, auf dem ihre Schafe grasen.

Now, if each farmer brings a certain number of sheep --

Wenn jeder Bauer eine bestimmte Anzahl Schafe hat,

let's say three sheep --

sagen wir 3 Schafe,

the land will be rejuvenated,

wird das Land verjüngt.

the farmers are happy,

Die Bauern sind glücklich

the sheep are happy,

und die Schafe sind glücklich.

everything is good.

Alles ist gut.

Now, if one farmer brings one extra sheep,

Wenn jetzt aber ein Bauer ein Schaf mehr hat,

that farmer will do slightly better, and no one else will be harmed.

geht es ihm etwas besser und niemand kommt zu Schaden.

But if every farmer made that individually rational decision,

Trifft aber jeder Bauer diese individuelle rationale Entscheidung,

the land will be overrun, and it will be depleted

ist das Stück Land überlaufen und wird erschöpft,

to the detriment of all the farmers,

zum Nachteil aller Bauern

and of course, to the detriment of the sheep.

und natürlich zum Nachteil der Schafe.

We see this problem in many places:

Wir sehen dieses Problem überall:

in the difficulty of managing overfishing,

beim Versuch Überfischung zu vermeiden

or in reducing carbon emissions to mitigate climate change.

oder beim Versuch Emission zu reduzieren, um den Klimawandel einzudämmen.

When it comes to the regulation of driverless cars,

Wenn es um Vorschriften für fahrerlose Autos geht,

the common land now is basically public safety --

steht das gemeinsame Land für die öffentliche Sicherheit –

that's the common good --

das Gemeinwohl –

and the farmers are the passengers

und die Bauern sind die Passagiere

or the car owners who are choosing to ride in those cars.

oder die Autobesitzer, die in diesen Autos fahren.

And by making the individually rational choice

Beim Treffen der individuellen rationalen Entscheidung,

of prioritizing their own safety,

die eigene Sicherheit zu bevorzugen,

they may collectively be diminishing the common good,

könnten sie das Gemeinwohl zusammen vermindern,

which is minimizing total harm.

was den Gesamtschaden verringert.

It's called the tragedy of the commons,

Man nennt dies die Tragik der Allmende,

traditionally,

herkömmlicherweise,

but I think in the case of driverless cars,

aber im Fall fahrerloser Autos,

the problem may be a little bit more insidious

könnte das Problem etwas komplizierter sein,

because there is not necessarily an individual human being

weil nicht unbedingt ein Mensch

making those decisions.

diese Entscheidungen trifft.

So car manufacturers may simply program cars

Autohersteller könnten also einfach Autos so programmieren,

that will maximize safety for their clients,

dass sie maximale Sicherheit für ihre Kunden gewähren

and those cars may learn automatically on their own

und diese Autos könnten automatisch, alleine lernen,

that doing so requires slightly increasing risk for pedestrians.

dass diese Sicherheit mit einem erhöhten Risiko für Fußgänger einhergeht.

So to use the sheep metaphor,

In der Schaf-Metapher

it's like we now have electric sheep that have a mind of their own.

würde das elektronische Schafe mit eigener Meinung bedeuten.

(Laughter)

(Lachen)

And they may go and graze even if the farmer doesn't know it.

Und diese könnten grasen, ohne, dass der Bauer davon weiß.

So this is what we may call the tragedy of the algorithmic commons,

Der Name dafür könnte also Tragik der algorithmischen Allmende sein

and if offers new types of challenges.

und diese stellt uns vor ganz neue Probleme.

Typically, traditionally,

Normalerweise

we solve these types of social dilemmas using regulation,

haben wir diese Art von sozialen Dilemmas mit Vorschriften gelöst.

so either governments or communities get together,

Entweder Regierungen oder Gemeinden kommen zusammen

and they decide collectively what kind of outcome they want

und entscheiden gemeinsam, welches Ergebnis sie möchten

and what sort of constraints on individual behavior

und welche Einschränkungen des individuellen Verhaltens

they need to implement.

sie einführen müssen.

And then using monitoring and enforcement,

Dann wird mittels Überwachung und Vollstreckung sichergestellt,

they can make sure that the public good is preserved.

dass das Gemeinwohl gewahrt bleibt.

So why don't we just,

Warum sagen wir dann nicht,

as regulators,

als Regulatoren,

require that all cars minimize harm?

dass alle Autos Schaden minimieren müssen?

After all, this is what people say they want.

Im Grunde, ist es das, was Menschen wollen.

And more importantly,

Und was noch wichtiger ist,

I can be sure that as an individual,

ich, als Individuum, kann sicher sein,

if I buy a car that may sacrifice me in a very rare case,

dass, wenn ich ein Auto kaufe, dass mich im seltenen Fall opfern würde,

I'm not the only sucker doing that

ich nicht der einzige Dumme bin,

while everybody else enjoys unconditional protection.

während alle anderen bedingungslose Sicherheit genießen.

In our survey, we did ask people whether they would support regulation

In unser Umfrage haben wir gefragt, ob Vorschriften befürwortet werden

and here's what we found.

und hier ist die Antwort.

First of all, people said no to regulation;

Zuerst haben sich die Teilnehmer gegen Vorschriften ausgesprochen.

and second, they said,

Dann haben sie gesagt:

"Well if you regulate cars to do this and to minimize total harm,

„Wenn Autos so reguliert werden und den Schaden minimieren sollen,

I will not buy those cars."

kaufe ich das Auto nicht. “

So ironically,

Ironischerweise

by regulating cars to minimize harm,

indem wir Autos regulieren, so dass sie Schaden minimieren

we may actually end up with more harm

könnten wir noch mehr Schaden nehmen,

because people may not opt into the safer technology

weil die Menschen sich nicht für sichere Technologie entscheiden,

even if it's much safer than human drivers.

obwohl sie viel sicherer als der Mensch ist.

I don't have the final answer to this riddle,

Ich habe keine ultimative Antwort für dieses Rätsel,

but I think as a starting point,

aber ich denke,

we need society to come together

zuallererst sollte die Gesellschaft zusammen kommen

to decide what trade-offs we are comfortable with

und die Kompromisse beschließen, die wir verkraften können

and to come up with ways in which we can enforce those trade-offs.

und Ideen entwickeln, wie wir diese durchsetzen können.

As a starting point, my brilliant students,

Als Grundlage haben meine brillanten Studenten,

Edmond Awad and Sohan Dsouza,

Edmong Awad und Sohan Dsouza,

built the Moral Machine website,

die Moral Machine Website gebaut,

which generates random scenarios at you --

die eine Reihe von Szenarien vorgibt,

basically a bunch of random dilemmas in a sequence

eine Reihe von zufälligen Dilemmas in Folge,

where you have to choose what the car should do in a given scenario.

bei denen Sie bestimmen müssen, wie das Auto reagiert.

And we vary the ages and even the species of the different victims.

Wir verändern das Alter und sogar die Spezies der verschiedenen Opfer.

So far we've collected over five million decisions

Bisher haben wir über fünf Millionen Entscheidungen

by over one million people worldwide

von über einer Million Menschen weltweit

from the website.

mit der Webseite erhoben.

And this is helping us form an early picture

Und das hilft uns dabei, von Anfang an zu verstehen,

of what trade-offs people are comfortable with

mit welchen Kompromissen die Menschen leben können

and what matters to them --

und was ihnen wichtig ist –

even across cultures.

sogar kulturübergreifend.

But more importantly,

Das Wichtigste ist jedoch,

doing this exercise is helping people recognize

dass diese Übung dabei hilft, zu verstehen,

the difficulty of making those choices

wie schwierig es ist, diese Entscheidungen zu treffen,

and that the regulators are tasked with impossible choices.

und dass Regulatoren vor unmöglichen Entscheidungen stehen.

And maybe this will help us as a society understand the kinds of trade-offs

Und vielleicht hilft es der Gesellschaft zu verstehen,

that will be implemented ultimately in regulation.

welche Abwägungen letztendlich in Vorschriften enthalten sind.

And indeed, I was very happy to hear

Und ich war glücklich zu hören,

that the first set of regulations

dass die erste Reihe von Vorschriften

that came from the Department of Transport --

vom Verkehrsministerium,

announced last week --

wie letzte Woche angekündigt,

included a 15-point checklist for all carmakers to provide,

eine 15-Punkte-Checkliste für alle Autohersteller enthielten

and number 14 was ethical consideration --

und Nummer 14 waren moralische Bedenken

how are you going to deal with that.

und wie man mit diesen umgeht.

We also have people reflect on their own decisions

Wir haben Menschen ihre Angaben reflektieren lassen,

by giving them summaries of what they chose.

indem wir ihnen eine Zusammenfassung ihrer Entscheidung gaben.

I'll give you one example --

Hier ist ein Beispiel.

I'm just going to warn you that this is not your typical example,

Ich muss Sie nur vorher warnen, dies ist kein typisches Beispiel,

your typical user.

kein typischer Nutzer.

This is the most sacrificed and the most saved character for this person.

Dies ist der am meisten geopferte und der am meisten geschützte Charakter.

(Laughter)

(Lachen)

Some of you may agree with him,

Manche mögen seine Meinung teilen

or her, we don't know.

oder ihre Meinung, wer weiß.

But this person also seems to slightly prefer passengers over pedestrians

Diese Person neigt jedoch mehr dazu, Passagiere über Fußgänger zu stellen

in their choices

und bei den Entscheidungen

and is very happy to punish jaywalking.

verkehrswidriges Verhalten zu bestrafen.

(Laughter)

(Lachen)

So let's wrap up.

Fassen wir also zusammen.

We started with the question -- let's call it the ethical dilemma --

Wir starteten mit der Frage – wir nennen sie moralisches Dilemma –

of what the car should do in a specific scenario:

wie sich das Auto in einem spezifischen Szenario verhalten soll:

swerve or stay?

ausweichen oder bleiben?

But then we realized that the problem was a different one.

Aber dann merkten wir, dass das Problem ein anderes war.

It was the problem of how to get society to agree on and enforce

Die Frage war, wie man die Gesellschaft dazu bringt, Kompromisse durchzusetzen,

the trade-offs they're comfortable with.

mit denen sie sich wohl fühlen.

It's a social dilemma.

Ein soziales Dilemma.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

In den 1940ern schrieb Isaac Asimov die berühmten Robotergesetze –

the three laws of robotics.

die drei Robotergesetze.

A robot may not harm a human being,

Ein Roboter darf kein menschliches Wesen verletzen.

a robot may not disobey a human being,

Ein Roboter muss einem Menschen gehorchen.

and a robot may not allow itself to come to harm --

Ein Roboter muss seine Existenz beschützen.

in this order of importance.

In dieser Reihenfolge.

But after 40 years or so

Aber nach ungefähr 40 Jahren

and after so many stories pushing these laws to the limit,

und nach so viele Geschichten, die diese Gesetze an ihre Grenzen bringen,

Asimov introduced the zeroth law

entwickelte Asimov das nullte Gesetz,

which takes precedence above all,

das über allen anderen steht.

and it's that a robot may not harm humanity as a whole.

Es besagt, dass ein Roboter die Menschheit nicht verletzen darf.

I don't know what this means in the context of driverless cars

Ich weiß nicht, was das in Verbindung mit fahrerlosen Autos bedeutet

or any specific situation,

oder in Verbindung mit anderen Situationen

and I don't know how we can implement it,

und ich weiß nicht, wie wir es umsetzen können.

but I think that by recognizing

Wenn wir jedoch anerkennen,

that the regulation of driverless cars is not only a technological problem

dass die Vorschriften für fahrerlose Autos nicht nur ein technologisches Problem,

but also a societal cooperation problem,

sondern auch ein gesellschaftliches Kooperationsproblem sind,

I hope that we can at least begin to ask the right questions.

dann können wir beginnen, die richtigen Fragen zu stellen.

Thank you.

Danke.

(Applause)

(Applaus)