What moral decisions should driverless cars make? | Iyad Rahwan

Traducteur: Mariana Ciric Relecteur: eric vautier

Today I'm going to talk about technology and society.

Aujourd'hui, je vais parler de technologie et de société.

The Department of Transport estimated that last year

Le Département du Transport a estimé que, l'année dernière,

35,000 people died from traffic crashes in the US alone.

le nombre de morts dû aux accidents de la circulation à 35 000, seulement aux USA.

Worldwide, 1.2 million people die every year in traffic accidents.

Au niveau mondial, c'est 1,2 million de gens qui meurent chaque année.

If there was a way we could eliminate 90 percent of those accidents,

S'il y avait une possibilité d'éliminer 90% de ces accidents,

would you support it?

la soutiendriez-vous ?

Of course you would.

Bien sûr que oui.

This is what driverless car technology promises to achieve

La technologie des voitures sans conducteur promet d'y arriver

by eliminating the main source of accidents --

en éliminant la principale source d'accidents--

human error.

l'erreur humaine.

Now picture yourself in a driverless car in the year 2030,

Imaginez vous, en 2030, dans une voiture sans conducteur,

sitting back and watching this vintage TEDxCambridge video.

regardant cette ancienne vidéo TED.

(Laughter)

(Rires)

All of a sudden,

Quand tout à coup,

the car experiences mechanical failure and is unable to stop.

une panne mécanique l'empêche de s'arrêter.

If the car continues,

Si la voiture roule toujours,

it will crash into a bunch of pedestrians crossing the street,

elle peut écraser les piétons qui sont en train de traverser;

but the car may swerve,

mais elle peut aussi faire une embardée,

hitting one bystander,

touchant un passant en le tuant

killing them to save the pedestrians.

pour sauver les piétons.

What should the car do, and who should decide?

Que devrait faire la voiture et qui devrait décider ?

What if instead the car could swerve into a wall,

Et si la voiture fonçait dans un mur,

crashing and killing you, the passenger,

vous tuant vous, le passager

in order to save those pedestrians?

pour sauver ces piétons ?

This scenario is inspired by the trolley problem,

Ce scénario est inspiré du problème venant des trolleybus,

which was invented by philosophers a few decades ago

inventé par des philosophes il y a quelques décennies

to think about ethics.

pour penser à l'éthique.

Now, the way we think about this problem matters.

Il est important de savoir ce que nous en pensons.

We may for example not think about it at all.

Peut être que nous n'y pensons pas du tout.

We may say this scenario is unrealistic,

On peut trouver ce scénario irréel,

incredibly unlikely, or just silly.

extrêmement peu probable ou juste stupide.

But I think this criticism misses the point

Je pense que cette critique manque d'un point important

because it takes the scenario too literally.

car elle suit ce scénario à la lettre.

Of course no accident is going to look like this;

Il est évident qu'aucun accident ne ressemblera à ça,

no accident has two or three options

aucun accident n'a deux ou trois options

where everybody dies somehow.

où tout le monde finit par mourir.

Instead, the car is going to calculate something

Pour contrer tout cela, la voiture pourrait calculer

like the probability of hitting a certain group of people,

la probabilité d'heurter un groupe de personnes,

if you swerve one direction versus another direction,

si on dévie d'un côté ou d'un autre,

you might slightly increase the risk to passengers or other drivers

on augmenterait le risque des passagers ou des conducteurs

versus pedestrians.

versus les piétons.

It's going to be a more complex calculation,

Il s'agit d'un calcul un peu plus complexe,

but it's still going to involve trade-offs,

mais cela impliquerait quand même des compromis,

and trade-offs often require ethics.

et les compromis demandent souvent de l'éthique.

We might say then, "Well, let's not worry about this.

On pourrait donc dire : « Ne nous en préoccupons pas.

Let's wait until technology is fully ready and 100 percent safe."

Attendons à ce que la technologie soit prête et sûre à 100%. »

Suppose that we can indeed eliminate 90 percent of those accidents,

Imaginez qu'on puisse éliminer 90% de ces accidents,

or even 99 percent in the next 10 years.

ou même 99% dans les dix prochaines années.

What if eliminating the last one percent of accidents

Et si l'élimination du dernier 1% des accidents

requires 50 more years of research?

demandait plus de 50 ans de recherches ?

Should we not adopt the technology?

Ne devrions-nous pas adopter cette technologie ?

That's 60 million people dead in car accidents

Ce sont 60 millions de morts à cause des accidents de voiture

if we maintain the current rate.

si nous maintenons les taux actuels.

So the point is,

Le fait est que,

waiting for full safety is also a choice,

attendre pour une sécurité optimale est aussi un choix

and it also involves trade-offs.

mais cela implique aussi des compromis.

People online on social media have been coming up with all sorts of ways

Les gens ont trouvé plusieurs manières, sur les réseaux sociaux,

to not think about this problem.

pour éviter de penser à ce problème.

One person suggested the car should just swerve somehow

Une personne a suggéré que la voiture devrait pouvoir dévier

in between the passengers --

entre les piétons--

(Laughter)

(Rires)

and the bystander.

et les passants.

Of course if that's what the car can do, that's what the car should do.

Si la voiture avait les capacités de le faire, elle le ferait sûrement.

We're interested in scenarios in which this is not possible.

Nous sommes intéressés par d'autres scénarios.

And my personal favorite was a suggestion by a blogger

Mon préféré est une suggestion de la part d'un blogueur,

to have an eject button in the car that you press --

qui est d'avoir un bouton pour siège éjectable--

(Laughter)

(Rires)

just before the car self-destructs.

juste avant l'autodestruction.

(Laughter)

(Rires)

So if we acknowledge that cars will have to make trade-offs on the road,

Si nous considérons que les voitures devront aussi faire des compromis,

how do we think about those trade-offs,

comment y penser,

and how do we decide?

mais surtout comment se décider ?

Well, maybe we should run a survey to find out what society wants,

Peut être devrions-nous faire un sondage auprès de la société,

because ultimately,

car finalement,

regulations and the law are a reflection of societal values.

les règlements et la loi sont les reflets des valeurs sociétales.

So this is what we did.

Nous avons donc fait ceci.

With my collaborators,

En compagnie de mes collaborateurs,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon et Azim Shariff,

we ran a survey

nous avons mené une enquête

in which we presented people with these types of scenarios.

où nous avons présenté ces scénarios aux gens.

We gave them two options inspired by two philosophers:

Nous leur avons donné deux options, inspirées par deux philosophes :

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham et Emmanuel Kant.

Bentham says the car should follow utilitarian ethics:

Selon Bentham, la voiture devrait suivre l'éthique utilitariste :

it should take the action that will minimize total harm --

son action devrait être celle qui réduit tous les dommages --

even if that action will kill a bystander

même si cette action finira par tuer un passant

and even if that action will kill the passenger.

ou même si elle finira par tuer le passager.

Immanuel Kant says the car should follow duty-bound principles,

Selon Kant, la voiture devrait agir selon certains commandements,

like "Thou shalt not kill."

comme  « Tu ne tueras point. »

So you should not take an action that explicitly harms a human being,

Ton action ne devrait donc pas nuire à un être humain de manière explicite,

and you should let the car take its course

et tu devrais laisser la voiture faire sa route

even if that's going to harm more people.

même si plus de gens finiront blessés.

What do you think?

Qu'en pensez-vous ?

Bentham or Kant?

Bentham ou bien Kant ?

Here's what we found.

Voici notre solution.

Most people sided with Bentham.

La plupart étaient pour Bentham.

So it seems that people want cars to be utilitarian,

Les gens veulent donc que la voiture soit utilitariste,

minimize total harm,

réduire les dommages,

and that's what we should all do.

ce que nous devrions tous faire.

Problem solved.

Problème résolu.

But there is a little catch.

Mais il y a un petit piège.

When we asked people whether they would purchase such cars,

Lorsque nous leur avons demandé s'ils achèteraient ces voitures,

they said, "Absolutely not."

ils ont répondu : « Absolument pas. »

(Laughter)

(Rires)

They would like to buy cars that protect them at all costs,

Ils aimeraient acheter des voitures qui les protègent à tout prix,

but they want everybody else to buy cars that minimize harm.

mais ils veulent que tous les autres les achètent pour réduire les dommages.

(Laughter)

(Rires)

We've seen this problem before.

Nous connaissons ce type de problème.

It's called a social dilemma.

C'est un dilemme social.

And to understand the social dilemma,

Pour comprendre ce dilemme social,

we have to go a little bit back in history.

nous devons remonter un peu dans le temps.

In the 1800s,

Dans les années 1800,

English economist William Forster Lloyd published a pamphlet

l'économiste anglais William Forster Lloyd a publié un pamphlet

which describes the following scenario.

décrivant le scénario suivant.

You have a group of farmers --

Vous avez un groupe de fermiers--

English farmers --

fermiers anglais--

who are sharing a common land for their sheep to graze.

qui se partagent des terres pour leurs moutons.

Now, if each farmer brings a certain number of sheep --

Si chaque fermier ramène un certain nombre de moutons--

let's say three sheep --

disons trois moutons--

the land will be rejuvenated,

la terre sera régénérée,

the farmers are happy,

les fermiers heureux,

the sheep are happy,

les moutons heureux,

everything is good.

tout est en ordre.

Now, if one farmer brings one extra sheep,

Maintenant si un fermier en ramène un de plus,

that farmer will do slightly better, and no one else will be harmed.

il s'en sortira un peu mieux, au détriment de personne.

But if every farmer made that individually rational decision,

Mais si chaque fermier faisait de même,

the land will be overrun, and it will be depleted

la terre serait surexploitée et appauvrie

to the detriment of all the farmers,

au détriment de tous les fermiers

and of course, to the detriment of the sheep.

et bien sûr à celui des moutons.

We see this problem in many places:

Nous rencontrons ce problème à plusieurs endroits :

in the difficulty of managing overfishing,

dans la difficulté à gérer la surpêche,

or in reducing carbon emissions to mitigate climate change.

ou à réduire les émissions de carbone pour atténuer le changement climatique.

When it comes to the regulation of driverless cars,

Quand il s'agit du règlement des voitures sans conducteur,

the common land now is basically public safety --

la terre commune représente la sécurité publique --

that's the common good --

c'est le bien commun --

and the farmers are the passengers

et les fermiers sont les passagers

or the car owners who are choosing to ride in those cars.

ou les propriétaires de ces voitures qui décident de les conduire.

And by making the individually rational choice

En faisant ce choix rationnel

of prioritizing their own safety,

de prioriser leur propre sécurité,

they may collectively be diminishing the common good,

ils sont peut être en train d'affaiblir le bien commun,

which is minimizing total harm.

de réduire donc les dommages.

It's called the tragedy of the commons,

C'est la Tragédie des biens communs,

traditionally,

typiquement,

but I think in the case of driverless cars,

mais je pense que dans le cas des voitures sans conducteur,

the problem may be a little bit more insidious

le problème est peut-être un peu plus insidieux

because there is not necessarily an individual human being

car ce n'est pas forcément un seul être humain

making those decisions.

qui prend ces décisions.

So car manufacturers may simply program cars

Les fabricants de voitures pourraient simplement les programmer

that will maximize safety for their clients,

pour maximiser la sécurité des clients,

and those cars may learn automatically on their own

et elles pourraient apprendre par elles-mêmes

that doing so requires slightly increasing risk for pedestrians.

qu'en agissant de cette manière, elles augmenteraient le risque des piétons.

So to use the sheep metaphor,

Revenons à notre métaphore,

it's like we now have electric sheep that have a mind of their own.

c'est comme si maintenant nous avions des moutons électriques conscients.

(Laughter)

(Rires)

And they may go and graze even if the farmer doesn't know it.

Ils peuvent brouter sans que le fermier le sache.

So this is what we may call the tragedy of the algorithmic commons,

C'est ce qu'on pourrait appeler la Tragédie des communs algorithmiques,

and if offers new types of challenges.

qui offre de nouveaux types de défis.

Typically, traditionally,

De manière générale, typiquement,

we solve these types of social dilemmas using regulation,

nous résolvons ces types de dilemmes sociaux grâce aux lois :

so either governments or communities get together,

soit les gouvernements soit les communautés se réunissent

and they decide collectively what kind of outcome they want

pour décider ensemble quel est le résultat voulu

and what sort of constraints on individual behavior

et quelles sortes de contraintes liées au comportement

they need to implement.

doivent être appliquées.

And then using monitoring and enforcement,

Ensuite grâce à la surveillance et au contrôle,

they can make sure that the public good is preserved.

ils peuvent s'assurer que le bien civil soit préservé.

So why don't we just,

Pourquoi ne pourrions-nous pas,

as regulators,

en tant que régulateurs,

require that all cars minimize harm?

exiger à ce que toutes les voitures réduisent les dommages ?

After all, this is what people say they want.

Après tout, c'est ce que veulent les gens.

And more importantly,

Plus important encore,

I can be sure that as an individual,

je peux être sûr qu'en tant qu'individu,

if I buy a car that may sacrifice me in a very rare case,

si j'achète une voiture pouvant me sacrifier dans un cas très rare,

I'm not the only sucker doing that

je ne vais pas être le seul pigeon

while everybody else enjoys unconditional protection.

à le faire alors que tous les autres sont protégés.

In our survey, we did ask people whether they would support regulation

Dans notre enquête, nous avons demandé s'ils valideraient un telle loi

and here's what we found.

et voici le résultat.

First of all, people said no to regulation;

Tout d'abord, les gens ont répondu non à la loi ;

and second, they said,

ensuite, ils ont dit :

"Well if you regulate cars to do this and to minimize total harm,

« Si vous légiférer pour que les voitures réduisent les dommages,

I will not buy those cars."

je ne les achèterais pas. »

So ironically,

Donc ironiquement,

by regulating cars to minimize harm,

en réglant les voitures pour réduire les dommages,

we may actually end up with more harm

ça pourrait être pire

because people may not opt into the safer technology

car les gens n'opteraient pas pour la technologie plus sécurisée

even if it's much safer than human drivers.

même si c'est plus sûr qu'un conducteur.

I don't have the final answer to this riddle,

Je n'ai pas la réponse finale de cette énigme,

but I think as a starting point,

mais pour commencer,

we need society to come together

notre société devrait s'unir

to decide what trade-offs we are comfortable with

pour décider quels compromis nous correspondent le plus

and to come up with ways in which we can enforce those trade-offs.

et trouver des moyens pour les appliquer.

As a starting point, my brilliant students,

Pour commencer, mes brillants étudiants,

Edmond Awad and Sohan Dsouza,

Edmond Awad et Sohan De Souza

built the Moral Machine website,

ont créé le site Moral Machine;

which generates random scenarios at you --

celui-ci génère des scénarios aléatoires--

basically a bunch of random dilemmas in a sequence

une série de dilemmes à la chaîne

where you have to choose what the car should do in a given scenario.

où vous devez choisir ce que ferait la voiture dans ces cas.

And we vary the ages and even the species of the different victims.

Nous varions les âges et la nature des différentes victimes.

So far we've collected over five million decisions

Jusqu'à présent, nous avons récolté plus de 5 millions de décisions

by over one million people worldwide

prises par plus d'un million de gens

from the website.

depuis le site internet.

And this is helping us form an early picture

Ceci nous aide à avoir une idée

of what trade-offs people are comfortable with

de quels compromis les gens sont prêts à accepter

and what matters to them --

et ce qui compte pour eux--

even across cultures.

même à travers les cultures.

But more importantly,

Mais surtout,

doing this exercise is helping people recognize

ces exercices aident les gens à reconnaître

the difficulty of making those choices

la difficulté que représente le fait de faire un choix

and that the regulators are tasked with impossible choices.

et que les lesgilateurs sont confrontés à des choix impossibles.

And maybe this will help us as a society understand the kinds of trade-offs

Peut-être que ceci nous aidera à comprendre, en tant que société,

that will be implemented ultimately in regulation.

quels compromis seront mis en place dans la loi.

And indeed, I was very happy to hear

En effet, j'ai été très heureux

that the first set of regulations

d'entendre que la première série

that came from the Department of Transport --

venue du Département des Transports--

announced last week --

annoncée la semaine dernière

included a 15-point checklist for all carmakers to provide,

a inclus une liste de 15 points à remplir par tous les fabricants de voitures.

and number 14 was ethical consideration --

Le numéro 14 était la consideration éthique --

how are you going to deal with that.

comment allez-vous gérer ça ?

We also have people reflect on their own decisions

Ces personnes peuvent aussi réfléchir à leurs décisions

by giving them summaries of what they chose.

en recevant des résumés à propos de leurs choix.

I'll give you one example --

Je vais vous donner un exemple --

I'm just going to warn you that this is not your typical example,

je vous avertis juste que ceci n'est pas un exemple typique,

your typical user.

ni un utilisateur typique.

This is the most sacrificed and the most saved character for this person.

Voici ce que la personne a sauvé et a tué le plus.

(Laughter)

(Rires)

Some of you may agree with him,

Certains d'entre vous allez être

or her, we don't know.

d'accord avec lui ou avec elle.

But this person also seems to slightly prefer passengers over pedestrians

Cette personne a aussi l'air de préférer les passagers aux piétons

in their choices

dans ses choix

and is very happy to punish jaywalking.

et est très heureuse de punir ceux qui traversent en dehors des clous.

(Laughter)

(Rires)

So let's wrap up.

Résumons.

We started with the question -- let's call it the ethical dilemma --

Nous avons commencé avec une question -- un dilemme éthique --

of what the car should do in a specific scenario:

de ce que devrait faire la voiture dans un scénario précis :

swerve or stay?

dévier ou rester ?

But then we realized that the problem was a different one.

Mais nous avons réalisé que le problème était autre.

It was the problem of how to get society to agree on and enforce

Le problème était de comment faire pour que la société accepte et applique

the trade-offs they're comfortable with.

les compromis qui lui conviennent.

It's a social dilemma.

C'est un dilemme social.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

Dans les années 1940, Isaac Asimov a écrit sa célèbre loi de la robotique --

the three laws of robotics.

les trois règles de la robotique.

A robot may not harm a human being,

Un robot ne nuira pas à un être humain,

a robot may not disobey a human being,

un robot ne désobéira pas

and a robot may not allow itself to come to harm --

et il ne s'autorisera pas à faire au mal --

in this order of importance.

dans cet ordre d'importance.

But after 40 years or so

Mais environ 40 ans plus tard

and after so many stories pushing these laws to the limit,

et après tellement de scénarios qui ont testé ces règles,

Asimov introduced the zeroth law

Asimov a présenté la loi Zéro

which takes precedence above all,

qui a préséance avant tout.

and it's that a robot may not harm humanity as a whole.

Un robot ne devrait pas nuire à l'Humanité.

I don't know what this means in the context of driverless cars

Je ne sais pas ce que cela représente dans le cas des voitures sans conducteur

or any specific situation,

ou dans une situation spécifique,

and I don't know how we can implement it,

et je ne sais pas comment la mettre en œuvre ;

but I think that by recognizing

mais en admettant que

that the regulation of driverless cars is not only a technological problem

la législation de ces voitures n'est pas uniquement un problème technique

but also a societal cooperation problem,

mais aussi un problème de coopération sociétale, j'espère que

I hope that we can at least begin to ask the right questions.

nous puissions au moins nous poser les bonnes questions.

Thank you.

Merci.

(Applause)

(Applaudissements)