What moral decisions should driverless cars make? | Iyad Rahwan

Traduttore: Francesca Finetti Revisore: antonio parlato

Today I'm going to talk about technology and society.

Oggi parlerò di tecnologia e società.

The Department of Transport estimated that last year

Il Dipartimento dei Trasporti ha stimato che lo scorso anno

35,000 people died from traffic crashes in the US alone.

35.000 persone sono decedute a causa di incidenti stradali, negli Stati Uniti.

Worldwide, 1.2 million people die every year in traffic accidents.

Nel Mondo, 1,2 milioni di persone muoiono ogni anno a causa di incidenti stradali.

If there was a way we could eliminate 90 percent of those accidents,

Se ci fosse la possibilità di eliminare il 90 percento di questi incidenti,

would you support it?

la sosterreste?

Of course you would.

Certo che lo fareste.

This is what driverless car technology promises to achieve

Questo è quello che la tecnologia delle auto a guida autonoma si prefigge,

by eliminating the main source of accidents --

eliminando la principale causa di incidenti --

human error.

l'errore umano.

Now picture yourself in a driverless car in the year 2030,

Ora, immaginatevi in una macchina a guida autonoma nell'anno 2030,

sitting back and watching this vintage TEDxCambridge video.

accomodati a guardare questo video vintage di TEDxCambridge.

(Laughter)

(Risate)

All of a sudden,

All'improvviso,

the car experiences mechanical failure and is unable to stop.

la macchina ha un guasto meccanico, e non riesce più a fermarsi.

If the car continues,

Se la macchina proseguisse,

it will crash into a bunch of pedestrians crossing the street,

si schianterebbe contro un gruppo di pedoni che attraversano la strada,

but the car may swerve,

ma se la macchina sterzasse

hitting one bystander,

colpirebbe un passante,

killing them to save the pedestrians.

uccidendo lui per salvare i pedoni.

What should the car do, and who should decide?

Cosa dovrebbe fare l'auto, e chi dovrebbe decidere?

What if instead the car could swerve into a wall,

E se invece l'auto potesse sterzare contro un muro,

crashing and killing you, the passenger,

schiantandosi e uccidendo voi, il passeggero,

in order to save those pedestrians?

per salvare questi pedoni?

This scenario is inspired by the trolley problem,

Questo scenario è ispirato dal dilemma del carrello,

which was invented by philosophers a few decades ago

che è stato formulato da filosofi qualche decennio fa

to think about ethics.

per riflettere sull'etica.

Now, the way we think about this problem matters.

Ora, come pensiamo a questo problema importa.

We may for example not think about it at all.

Potremmo ad esempio non pensarci affatto.

We may say this scenario is unrealistic,

Potremmo dire che questo scenario è irrealistico,

incredibly unlikely, or just silly.

altamente improbabile, o semplicemente sciocco.

But I think this criticism misses the point

Ma penso che questa critica non colga il punto,

because it takes the scenario too literally.

perché considera lo scenario letteralmente.

Of course no accident is going to look like this;

Di certo nessun incidente assomiglierà a questo;

no accident has two or three options

nessun incidente ha due o tre scelte,

where everybody dies somehow.

dove qualcuno muore comunque.

Instead, the car is going to calculate something

Invece, la macchina calcolerebbe qualcosa

like the probability of hitting a certain group of people,

come la probabilità di colpire un certo gruppo di persone

if you swerve one direction versus another direction,

se sterzi in una direzione, anziché nell'altra,

you might slightly increase the risk to passengers or other drivers

potresti accrescere il rischio per i passeggeri o per gli altri autisti,

versus pedestrians.

piuttosto che per i pedoni.

It's going to be a more complex calculation,

Sarebbe un calcolo più complesso

but it's still going to involve trade-offs,

che, comunque, prevede una scelta,

and trade-offs often require ethics.

e le scelte spesso presuppongono l'etica.

We might say then, "Well, let's not worry about this.

Potremmo dire, "Beh, non preoccupiamoci di questo.

Let's wait until technology is fully ready and 100 percent safe."

Aspettiamo finché la tecnologia sarà pronta e al 100 percento sicura."

Suppose that we can indeed eliminate 90 percent of those accidents,

Supponiamo di poter davvero eliminare il 90 percento di questi incidenti,

or even 99 percent in the next 10 years.

o persino il 99 percento, nei prossimi 10 anni.

What if eliminating the last one percent of accidents

E se eliminare il restante un per cento di questi incidenti

requires 50 more years of research?

richiedesse altri 50 anni di ricerca?

Should we not adopt the technology?

Non dovremmo usare questa tecnologia?

That's 60 million people dead in car accidents

Avremmo 60 milioni di morti in incidenti automobilistici

if we maintain the current rate.

se continuassimo così.

So the point is,

Quindi il punto è,

waiting for full safety is also a choice,

aspettare la sicurezza totale è anch'essa una scelta,

and it also involves trade-offs.

che comunque ha conseguenze.

People online on social media have been coming up with all sorts of ways

Le persone sui social media hanno trovato tutti i modi

to not think about this problem.

per non pensare al problema.

One person suggested the car should just swerve somehow

Una persona ha suggerito che l'auto dovrebbe sterzare in qualche modo

in between the passengers --

tra i passeggeri --

(Laughter)

(Risate)

and the bystander.

e il passante.

Of course if that's what the car can do, that's what the car should do.

Ovvio, se la macchina può farlo, la macchina deve farlo.

We're interested in scenarios in which this is not possible.

Ma siamo interessati agli scenari dove non è possibile.

And my personal favorite was a suggestion by a blogger

Personalmente, il mio preferito è stato il suggerimento di un blogger

to have an eject button in the car that you press --

sull'avere un pulsante di espulsione, che puoi premere --

(Laughter)

(Risate)

just before the car self-destructs.

prima che la macchina si autodistrugga.

(Laughter)

(Risate)

So if we acknowledge that cars will have to make trade-offs on the road,

Dunque, se accettiamo che le macchine debbano fare delle scelte in strada,

how do we think about those trade-offs,

come pensiamo a queste scelte,

and how do we decide?

e come decidiamo?

Well, maybe we should run a survey to find out what society wants,

Forse potremmo somministrare un questionario su cosa vuole la società,

because ultimately,

perché alla fine,

regulations and the law are a reflection of societal values.

regole e leggi sono un riflesso dei valori della società.

So this is what we did.

Quindi, questo è quello che abbiamo fatto.

With my collaborators,

Con i miei collaboratori,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon e Azim Shariff,

we ran a survey

abbiamo fatto un'indagine

in which we presented people with these types of scenarios.

dove abbiamo presentato al campione questi tipi di scenario.

We gave them two options inspired by two philosophers:

Abbiamo dato due opzioni ispirate da due filosofi:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham e Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham dice: l'auto deve seguire un'etica utilitaristica:

it should take the action that will minimize total harm --

deve scegliere l'azione che minimizza il danno totale --

even if that action will kill a bystander

anche se questa azione può uccidere un passante

and even if that action will kill the passenger.

e anche se questa azione ucciderà il passeggero.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant dice: l'auto deve seguire i principi dell'imperativo categorico,

like "Thou shalt not kill."

come "Non uccidere."

So you should not take an action that explicitly harms a human being,

Quindi non si deve agire in modi che rechino palese danno

all'essere umano,

and you should let the car take its course

e lasciare che l'auto faccia il suo corso

even if that's going to harm more people.

anche nuocendo a più persone.

What do you think?

Cosa ne pensate?

Bentham or Kant?

Bentham o Kant?

Here's what we found.

Abbiamo rilevato

Most people sided with Bentham.

che la maggior parte delle persone è d'accordo con Bentham.

So it seems that people want cars to be utilitarian,

Così sembra che le persone vogliano macchine utilitaristiche,

minimize total harm,

che minimizzano il danno totale.

and that's what we should all do.

ed è ciò che tutti dovremmo fare.

Problem solved.

Problema risolto.

But there is a little catch.

Eppure, c'è un piccolo particolare.

When we asked people whether they would purchase such cars,

Quando abbiamo chiesto alle persone se avrebbero acquistato una macchina così,

they said, "Absolutely not."

hanno risposto, "Assolutamente no".

(Laughter)

(Risate)

They would like to buy cars that protect them at all costs,

Vogliono comprare auto che li proteggano ad ogni costo,

but they want everybody else to buy cars that minimize harm.

ma vogliono che tutti gli altri acquistino auto che minimizzino i danni.

(Laughter)

(Risate)

We've seen this problem before.

Abbiamo già visto questo problema.

It's called a social dilemma.

Si chiama dilemma sociale.

And to understand the social dilemma,

E per capire un dilemma sociale,

we have to go a little bit back in history.

dobbiamo andare un po' indietro nella storia.

In the 1800s,

Nel diciannovesimo secolo,

English economist William Forster Lloyd published a pamphlet

l'economista inglese William Forster Lloyd ha pubblicato un opuscolo

which describes the following scenario.

che descrive il seguente scenario.

You have a group of farmers --

C'è un gruppo di agricoltori --

English farmers --

agricoltori inglesi --

who are sharing a common land for their sheep to graze.

che dividono una terra comune dove pascolano le loro pecore.

Now, if each farmer brings a certain number of sheep --

Se un agricoltore ha un certo numero di pecore --

let's say three sheep --

diciamo tre pecore --

the land will be rejuvenated,

la terra sarà rinvigorita,

the farmers are happy,

gli agricoltori felici,

the sheep are happy,

le pecore felici,

everything is good.

tutti contenti.

Now, if one farmer brings one extra sheep,

Se un agricoltore porta una pecora aggiuntiva,

that farmer will do slightly better, and no one else will be harmed.

quell'agricoltore farà un po' meglio, e nessun altro ne avrà un danno.

But if every farmer made that individually rational decision,

Ma se ogni agricoltore prendesse questa razionale arbitraria decisione,

the land will be overrun, and it will be depleted

la terra verrebbe abusata ed impoverita

to the detriment of all the farmers,

a scapito di tutti gli agricoltori

and of course, to the detriment of the sheep.

e, ovviamente, a scapito della pecora.

We see this problem in many places:

Osserviamo questo problema in molti posti:

in the difficulty of managing overfishing,

nella difficoltà di gestire la sovrapesca,

or in reducing carbon emissions to mitigate climate change.

o nel ridurre le emissioni di carbonio per mitigare il cambiamento climatico.

When it comes to the regulation of driverless cars,

Quando si parla di regolamentazione di veicoli a guida autonoma,

the common land now is basically public safety --

l'argomento comune è ora principalmente la sicurezza pubblica --

that's the common good --

che è un bene comune --

and the farmers are the passengers

e gli agricoltori sono passeggeri

or the car owners who are choosing to ride in those cars.

o automobilisti che stanno scegliendo di guidare questa macchine.

And by making the individually rational choice

E facendo questa scelta arbitraria e razionale

of prioritizing their own safety,

di preferire la propria sicurezza,

they may collectively be diminishing the common good,

possono collettivamente diminuire il bene comune,

which is minimizing total harm.

che è minimizzare il danno totale.

It's called the tragedy of the commons,

È chiamata la tragedia dei beni comuni,

traditionally,

normalmente,

but I think in the case of driverless cars,

ma penso che anche nel caso dei veicoli a guida autonoma,

the problem may be a little bit more insidious

il problema potrebbe essere un po' più insidioso

because there is not necessarily an individual human being

perché non è necessariamente un essere umano

making those decisions.

a prendere queste decisioni.

So car manufacturers may simply program cars

Quindi i produttori di autoveicoli potrebbero programmare le loro auto

that will maximize safety for their clients,

per massimizzare la sicurezza dei loro clienti,

and those cars may learn automatically on their own

e queste auto potrebbero imparare automaticamente, loro stesse,

that doing so requires slightly increasing risk for pedestrians.

che per fare ciò devono incrementare leggermente il rischio per i pedoni.

So to use the sheep metaphor,

Usando la metafora della pecora,

it's like we now have electric sheep that have a mind of their own.

è come se avessimo delle pecore elettriche dotate di una propria mente.

(Laughter)

(Risate)

And they may go and graze even if the farmer doesn't know it.

Che possono andare a pascolare senza che l'agricoltore lo sappia.

So this is what we may call the tragedy of the algorithmic commons,

Questa è quella che potremmo chiamare la tragedia degli "algoritmi comuni"

and if offers new types of challenges.

e offre nuovi tipi di sfide.

Typically, traditionally,

Normalmente e tradizionalmente,

we solve these types of social dilemmas using regulation,

risolviamo questo tipo di dilemmi sociali

usando la regolamentazione,

so either governments or communities get together,

Così sia i governi, che le comunità si uniscono,

and they decide collectively what kind of outcome they want

e decidono collettivamente quale tipo di risultato vogliono

and what sort of constraints on individual behavior

e quale tipo di restrizione sul comportamento individuale

they need to implement.

è necessario introdurre.

And then using monitoring and enforcement,

E usando il monitoraggio e l'applicazione,

they can make sure that the public good is preserved.

possono assicurare che il bene pubblico sia preservato.

So why don't we just,

Quindi perché non richiediamo,

as regulators,

da regolamentatori,

require that all cars minimize harm?

soltanto che tutte le macchine minimizzino il danno?

After all, this is what people say they want.

Dopotutto, questo è quello che le persone dicono di volere.

And more importantly,

E soprattutto

I can be sure that as an individual,

posso essere sicuro come individuo

if I buy a car that may sacrifice me in a very rare case,

che, se comprassi una macchina che potrebbe sacrificarmi in rari casi,

I'm not the only sucker doing that

non sia io l'unico babbeo a farlo

while everybody else enjoys unconditional protection.

mentre tutti gli altri si godono la loro protezione incondizionata.

In our survey, we did ask people whether they would support regulation

Nel nostro sondaggio, abbiamo domandato alle persone

se sostengono la regolamentazione e abbiamo scoperto

and here's what we found.

First of all, people said no to regulation;

che prima di tutto, le persone hanno detto no alla regolamentazione;

and second, they said,

e poi hanno detto,

"Well if you regulate cars to do this and to minimize total harm,

"Se voi regolamentate le macchine a minimizzare il danno totale,

I will not buy those cars."

io non le comprerò."

So ironically,

Così ironicamente,

by regulating cars to minimize harm,

dal regolamentare le macchine a minimizzare il danno

we may actually end up with more harm

finiamo per creare un danno maggiore

because people may not opt into the safer technology

perché le persone potrebbero non scegliere la tecnologia più sicura,

even if it's much safer than human drivers.

anche se fosse più sicura degli autisti umani.

I don't have the final answer to this riddle,

Non ho una risposta finale a questo rompicapo,

but I think as a starting point,

ma penso che come punto di partenza,

we need society to come together

ci serve una società coesa

to decide what trade-offs we are comfortable with

per decidere il compromesso con cui siamo più a nostro agio

and to come up with ways in which we can enforce those trade-offs.

e trovare delle soluzioni per poter applicare questi compromessi.

As a starting point, my brilliant students,

Come punto di partenza, i miei brillanti studenti,

Edmond Awad and Sohan Dsouza,

Edmond Awad e Sohan Dsouza,

built the Moral Machine website,

hanno costruito il sito Internet della Macchina Morale,

which generates random scenarios at you --

che genera scenari casuali --

basically a bunch of random dilemmas in a sequence

praticamente una serie di dilemmi in sequenza

where you have to choose what the car should do in a given scenario.

dove bisogna scegliere cosa deve fare la macchina in uno specifico scenario.

And we vary the ages and even the species of the different victims.

Facciamo variare l'età e anche la specie delle vittime.

So far we've collected over five million decisions

Fino ad oggi abbiamo raccolto più di cinque milioni di decisioni

by over one million people worldwide

da più di un milione di persone nel mondo

from the website.

grazie al sito.

And this is helping us form an early picture

E questo ci aiuta ad avere un'idea iniziale

of what trade-offs people are comfortable with

delle scelte con cui le persone sono a loro agio,

and what matters to them --

e che cosa è importante per loro --

even across cultures.

anche tra varie culture.

But more importantly,

Ma soprattutto,

doing this exercise is helping people recognize

fare questo esercizio aiuta le persone a riconoscere

the difficulty of making those choices

che compiere queste scelte è complesso

and that the regulators are tasked with impossible choices.

e che chi decide le regole è incaricato di scelte impossibili.

And maybe this will help us as a society understand the kinds of trade-offs

E forse questo può aiutarci come società a riconoscere l'importanza delle decisioni

that will be implemented ultimately in regulation.

che possono infine diventare regolamentazione.

And indeed, I was very happy to hear

E sono davvero stato felice di sentire

that the first set of regulations

che la prima serie di regolamentazioni

that came from the Department of Transport --

ricevuta dal Dipartimento dei Trasporti --

announced last week --

annunciata la scorsa settimana --

included a 15-point checklist for all carmakers to provide,

include una lista di 15 punti che ogni produttore di auto deve fornire,

and number 14 was ethical consideration --

e la numero 14 era una considerazione etica --

how are you going to deal with that.

su come vogliono gestire la cosa.

We also have people reflect on their own decisions

Abbiamo anche persone che riflettono sulle loro decisioni

by giving them summaries of what they chose.

e danno descrizioni delle loro scelte.

I'll give you one example --

Vi faccio un esempio --

I'm just going to warn you that this is not your typical example,

vi voglio solo avvisare che non è il tipico esempio,

your typical user.

il tipico utente.

This is the most sacrificed and the most saved character for this person.

Questi sono il più sacrificabile e il più salvabile soggetto

per questa persona.

(Laughter)

(Risate)

Some of you may agree with him,

Alcuni di voi potrebbero essere d'accordo con lui,

or her, we don't know.

o lei, non lo sappiamo.

But this person also seems to slightly prefer passengers over pedestrians

Ma questa persona sembra anche preferire i passeggeri ai pedoni,

in their choices

nelle sue scelte,

and is very happy to punish jaywalking.

ed è molto contenta di punire chi attraversa distrattamente.

(Laughter)

(Risate)

So let's wrap up.

Quindi, riepilogando.

We started with the question -- let's call it the ethical dilemma --

Siamo partiti con un quesito -- chiamiamolo, dilemma etico --

of what the car should do in a specific scenario:

di cosa la macchina dovrebbe fare in uno scenario specifico:

swerve or stay?

sterzare o rimanere?

But then we realized that the problem was a different one.

Poi abbiamo realizzato che il problema era differente.

It was the problem of how to get society to agree on and enforce

Era un problema di come far accettare alla società, e applicare

the trade-offs they're comfortable with.

le scelte su cui è più a suo agio.

It's a social dilemma.

È un dilemma sociale.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

Negli anni '40, Isaac Asimov ha scritto le sue famose leggi sulla robotica --

the three laws of robotics.

le tre leggi della robotica.

A robot may not harm a human being,

Un robot non può recar danno a un essere umano,

a robot may not disobey a human being,

un robot deve obbedire agli ordini degli esseri umani,

and a robot may not allow itself to come to harm --

un robot deve proteggere la propria esistenza --

in this order of importance.

in questo ordine di importanza.

But after 40 years or so

Ma dopo circa 40 anni,

and after so many stories pushing these laws to the limit,

e dopo così tante storie che hanno portato queste leggi fino ai massimi limiti,

Asimov introduced the zeroth law

Asimov ha introdotto la sua legge zero

which takes precedence above all,

che precede tutte le altre,

and it's that a robot may not harm humanity as a whole.

e dice che un robot non può recare danno all'umanità intera.

I don't know what this means in the context of driverless cars

Non so cosa questo significhi nel contesto delle auto a guida autonoma

or any specific situation,

o nelle situazioni specifiche,

and I don't know how we can implement it,

e non so come possiamo implementarla,

but I think that by recognizing

ma penso che riconoscendo

that the regulation of driverless cars is not only a technological problem

che la regolamentazione delle auto a guida autonoma

non sia solo un problema tecnologico,

but also a societal cooperation problem,

ma anche un problema di cooperazione sociale,

I hope that we can at least begin to ask the right questions.

spero che potremo almeno iniziare a farci le giuste domande.

Thank you.

Grazie.

(Applause)

(Applausi)