What moral decisions should driverless cars make? | Iyad Rahwan

Tradutor: Diana Almeida Revisora: Margarida Ferreira

Today I'm going to talk about technology and society.

Hoje, vou falar sobre tecnologia e sociedade.

The Department of Transport estimated that last year

O Departamento de Transportes estimou que, no ano passado,

35,000 people died from traffic crashes in the US alone.

morreram 35 mil pessoas devido a acidentes rodoviários, somente nos EUA.

Worldwide, 1.2 million people die every year in traffic accidents.

A nível mundial, 1,2 milhões de pessoas morrem por ano em acidentes rodoviários.

If there was a way we could eliminate 90 percent of those accidents,

Se existisse uma forma de eliminar 90% desses acidentes,

would you support it?

vocês iriam apoiá-la?

Of course you would.

Claro que sim.

This is what driverless car technology promises to achieve

É isto que a tecnologia de carros autónomos pretende alcançar

by eliminating the main source of accidents --

ao eliminar a causa principal dos acidentes

human error.

— o erro humano.

Now picture yourself in a driverless car in the year 2030,

Imaginem-se num carro autónomo no ano de 2030,

sitting back and watching this vintage TEDxCambridge video.

descontraídos e a ver este vídeo "vintage" do TEDxCambridge.

(Laughter)

(Risos)

All of a sudden,

De repente,

the car experiences mechanical failure and is unable to stop.

o carro sofre uma falha mecânica e é incapaz de parar.

If the car continues,

Se o carro continuar em frente,

it will crash into a bunch of pedestrians crossing the street,

irá colidir com um monte de peões que atravessam a rua,

but the car may swerve,

mas o carro poderá desviar-se,

hitting one bystander,

atingindo um peão no passeio,

killing them to save the pedestrians.

matando-o para salvar os restantes peões.

What should the car do, and who should decide?

O que deverá o carro fazer, e quem deverá decidir?

What if instead the car could swerve into a wall,

E se o carro pudesse desviar-se contra uma parede,

crashing and killing you, the passenger,

chocando e matando o passageiro,

in order to save those pedestrians?

de forma a salvar aqueles peões?

This scenario is inspired by the trolley problem,

Este cenário é inspirado pelo dilema do elétrico,

which was invented by philosophers a few decades ago

inventado por filósofos há algumas décadas,

to think about ethics.

para pensar sobre a ética.

Now, the way we think about this problem matters.

A forma como pensamos neste problema é importante.

We may for example not think about it at all.

Por exemplo, nós podemos nem sequer pensar nele.

We may say this scenario is unrealistic,

Podemos dizer que este cenário é irrealista,

incredibly unlikely, or just silly.

extremamente improvável ou simplesmente absurdo.

But I think this criticism misses the point

Mas eu acho que esta crítica perde de vista o objetivo

because it takes the scenario too literally.

porque leva o cenário demasiado à letra.

Of course no accident is going to look like this;

É óbvio que nenhum acidente se parecerá com este;

no accident has two or three options

nenhum acidente tem duas ou três opções

where everybody dies somehow.

em que alguém acaba morto inevitavelmente.

Instead, the car is going to calculate something

Em vez disso, o carro irá calcular algo

like the probability of hitting a certain group of people,

como a probabilidade de embater num certo grupo de pessoas

if you swerve one direction versus another direction,

e, caso se desvie para uma direção ou para outra,

you might slightly increase the risk to passengers or other drivers

poderá aumentar o risco dos passageiros ou de outros condutores

versus pedestrians.

em vez dos peões.

It's going to be a more complex calculation,

Irá ser um cálculo mais complexo,

but it's still going to involve trade-offs,

mas irá envolver na mesma tomar decisões

and trade-offs often require ethics.

e muitas das vezes, tomar essas decisões requer ética.

We might say then, "Well, let's not worry about this.

Podemos dizer: "Não nos vamos preocupar com isso.

Let's wait until technology is fully ready and 100 percent safe."

"Vamos esperar até que a tecnologia esteja totalmente desenvolvida e 100% segura."

Suppose that we can indeed eliminate 90 percent of those accidents,

Suponhamos que, de facto, se possam eliminar 90% desses acidentes,

or even 99 percent in the next 10 years.

ou mesmo 99% nos próximos 10 anos.

What if eliminating the last one percent of accidents

E se eliminar esse 1% dos acidentes

requires 50 more years of research?

exigir mais 50 anos de pesquisa?

Should we not adopt the technology?

Não deveremos adotar a tecnologia?

That's 60 million people dead in car accidents

Trata-se de 60 milhões de pessoas mortas em acidentes,

if we maintain the current rate.

se mantivermos o ritmo atual.

So the point is,

Isto significa que esperar por segurança total

waiting for full safety is also a choice,

também é uma escolha

and it also involves trade-offs.

e também envolve tomar decisões.

People online on social media have been coming up with all sorts of ways

Nas redes sociais, as pessoas têm arranjado inúmeras formas

to not think about this problem.

para não ter de pensar neste problema.

One person suggested the car should just swerve somehow

Uma pessoa sugeriu que o carro devia, de alguma forma,

in between the passengers --

passar entre os peões...

(Laughter)

(Risos)

and the bystander.

e o peão no passeio.

Of course if that's what the car can do, that's what the car should do.

Claro que, se isso for possível, é o que o carro deve fazer.

We're interested in scenarios in which this is not possible.

Estamos interessados em cenários em que isso não é possível.

And my personal favorite was a suggestion by a blogger

O meu cenário favorito foi uma sugestão feita por um "blogger",

to have an eject button in the car that you press --

de o carro ter um botão de ejeção que se pressiona...

(Laughter)

(Risos)

just before the car self-destructs.

antes de o carro se autodestruir.

(Laughter)

(Risos)

So if we acknowledge that cars will have to make trade-offs on the road,

Se nós reconhecermos que os carros terão que tomar decisões na estrada,

how do we think about those trade-offs,

como devemos ponderar essas decisões

and how do we decide?

e como é que decidimos?

Well, maybe we should run a survey to find out what society wants,

Talvez devêssemos fazer um inquérito para saber o que a sociedade quer

because ultimately,

porque, em última análise,

regulations and the law are a reflection of societal values.

as normas e as leis são o espelho dos valores da sociedade.

So this is what we did.

Então foi o que fizemos.

With my collaborators,

Com os meus colaboradores,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon e Azim Shariff,

we ran a survey

realizámos um inquérito

in which we presented people with these types of scenarios.

no qual apresentámos às pessoas estes tipos de cenários.

We gave them two options inspired by two philosophers:

Demos-lhes duas opções, inspiradas por dois filósofos:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham e Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham diz que o carro deve seguir a ética utilitarista:

it should take the action that will minimize total harm --

fazer aquilo que irá minimizar os danos totais

even if that action will kill a bystander

— mesmo que isso implique matar um peão no passeio

and even if that action will kill the passenger.

e, mesmo que isso acabe por matar o passageiro.

Immanuel Kant says the car should follow duty-bound principles,

Immanul Kant diz que o carro deve seguir princípios morais,

like "Thou shalt not kill."

como "Não matarás."

So you should not take an action that explicitly harms a human being,

Então, não se deve agir, caso isso implique magoar um ser humano,

and you should let the car take its course

e deverá deixar-se que o carro siga o seu percurso

even if that's going to harm more people.

mesmo que se magoem mais pessoas.

What do you think?

O que acham?

Bentham or Kant?

Bentham ou Kant?

Here's what we found.

Estes são os resultados.

Most people sided with Bentham.

A maioria concordou com Bentham.

So it seems that people want cars to be utilitarian,

Parece que as pessoas preferem que os carros sejam utilitários,

minimize total harm,

minimizem os danos totais, e é isso que todos nós devemos fazer.

and that's what we should all do.

Problem solved.

Problema resolvido.

But there is a little catch.

Mas há um pequeno senão.

When we asked people whether they would purchase such cars,

Quando perguntámos às pessoas se elas comprariam esses carros,

they said, "Absolutely not."

elas responderam: "Claro que não."

(Laughter)

(Risos)

They would like to buy cars that protect them at all costs,

Elas gostariam de comprar carros que as protegessem a todo o custo,

but they want everybody else to buy cars that minimize harm.

mas querem que os restantes comprem carros que minimizem os danos.

(Laughter)

(Risos)

We've seen this problem before.

Já vimos este problema.

It's called a social dilemma.

Chama-se dilema social.

And to understand the social dilemma,

Para perceber o dilema social,

we have to go a little bit back in history.

temos que recuar um pouco na história.

In the 1800s,

No início do século XIX,

English economist William Forster Lloyd published a pamphlet

o economista inglês William Forster Lloyd publicou um folheto

which describes the following scenario.

que descrevia o seguinte cenário:

You have a group of farmers --

Temos um grupo de pastores — pastores ingleses —

English farmers --

who are sharing a common land for their sheep to graze.

que partilham um terreno para as ovelhas pastarem.

Now, if each farmer brings a certain number of sheep --

Se cada pastor levar um certo número de ovelhas

let's say three sheep --

— por exemplo, três ovelhas —

the land will be rejuvenated,

o terreno recuperará, os pastores ficam contentes,

the farmers are happy,

the sheep are happy,

as ovelhas ficam contentes,

everything is good.

tudo fica bem.

Now, if one farmer brings one extra sheep,

Se um pastor levar uma ovelha extra,

that farmer will do slightly better, and no one else will be harmed.

terá uma pequena vantagem, mas ninguém será prejudicado.

But if every farmer made that individually rational decision,

Mas, se cada pastor tomar a mesma decisão,

the land will be overrun, and it will be depleted

a terra será sobreutilizada e ficará empobrecida

to the detriment of all the farmers,

prejudicando todos os pastores

and of course, to the detriment of the sheep.

e, claro, as ovelhas também.

We see this problem in many places:

Vemos este problema em muitos sítios:

in the difficulty of managing overfishing,

na dificuldade de controlar a pesca excessiva,

or in reducing carbon emissions to mitigate climate change.

ou em reduzir as emissões de carbono para atenuar as mudanças climáticas.

When it comes to the regulation of driverless cars,

Quando se trata da regulamentação de carros autónomos,

the common land now is basically public safety --

os terrenos baldios são, basicamente, a segurança pública

that's the common good --

— ou seja, o bem comum.

and the farmers are the passengers

Os pastores são os passageiros

or the car owners who are choosing to ride in those cars.

ou os donos de carros que escolham conduzir esse tipo de veículo.

And by making the individually rational choice

E ao fazer essa escolha individual e racional

of prioritizing their own safety,

de dar prioridade à sua segurança,

they may collectively be diminishing the common good,

eles podem estar, em conjunto, a prejudicar o bem comum,

which is minimizing total harm.

que é o que está a minimizar os danos totais.

It's called the tragedy of the commons,

É a chamada "tragédia dos comuns", tradicionalmente.

traditionally,

but I think in the case of driverless cars,

Mas eu penso que, no caso de carros autónomos,

the problem may be a little bit more insidious

o problema pode ser um pouco mais insidioso

because there is not necessarily an individual human being

pois não é necessariamente um ser humano

making those decisions.

a tomar essas decisões.

So car manufacturers may simply program cars

Os fabricantes de automóveis podem programar carros

that will maximize safety for their clients,

que irão maximizar a segurança dos seus clientes,

and those cars may learn automatically on their own

e esses carros poderão aprender sozinhos

that doing so requires slightly increasing risk for pedestrians.

que, ao fazer isso, aumentará o risco para os peões.

So to use the sheep metaphor,

Na metáfora das ovelhas,

it's like we now have electric sheep that have a mind of their own.

é como se tivéssemos ovelhas eletrónicas que pensam por si mesmas.

(Laughter)

(Risos)

And they may go and graze even if the farmer doesn't know it.

Elas podem ir pastar sem que o pastor saiba disso.

So this is what we may call the tragedy of the algorithmic commons,

É a isso que chamamos a tragédia dos algoritmos comuns,

and if offers new types of challenges.

e isso apresenta novos tipos de problemas.

Typically, traditionally,

Tipicamente,

we solve these types of social dilemmas using regulation,

nós resolvemos este tipo de dilemas sociais com regulamentações

so either governments or communities get together,

em que os governos e as comunidades se juntam,

and they decide collectively what kind of outcome they want

e decidem coletivamente que tipo de resultado querem

and what sort of constraints on individual behavior

e que tipo de restrições é necessário aplicar no comportamento individual.

they need to implement.

And then using monitoring and enforcement,

E depois, com o acompanhamento e a sua imposição,

they can make sure that the public good is preserved.

podem certificar-se de que o bem público é preservado.

So why don't we just,

Então porque é que nós, enquanto entidades reguladoras,

as regulators,

require that all cars minimize harm?

não exigimos que todos os carros minimizem os danos?

After all, this is what people say they want.

Afinal, as pessoas dizem que é isso que querem.

And more importantly,

E mais importante ainda,

I can be sure that as an individual,

enquanto indivíduo, tenho a certeza de que, se comprasse um carro,

if I buy a car that may sacrifice me in a very rare case,

numa situação improvável, decidisse sacrificar-me,

I'm not the only sucker doing that

eu não seria o único a fazer isso

while everybody else enjoys unconditional protection.

enquanto as demais pessoas teriam uma proteção ilimitada.

In our survey, we did ask people whether they would support regulation

No inquérito, perguntámos às pessoas se apoiariam a regulamentação

and here's what we found.

e obtivemos este resultado:

First of all, people said no to regulation;

Para começar, as pessoas disseram que não apoiariam a regulamentação.

and second, they said,

E em segundo, disseram:

"Well if you regulate cars to do this and to minimize total harm,

"Se regulamentarem os carros para fazer isso e minimizar os danos totais,

I will not buy those cars."

"não irei comprar esses carros."

So ironically,

Então, ironicamente,

by regulating cars to minimize harm,

ao regulamentar os carros para minimizarem os danos,

we may actually end up with more harm

pode-se estar a causar mais danos

because people may not opt into the safer technology

pois as pessoas podem não optar pela tecnologia mais segura

even if it's much safer than human drivers.

mesmo sendo mais segura do que os condutores humanos.

I don't have the final answer to this riddle,

Eu não possuo a resposta final para este enigma,

but I think as a starting point,

mas acho que, para começar,

we need society to come together

é necessário que a sociedade

concorde nas decisões mais adequadas

to decide what trade-offs we are comfortable with

and to come up with ways in which we can enforce those trade-offs.

e encontre formas de como se podem impor essas decisões.

As a starting point, my brilliant students,

Como ponto de partida, os meus brilhantes alunos,

Edmond Awad and Sohan Dsouza,

Edmond Awad e Sohan Dsouza,

built the Moral Machine website,

criaram o site "Moral Machine",

which generates random scenarios at you --

que gera cenários aleatórios

basically a bunch of random dilemmas in a sequence

— basicamente, um monte de dilemas aleatórios

where you have to choose what the car should do in a given scenario.

em que vocês têm que escolher

o que um carro deve fazer num determinado cenário.

And we vary the ages and even the species of the different victims.

E vamos mudando as idades e as espécies das diversas vítimas.

So far we've collected over five million decisions

Até agora, recolhemos mais de cinco milhões de respostas

by over one million people worldwide

de mais de 1 milhão de pessoas, a nível mundial,

from the website.

através desse site.

And this is helping us form an early picture

Isto está a ajudar-nos a formar um quadro inicial

of what trade-offs people are comfortable with

do tipo de decisões que as pessoas acham adequadas

and what matters to them --

e o que é importante para elas,

even across cultures.

mesmo noutras culturas.

But more importantly,

Mas mais importante,

doing this exercise is helping people recognize

fazer este exercício ajuda as pessoas

the difficulty of making those choices

a reconhecer a dificuldade de fazer aquelas escolhas

and that the regulators are tasked with impossible choices.

e que a entidade reguladora está incumbida de fazer escolhas impossíveis.

And maybe this will help us as a society understand the kinds of trade-offs

Enquanto sociedade, talvez isto nos ajude a perceber que tipos de decisões

that will be implemented ultimately in regulation.

deverão ser implementadas na regulamentação.

And indeed, I was very happy to hear

Fiquei bastante feliz ao ouvir

that the first set of regulations

que o primeiro conjunto de regulamentações

that came from the Department of Transport --

anunciado pelo Departamento de Transporte, na semana passada,

announced last week --

included a 15-point checklist for all carmakers to provide,

inclui uma lista de 15 pontos

que todos os fabricantes de automóveis devem fornecer.

and number 14 was ethical consideration --

O número 14 foi uma reflexão ética

how are you going to deal with that.

sobre como a pessoa vai lidar com isso.

We also have people reflect on their own decisions

Nós fazemos as pessoas refletir nas suas decisões

by giving them summaries of what they chose.

ao dar-lhes uma síntese do que escolheram.

I'll give you one example --

Vou dar-vos um exemplo

I'm just going to warn you that this is not your typical example,

e desde já vos aviso que este não é o exemplo de um utilizador habitual.

your typical user.

This is the most sacrificed and the most saved character for this person.

Estas são a personagem mais sacrificada e a mais salvo para esta pessoa.

(Laughter)

(Risos)

Some of you may agree with him,

Alguns de vocês podem concordar com ele, ou com ela — não sabemos.

or her, we don't know.

But this person also seems to slightly prefer passengers over pedestrians

Mas esta pessoa preferiu salvar os passageiros ao invés dos peões

in their choices

nas suas escolhas,

and is very happy to punish jaywalking.

e parece muito feliz por punir peões que não cumprem a lei.

(Laughter)

(Risos)

So let's wrap up.

Vamos então, concluir.

We started with the question -- let's call it the ethical dilemma --

Começámos com a questão — chamemos-lhe dilema ético —

of what the car should do in a specific scenario:

sobre o que o carro deverá fazer num cenário específico:

swerve or stay?

desviar-se ou continuar?

But then we realized that the problem was a different one.

Mas depois apercebemo-nos que o problema era outro.

It was the problem of how to get society to agree on and enforce

O problema era sobre como levar a sociedade a concordar e a impor

the trade-offs they're comfortable with.

as decisões que consideram adequadas.

It's a social dilemma.

É um dilema social.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

Nos anos 40, Isaac Asimov escreveu as suas famosas leis da robótica,

the three laws of robotics.

as três leis da robótica.

A robot may not harm a human being,

Um robô não pode magoar um ser humano,

a robot may not disobey a human being,

um robô não pode desobedecer a um ser humano,

and a robot may not allow itself to come to harm --

e um robô não se pode danificar-se a ele mesmo

in this order of importance.

— seguindo esta ordem de importância.

But after 40 years or so

Mas cerca de 40 anos depois,

and after so many stories pushing these laws to the limit,

e depois de tantas histórias que levavam estas leis ao limite,

Asimov introduced the zeroth law

Asimov introduziu a lei zero,

which takes precedence above all,

que as precede a todas,

and it's that a robot may not harm humanity as a whole.

aquela em que um robô não pode prejudicar a humanidade.

I don't know what this means in the context of driverless cars

Eu não sei o que isto significa no contexto de carros autónomos

or any specific situation,

ou em qualquer situação específica,

and I don't know how we can implement it,

e não sei como é que podemos implementar isto,

but I think that by recognizing

mas acho que, ao reconhecer

that the regulation of driverless cars is not only a technological problem

que a regulamentação dos carros autónomos não é apenas um problema tecnológico,

but also a societal cooperation problem,

mas também um problema de cooperação social,

I hope that we can at least begin to ask the right questions.

espero que possamos começar a fazer as questões certas.

Thank you.

Obrigado.

(Applause)

(Aplausos)