What moral decisions should driverless cars make? | Iyad Rahwan

Tradutor: Carl Lenny Homer Revisor: Maricene Crus

Today I'm going to talk about technology and society.

Hoje, vou falar sobre tecnologia e sociedade.

The Department of Transport estimated that last year

O Departamento de Transportes estimou que, no ano passado,

35,000 people died from traffic crashes in the US alone.

35 mil pessoas morreram em acidentes de trânsito, somente nos EUA.

Worldwide, 1.2 million people die every year in traffic accidents.

No mundo todo, 1,2 milhão de pessoas morrem por ano em acidentes de trânsito.

If there was a way we could eliminate 90 percent of those accidents,

Se houvesse uma forma de eliminar 90% desses acidentes, você a apoiaria?

would you support it?

Of course you would.

Claro que sim.

This is what driverless car technology promises to achieve

Isso é o que a tecnologia de carro autônomo promete realizar,

by eliminating the main source of accidents --

eliminando a principal fonte de acidentes, o erro humano.

human error.

Now picture yourself in a driverless car in the year 2030,

Agora, imagine-se em um carro sem motorista, no ano de 2030,

sitting back and watching this vintage TEDxCambridge video.

relaxando e assistindo a este vídeo vintage do TEDxCambridge.

(Laughter)

(Risos)

All of a sudden,

De repente, o carro tem uma falha mecânica e não consegue parar.

the car experiences mechanical failure and is unable to stop.

If the car continues,

Se o carro continuar,

it will crash into a bunch of pedestrians crossing the street,

vai atropelar um monte de gente que está atravessando a rua,

but the car may swerve,

mas o carro pode desviar, atingindo um transeunte,

hitting one bystander,

killing them to save the pedestrians.

matando-o, para salvar os pedestres.

What should the car do, and who should decide?

O que o carro deve fazer e quem deve decidir?

What if instead the car could swerve into a wall,

E se, em vez disso, o carro pudesse desviar para uma parede,

crashing and killing you, the passenger,

batendo e matando o passageiro, que é você, para salvar os pedestres?

in order to save those pedestrians?

This scenario is inspired by the trolley problem,

Este cenário é inspirado no problema do bonde,

which was invented by philosophers a few decades ago

que foi concebido por filósofos há algumas décadas, para se refletir sobre ética.

to think about ethics.

Now, the way we think about this problem matters.

A forma de pensar nesse problema é importante.

We may for example not think about it at all.

Podemos, por exemplo, simplesmente não pensar nisso.

We may say this scenario is unrealistic,

Podemos dizer que esse cenário não é real,

incredibly unlikely, or just silly.

bastante improvável ou simplesmente tolo.

But I think this criticism misses the point

Mas acho que essa crítica não procede,

because it takes the scenario too literally.

porque enfoca o problema de forma muito literal.

Of course no accident is going to look like this;

Naturalmente, nenhum acidente vai se parecer com esse;

no accident has two or three options

nenhum acidente tem duas ou três opções,

where everybody dies somehow.

nas quais alguém acaba morto.

Instead, the car is going to calculate something

Em vez disso, o carro vai fazer alguns cálculos,

like the probability of hitting a certain group of people,

como a probabilidade de atingir um certo grupo de pessoas,

if you swerve one direction versus another direction,

se houver um desvio numa ou noutra direção,

you might slightly increase the risk to passengers or other drivers

pode-se aumentar o risco aos passageiros ou a outros motoristas,

versus pedestrians.

versus atropelar os pedestres.

It's going to be a more complex calculation,

Vai ser um cálculo mais complexo,

but it's still going to involve trade-offs,

mas ainda vai envolver compromissos,

and trade-offs often require ethics.

e compromissos frequentemente requerem ética.

We might say then, "Well, let's not worry about this.

Pode-se dizer: "Bem, não vamos nos preocupar com isso.

Let's wait until technology is fully ready and 100 percent safe."

Vamos aguardar até que a tecnologia esteja totalmente desenvolvida e 100% segura".

Suppose that we can indeed eliminate 90 percent of those accidents,

Suponha que se possa eliminar 90% desses acidentes,

or even 99 percent in the next 10 years.

ou mesmo 99% nos próximos 10 anos.

What if eliminating the last one percent of accidents

E se para eliminar o último 1% dos acidentes

requires 50 more years of research?

precisássemos de mais 50 anos de pesquisa?

Should we not adopt the technology?

Não deveríamos adotar a tecnologia?

That's 60 million people dead in car accidents

Serão 60 milhões de pessoas mortas em acidentes de carro,

if we maintain the current rate.

se mantivermos a taxa atual.

So the point is,

Então a questão é:

waiting for full safety is also a choice,

esperar por uma segurança total também é uma escolha,

and it also involves trade-offs.

e, também, envolve compromissos.

People online on social media have been coming up with all sorts of ways

As pessoas nas mídias sociais aparecem com todo tipo de desculpas

to not think about this problem.

para não pensar sobre isso.

One person suggested the car should just swerve somehow

Uma pessoa sugeriu que o carro deveria simplesmente passar entre os pedestres

in between the passengers --

(Laughter)

(Risos)

and the bystander.

e o transeunte.

Of course if that's what the car can do, that's what the car should do.

Naturalmente, se for possível, é o que o carro deve fazer.

We're interested in scenarios in which this is not possible.

Estamos interessados nos casos em que isso não é possível.

And my personal favorite was a suggestion by a blogger

E a minha favorita foi a sugestão de um blogueiro:

to have an eject button in the car that you press --

que houvesse um botão de ejeção no carro, que você pressiona,

(Laughter)

(Risos)

just before the car self-destructs.

pouco antes da batida.

(Laughter)

(Risos)

So if we acknowledge that cars will have to make trade-offs on the road,

Se admitirmos que os carros terão que tomar decisões nas ruas,

how do we think about those trade-offs,

como resolveremos esses compromissos

and how do we decide?

e como decidiremos?

Well, maybe we should run a survey to find out what society wants,

Talvez uma pesquisa para avaliar a posição da sociedade,

because ultimately,

porque, em última instância,

regulations and the law are a reflection of societal values.

as regulamentações e as leis são um reflexo dos valores da sociedade.

So this is what we did.

Então, fizemos o seguinte.

With my collaborators,

Com meus colaboradores,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon e Azim Shariff, fizemos uma pesquisa

we ran a survey

in which we presented people with these types of scenarios.

em que apresentamos às pessoas esses tipos de cenários.

We gave them two options inspired by two philosophers:

Oferecemos duas opções inspiradas por dois filósofos:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham e Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham diz que o carro deveria seguir a ética prática:

it should take the action that will minimize total harm --

fazer aquilo que minimiza os danos totais,

even if that action will kill a bystander

mesmo que isso mate um transeunte e mesmo que isso mate o passageiro.

and even if that action will kill the passenger.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant diz que o carro deve seguir princípios morais,

like "Thou shalt not kill."

tais como: "Não matarás".

So you should not take an action that explicitly harms a human being,

Você não deve fazer nada que prejudique especificamente um ser humano

and you should let the car take its course

e deve deixar o carro seguir seu curso, mesmo que isso prejudique mais pessoas.

even if that's going to harm more people.

What do you think?

O que você acha?

Bentham or Kant?

Bentham ou Kant?

Here's what we found.

Veja os resultados.

Most people sided with Bentham.

A maioria concordou com Bentham.

So it seems that people want cars to be utilitarian,

Parece que as pessoas querem que os carros sejam práticos,

minimize total harm,

minimizando os danos totais e é o que todos deveríamos fazer.

and that's what we should all do.

Problem solved.

Problema resolvido.

But there is a little catch.

Mas há um pequeno senão.

When we asked people whether they would purchase such cars,

Quando perguntamos às pessoas se comprariam esses carros,

they said, "Absolutely not."

disseram: "Absolutamente não".

(Laughter)

(Risos)

They would like to buy cars that protect them at all costs,

Elas gostariam de comprar carros que os protejam totalmente,

but they want everybody else to buy cars that minimize harm.

mas querem que as demais comprem os carros que minimizem os danos.

(Laughter)

(Risos)

We've seen this problem before.

Já vimos esse problema antes.

It's called a social dilemma.

Chama-se de dilema social.

And to understand the social dilemma,

E para entender esse dilema,

we have to go a little bit back in history.

temos que voltar um pouco na história.

In the 1800s,

Nos anos 1800,

English economist William Forster Lloyd published a pamphlet

o economista inglês William Forster Lloyd publicou um folheto

which describes the following scenario.

que descrevia o seguinte cenário:

You have a group of farmers --

existia um grupo de agricultores ingleses,

English farmers --

who are sharing a common land for their sheep to graze.

que compartilhavam um terreno para suas ovelhas pastarem.

Now, if each farmer brings a certain number of sheep --

Se cada fazendeiro levasse um certo número de ovelhas,

let's say three sheep --

digamos três ovelhas, a terra seria revitalizada,

the land will be rejuvenated,

the farmers are happy,

os agricultores e as ovelhas ficariam felizes,

the sheep are happy,

everything is good.

e tudo ficaria bem.

Now, if one farmer brings one extra sheep,

Agora, se um agricultor trouxesse uma ovelha a mais,

that farmer will do slightly better, and no one else will be harmed.

ele teria uma pequena vantagem, e ninguém mais seria prejudicado.

But if every farmer made that individually rational decision,

Mas, se cada fazendeiro tomasse essa decisão racional,

the land will be overrun, and it will be depleted

a terra seria exaurida e empobrecida

to the detriment of all the farmers,

em detrimento de todos os agricultores e, naturalmente, das ovelhas.

and of course, to the detriment of the sheep.

We see this problem in many places:

Vemos este problema em muitos lugares:

in the difficulty of managing overfishing,

na dificuldade de gerenciar a pesca excessiva,

or in reducing carbon emissions to mitigate climate change.

ou na redução das emissões de carbono para mitigar as mudanças climáticas.

When it comes to the regulation of driverless cars,

Quando se trata da regulamentação de carros autônomos,

the common land now is basically public safety --

a terra comum agora é basicamente a segurança pública, que é o bem comum,

that's the common good --

and the farmers are the passengers

os agricultores são os passageiros

or the car owners who are choosing to ride in those cars.

ou os donos de carros que decidiram usar aquele tipo de veículo.

And by making the individually rational choice

Fazendo uma escolha racional de priorizar sua própria segurança,

of prioritizing their own safety,

they may collectively be diminishing the common good,

pode-se estar, coletivamente, depreciando o bem comum,

which is minimizing total harm.

que é reduzir os danos totais.

It's called the tragedy of the commons,

Isso é tradicionalmente chamado de tragédia compartilhada,

traditionally,

but I think in the case of driverless cars,

mas acredito que, no caso dos carros autônomos,

the problem may be a little bit more insidious

o problema pode ser um pouco mais capcioso,

because there is not necessarily an individual human being

porque não existe necessariamente um ser humano

making those decisions.

tomando essas decisões.

So car manufacturers may simply program cars

Os fabricantes de automóveis podem simplesmente programar os carros

that will maximize safety for their clients,

que irão maximizar a segurança de seus clientes,

and those cars may learn automatically on their own

e esses carros podem aprender por conta própria

that doing so requires slightly increasing risk for pedestrians.

e isso resulta num risco ligeiramente maior para os pedestres.

So to use the sheep metaphor,

Na metáfora das ovelhas,

it's like we now have electric sheep that have a mind of their own.

é como se existisse uma ovelha elétrica tomando decisões próprias.

(Laughter)

(Risos)

And they may go and graze even if the farmer doesn't know it.

Elas poderiam ir pastar, sem o agricultor saber.

So this is what we may call the tragedy of the algorithmic commons,

Isso é o que se chama de tragédia dos algorítmicos compartilhados,

and if offers new types of challenges.

e oferece novos tipos de desafios.

Typically, traditionally,

Normalmente, tradicionalmente,

we solve these types of social dilemmas using regulation,

resolvemos esses tipos de dilemas sociais com a regulamentação,

so either governments or communities get together,

em que os governos ou as próprias comunidades,

and they decide collectively what kind of outcome they want

decidem coletivamente o que se deseja

and what sort of constraints on individual behavior

e quais restrições sobre comportamentos individuais são necessárias.

they need to implement.

And then using monitoring and enforcement,

Então, com o acompanhamento e a aplicação,

they can make sure that the public good is preserved.

pode-se garantir a preservação do bem público.

So why don't we just,

Então, por que não nós, como regulamentadores,

as regulators,

require that all cars minimize harm?

exigimos que todos os carros minimizem os prejuízos?

After all, this is what people say they want.

Afinal, isso é o que as pessoas querem.

And more importantly,

E, o mais importante, posso ter certeza que, como indivíduo,

I can be sure that as an individual,

if I buy a car that may sacrifice me in a very rare case,

se eu comprar um carro que possa me prejudicar muito raramente,

I'm not the only sucker doing that

não seria o único fazendo isso,

while everybody else enjoys unconditional protection.

enquanto as outras pessoas teriam proteção incondicional.

In our survey, we did ask people whether they would support regulation

Na pesquisa, perguntamos se as pessoas apoiariam a regulamentação

and here's what we found.

e este é o resultado.

First of all, people said no to regulation;

Em primeiro lugar, elas disseram não à regulamentação;

and second, they said,

e em segundo, disseram:

"Well if you regulate cars to do this and to minimize total harm,

"Se houver uma regulamentação dos carros para fazer isso e minimizar danos totais,

I will not buy those cars."

não comprarei esses carros".

So ironically,

Ironicamente,

by regulating cars to minimize harm,

regulamentando-se os carros para minimizarem os danos,

we may actually end up with more harm

pode-se, de fato, causar mais danos

because people may not opt into the safer technology

porque as pessoas podem não optar pela tecnologia mais segura,

even if it's much safer than human drivers.

mesmo se for mais seguro que motoristas humanos.

I don't have the final answer to this riddle,

Não tenho uma resposta definitiva para este enigma,

but I think as a starting point,

mas acho que, como início, precisamos de uma resposta da sociedade,

we need society to come together

to decide what trade-offs we are comfortable with

e decidir quais são os compromissos mais adequados

and to come up with ways in which we can enforce those trade-offs.

e para encontrar formas de impor esses compromissos.

As a starting point, my brilliant students,

Como ponto de partida, meus alunos brilhantes,

Edmond Awad and Sohan Dsouza,

Edmond Awad e Sohan Dsouza, criaram o site chamado Moral Machine,

built the Moral Machine website,

which generates random scenarios at you --

que produz situações aleatórias,

basically a bunch of random dilemmas in a sequence

ou seja, vários dilemas aleatórios em sequência,

where you have to choose what the car should do in a given scenario.

nos quais se deve escolher que decisão o carro deve tomar numa certa situação.

And we vary the ages and even the species of the different victims.

Variamos as idades e até mesmo os tipos das diferentes vítimas.

So far we've collected over five million decisions

Até agora, obtivemos mais de 5 milhões de respostas,

by over one million people worldwide

de mais de um milhão de pessoas no mundo todo,

from the website.

a partir do site.

And this is helping us form an early picture

Isso está nos ajudando a formar um quadro inicial

of what trade-offs people are comfortable with

de como as pessoas encaram os compromissos

and what matters to them --

e com o que elas se importam, mesmo em outras culturas.

even across cultures.

But more importantly,

O mais importante

doing this exercise is helping people recognize

ao fazer este exercício, é ajudar as pessoas a reconhecer

the difficulty of making those choices

a dificuldade de se fazerem as escolhas,

and that the regulators are tasked with impossible choices.

que os legisladores terão de enfrentar com essas alternativas impossíveis.

And maybe this will help us as a society understand the kinds of trade-offs

Talvez isso ajude a sociedade a entender os tipos de compromissos

that will be implemented ultimately in regulation.

que existirão na regulamentação.

And indeed, I was very happy to hear

Fiquei muito feliz ao ouvir que o primeiro conjunto de regulamentos,

that the first set of regulations

that came from the Department of Transport --

anunciado pelo Departamento de Transportes, na semana passada,

announced last week --

included a 15-point checklist for all carmakers to provide,

tem uma lista de 15 pontos

que todas as montadoras devem fornecer,

and number 14 was ethical consideration --

e o número 14 é uma consideração ética, de como se vai lidar com isso.

how are you going to deal with that.

We also have people reflect on their own decisions

Temos pessoas refletindo sobre suas próprias decisões,

by giving them summaries of what they chose.

porque se mostrou a elas um resumo de suas próprias escolhas.

I'll give you one example --

Vamos ver um exemplo,

I'm just going to warn you that this is not your typical example,

e já aviso que este não é um exemplo de um usuário típico.

your typical user.

This is the most sacrificed and the most saved character for this person.

Este é o personagem mais sacrificado e mais salvo para essa pessoa.

(Laughter)

(Risos)

[Resultados]

[Personagem mais salvo]

[Personagem mais morto]

Some of you may agree with him,

Alguns podem concordar com ele,

or her, we don't know.

ou com ela, não sabemos.

But this person also seems to slightly prefer passengers over pedestrians

Essa pessoa também parece preferir ligeiramente passageiros do que pedestres

in their choices

em suas escolhas

and is very happy to punish jaywalking.

e fica muito feliz em punir pedestres imprudentes.

(Laughter)

(Risos)

So let's wrap up.

Vamos terminar aqui.

We started with the question -- let's call it the ethical dilemma --

Nós começamos com uma pergunta, vamos chamá-la de dilema ético,

of what the car should do in a specific scenario:

sobre o que os carros deveriam fazer num cenário específico:

swerve or stay?

desviar ou não?

But then we realized that the problem was a different one.

Então, percebe-se que o problema é diferente.

It was the problem of how to get society to agree on and enforce

É o problema de como conseguir que a sociedade concorde e respeite

the trade-offs they're comfortable with.

os compromissos em que se sentem confortáveis. É um dilema social.

It's a social dilemma.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

Na década de 1940, Isaac Asimov escreveu suas famosas leis da robótica,

the three laws of robotics.

as três leis da robótica:

A robot may not harm a human being,

um robô não pode ferir um ser humano,

a robot may not disobey a human being,

um robô não pode desobedecer um ser humano,

and a robot may not allow itself to come to harm --

e um robô não pode se prejudicar,

in this order of importance.

nesta ordem de importância.

But after 40 years or so

Depois de 40 anos

and after so many stories pushing these laws to the limit,

e depois de tantas histórias levando essas leis ao limite,

Asimov introduced the zeroth law

Asimov criou a lei zero,

which takes precedence above all,

que tem prioridade acima de tudo,

and it's that a robot may not harm humanity as a whole.

aquela em que um robô não pode fazer mal à humanidade.

I don't know what this means in the context of driverless cars

Não sei o que isso significa no contexto dos carros autônomos,

or any specific situation,

ou em qualquer situação específica,

and I don't know how we can implement it,

e não sei como podemos implementar isso, mas acredito que, ao reconhecer

but I think that by recognizing

that the regulation of driverless cars is not only a technological problem

que a regulamentação não é apenas um problema tecnológico,

but also a societal cooperation problem,

mas também um problema de cooperação social,

I hope that we can at least begin to ask the right questions.

espero que possamos começar a fazer as perguntas certas.

Thank you.

Obrigado.

(Applause)

(Aplausos)