What moral decisions should driverless cars make? | Iyad Rahwan

Traductor: Analia Padin Revisor: Sebastian Betti

Today I'm going to talk about technology and society.

Hoy voy a hablar de tecnología y de la sociedad.

The Department of Transport estimated that last year

El Departamento de Transporte estimó que, el año pasado,

35,000 people died from traffic crashes in the US alone.

hubo 35 000 muertos en accidentes de auto, tan solo en EE.UU.

Worldwide, 1.2 million people die every year in traffic accidents.

A nivel mundial, mueren 1,2 millones de personas por año en accidentes de auto.

If there was a way we could eliminate 90 percent of those accidents,

Si hubiera una manera de eliminar el 90 % de esos accidentes,

would you support it?

¿apoyarían la causa?

Of course you would.

Por supuesto que lo harían.

This is what driverless car technology promises to achieve

Esto es lo que promete la tecnología de vehículos autónomos,

by eliminating the main source of accidents --

al eliminar la principal causa de accidentes:

human error.

el error humano.

Now picture yourself in a driverless car in the year 2030,

Imagínense en el año 2030, viajando en un vehículo autónomo,

sitting back and watching this vintage TEDxCambridge video.

sentados, mirando este video vintage de un evento TEDxCambridge.

(Laughter)

(Risas)

All of a sudden,

De pronto,

the car experiences mechanical failure and is unable to stop.

el auto tiene una falla mecánica y no puede detenerse.

If the car continues,

Si el auto continúa,

it will crash into a bunch of pedestrians crossing the street,

va a atropellar a un grupo de peatones que cruza la calle.

but the car may swerve,

Pero el auto puede cambiar de dirección,

hitting one bystander,

atropellar a un solo transeúnte,

killing them to save the pedestrians.

matarlo, y así salvar a los peatones.

What should the car do, and who should decide?

¿Qué debería hacer el auto, y quién debería decidir?

What if instead the car could swerve into a wall,

¿Y si en cambio el auto pudiera irse contra una pared,

crashing and killing you, the passenger,

chocar y matarte a ti, el pasajero,

in order to save those pedestrians?

para salvar a los peatones?

This scenario is inspired by the trolley problem,

Este caso hipotético está inspirado en el dilema del tranvía,

which was invented by philosophers a few decades ago

que fue inventado por unos filósofos hace unas décadas

to think about ethics.

para reflexionar sobre la ética.

Now, the way we think about this problem matters.

Es importante saber cómo pensamos en este problema.

We may for example not think about it at all.

Podríamos, por ejemplo, no pensar en esto en absoluto.

We may say this scenario is unrealistic,

Podríamos decir que la situación es poco realista,

incredibly unlikely, or just silly.

remotamente probable, o simplemente absurda.

But I think this criticism misses the point

Pero para mí esta crítica pierde de vista el problema,

because it takes the scenario too literally.

porque se toma la situación muy al pie de la letra.

Of course no accident is going to look like this;

Por supuesto que ningún accidente es exactamente así;

no accident has two or three options

ningún accidente tiene dos o tres opciones

where everybody dies somehow.

donde de una forma u otra muere alguien.

Instead, the car is going to calculate something

Lo que va a ocurrir, es que el auto va a calcular algo,

like the probability of hitting a certain group of people,

como la probabilidad de atropellar a un determinado grupo de personas

if you swerve one direction versus another direction,

si toma una dirección u otra.

you might slightly increase the risk to passengers or other drivers

Se podría aumentar levemente el riesgo de los pasajeros y conductores,

versus pedestrians.

en favor de los peatones.

It's going to be a more complex calculation,

Va a ser un cálculo más complejo,

but it's still going to involve trade-offs,

pero aun así va a implicar hacer concesiones,

and trade-offs often require ethics.

y las concesiones normalmente requieren una ética.

We might say then, "Well, let's not worry about this.

Podríamos decir: "Bueno, no nos preocupemos por esto.

Let's wait until technology is fully ready and 100 percent safe."

Esperemos a que la tecnología esté totalmente preparada y sea 100 % segura".

Suppose that we can indeed eliminate 90 percent of those accidents,

Supongamos que efectivamente podemos eliminar el 90 % de esos accidentes,

or even 99 percent in the next 10 years.

o incluso el 99 % en los próximos 10 años.

What if eliminating the last one percent of accidents

¿Qué pasaría si eliminar el 1 % de los accidentes restante

requires 50 more years of research?

llevara 50 años más de investigación?

Should we not adopt the technology?

¿No deberíamos adoptar la tecnología?

That's 60 million people dead in car accidents

Estaríamos hablando de 60 millones de muertos en accidentes de auto

if we maintain the current rate.

si seguimos al ritmo al que vamos.

So the point is,

Quiere decir que,

waiting for full safety is also a choice,

esperar a tener seguridad total también es una elección

and it also involves trade-offs.

y también implica hacer concesiones.

People online on social media have been coming up with all sorts of ways

En línea, en las redes sociales, la gente ha estado proponiendo todo tipo de ideas

to not think about this problem.

para no pensar en este problema.

One person suggested the car should just swerve somehow

Una persona sugirió que el auto debería zigzaguear de alguna forma

in between the passengers --

entre los peatones...

(Laughter)

(Risas)

and the bystander.

y el transeúnte.

Of course if that's what the car can do, that's what the car should do.

Por supuesto que, si el auto fuera capaz de hacer eso, debería hacerlo.

We're interested in scenarios in which this is not possible.

Pero nos interesan las situaciones donde esto no es posible.

And my personal favorite was a suggestion by a blogger

Mi favorita fue la idea de un bloguero

to have an eject button in the car that you press --

que propuso un botón de "eyectarse" que se presiona justo antes...

(Laughter)

(Risas)

just before the car self-destructs.

de que el auto se autodestruya.

(Laughter)

(Risas)

So if we acknowledge that cars will have to make trade-offs on the road,

Entonces, si aceptamos que los autos van a tener que hacer concesiones,

how do we think about those trade-offs,

¿cómo pensamos en esas concesiones,

and how do we decide?

y cómo decidimos cuáles son?

Well, maybe we should run a survey to find out what society wants,

Tal vez deberíamos hacer una encuesta y ver qué quiere la sociedad,

because ultimately,

porque en última instancia,

regulations and the law are a reflection of societal values.

las regulaciones y las leyes son el reflejo de los valores sociales.

So this is what we did.

Y fue lo que hicimos.

With my collaborators,

Con mis colaboradores,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon y Azim Shariff,

we ran a survey

hicimos una encuesta

in which we presented people with these types of scenarios.

en la que le propusimos a la gente este tipo de situaciones.

We gave them two options inspired by two philosophers:

Les dimos dos opciones inspiradas en dos filósofos:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham e Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham dice que el auto debería seguir la ética del utilitarismo:

it should take the action that will minimize total harm --

debería tomar la acción que minimice el daño total,

even if that action will kill a bystander

aun si esto implica matar a un transeúnte,

and even if that action will kill the passenger.

y aun si esto implica matar al pasajero.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant dice que el auto debería seguir la ética del deber,

like "Thou shalt not kill."

tal como "No matarás".

So you should not take an action that explicitly harms a human being,

O sea que no deberías tomar ninguna acción que implique hacerle daño a un ser humano,

and you should let the car take its course

y deberías dejar que el auto siga su curso

even if that's going to harm more people.

aun si eso resulta en más heridos.

What do you think?

¿Uds. qué piensan?

Bentham or Kant?

¿Bentham o Kant?

Here's what we found.

El resultado fue este:

Most people sided with Bentham.

la mayoría optó por Bentham.

So it seems that people want cars to be utilitarian,

Así que parece que la gente quiere que los autos sean utilitarios,

minimize total harm,

minimizar el daño total,

and that's what we should all do.

y eso es lo que deberíamos hacer.

Problem solved.

Problema solucionado.

But there is a little catch.

Pero hay una pequeña trampa.

When we asked people whether they would purchase such cars,

Cuando le preguntamos a la gente si comprarían estos autos,

they said, "Absolutely not."

la respuesta fue un "No" rotundo.

(Laughter)

(Risas)

They would like to buy cars that protect them at all costs,

Les gustaría comprar un auto que los proteja a ellos a toda costa,

but they want everybody else to buy cars that minimize harm.

pero quieren que los demás compren autos que minimicen el daño.

(Laughter)

(Risas)

We've seen this problem before.

Ya conocemos este tipo de problema.

It's called a social dilemma.

Es un dilema social.

And to understand the social dilemma,

Y para entender el dilema social,

we have to go a little bit back in history.

hay que retroceder un poco en la historia.

In the 1800s,

En el 1800,

English economist William Forster Lloyd published a pamphlet

el economista inglés William Forster Lloyd publicó un folleto

which describes the following scenario.

que describe la siguiente situación.

You have a group of farmers --

Hay un grupo de pastores,

English farmers --

pastores ingleses,

who are sharing a common land for their sheep to graze.

que comparten un prado común donde pastan sus ovejas.

Now, if each farmer brings a certain number of sheep --

Si cada pastor trae una cierta cantidad de ovejas,

let's say three sheep --

digamos tres ovejas,

the land will be rejuvenated,

el suelo se recupera bien,

the farmers are happy,

los pastores contentos,

the sheep are happy,

las ovejas contentas,

everything is good.

todo va bien.

Now, if one farmer brings one extra sheep,

Ahora, si uno de los pastores trae una oveja extra,

that farmer will do slightly better, and no one else will be harmed.

ese pastor va a estar un poquito mejor, y nadie más va a salir perjudicado.

But if every farmer made that individually rational decision,

Pero si cada pastor tomara esa decisión individualmente racional,

the land will be overrun, and it will be depleted

el prado se vería sobreexplotado y el pasto se agotaría,

to the detriment of all the farmers,

en detrimento de todos los pastores,

and of course, to the detriment of the sheep.

y por supuesto, en detrimento de las ovejas.

We see this problem in many places:

Es un problema que se ve mucho:

in the difficulty of managing overfishing,

en la dificultad de controlar la sobrepesca,

or in reducing carbon emissions to mitigate climate change.

o al reducir las emisiones de carbono para contrarrestar el cambio climático.

When it comes to the regulation of driverless cars,

Volviendo al tema de la regulación de vehículos autónomos,

the common land now is basically public safety --

el prado común vendría a ser básicamente la seguridad pública;

that's the common good --

ese es el bien común.

and the farmers are the passengers

Y los pastores serían los pasajeros

or the car owners who are choosing to ride in those cars.

o los dueños de los autos que eligen viajar en esos vehículos.

And by making the individually rational choice

Y al tomar la decisión individualmente racional

of prioritizing their own safety,

de priorizar su propia seguridad,

they may collectively be diminishing the common good,

podrían estar disminuyendo colectivamente el bien común,

which is minimizing total harm.

que es minimizar el daño total.

It's called the tragedy of the commons,

Esto se llama "tragedia de los comunes",

traditionally,

tradicionalmente,

but I think in the case of driverless cars,

pero creo que en el caso de los vehículos autónomos,

the problem may be a little bit more insidious

el problema es tal vez un poquito más traicionero

because there is not necessarily an individual human being

porque no es necesariamente un ser humano

making those decisions.

el que toma las decisiones.

So car manufacturers may simply program cars

Entonces, los fabricantes podrían simplemente programar los autos

that will maximize safety for their clients,

para maximizar la seguridad de sus clientes.

and those cars may learn automatically on their own

Y esos autos podrían aprender, automáticamente y por su cuenta,

that doing so requires slightly increasing risk for pedestrians.

que hacer eso requiere aumentar levemente el riesgo de los peatones.

So to use the sheep metaphor,

O sea que, volviendo a las ovejas:

it's like we now have electric sheep that have a mind of their own.

es como si ahora tuviéramos ovejas eléctricas que piensan solas.

(Laughter)

(Risas)

And they may go and graze even if the farmer doesn't know it.

Y pueden irse a pastar solas aunque el pastor no lo sepa.

So this is what we may call the tragedy of the algorithmic commons,

O sea que a esto podríamos llamarlo "la tragedia de los comunes algorítmicos",

and if offers new types of challenges.

y nos presenta nuevos desafíos.

Typically, traditionally,

Típicamente, tradicionalmente,

we solve these types of social dilemmas using regulation,

este tipo de dilemas sociales se resuelven implementando regulación.

so either governments or communities get together,

Ya sea el gobierno o la comunidad, se juntan

and they decide collectively what kind of outcome they want

y deciden colectivamente qué resultado quieren obtener,

and what sort of constraints on individual behavior

y qué tipo de restricciones a la conducta individual

they need to implement.

necesitan implementar.

And then using monitoring and enforcement,

Y luego, a través del control y la imposición de normas,

they can make sure that the public good is preserved.

pueden garantizar la preservación del bien común.

So why don't we just,

Entonces ¿por qué no exigimos,

as regulators,

en nuestro rol de reguladores,

require that all cars minimize harm?

que todos los autos tienen que minimizar el daño?

After all, this is what people say they want.

A fin de cuentas, eso es lo que la gente dice que quiere.

And more importantly,

Y más importante aún,

I can be sure that as an individual,

puedo estar seguro de que, como individuo,

if I buy a car that may sacrifice me in a very rare case,

si compro un auto que en un caso muy extremo podría llegar a sacrificarme,

I'm not the only sucker doing that

no soy el único papanatas haciéndolo

while everybody else enjoys unconditional protection.

mientras todos los demás gozan de protección ilimitada.

In our survey, we did ask people whether they would support regulation

En nuestra encuesta indagamos acerca de la idea de la regulación,

and here's what we found.

y el resultado fue este:

First of all, people said no to regulation;

Primero, la gente dijo "no" a la regulación;

and second, they said,

y segundo:

"Well if you regulate cars to do this and to minimize total harm,

"Bueno, si van a regular los autos para actuar así y minimizar el daño total,

I will not buy those cars."

yo no los voy a comprar".

So ironically,

Entonces, irónicamente,

by regulating cars to minimize harm,

al regular los autos para minimizar el daño,

we may actually end up with more harm

podríamos acabar con más daño

because people may not opt into the safer technology

porque la gente no adoptaría esta nueva tecnología

even if it's much safer than human drivers.

aun cuando es mucho más segura que los conductores humanos.

I don't have the final answer to this riddle,

No tengo la respuesta final a este acertijo,

but I think as a starting point,

pero creo que, para empezar,

we need society to come together

necesitamos que la sociedad se ponga de acuerdo

to decide what trade-offs we are comfortable with

sobre las concesiones que está dispuesta a aceptar,

and to come up with ways in which we can enforce those trade-offs.

y las posibles maneras de imponer esas concesiones.

As a starting point, my brilliant students,

Como punto de partida, mis brillantes alumnos,

Edmond Awad and Sohan Dsouza,

Edmond Awad y Sohan Dsouza,

built the Moral Machine website,

construyeron el sitio web Moral Machine,

which generates random scenarios at you --

que genera y presenta situaciones hipotéticas al azar;

basically a bunch of random dilemmas in a sequence

es básicamente una secuencia aleatoria de dilemas

where you have to choose what the car should do in a given scenario.

donde tienes que elegir qué debería hacer el auto en cada caso.

And we vary the ages and even the species of the different victims.

Y variamos las edades y hasta las especies de las distintas víctimas.

So far we've collected over five million decisions

Hasta ahora hemos recolectado más de 5 millones de decisiones,

by over one million people worldwide

de más de un millón de personas en todo el mundo

from the website.

a través del sitio web.

And this is helping us form an early picture

Esto nos está ayudando a pintar un panorama inicial

of what trade-offs people are comfortable with

de las concesiones que la gente está dispuesta a hacer

and what matters to them --

y de qué es lo que les importa,

even across cultures.

incluso en distintas culturas.

But more importantly,

Pero, lo que es más importante,

doing this exercise is helping people recognize

este ejercicio está ayudando a la gente a comprender

the difficulty of making those choices

lo difícil que es tomar esas decisiones,

and that the regulators are tasked with impossible choices.

y que los organismos reguladores se enfrentan con decisiones imposibles.

And maybe this will help us as a society understand the kinds of trade-offs

Y tal vez esto nos ayude, como sociedad, a entender el tipo de concesiones

that will be implemented ultimately in regulation.

que se van a implementar, en última instancia, como normativa.

And indeed, I was very happy to hear

Me alegré mucho cuando me enteré

that the first set of regulations

de que el primer conjunto de regulaciones

that came from the Department of Transport --

que publicó el Departamento de Transporte

announced last week --

la semana pasada

included a 15-point checklist for all carmakers to provide,

incluye una lista de 15 ítems que deben presentar los fabricantes,

and number 14 was ethical consideration --

y el número 14 es "consideraciones éticas";

how are you going to deal with that.

cómo van a manejar ese tema.

We also have people reflect on their own decisions

En el sitio, la gente también puede reflexionar sobre sus decisiones

by giving them summaries of what they chose.

al recibir un resumen de las opciones que eligieron.

I'll give you one example --

Les voy a dar un ejemplo.

I'm just going to warn you that this is not your typical example,

Les advierto que no es un ejemplo típico;

your typical user.

no es un usuario típico.

This is the most sacrificed and the most saved character for this person.

Estos son los individuos que esta persona más salvó y más sacrificó.

(Laughter)

(Risas)

Some of you may agree with him,

Algunos de Uds. estarán de acuerdo con él,

or her, we don't know.

o ella, no sabemos.

But this person also seems to slightly prefer passengers over pedestrians

Esta persona también parece inclinarse más a favor del pasajero que del peatón,

in their choices

según las opciones que escogió,

and is very happy to punish jaywalking.

y no tiene problema en castigar al peatón imprudente.

(Laughter)

(Risas)

So let's wrap up.

Entonces, redondeando.

We started with the question -- let's call it the ethical dilemma --

Empezamos con la pregunta, llamémosle dilema ético,

of what the car should do in a specific scenario:

de qué debería hacer el auto en una situación específica:

swerve or stay?

¿cambiar de dirección o seguir?

But then we realized that the problem was a different one.

Pero luego nos dimos cuenta de que el problema es otro.

It was the problem of how to get society to agree on and enforce

El problema es que la sociedad se ponga de acuerdo

sobre qué concesiones le son aceptables y cómo imponerlas.

the trade-offs they're comfortable with.

It's a social dilemma.

Es un dilema social.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

En 1940, Isaac Asimov escribió sus famosas leyes de la robótica;

the three laws of robotics.

las tres leyes de la robótica.

A robot may not harm a human being,

Un robot no hará daño al ser humano,

a robot may not disobey a human being,

un robot debe obedecer al ser humano,

and a robot may not allow itself to come to harm --

y un robot debe preservarse a sí mismo.

in this order of importance.

En ese orden de importancia.

But after 40 years or so

Pero después de 40 años más o menos,

and after so many stories pushing these laws to the limit,

y después de tantas historias que llevaron estas leyes al límite,

Asimov introduced the zeroth law

Asimov introdujo la ley cero,

which takes precedence above all,

que precede a las demás,

and it's that a robot may not harm humanity as a whole.

y es que un robot no hará daño a la Humanidad.

I don't know what this means in the context of driverless cars

No sé qué quiere decir esto en el contexto de los vehículos autónomos,

or any specific situation,

o en cualquier situación específica,

and I don't know how we can implement it,

y no sé cómo lo podemos implementar,

but I think that by recognizing

pero creo que reconociendo

that the regulation of driverless cars is not only a technological problem

que la regulación de vehículos autónomos no es solo un problema tecnológico

but also a societal cooperation problem,

sino también un problema de cooperación social,

I hope that we can at least begin to ask the right questions.

espero que podamos al menos empezar a hacer las preguntas adecuadas.

Thank you.

Gracias.

(Applause)

(Aplausos)