3 principles for creating safer AI | Stuart Russell

Traductor: Denise RQ Revisor: Marta Palacio

This is Lee Sedol.

Este es Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol es uno de los mejores jugadores de Go del mundo.

Y está teniendo lo que mis amigos de Silicon Valley llaman

and he's having what my friends in Silicon Valley call

un momento "¡Bendito Dios!".

a "Holy Cow" moment --

(Laughter)

(Risas)

a moment where we realize

Un momento en el que nos damos cuenta

that AI is actually progressing a lot faster than we expected.

de que la IA está avanzando mucho más rápido de lo que esperábamos.

So humans have lost on the Go board. What about the real world?

Los humanos han perdido en el tablero de Go.

¿Y en el mundo real?

Well, the real world is much bigger,

Bueno, el mundo real es mucho más grande y complicado

much more complicated than the Go board.

que el tablero de Go.

It's a lot less visible,

Es mucho menos visible.

Pero sigue siendo un problema de decisión.

but it's still a decision problem.

And if we think about some of the technologies

Y si pensamos en algunas de las tecnologías que están por venir

that are coming down the pike ...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] mencionó que las máquinas aún no saben leer,

at least with understanding.

al menos no comprendiendo,

But that will happen,

pero lo harán, y cuando eso suceda,

and when that happens,

very soon afterwards,

poco después las máquinas habrán leído todo lo que la raza humana ha escrito.

machines will have read everything that the human race has ever written.

And that will enable machines,

Eso permitirá a las máquinas,

along with the ability to look further ahead than humans can,

junto a su habilidad mirar más allá de lo que pueden los humanos,

as we've already seen in Go,

como ya hemos visto en el Go,

si también tienen acceso a más información,

if they also have access to more information,

they'll be able to make better decisions in the real world than we can.

serán capaces de tomar mejores decisiones en el mundo real

que nosotros.

So is that a good thing?

¿Es eso bueno?

Well, I hope so.

Bueno, espero que sí.

Our entire civilization, everything that we value,

Toda nuestra civilización, todo lo que valoramos,

is based on our intelligence.

se basa en nuestra inteligencia.

And if we had access to a lot more intelligence,

Y si tuviéramos acceso a mucha más inteligencia,

then there's really no limit to what the human race can do.

entonces no existirían límites para lo que la raza humana pueda hacer.

And I think this could be, as some people have described it,

Y creo que este podría ser, como han dicho algunos,

the biggest event in human history.

el mayor acontecimiento de la historia de la humanidad.

So why are people saying things like this,

Entonces, ¿por qué la gente afirma cosas como esta?

that AI might spell the end of the human race?

Que la inteligencia artificial podría significar el fin de la raza humana.

Is this a new thing?

¿Es esto algo nuevo?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

¿Se trata solo de Elon Musk y Bill Gates y Stephen Hawking?

Actually, no. This idea has been around for a while.

En realidad, no. Esta idea no es nueva.

Here's a quotation:

He aquí una cita:

"Even if we could keep the machines in a subservient position,

"Incluso si pudiéramos mantener las máquinas en una posición servil,

for instance, by turning off the power at strategic moments" --

por ejemplo, desconectándolas en momentos estratégicos"

and I'll come back to that "turning off the power" idea later on --

--volveré a esa idea de "quitar la corriente" más adelante--

"we should, as a species, feel greatly humbled."

"deberíamos, como especie, sentirnos humillados".

So who said this? This is Alan Turing in 1951.

¿Quién dijo esto? Este es Alan Turing, en 1951.

Alan Turing, as you know, is the father of computer science

Alan Turing, como Uds. saben, es el padre de la informática

and in many ways, the father of AI as well.

y en muchos sentidos también el padre de la IA.

So if we think about this problem,

Así que si pensamos en este problema,

the problem of creating something more intelligent than your own species,

el problema de crear algo más inteligente que tu propia especie,

we might call this "the gorilla problem,"

podríamos llamar a esto "el problema del gorila".

because gorillas' ancestors did this a few million years ago,

Porque los antepasados de los gorilas hicieron esto hace unos millones de años,

and now we can ask the gorillas:

y ahora podríamos preguntar a los gorilas:

Was this a good idea?

¿Fue una buena idea?

So here they are having a meeting to discuss whether it was a good idea,

Aquí están, reunidos para discutir si fue una buena idea,

and after a little while, they conclude, no,

y pasado un tiempo concluyen que no.

this was a terrible idea.

Fue una idea terrible.

Our species is in dire straits.

Nuestra especie está en apuros.

In fact, you can see the existential sadness in their eyes.

De hecho, pueden ver la tristeza existencial en sus ojos.

(Laughter)

(Risas)

So this queasy feeling that making something smarter than your own species

Así que esta sensación mareante de que crear algo más inteligente

que tu propia especie tal vez no sea buena idea...

is maybe not a good idea --

what can we do about that?

¿Qué podemos hacer al respecto?

Well, really nothing, except stop doing AI,

Bueno, nada en realidad, excepto dejar de hacer IA.

and because of all the benefits that I mentioned

Y por todos los beneficios que he mencionado

and because I'm an AI researcher,

y porque soy un investigador de IA,

I'm not having that.

no voy a tomar eso.

I actually want to be able to keep doing AI.

Sin duda quiero seguir creando IA.

So we actually need to nail down the problem a bit more.

Así que necesitamos precisar el problema un poco más.

What exactly is the problem?

¿Cuál es el problema?

Why is better AI possibly a catastrophe?

¿Por qué tener mejor IA puede ser una catástrofe?

So here's another quotation:

Aquí hay otra cita:

"We had better be quite sure that the purpose put into the machine

"Más nos vale estar seguros de que el propósito

que introducimos en la máquina es el que de verdad deseamos".

is the purpose which we really desire."

Esto fue dicho por Norbert Wiener en 1960,

This was said by Norbert Wiener in 1960,

shortly after he watched one of the very early learning systems

poco después de ver a uno de los primeros sistemas de aprendizaje

learn to play checkers better than its creator.

aprender a jugar a las damas mejor que su creador.

But this could equally have been said

Pero esto podría haberlo dicho de igual modo el Rey Midas.

by King Midas.

El Rey Midas dijo, "Deseo que todo lo que toque se convierta en oro".

King Midas said, "I want everything I touch to turn to gold,"

Y obtuvo justo lo que pidió.

and he got exactly what he asked for.

That was the purpose that he put into the machine,

Fue el propósito que introdujo en la máquina, por así decirlo.

so to speak,

and then his food and his drink and his relatives turned to gold

Y luego su comida, su bebida y sus familiares se convirtieron en oro

and he died in misery and starvation.

y murió miserable y muerto de hambre.

So we'll call this "the King Midas problem"

Así que llamaremos a esto "el problema del rey Midas",

of stating an objective which is not, in fact,

el de indicar un objetivo que no está realmente

truly aligned with what we want.

alineado con lo que de verdad queremos.

In modern terms, we call this "the value alignment problem."

En términos modernos, lo llamamos "el problema de alineación de valor".

Putting in the wrong objective is not the only part of the problem.

Introducir un objetivo equivocado no es la única parte del problema.

There's another part.

Hay otra parte.

If you put an objective into a machine,

Al introducir un objetivo en una máquina

even something as simple as, "Fetch the coffee,"

incluso algo tan simple como "Trae el café",

the machine says to itself,

la máquina se dice a sí misma,

"Well, how might I fail to fetch the coffee?

"¿Cómo podría fallar yendo a buscar el café?

Alguien podría desconectarme.

Someone might switch me off.

Vale, debo tomar medidas para evitarlo.

OK, I have to take steps to prevent that.

I will disable my 'off' switch.

Desactivaré mi interruptor de 'apagado'.

Haré cualquier cosa para protegerme de interferencias

I will do anything to defend myself against interference

with this objective that I have been given."

con este objetivo que me han dado.

So this single-minded pursuit

Así que esta persecución obsesiva

de un modo muy defensivo para lograr un objetivo

in a very defensive mode of an objective that is, in fact,

que no está alineado con los verdaderos objetivos

not aligned with the true objectives of the human race --

de la raza humana...

that's the problem that we face.

ese es el problema al que nos enfrentamos.

And in fact, that's the high-value takeaway from this talk.

Y de hecho esa es la lección más valiosa de esta charla.

If you want to remember one thing,

Si quieren recordar una cosa

it's that you can't fetch the coffee if you're dead.

es que no se puede ir a buscar el café si se está muerto.

(Laughter)

(Risas)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Es muy simple. Solo recuerden eso. Repítanlo tres veces al día.

(Laughter)

(Risas)

And in fact, this is exactly the plot

Y de hecho, este es el mismo argumento

of "2001: [A Space Odyssey]"

de "2001: [Una odisea del espacio]".

HAL has an objective, a mission,

HAL tiene un objetivo, una misión,

which is not aligned with the objectives of the humans,

que no está alineada con los objetivos de los humanos,

and that leads to this conflict.

y eso conduce a este conflicto.

Now fortunately, HAL is not superintelligent.

Por suerte HAL no es superinteligente.

He's pretty smart, but eventually Dave outwits him

Es bastante inteligente, pero llegado el momento,

Dave lo supera y logra apagarlo.

and manages to switch him off.

But we might not be so lucky.

Pero tal vez no tengamos tanta suerte.

So what are we going to do?

Entonces, ¿qué vamos a hacer?

I'm trying to redefine AI

Estoy tratando de redefinir la IA

to get away from this classical notion

para alejarnos de esta noción clásica

of machines that intelligently pursue objectives.

de máquinas que persiguen objetivos de manera inteligente.

There are three principles involved.

Hay tres principios implicados.

The first one is a principle of altruism, if you like,

El primero es un principio de altruismo, por así decirlo,

that the robot's only objective

el único objetivo del robot

is to maximize the realization of human objectives,

es maximizar la realización de los objetivos humanos,

of human values.

de los valores humanos.

And by values here I don't mean touchy-feely, goody-goody values.

Y por valores aquí no me refiero a valores sentimentales o de bondad.

I just mean whatever it is that the human would prefer

Solo quiero decir aquello más similar a la vida

their life to be like.

que un humano preferiría.

And so this actually violates Asimov's law

Y esto viola la ley de Asimov

that the robot has to protect its own existence.

de que el robot debe proteger su propia existencia.

It has no interest in preserving its existence whatsoever.

No tiene ningún interés en preservar su existencia en absoluto.

The second law is a law of humility, if you like.

La segunda ley es una ley de humildad, digamos.

And this turns out to be really important to make robots safe.

Y resulta muy importante para que los robots sean seguros.

It says that the robot does not know

Dice que el robot no sabe

what those human values are,

cuáles son esos valores humanos,

so it has to maximize them, but it doesn't know what they are.

así que debe maximizarlos, pero no sabe lo que son.

And that avoids this problem of single-minded pursuit

Lo cual evita el problema de la búsqueda obsesiva

of an objective.

de un objetivo.

This uncertainty turns out to be crucial.

Esta incertidumbre resulta crucial.

Now, in order to be useful to us,

Claro que para sernos útiles,

it has to have some idea of what we want.

deben tener alguna idea de lo que queremos.

It obtains that information primarily by observation of human choices,

Obtiene esa información sobre todo observando elecciones humanas,

so our own choices reveal information

para que nuestras propias decisiones revelen información

about what it is that we prefer our lives to be like.

sobre lo que nosotros preferimos para nuestras vidas.

So those are the three principles.

Estos son los tres principios.

Let's see how that applies to this question of:

Veamos cómo se aplica a esta cuestión

"Can you switch the machine off?" as Turing suggested.

de "apagar la máquina", como sugirió Turing.

So here's a PR2 robot.

He aquí un robot PR2.

Es uno que tenemos en nuestro laboratorio,

This is one that we have in our lab,

and it has a big red "off" switch right on the back.

y tiene un gran botón rojo de 'apagado' en la parte posterior.

The question is: Is it going to let you switch it off?

La pregunta es: ¿Va a dejar que lo apaguen?

Si lo hacemos a la manera clásica,

If we do it the classical way,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

le damos el objetivo de traer el café. "Debo traer el café.

I can't fetch the coffee if I'm dead,"

No puedo traer el café si estoy muerto".

so obviously the PR2 has been listening to my talk,

Obviamente el PR2 ha escuchado mi charla,

and so it says, therefore, "I must disable my 'off' switch,

y por tanto, decide

"Debo inhabilitar mi botón de 'apagado'".

and probably taser all the other people in Starbucks

"Y probablemente electrocutar al resto de personas en el Starbucks

who might interfere with me."

que podrían interferir".

(Laughter)

(Risas)

So this seems to be inevitable, right?

Así que esto parece ser inevitable, ¿verdad?

This kind of failure mode seems to be inevitable,

Este tipo de error parece ser inevitable,

and it follows from having a concrete, definite objective.

y sucede por tener un objetivo concreto, definido.

So what happens if the machine is uncertain about the objective?

Entonces, ¿qué pasa si la máquina no tiene claro el objetivo?

Well, it reasons in a different way.

Bueno, razona de una manera diferente.

It says, "OK, the human might switch me off,

Dice, "El humano podría desconectarme, pero solo si hago algo malo.

but only if I'm doing something wrong.

Well, I don't really know what wrong is,

No tengo claro lo que es malo pero sé que no quiero hacerlo".

but I know that I don't want to do it."

Ahí están el primer y el segundo principio.

So that's the first and second principles right there.

"So I should let the human switch me off."

"Así que debería dejar que el humano me desconecte".

And in fact you can calculate the incentive that the robot has

De hecho se puede calcular el incentivo que tiene el robot

to allow the human to switch it off,

para permitir que el humano lo apague.

and it's directly tied to the degree

Y está directamente ligado al grado de incertidumbre

of uncertainty about the underlying objective.

sobre el objetivo subyacente.

And then when the machine is switched off,

Y entonces cuando la máquina está apagada,

that third principle comes into play.

el tercer principio entra en juego.

It learns something about the objectives it should be pursuing,

Aprende algo sobre los objetivos que debe perseguir,

because it learns that what it did wasn't right.

porque aprende que lo que hizo no estaba bien.

In fact, we can, with suitable use of Greek symbols,

De hecho, podemos, con el uso adecuado de los símbolos griegos,

as mathematicians usually do,

como suelen hacer los matemáticos,

we can actually prove a theorem

podemos probar un teorema

that says that such a robot is provably beneficial to the human.

que dice que tal robot es probablemente beneficioso para el humano.

You are provably better off with a machine that's designed in this way

Se está demostrablemente mejor con una máquina que se diseña de esta manera

than without it.

que sin ella.

So this is a very simple example, but this is the first step

Este es un ejemplo muy simple, pero este es el primer paso

in what we're trying to do with human-compatible AI.

en lo que estamos tratando de hacer con IA compatible con humanos.

Now, this third principle,

Ahora, este tercer principio,

I think is the one that you're probably scratching your head over.

es probablemente el que está haciendo que se rasquen la cabeza.

You're probably thinking, "Well, you know, I behave badly.

Probablemente piensen: "Yo me comporto mal.

No quiero que mi robot se comporte como yo.

I don't want my robot to behave like me.

Me escabullo en mitad de la noche y tomo cosas de la nevera,

I sneak down in the middle of the night and take stuff from the fridge.

I do this and that."

hago esto y hago aquello".

There's all kinds of things you don't want the robot doing.

Hay todo tipo de cosas que no quieres que haga el robot.

But in fact, it doesn't quite work that way.

Pero lo cierto es que no funciona así.

Just because you behave badly

Solo porque uno se comporte mal

doesn't mean the robot is going to copy your behavior.

no significa que el robot vaya a copiar su comportamiento.

It's going to understand your motivations and maybe help you resist them,

Va a entender sus motivaciones y tal vez a ayudarle a resistirlas,

if appropriate.

si es apropiado.

But it's still difficult.

Pero sigue siendo difícil.

What we're trying to do, in fact,

Lo que estamos tratando de hacer, de hecho,

is to allow machines to predict for any person and for any possible life

es permitir que las máquinas predigan para cualquier persona

y para cualquier vida posible que podrían vivir,

that they could live,

and the lives of everybody else:

y las vidas de todos los demás

Which would they prefer?

lo que preferirían.

And there are many, many difficulties involved in doing this;

Y hay muchas, muchas dificultades ligadas a hacer esto.

I don't expect that this is going to get solved very quickly.

No espero que vaya a resolverse pronto.

The real difficulties, in fact, are us.

Las verdaderas dificultades, de hecho, somos nosotros.

As I have already mentioned, we behave badly.

Como ya he mencionado, nos comportamos mal.

In fact, some of us are downright nasty.

De hecho, algunos de nosotros somos francamente desagradables.

Now the robot, as I said, doesn't have to copy the behavior.

Como he dicho, el robot no tiene que copiar el comportamiento.

The robot does not have any objective of its own.

El robot no tiene ningún objetivo propio.

It's purely altruistic.

Es puramente altruista.

And it's not designed just to satisfy the desires of one person, the user,

Y no está diseñado solo para satisfacer los deseos de una persona, el usuario,

but in fact it has to respect the preferences of everybody.

sino que tiene que respetar las preferencias de todos.

So it can deal with a certain amount of nastiness,

Así que puede lidiar con cierta cantidad de maldad,

and it can even understand that your nastiness, for example,

e incluso puede entender que su maldad, por ejemplo...

you may take bribes as a passport official

Ud. puede aceptar sobornos como controlador de pasaportes

because you need to feed your family and send your kids to school.

porque necesita alimentar a su familia y que sus hijos vayan a la escuela.

It can understand that; it doesn't mean it's going to steal.

Puede entender eso; no significa que vaya a robar.

In fact, it'll just help you send your kids to school.

De hecho, solo le ayudará a que sus hijos vayan al colegio.

We are also computationally limited.

También estamos limitados computacionalmente.

Lee Sedol is a brilliant Go player,

Lee Sedol es un jugador brillante de Go,

but he still lost.

pero aun así perdió.

So if we look at his actions, he took an action that lost the game.

Si nos fijamos en sus acciones, tomó una decisión que le hizo perder.

That doesn't mean he wanted to lose.

Eso no significa que él quisiera perder.

So to understand his behavior,

Así que para entender su comportamiento,

we actually have to invert through a model of human cognition

en realidad tenemos que invertir, a través de un modelo cognitivo humano

that includes our computational limitations -- a very complicated model.

que incluye nuestras limitaciones computacionales,

y se trata de un modelo muy complicado.

But it's still something that we can work on understanding.

Pero es algo en lo que podemos trabajar para comprender.

Probably the most difficult part, from my point of view as an AI researcher,

Puede que la parte más difícil, desde mi punto de vista

como investigador de IA,

es el hecho de que hay muchos de nosotros,

is the fact that there are lots of us,

and so the machine has to somehow trade off, weigh up the preferences

con lo cual la máquina tiene que sopesar

las preferencias de mucha gente diferente.

of many different people,

and there are different ways to do that.

Hay diferentes maneras de hacer eso.

Economists, sociologists, moral philosophers have understood that,

Economistas, sociólogos, filósofos morales han comprendido esto

and we are actively looking for collaboration.

y estamos buscando colaboración de manera activa.

Let's have a look and see what happens when you get that wrong.

Vamos a ver lo que sucede cuando esto se hace mal.

So you can have a conversation, for example,

Ud. puede estar hablando, por ejemplo,

with your intelligent personal assistant

con su asistente personal inteligente

that might be available in a few years' time.

que podría estar disponible dentro de unos años.

Think of a Siri on steroids.

Piensen en Siri con esteroides.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri dice "Su esposa llamó para recordarle la cena de esta noche".

And of course, you've forgotten. "What? What dinner?

Por supuesto, lo había olvidado. ¿Qué cena? ¿De qué está hablando?

What are you talking about?"

"Uh, your 20th anniversary at 7pm."

"Su 20 aniversario, a las 7pm".

"I can't do that. I'm meeting with the secretary-general at 7:30.

"No puedo, me reúno con el secretario general a las 7:30.

¿Cómo ha podido suceder esto?".

How could this have happened?"

"Well, I did warn you, but you overrode my recommendation."

"Bueno, le advertí, pero ignoró mi recomendación".

"¿Qué voy a hacer? No puedo decirles que estoy demasiado ocupado".

"Well, what am I going to do? I can't just tell him I'm too busy."

"No se preocupe, he hecho que su avión se retrase".

"Don't worry. I arranged for his plane to be delayed."

(Laughter)

(Risas)

"Some kind of computer malfunction."

"Algún tipo de error en el ordenador".

(Laughter)

(Risas)

"Really? You can do that?"

"¿En serio? ¿Puede hacer eso?".

"He sends his profound apologies

"Le envía sinceras disculpas

and looks forward to meeting you for lunch tomorrow."

y espera poder conocerle mañana para el almuerzo".

(Laughter)

(Risas)

So the values here -- there's a slight mistake going on.

Así que los valores aquí... aquí hay un pequeño fallo.

This is clearly following my wife's values

Claramente está siguiendo los valores de mi esposa

which is "Happy wife, happy life."

que son "esposa feliz, vida feliz".

(Laughter)

(Risas)

It could go the other way.

Podría suceder al revés.

You could come home after a hard day's work,

Podría llegar a casa tras un duro día de trabajo,

and the computer says, "Long day?"

y el ordenador dice "¿Un día duro?".

"Yes, I didn't even have time for lunch."

"Sí, ni tuve tiempo de almorzar".

"Debe tener mucha hambre".

"You must be very hungry."

"Starving, yeah. Could you make some dinner?"

"Me muero de hambre, sí, ¿podría preparar algo de cena?".

"There's something I need to tell you."

"Hay algo que necesito decirle".

(Laughter)

(Risas)

"There are humans in South Sudan who are in more urgent need than you."

"Hay humanos en Sudán del Sur más necesitados que Ud.".

(Laughter)

(Risas)

"So I'm leaving. Make your own dinner."

"Así que me voy, hágase su propia cena".

(Laughter)

(Risas)

So we have to solve these problems,

Así que tenemos que resolver estos problemas,

and I'm looking forward to working on them.

y tengo ganas de trabajar en ellos.

There are reasons for optimism.

Hay razones para ser optimistas.

One reason is,

Una razón es que hay gran cantidad de datos

there is a massive amount of data.

Because remember -- I said they're going to read everything

Recuerden, leerán todo lo que la raza humana ha escrito.

the human race has ever written.

La mayoría de lo que escribimos trata sobre humanos haciendo cosas

Most of what we write about is human beings doing things

y cómo estas molestan a otras personas.

and other people getting upset about it.

So there's a massive amount of data to learn from.

Así que hay muchos datos de los que aprender.

There's also a very strong economic incentive

También hay un fuerte incentivo económico

para que esto funcione bien.

to get this right.

So imagine your domestic robot's at home.

Imagine que su robot doméstico está en casa

You're late from work again and the robot has to feed the kids,

Ud. llega tarde del trabajo,

el robot tiene que dar de comer a los niños,

and the kids are hungry and there's nothing in the fridge.

los niños tienen hambre y no hay nada en la nevera.

And the robot sees the cat.

Y el robot ve al gato.

(Laughter)

(Risas)

And the robot hasn't quite learned the human value function properly,

Y el robot no ha aprendido del todo bien la función del valor humano

so it doesn't understand

por lo que no entiende

the sentimental value of the cat outweighs the nutritional value of the cat.

que el valor sentimental del gato supera el valor nutricional del gato.

(Risas)

(Laughter)

Entonces, ¿qué pasa?

So then what happens?

Well, it happens like this:

Bueno, sucede lo siguiente:

"Deranged robot cooks kitty for family dinner."

"Robot desquiciado cocina a un gatito para la cena familiar".

That one incident would be the end of the domestic robot industry.

Ese único incidente acabaría con la industria de robots domésticos.

So there's a huge incentive to get this right

Así que hay un gran incentivo para hacer esto bien.

long before we reach superintelligent machines.

mucho antes de llegar a las máquinas superinteligentes.

So to summarize:

Así que para resumir:

I'm actually trying to change the definition of AI

Estoy intentando cambiar la definición de IA

so that we have provably beneficial machines.

para que tengamos máquinas demostrablemente beneficiosas.

And the principles are:

Y los principios son:

machines that are altruistic,

Máquinas que son altruistas,

that want to achieve only our objectives,

que desean lograr solo nuestros objetivos,

but that are uncertain about what those objectives are,

pero que no están seguras de cuáles son esos objetivos

y nos observarán a todos

and will watch all of us

to learn more about what it is that we really want.

para aprender qué es lo que realmente queremos.

And hopefully in the process, we will learn to be better people.

Y con suerte, en el proceso, aprenderemos a ser mejores personas.

Thank you very much.

Muchas gracias.

(Applause)

(Aplausos)

Chris Anderson: So interesting, Stuart.

Chris Anderson: Muy interesante, Stuart.

We're going to stand here a bit because I think they're setting up

Vamos a estar aquí un poco porque creo que están preparando

for our next speaker.

a nuestro próximo orador.

A couple of questions.

Un par de preguntas.

So the idea of programming in ignorance seems intuitively really powerful.

La idea de programar ignorancia parece intuitivamente muy poderosa.

Al llegar a la superinteligencia,

As you get to superintelligence,

what's going to stop a robot

¿qué puede impedir que un robot

reading literature and discovering this idea that knowledge

lea literatura y descubra esta idea de que el conocimiento

is actually better than ignorance

es mejor que la ignorancia,

and still just shifting its own goals and rewriting that programming?

cambiando sus propios objetivos y reescribiendo su programación?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russell: Queremos que aprenda más, como he dicho,

about our objectives.

sobre nuestros objetivos.

It'll only become more certain as it becomes more correct,

Solo ganará seguridad cuanto más acierte.

so the evidence is there

La evidencia estará ahí,

and it's going to be designed to interpret it correctly.

y estará diseñado para interpretarla adecuadamente.

It will understand, for example, that books are very biased

Comprenderá, por ejemplo, que los libros son muy sesgados

in the evidence they contain.

en la evidencia que contienen.

They only talk about kings and princes

Solo hablan de reyes y príncipes

and elite white male people doing stuff.

y hombres blancos poderosos haciendo cosas.

So it's a complicated problem,

Es un problema complicado,

but as it learns more about our objectives

pero conforme aprenda más sobre nuestros objetivos

it will become more and more useful to us.

será cada vez más útil para nosotros.

CA: And you couldn't just boil it down to one law,

CA: Y no podría reducirse a una ley,

you know, hardwired in:

ya sabe, grabada a fuego,

"if any human ever tries to switch me off,

"Si un humano alguna vez intenta apagarme

I comply. I comply."

yo obedezco, obedezco".

SR: Absolutely not.

SR: Absolutamente no.

That would be a terrible idea.

Sería una idea terrible.

So imagine that you have a self-driving car

Imagine, tiene un auto que se conduce solo

and you want to send your five-year-old

y quiere llevar a su hijo de cinco años al jardín de infancia.

off to preschool.

Do you want your five-year-old to be able to switch off the car

¿Quiere que su hijo de cinco años pueda apagar el coche mientras conduce?

while it's driving along?

Probablemente no.

Probably not.

Por tanto necesita entender cuán racional y sensata es la persona.

So it needs to understand how rational and sensible the person is.

The more rational the person,

Cuanto más racional sea la persona,

the more willing you are to be switched off.

más dispuesto estará a dejar que lo apaguen.

If the person is completely random or even malicious,

Si la persona es impredecible o incluso malintencionada

then you're less willing to be switched off.

estará menos dispuesto a permitir que lo apaguen.

CA: All right. Stuart, can I just say,

CA: Stuart, permítame decir

I really, really hope you figure this out for us.

que de veras espero que resuelva esto por todos nosotros.

Thank you so much for that talk. That was amazing.

Muchas gracias por su charla. Ha sido increíble, gracias.

SR: Thank you.

(Aplausos)

(Applause)