Can we build AI without losing control over it? | Sam Harris

Traductor: Máximo Hdez Revisor: Denise RQ

I'm going to talk about a failure of intuition

Voy a hablar de un fallo intuitivo

that many of us suffer from.

que muchos sufrimos.

It's really a failure to detect a certain kind of danger.

En realidad es la capacidad de detectar cierto tipo de peligro.

I'm going to describe a scenario

Describiré una situación que creo que es tan aterradora como posible

that I think is both terrifying

and likely to occur,

and that's not a good combination,

y veremos que eso no es una buena combinación.

as it turns out.

Y sin embargo, en lugar de sentir miedo,

And yet rather than be scared, most of you will feel

la mayoría pensará que es algo bastante interesante.

that what I'm talking about is kind of cool.

I'm going to describe how the gains we make

Describiré cómo los avances en el campo de la inteligencia artificial,

in artificial intelligence

en última instancia, podrían destruirnos.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

Y, de hecho, me resulta muy difícil ver

que no nos destruirían o nos ayudaran a destruirnos.

or inspire us to destroy ourselves.

And yet if you're anything like me,

Y sin embargo, si son como yo,

you'll find that it's fun to think about these things.

encontrarán que es divertido pensar en estas cosas.

And that response is part of the problem.

Y esta manera de ver las cosas es parte del problema.

OK? That response should worry you.

Esa reacción debería preocuparles.

And if I were to convince you in this talk

Si tuviera que convencerles con esta charla

that we were likely to suffer a global famine,

de que estamos al borde de sufrir una hambruna a nivel mundial,

debido al calentamiento global o cualquier otra catástrofe,

either because of climate change or some other catastrophe,

and that your grandchildren, or their grandchildren,

y que sus nietos o sus bisnietos,

are very likely to live like this,

vivirán muy probablemente así,

you wouldn't think,

no pensarían:

"Interesting.

"Interesante.

I like this TED Talk."

Me gusta esta charla TED".

Famine isn't fun.

El hambre no es divertida

Death by science fiction, on the other hand, is fun,

La muerte en la ciencia ficción, por el contrario, es algo divertido,

and one of the things that worries me most about the development of AI at this point

y lo más preocupante en el desarrollo de la IA hoy en día

is that we seem unable to marshal an appropriate emotional response

es que parecemos incapaces de ofrecer una respuesta emocional adecuada

to the dangers that lie ahead.

frente a los peligros que se avecinan.

I am unable to marshal this response, and I'm giving this talk.

Yo mismo soy incapaz de ello y estoy dando esta charla.

It's as though we stand before two doors.

Es como si nos encontráramos ante dos puertas.

Behind door number one,

Detrás de la puerta número uno

we stop making progress in building intelligent machines.

detenemos el progreso de máquinas inteligentes.

Our computer hardware and software just stops getting better for some reason.

Nuestro hardware y software se estancan simplemente, por alguna razón.

Now take a moment to consider why this might happen.

Traten de reflexionar por un momento por qué podría suceder esto.

I mean, given how valuable intelligence and automation are,

Dada la valía de la inteligencia y la automatización,

we will continue to improve our technology if we are at all able to.

seguiremos mejorando nuestra tecnología si es posible.

What could stop us from doing this?

¿Qué podría impedirnos hacer eso?

A full-scale nuclear war?

¿Una guerra nuclear a gran escala?

A global pandemic?

¿Una pandemia mundial?

An asteroid impact?

¿El impacto de un asteroide?

Justin Bieber becoming president of the United States?

¿El hecho que Justin Bieber podría ser el presidente de los EE.UU.?

(Laughter)

(Risas)

The point is, something would have to destroy civilization as we know it.

El caso es que algo tendría que destruir la civilización tal como la conocemos.

You have to imagine how bad it would have to be

Realmente deberíamos imaginar algo terrible

to prevent us from making improvements in our technology

para dejar de desarrollar nuestra tecnología

para siempre,

permanently,

generation after generation.

generación tras generación.

Almost by definition, this is the worst thing

Casi por definición, sería lo peor

that's ever happened in human history.

en la historia humana.

So the only alternative,

La única alternativa,

and this is what lies behind door number two,

y esto es lo que hay detrás de la puerta número dos,

is that we continue to improve our intelligent machines

es seguir mejorando nuestras máquinas inteligentes

year after year after year.

año tras año tras año.

At a certain point, we will build machines that are smarter than we are,

En algún momento construiremos máquinas más inteligentes que nosotros,

y una vez que las tengamos

and once we have machines that are smarter than we are,

they will begin to improve themselves.

empezarán a mejorarse a sí mismas.

And then we risk what the mathematician IJ Good called

Y entonces corremos el riesgo teorizado por el matemático IJ Good

an "intelligence explosion,"

llamado "explosión de inteligencia"

that the process could get away from us.

donde el proceso podría salirse de control.

Now, this is often caricatured, as I have here,

Esto es a menudo caricaturizado, como lo he hecho aquí,

as a fear that armies of malicious robots

como el miedo a que nos ataquen ejércitos de robots maliciosos.

will attack us.

But that isn't the most likely scenario.

Pero ese no es el escenario más probable.

It's not that our machines will become spontaneously malevolent.

No es que nuestras máquinas se volverán malignas espontáneamente.

La preocupación verdadera

The concern is really that we will build machines

al construir máquinas mucho más competentes que nosotros

that are so much more competent than we are

that the slightest divergence between their goals and our own

es que la menor diferencia entre sus objetivos y los nuestros

could destroy us.

nos podría destruir.

Just think about how we relate to ants.

Basta con pensar en nuestra relación con las hormigas.

We don't hate them.

No las odiamos.

We don't go out of our way to harm them.

No vamos por la vida lastimándolas.

De hecho, a veces nos tomamos la molestia de no hacerles daño.

In fact, sometimes we take pains not to harm them.

We step over them on the sidewalk.

Evitamos pisarlas en la acera.

But whenever their presence

Pero cada vez que su presencia entra seriamente en conflicto

seriously conflicts with one of our goals,

con alguno de nuestros objetivos,

let's say when constructing a building like this one,

digamos, en la construcción de un edificio como este,

we annihilate them without a qualm.

las aniquilamos sin escrúpulos.

The concern is that we will one day build machines

La preocupación es que algún día construyamos máquinas

that, whether they're conscious or not,

que, ya sea conscientemente o no,

nos puedan tratar con una indiferencia similar.

could treat us with similar disregard.

Now, I suspect this seems far-fetched to many of you.

Sospecho que esto pueda parece inverosímil para muchos.

I bet there are those of you who doubt that superintelligent AI is possible,

Apuesto a que hay quienes dudan de que la superinteligente IA sea posible

much less inevitable.

y mucho menos inevitable.

But then you must find something wrong with one of the following assumptions.

Pero en este caso hay que refutar uno de los siguientes supuestos.

Y hay solo tres.

And there are only three of them.

Intelligence is a matter of information processing in physical systems.

La inteligencia es el procesamiento de información en un sistema físico.

Actually, this is a little bit more than an assumption.

En realidad, esto es poco más que una suposición.

We have already built narrow intelligence into our machines,

Ya hemos incorporado inteligencia limitada en nuestras máquinas,

and many of these machines perform

y aún así, muchas de estas máquinas actúan a un nivel de inteligencia sobrehumana.

at a level of superhuman intelligence already.

And we know that mere matter

Y sabemos que la mera materia da lugar a lo que se llama "inteligencia general",

can give rise to what is called "general intelligence,"

an ability to think flexibly across multiple domains,

la capacidad de pensar con flexibilidad en múltiples campos

because our brains have managed it. Right?

porque nuestros cerebro humano ya lo ha conseguido.

I mean, there's just atoms in here,

Es decir, solo hay átomos aquí,

and as long as we continue to build systems of atoms

y mientras continuemos construyendo sistemas de átomos

that display more and more intelligent behavior,

que exhiban un comportamiento más y más inteligente,

terminaremos implementando, a menos que lo interrumpamos, inteligencia general

we will eventually, unless we are interrupted,

we will eventually build general intelligence

en nuestras máquinas.

into our machines.

It's crucial to realize that the rate of progress doesn't matter,

Es crucial comprender que la velocidad no es el problema

porque cualquier velocidad es suficiente para llegar al fin.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

No necesitamos la ley de Moore para continuar ni un aumento exponencial.

We just need to keep going.

Solo tenemos que seguir adelante.

The second assumption is that we will keep going.

El segundo supuesto es que vamos a seguir adelante.

We will continue to improve our intelligent machines.

Vamos a seguir mejorando nuestras máquinas inteligentes.

And given the value of intelligence --

Y teniendo en cuenta el valor de la inteligencia,

I mean, intelligence is either the source of everything we value

es decir, la inteligencia es o bien la fuente de todo lo que valoramos

or we need it to safeguard everything we value.

o la necesidad por preservar todo lo que valoramos.

It is our most valuable resource.

Es nuestro recurso más valioso.

Por eso lo queremos hacer.

So we want to do this.

We have problems that we desperately need to solve.

Tenemos problemas que necesitamos desesperadamente resolver.

We want to cure diseases like Alzheimer's and cancer.

Queremos curar enfermedades como el Alzheimer y el cáncer.

We want to understand economic systems. We want to improve our climate science.

Queremos entender los sistemas económicos.

Queremos mejorar el clima.

So we will do this, if we can.

Vamos a hacer esto, si podemos.

The train is already out of the station, and there's no brake to pull.

El tren ya salió de la estación y no hay frenos.

Finally, we don't stand on a peak of intelligence,

Por último, no estamos en la cima de la inteligencia,

or anywhere near it, likely.

ni siquiera cerca, probablemente.

And this really is the crucial insight.

Y esto realmente es crucial.

This is what makes our situation so precarious,

Esto es lo que hace nuestra situación tan precaria,

y esto es lo que hace que nuestras intuiciones

and this is what makes our intuitions about risk so unreliable.

sobre los riesgos sean poco fiables.

Now, just consider the smartest person who has ever lived.

Piensen en la persona más inteligente que jamás haya vivido.

On almost everyone's shortlist here is John von Neumann.

En la lista de casi todos está John Von Neumann.

I mean, the impression that von Neumann made on the people around him,

La impresión que hacía Von Neumann en las personas a su alrededor,

and this included the greatest mathematicians and physicists of his time,

incluyendo los más grandes matemáticos y físicos de su época,

is fairly well-documented.

está bastante bien documentada.

If only half the stories about him are half true,

Si solo la mitad de las historias sobre él fueran una verdad a medias,

there's no question

no hay duda

he's one of the smartest people who has ever lived.

de que es una de las personas más inteligentes que ha vivido.

So consider the spectrum of intelligence.

Así que consideren el espectro de la inteligencia.

Here we have John von Neumann.

Aquí tenemos a John Von Neumann.

And then we have you and me.

Y aquí estamos tú y yo.

And then we have a chicken.

Y luego tenemos un pollo.

(Laughter)

Sorry, a chicken.

Lo sentimos, una gallina.

(Laughter)

There's no reason for me to make this talk more depressing than it needs to be.

No hay por qué hacer esta charla más deprimente de lo que ya es.

(Laughter)

(Risas)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Sin embargo, parece muy probable que el espectro de la inteligencia

extends much further than we currently conceive,

se extienda mucho más allá de lo que actualmente concebimos,

and if we build machines that are more intelligent than we are,

y si construimos máquinas más inteligentes que nosotros,

they will very likely explore this spectrum

muy probablemente explorarán este espectro

in ways that we can't imagine,

de maneras que no podemos imaginar,

and exceed us in ways that we can't imagine.

y nos superarán de maneras inimaginables.

And it's important to recognize that this is true by virtue of speed alone.

Y es importante saber que esto es cierto solo debido a la velocidad.

Right? So imagine if we just built a superintelligent AI

Así que imaginen que acabamos de construir una IA superinteligente

that was no smarter than your average team of researchers

que no fuera más inteligente

que el promedio del equipo de investigadores en Stanford o el MIT.

at Stanford or MIT.

Well, electronic circuits function about a million times faster

Los circuitos electrónicos funcionan

aproximadamente un millón de veces más rápido que los bioquímicos,

than biochemical ones,

so this machine should think about a million times faster

así que esta máquina debe pensar un millón de veces más rápido

than the minds that built it.

que las mentes que la construyeron.

So you set it running for a week,

Con una semana funcionando

and it will perform 20,000 years of human-level intellectual work,

llevará a cabo 20 000 años de trabajo intelectual a nivel humano,

week after week after week.

semana tras semana tras semana.

How could we even understand, much less constrain,

¿Cómo podríamos siquiera comprender, mucho menos restringir,

a mind making this sort of progress?

una mente que progresa de esta manera?

The other thing that's worrying, frankly,

Algo más que es francamente preocupante

es imaginar el mejor de los casos.

is that, imagine the best case scenario.

Imaginemos que diseñamos una IA superinteligente

So imagine we hit upon a design of superintelligent AI

que no tiene problemas de seguridad.

that has no safety concerns.

We have the perfect design the first time around.

Tenemos el diseño perfecto a la primera.

It's as though we've been handed an oracle

Es como si nos dieran un oráculo

that behaves exactly as intended.

que se comporta exactamente como se espera.

Well, this machine would be the perfect labor-saving device.

Esta máquina sería el dispositivo de ahorro de mano de obra perfecta.

It can design the machine that can build the machine

Puede diseñar la máquina que puede construir la máquina

that can do any physical work,

que pueda hacer cualquier trabajo físico,

powered by sunlight,

impulsada por la luz solar,

more or less for the cost of raw materials.

más o menos por el costo de las materias primas.

So we're talking about the end of human drudgery.

Estamos hablando del fin del trabajo pesado humano.

We're also talking about the end of most intellectual work.

También estamos hablando del fin de la mayoría del trabajo intelectual.

So what would apes like ourselves do in this circumstance?

Entonces, ¿qué harían simios como nosotros en estas circunstancias?

Well, we'd be free to play Frisbee and give each other massages.

Pues, podríamos jugar al Frisbee y darnos masajes.

Add some LSD and some questionable wardrobe choices,

Tomar un poco de LSD e inventar modas ridículas

and the whole world could be like Burning Man.

y todo el mundo podríamos parecernos a un festival de rock.

(Laughter)

(Risas)

Now, that might sound pretty good,

Puede parecer muy bueno, pero hay que preguntarse

but ask yourself what would happen

qué pasaría con nuestro orden económico y político actual.

under our current economic and political order?

It seems likely that we would witness

Podríamos presenciar

a level of wealth inequality and unemployment

un nivel de desigualdad de la riqueza y el desempleo

nunca antes visto

that we have never seen before.

Absent a willingness to immediately put this new wealth

sin la voluntad de poner esta nueva riqueza inmediatamente

to the service of all humanity,

al servicio de toda la humanidad,

a few trillionaires could grace the covers of our business magazines

y unos poco trillonarios estarían en las portadas de las revistas de negocios

while the rest of the world would be free to starve.

mientras que el resto del mundo tendría la libertad de morirse de hambre.

And what would the Russians or the Chinese do

Y ¿qué pasaría si los rusos o los chinos se enteraran

if they heard that some company in Silicon Valley

de que alguna empresa en Silicon Valley

was about to deploy a superintelligent AI?

está a punto de crear una IA superinteligente?

Esta máquina podría ser capaz de hacer la guerra,

This machine would be capable of waging war,

whether terrestrial or cyber,

ya sea terrestre o cibernética,

with unprecedented power.

con un poder sin precedentes.

En este escenario el ganador se lleva todo.

This is a winner-take-all scenario.

Seis meses adelante en la competencia

To be six months ahead of the competition here

is to be 500,000 years ahead,

sería una ventaja de 500 000 años,

at a minimum.

como mínimo.

So it seems that even mere rumors of this kind of breakthrough

Parecería que incluso meros rumores de este tipo de avance

could cause our species to go berserk.

podría causar que nuestra especie se vuelva loca.

Now, one of the most frightening things,

Una de las cosas más aterradoras,

in my view, at this moment,

en mi opinión, en este momento,

are the kinds of things that AI researchers say

son el tipo de cosas que dicen los investigadores de IA

when they want to be reassuring.

cuando quieren tranquilizarnos.

Y el motivo invocado más frecuentemente de que no nos preocupemos es el tiempo.

And the most common reason we're told not to worry is time.

This is all a long way off, don't you know.

Falta mucho para eso, no se preocupen.

This is probably 50 or 100 years away.

Eso será probablemente dentro de 50 o 100 años.

One researcher has said,

Un investigador dijo,

"Preocuparse por la seguridad y todo lo relacionado con la IA

"Worrying about AI safety

is like worrying about overpopulation on Mars."

es como preocuparse por la superpoblación en Marte".

This is the Silicon Valley version

Esta es la manera de Silicon Valley de mostrarse condescendiente.

of "don't worry your pretty little head about it."

(Risas)

(Laughter)

No one seems to notice

Nadie parece darse cuenta

that referencing the time horizon

que tomar el tiempo con referencia

is a total non sequitur.

es una incongruencia total.

If intelligence is just a matter of information processing,

Si la inteligencia es solo una cuestión de procesamiento de la información

and we continue to improve our machines,

y seguimos mejorando nuestras máquinas,

we will produce some form of superintelligence.

produciremos algún tipo de superinteligencia.

And we have no idea how long it will take us

Y no tenemos idea de cuánto tiempo nos llevará crear las condiciones

to create the conditions to do that safely.

para hacerlo de forma segura.

Let me say that again.

Voy a decirlo de nuevo.

We have no idea how long it will take us

Y no tenemos idea de cuánto tiempo nos llevará crear las condiciones

to create the conditions to do that safely.

para hacerlo de forma segura.

And if you haven't noticed, 50 years is not what it used to be.

Y si no lo han notado, 50 años ya no son lo que solían ser.

This is 50 years in months.

Estos son 50 años en meses.

This is how long we've had the iPhone.

Este es el tiempo que hemos tenido el iPhone.

This is how long "The Simpsons" has been on television.

Este es el tiempo que "Los Simpson" ha estado en la televisión.

Fifty years is not that much time

Cincuenta años no es tanto tiempo

to meet one of the greatest challenges our species will ever face.

para lograr uno de los mayores desafíos al que nuestra especie se ha enfrentado.

Once again, we seem to be failing to have an appropriate emotional response

Una vez más, parece que no tenemos una respuesta emocional adecuada

to what we have every reason to believe is coming.

para lo que, con toda probabilidad, va a pasar.

The computer scientist Stuart Russell has a nice analogy here.

El científico de la computación Stuart Russell ofrece una gran analogía:

He said, imagine that we received a message from an alien civilization,

"Imaginen que recibimos un mensaje de una civilización extraterrestre que diga:

which read:

"People of Earth,

'Gente de la Tierra,

we will arrive on your planet in 50 years.

llegaremos en su planeta en 50 años.

Get ready."

Prepárense'".

And now we're just counting down the months until the mothership lands?

¿Estaremos contando los meses hasta que llegue la nave nodriza?

We would feel a little more urgency than we do.

¿No estaríamos un poco más preocupados?

Another reason we're told not to worry

Otra razón que se nos da para no preocuparnos

is that these machines can't help but share our values

es que estas máquinas no podrán no compartir nuestros valores

because they will be literally extensions of ourselves.

porque van a ser literalmente extensiones de nosotros mismos.

They'll be grafted onto our brains,

Se injertarán en nuestro cerebro,

and we'll essentially become their limbic systems.

y prácticamente seremos su sistema límbico.

Now take a moment to consider

Consideren por un momento

that the safest and only prudent path forward,

que el camino más seguro y prudente hacia adelante,

recommended,

el recomendado,

es la implantación de esta tecnología directamente en nuestro cerebro.

is to implant this technology directly into our brains.

Now, this may in fact be the safest and only prudent path forward,

Ahora bien, esto puede ser de hecho,

la manera más segura y prudente de avanzar,

but usually one's safety concerns about a technology

pero por lo general, los problemas de seguridad de una nueva tecnología

have to be pretty much worked out before you stick it inside your head.

hay que resolverlos antes de implementarla en una cabeza.

(Laughter)

(Risas)

The deeper problem is that building superintelligent AI on its own

El mayor problema es

que construir una IA superinteligente y autónoma parece más fácil

seems likely to be easier

than building superintelligent AI

que diseñar una IA superinteligente

and having the completed neuroscience

mientras se controla la neurociencia

that allows us to seamlessly integrate our minds with it.

para integrar la máquina y la mente sin problemas.

And given that the companies and governments doing this work

Y dado que las empresas y los gobiernos que trabajan sobre ello

probablemente se vean a sí mismos en una carrera contra todos los demás,

are likely to perceive themselves as being in a race against all others,

given that to win this race is to win the world,

y tomando en cuenta que ganar esta carrera es ganar el mundo,

provided you don't destroy it in the next moment,

siempre y cuando no lo destruyan en el momento siguiente,

then it seems likely that whatever is easier to do

entonces parece probable que lo más fácil de hacer

will get done first.

se hará primero.

Now, unfortunately, I don't have a solution to this problem,

Ahora, por desgracia, no tengo una solución a este problema,

apart from recommending that more of us think about it.

además de recomendarles que piensen más sobre ello.

I think we need something like a Manhattan Project

Creo que necesitamos un Proyecto Manhattan

on the topic of artificial intelligence.

sobre el tema de la inteligencia artificial.

Not to build it, because I think we'll inevitably do that,

No para construirlo, porque creo que eso es inevitable,

but to understand how to avoid an arms race

sino para entender cómo evitar una carrera armamentística

and to build it in a way that is aligned with our interests.

y construirla de manera que concuerde con nuestros intereses.

When you're talking about superintelligent AI

Cuando hablamos de IA superinteligente

that can make changes to itself,

que puede modificarse a sí misma,

it seems that we only have one chance to get the initial conditions right,

solo tenemos una oportunidad de fijar las condiciones iniciales correctas,

and even then we will need to absorb

e incluso entonces necesitaremos gestionar

the economic and political consequences of getting them right.

las consecuencias económicas y políticas de dicho diseño.

But the moment we admit

Pero en el momento en que admitamos

that information processing is the source of intelligence,

que el procesamiento de la información es la fuente de la inteligencia,

that some appropriate computational system is what the basis of intelligence is,

que algún sistema computacional adecuado es la base de la inteligencia,

and we admit that we will improve these systems continuously,

y admitamos que los vamos a mejorar de forma continua,

and we admit that the horizon of cognition very likely far exceeds

y admitamos que el horizonte del conocimiento supera por mucho

what we currently know,

lo que actualmente conocemos,

then we have to admit

entonces tenemos que admitir

that we are in the process of building some sort of god.

que estamos en el proceso de construir una especie de dios.

Now would be a good time

Ahora sería un buen momento

para asegurarse de que sea un dios con el que podamos vivir.

to make sure it's a god we can live with.

Thank you very much.

Muchas gracias.

(Applause)

(Aplausos)