Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED

Traductor: Ines Izquierdo Revisor: Sebastian Betti

Since 2001, I have been working on what we would now call

Desde 2001, he estado trabajando en lo que hoy llamaríamos

the problem of aligning artificial general intelligence:

el problema de la alineación de la inteligencia artificial general:

how to shape the preferences and behavior

cómo moldear las preferencias y la conducta

of a powerful artificial mind such that it does not kill everyone.

de una poderosa mente artificial de tal manera que no mate a todo el mundo.

I more or less founded the field two decades ago,

Fundé este campo hace dos décadas, más o menos,

cuando nadie más consideraba que trabajar en ello valiera la pena.

when nobody else considered it rewarding enough to work on.

Intenté poner en marcha este proyecto tan importante pronto

I tried to get this very important project started early

so we'd be in less of a drastic rush later.

así tendríamos menos prisas después.

I consider myself to have failed.

Me considero un fracasado.

(Laughter)

(Risas)

Nobody understands how modern AI systems do what they do.

Nadie entiende cómo los sistemas de IA modernos hacen lo que hacen.

They are giant, inscrutable matrices of floating point numbers

Son matrices gigantescas e inescrutables de números en coma flotantes

that we nudge in the direction of better performance

que impulsamos hacia un mejor rendimiento

hasta que inexplicablemente empiezan a funcionar.

until they inexplicably start working.

At some point, the companies rushing headlong to scale AI

En algún punto, las empresas que se lanza de cabeza a la IA

will cough out something that's smarter than humanity.

producirán algo que será más inteligente que la humanidad.

Nobody knows how to calculate when that will happen.

Nadie sabe cómo calcular cuándo va a ocurrir.

My wild guess is that it will happen after zero to two more breakthroughs

Mi suposición más descabellada es que ocurrirá después de uno o dos avances más

the size of transformers.

del tamaño de los Transformers.

What happens if we build something smarter than us

¿Y si creamos algo más inteligente que nosotros

that we understand that poorly?

sin apenas entenderlo?

Some people find it obvious that building something smarter than us

A algunos les resulta obvio que crear algo más inteligente que nosotros

sin entenderlo podría terminar muy mal.

that we don't understand might go badly.

Others come in with a very wide range of hopeful thoughts

Otros vienen con una gama muy amplia de pensamientos esperanzadores

about how it might possibly go well.

sobre cómo podría salir bien.

Aunque tuviera 20 minutos para dar esta charla

Even if I had 20 minutes for this talk and months to prepare it,

I would not be able to refute all the ways people find to imagine

no sería capaz de refutar todas las formas

que la gente halla para imaginar

that things might go well.

que las cosas pueden ir bien.

But I will say that there is no standard scientific consensus

Pero diré que no existe un consenso científico uniforme

sobre cómo irán bien las cosas.

for how things will go well.

There is no hope that has been widely persuasive

No hay ninguna esperanza que haya sido ampliamente persuasiva

and stood up to skeptical examination.

y vaya más allá del puro escepticismo.

There is nothing resembling a real engineering plan for us surviving

No hay nada parecido a un verdadero plan de ingeniería para que sobrevivamos

that I could critique.

al que podría criticar.

This is not a good place in which to find ourselves.

Este no es un buen lugar en el que encontrarnos.

If I had more time,

Si tuviera más tiempo,

I'd try to tell you about the predictable reasons

trataría de hablarles sobre las razones predecibles

why the current paradigm will not work

de por qué el paradigma actual no servirá

to build a superintelligence that likes you

para crear una superinteligencia a la que le caigas bien

or is friends with you, or that just follows orders.

o sea tu amiga, o que simplemente siga órdenes.

Why, if you press "thumbs up" when humans think that things went right

¿Por qué si pulsas “pulgares arriba” cuando los humanos piensan

or "thumbs down" when another AI system thinks that they went wrong,

o “pulgares abajo” cuando otro sistema de IA piensa que fueron mal

you do not get a mind that wants nice things

no consigues una mente que quiera cosas buenas

in a way that generalizes well outside the training distribution

de forma que se generalice bien fuera de la distribución de entrenamiento

hasta donde la IA es más inteligente que los entrenadores?

to where the AI is smarter than the trainers.

You can search for "Yudkowsky list of lethalities" for more.

Puedes buscar: “lista de formas en que podemos morir de Yudkowsky”

para más información.

(Laughter)

(Risas)

But to worry, you do not need to believe me

Pero, para preocuparse, no hace falta que me crean

about exact predictions of exact disasters.

en lo de predicciones exactas de catástrofes exactas.

You just need to expect that things are not going to work great

Sólo tienen que esperar que las cosas no van a funcionar muy bien

on the first really serious, really critical try

en el primer intento realmente serio y crítico

because an AI system smart enough to be truly dangerous

porque un sistema de IA lo bastante listo como para ser ciertamente peligroso

was meaningfully different from AI systems stupider than that.

era significativamente distinto a los sistemas de IA más estúpidos que él.

My prediction is that this ends up with us facing down something smarter than us

Mi predicción es que esto acaba con nosotros enfrentándonos a algo

más inteligente que nosotros

that does not want what we want,

que no quiere lo que nosotros queremos,

that does not want anything we recognize as valuable or meaningful.

que no quiere nada que reconozcamos como valioso o significativo.

No puedo predecir exactamente cómo sería un conflicto

I cannot predict exactly how a conflict between humanity and a smarter AI would go

entre la humanidad y una IA más inteligente

for the same reason I can't predict exactly how you would lose a chess game

por la misma razón por la que no puedo predecir exactamente

cómo perderías una partida de ajedrez

to one of the current top AI chess programs, let's say Stockfish.

contra uno de los mejores programas de ajedrez de IA actuales, como Stockfish.

If I could predict exactly where Stockfish could move,

Si pudiera predecir exactamente dónde podría mover Stockfish,

I could play chess that well myself.

yo mismo podría jugar así de bien al ajedrez.

No puedo predecir exactamente cómo perderás contra Stockfish,

I can't predict exactly how you'll lose to Stockfish,

but I can predict who wins the game.

pero sí quién ganará la partida.

No espero que algo realmente inteligente nos ataque con ejércitos de robots

I do not expect something actually smart to attack us with marching robot armies

marchando con ojos rojos incandescentes

with glowing red eyes

donde podría haber una película divertida sobre nosotros luchando contra ellos.

where there could be a fun movie about us fighting them.

I expect an actually smarter and uncaring entity

Espero que una entidad verdaderamente más inteligente e insensible

will figure out strategies and technologies

descubra estrategias y tecnologías

that can kill us quickly and reliably and then kill us.

que puedan matarnos de forma rápida y fiable y entonces nos mate.

I am not saying that the problem of aligning superintelligence

No estoy diciendo que el problema de alinear superinteligencias

is unsolvable in principle.

sea irresoluble por principio.

I expect we could figure it out with unlimited time and unlimited retries,

Supongo que podríamos averiguarlo con tiempo ilimitado

y reintentos ilimitados,

which the usual process of science assumes that we have.

algo que el proceso habitual de la ciencia supone que tenemos.

The problem here is the part where we don't get to say,

El problema aquí es la parte en la que no podemos decir,

“Ha ha, whoops, that sure didn’t work.

“Ja, ja, vaya, seguro que no ha funcionado”.

That clever idea that used to work on earlier systems

Esa idea inteligente que solía funcionar en sistemas anteriores

sure broke down when the AI got smarter, smarter than us.”

seguro que se vino abajo cuando la IA

se hizo más lista, más lista que nosotros”.

We do not get to learn from our mistakes and try again

No podemos aprender de nuestros errores e intentarlo de nuevo

because everyone is already dead.

porque ya están todos muertos.

It is a large ask

Es mucho pedir que

to get an unprecedented scientific and engineering challenge

un reto científico y de ingeniería sin precedentes

correct on the first critical try.

salga bien al primer intento crítico.

Humanity is not approaching this issue with remotely

La humanidad no está abordando esta cuestión ni remotamente

the level of seriousness that would be required.

con el nivel de seriedad que sería necesario.

Some of the people leading these efforts

Algunas de las personas que lideran estos esfuerzos

have spent the last decade not denying

se han pasado la última década no negando

that creating a superintelligence might kill everyone,

que la creación de una superinteligencia podría matarnos a todos,

but joking about it.

sino bromeando al respecto.

We are very far behind.

Nos estamos quedando muy atrás.

No es una brecha que podamos superar en seis meses,

This is not a gap we can overcome in six months,

given a six-month moratorium.

dada una moratoria de seis meses.

If we actually try to do this in real life,

Si realmente lo intentamos hacer esto en la vida real,

we are all going to die.

moriremos todos.

People say to me at this point, what's your ask?

La gente me dice a estas alturas, ¿cuál es tu pregunta?

I do not have any realistic plan,

No tengo ningún plan realista,

which is why I spent the last two decades

por eso pasé las últimas dos décadas

trying and failing to end up anywhere but here.

intentando y no consiguiendo acabar en cualquier lugar salvo aquí.

My best bad take is that we need an international coalition

Mi mejor mala opinión es que necesitamos una coalición internacional

banning large AI training runs,

que prohíba las grandes carreras de entrenamiento de la IA,

including extreme and extraordinary measures

incluyendo medidas extremas y extraordinarias

to have that ban be actually and universally effective,

para que esa prohibición sea realmente y universalmente eficaz,

like tracking all GPU sales,

como rastrear todas las ventas de GPU,

monitoring all the data centers,

monitorizar todos los centros de datos,

estar dispuesto a arriesgar un conflicto de bélico entre naciones

being willing to risk a shooting conflict between nations

in order to destroy an unmonitored data center

para destruir un centro de datos no vigilado

in a non-signatory country.

en un país no signatario.

I say this, not expecting that to actually happen.

Digo esto, sin esperar que realmente suceda.

I say this expecting that we all just die.

Digo esto esperando que todos muramos.

But it is not my place to just decide on my own

Pero no me corresponde a mí decidir por mi cuenta

that humanity will choose to die,

que la humanidad decidirá morir,

to the point of not bothering to warn anyone.

hasta el punto de no molestarme en avisar a nadie.

He oído que la gente de fuera de la industria tecnológica

I have heard that people outside the tech industry

are getting this point faster than people inside it.

está entendiendo este punto más rápido que la gente de dentro.

Maybe humanity wakes up one morning and decides to live.

Quizás la humanidad despierte una mañana y decida vivir.

Thank you for coming to my brief TED talk.

Gracias por venir a mi breve charla TED.

(Laughter)

(Risas)

(Applause and cheers)

(Aplausos y ovaciones)

Chris Anderson: So, Eliezer, thank you for coming and giving that.

Chris Anderson: Eliezer, gracias por venir y darla.

It seems like what you're raising the alarm about is that like,

Parece que sobre lo que estás levantado la alarma es que,

for this to happen, for an AI to basically destroy humanity,

para que esto suceda, para que un IA destruya básicamente a la humanidad,

it has to break out, escape controls of the internet and, you know,

tiene que fugarse, escapar de los controles de Internet y,

ya sabes,

start commanding actual real-world resources.

empezar a controlar los recursos propios del mundo real.

You say you can't predict how that will happen,

Dices que no puedes predecir cómo sucederá

but just paint one or two possibilities.

pero tan sólo dibuja una o dos posibilidades.

Eliezer Yudkowsky: OK, ¿por qué es tan difícil?

Eliezer Yudkowsky: OK, so why is this hard?

En primer lugar, porque no se puede predecir con exactitud

First, because you can't predict exactly where a smarter chess program will move.

dónde moverá un programa de ajedrez más inteligente.

Maybe even more importantly than that,

Quizás aún más importante que eso,

imagine sending the design for an air conditioner

Imagínense enviar el diseño de un aparato de aire acondicionado

back to the 11th century.

al siglo XI.

Even if they -- if it’s enough detail for them to build it,

Incluso si... si son suficientes detalles para que lo construyan,

they will be surprised when cold air comes out

se sorprenderán cuando salga aire frío

because the air conditioner will use the temperature-pressure relation

porque el aire acondicionado utilizará la relación temperatura-presión

and they don't know about that law of nature.

y ellos no conocen esa ley de la naturaleza.

So if you want me to sketch what a superintelligence might do,

Así que si quieres que esboce lo que una superinteligencia podría hacer,

I can go deeper and deeper into places

puedo ahondar cada vez más en espacios

where we think there are predictable technological advancements

donde creemos que hay avances tecnológicos predecibles

that we haven't figured out yet.

que aún no hemos imaginado.

And as I go deeper, it will get harder and harder to follow.

Y a medida que profundice, será cada vez más difícil de seguir.

It could be super persuasive.

Podría ser muy persuasivo.

Eso es relativamente fácil de entender.

That's relatively easy to understand.

No entendemos con exactitud cómo funciona el cerebro,

We do not understand exactly how the brain works,

so it's a great place to exploit laws of nature that we do not know about.

es un gran espacio para aprovechar leyes de la naturaleza desconocidas

Rules of the environment,

Normativa sobre el medio ambiente,

invent new technologies beyond that.

inventad nuevas tecnologías más allá de eso.

Can you build a synthetic virus that gives humans a cold

¿Se puede construir un virus sintético que cause un resfriado a los humanos

and then a bit of neurological change and they're easier to persuade?

y después un pequeño de cambio neurológico para que sean más fáciles de persuadir?

Can you build your own synthetic biology,

¿Puedes construir tu propia biología sintética,

synthetic cyborgs?

ciborgs sintéticos?

Can you blow straight past that

¿Puedes pasar directamente

to covalently bonded equivalents of biology,

a los equivalentes con enlace covalente de la biología,

donde en lugar de proteínas que se pliegan se mantienen unidos

where instead of proteins that fold up and are held together by static cling,

por aferramiento estático?

you've got things that go down much sharper potential energy gradients

¿disponemos de algo que descienda gradientes de la energía potencial

and are bonded together?

mucho más agudos y están unidas entre sí?

People have done advanced design work about this sort of thing

La gente ha hecho trabajo de diseño avanzado sobre este tipo de cosas

for artificial red blood cells that could hold 100 times as much oxygen

para glóbulos rojos artificiales que podría contener 100 veces más oxígeno

if they were using tiny sapphire vessels to store the oxygen.

si utilizaban pequeños recipientes de zafiro para almacenar el oxígeno.

There's lots and lots of room above biology,

Hay mucho, mucho espacio por encima de la biología,

but it gets harder and harder to understand.

pero cada vez es más difícil de entender.

CA: So what I hear you saying

CA: Así que lo que te oigo decir

is that these terrifying possibilities there

es que estas aterradoras posibilidades existen,

but your real guess is that AIs will work out something more devious than that.

pero tu suposición real es que las IAs idearán algo más enrevesado que eso.

Is that really a likely pathway in your mind?

¿Crees realmente que es una vía probable?

EY: Which part?

EY: ¿Qué parte?

That they're smarter than I am? Absolutely.

¿Que son más listos que yo? Por supuesto.

CA: Not that they're smarter,

CA: No es que sean más inteligentes,

but why would they want to go in that direction?

pero ¿por qué querrían ir en esa dirección?

Like, AIs don't have our feelings of sort of envy and jealousy and anger

Las IAs no tienen nuestros sentimientos de envidia, celos e ira...

and so forth.

etcétera.

So why might they go in that direction?

Entonces, ¿por qué podrían ir en esa dirección?

EY: Because it's convergently implied by almost any of the strange,

EY: Porque está implícito de forma convergente en casi cualquiera

de las cosas extrañas

inscrutable things that they might end up wanting

e inescrutables que podrían acabar queriendo

as a result of gradient descent

como resultado del descenso gradual

on these "thumbs up" and "thumbs down" things internally.

en esto de “pulgares arriba” y “pulgares abajo” a nivel interno.

If all you want is to make tiny little molecular squiggles

Si todo lo que quieres es hacer pequeños garabatos moleculares

or that's like, one component of what you want,

o eso es como un componente de lo que quieres,

but it's a component that never saturates, you just want more and more of it,

pero es un componente que nunca satura, sólo quieres más y más de eso,

the same way that we would want more and more galaxies filled with life

de la misma manera que querríamos más y más galaxias llenas de vida

and people living happily ever after.

y gente viviendo feliz para siempre.

Anything that just keeps going,

Cualquier cosa que siga avanzando,

you just want to use more and more material for that,

sólo quieres consumir más y más material para eso,

that could kill everyone on Earth as a side effect.

que podría matarnos a todos en la Tierra como efecto secundario.

It could kill us because it doesn't want us making other superintelligences

Podría matarnos porque no quiere que creemos otras superinteligencias

to compete with it.

que compitan con ella.

It could kill us because it's using up all the chemical energy on earth

Podría matarnos porque está agotando toda la energía química de la Tierra

and we contain some chemical potential energy.

y nosotros contenemos energía potencial química.

CA: So some people in the AI world worry that your views are strong enough

CA: Así que, algunas personas dentro del mundo de la IA

se preocupan de que tus opiniones son lo bastante firmes

and they would say extreme enough

e incluso extremistas

that you're willing to advocate extreme responses to it.

que estás dispuesto a proponer respuestas extremistas.

And therefore, they worry that you could be, you know,

Y por lo tanto, les preocupa que puedas ser, ya sabes,

in one sense, a very destructive figure.

en cierto sentido, una figura muy destructiva.

Do you draw the line yourself in terms of the measures

¿Trazas tú mismo la línea con respecto a las medidas

that we should take to stop this happening?

que deberíamos tomar para evitar que esto ocurra?

Or is actually anything justifiable to stop

¿O hay algo realmente justificable para impedir

the scenarios you're talking about happening?

que se produzcan los escenarios de los que hablas?

EY: I don't think that "anything" works.

EY: No creo que “nada” funcione.

I think that this takes state actors

Creo que esto requiere entidades públicas

and international agreements

y acuerdos internacionales

and all international agreements by their nature,

y todos los acuerdos internacionales, por su naturaleza,

tend to ultimately be backed by force

tienden a ser respaldados en última instancia por la fuerza

on the signatory countries and on the non-signatory countries,

sobre los países signatarios y sobre los países no signatarios,

which is a more extreme measure.

lo que constituye una medida más extrema.

I have not proposed that individuals run out and use violence,

No he propuesto que los individuos salgan corriendo y utilicen la violencia,

and I think that the killer argument for that is that it would not work.

y creo que el argumento asesino para ello es que no funcionaría.

CA: Well, you are definitely not the only person to propose

CA: Bueno, no es usted la única persona que propone

that what we need is some kind of international reckoning here

que lo que necesitamos es algún tipo de ajuste de cuentas internacional

on how to manage this going forward.

sobre cómo gestionar esto de ahora en adelante.

Thank you so much for coming here to TED, Eliezer.

Muchas gracias por venir a TED, Eliezer.

(Applause)

(Aplausos)