How to Keep AI Under Control | Max Tegmark | TED

Traductor: Aitana Soler C Revisor: Sebastian Sanchez

Five years ago,

Hace cinco años,

I stood on the TED stage

subí al escenario de TED

and warned about the dangers of superintelligence.

y advertí sobre los peligros de la superinteligencia.

I was wrong.

Estaba equivocado.

It went even worse than I thought.

Salió aún peor de lo que pensaba.

(Laughter)

(Risas)

I never thought governments would let AI companies get this far

No pensé que los gobiernos permitirían que las empresas de inteligencia artificial

without any meaningful regulation.

llegaran tan lejos sin regulaciones fijas.

And the progress of AI went even faster than I predicted.

Y el progreso de la IA fue incluso más rápido de lo que había previsto.

Look, I showed this abstract landscape of tasks

Miren, mostré este panorama abstracto de tareas,

where the elevation represented how hard it was for AI

en el que la elevación representaba lo difícil que era para la IA

to do each task at human level.

realizar cada tarea a nivel humano.

And the sea level represented what AI could be back then.

El nivel del mar representaba lo que la IA podía ser en aquel momento.

And boy or boy, has the sea been rising fast ever since.

Y vaya que el nivel del mar ha estado subiendo rápidamente desde entonces.

But a lot of these tasks have already gone blub blub blub blub blub blub.

Muchas de estas tareas ya se han hundido más y más.

And the water is on track to submerge all land,

El agua va en camino a sumergir toda la tierra,

matching human intelligence at all cognitive tasks.

igualando la inteligencia humana en todas las tareas cognitivas.

This is a definition of artificial general intelligence, AGI,

Esta es una definición de inteligencia general artificial (IGA),

which is the stated goal of companies like OpenAI,

que es el objetivo declarado de empresas como OpenAI,

Google DeepMind and Anthropic.

Google, DeepMind y Anthropic.

And these companies are also trying to build superintelligence,

Estas empresas también están intentando desarrollar una superinteligencia,

leaving human intelligence far behind.

dejando por detrás a la inteligencia humana.

And many think it'll only be a few years, maybe, from AGI to superintelligence.

Y muchos piensan que solo faltan unos pocos años

para que la IA pase a la superinteligencia

So when are we going to get AGI?

Entonces, ¿cuándo vamos a tener la IGA?

Well, until recently, most AI researchers thought it was at least decades away.

Bueno, hasta hace poco, la mayoría de los investigadores pensaban

que faltaban por lo menos unas décadas.

And now Microsoft is saying, "Oh, it's almost here."

Y ahora Microsoft dice, “ya está por llegar.”

We're seeing sparks of AGI in ChatGPT-4,

En ChatGPT-4 se vislumbran destellos de la IGA,

and the Metaculus betting site is showing the time left to AGI

y el sitio de apuestas Metaculus muestra que el tiempo que falta para que la IGA

plummeting from 20 years away to three years away

se implemente ha caído en picada, pasando de 20 años a tan solo tres

in the last 18 months.

durante los últimos 18 meses.

And leading industry people are now predicting

Además, los líderes del sector predicen que nos quedan unos dos o tres años

that we have maybe two or three years left until we get outsmarted.

hasta que nos ganen en astucia.

So you better stop talking about AGI as a long-term risk,

Así que más vale que dejen de hablar de la AGI como un riesgo a largo plazo,

or someone might call you a dinosaur stuck in the past.

o parecerán un dinosaurio atrapado en el pasado.

It's really remarkable how AI has progressed recently.

Es realmente sorprendente cómo ha progresado la IA recientemente.

Not long ago, robots moved like this.

Hace no mucho, los robots se movían así.

(Music)

(Música)

Now they can dance.

Ahora pueden bailar.

(Music)

(Música)

Just last year, Midjourney produced this image.

El año pasado, Midjourney produjo esta imagen.

This year, the exact same prompt produces this.

Este año, el mismo mensaje produce esto.

Deepfakes are getting really convincing.

Los Deepfakes se están volviendo realmente convincentes.

(Video) Deepfake Tom Cruise: I’m going to show you some magic.

(Vídeo) Tom Cruise de Deepfake: Te mostraré un poco de magia.

It's the real thing.

Esto es real.

(Laughs)

(Risas)

I mean ...

Es decir...

It's all ...

Todo esto

the real ...

es...

thing.

real.

Max Tegmark: Or is it?

Max Tegmark: ¿lo es?

And Yoshua Bengio now argues

Yoshua Bengio ahora sostiene

that large language models have mastered language

que los grandes modelos lingüísticos han dominado el lenguaje y conocimiento

and knowledge to the point that they pass the Turing test.

hasta el punto de lograr pasar la prueba de Turing.

I know some skeptics are saying,

Sé que algunos escépticos dicen:

"Nah, they're just overhyped stochastic parrots

“No son más que loros impredicibles y sobrevalorados

that lack a model of the world,"

que carecen de un modelo del mundo.”

but they clearly have a representation of the world.

Pero es evidente que sí tienen una representación del mundo.

In fact, we recently found that Llama-2 even has a literal map of the world in it.

De hecho, hace poco se descubrió que Llama-2 contiene un mapa real del mundo.

And AI also builds

Además, la IA también crea representaciones

geometric representations of more abstract concepts

geométricas de conceptos más abstractos,

like what it thinks is true and false.

como lo que cree que es verdadero y falso.

So what's going to happen if we get AGI and superintelligence?

Entonces, ¿qué pasará si obtenemos la IA y la superinteligencia?

If you only remember one thing from my talk, let it be this.

Si solo se llevan una cosa de mi charla, que sea esto:

AI godfather, Alan Turing predicted

El padrino de la IA, Alan Turing, predijo

that the default outcome is the machines take control.

que el resultado predeterminado es que las máquinas tomen el control.

The machines take control.

Las máquinas tomarán el control.

I know this sounds like science fiction,

Sé que suena a ciencia ficción,

but, you know, having AI as smart as GPT-4

pero sabrán que tener una IA tan inteligente como la GPT-4

also sounded like science fiction not long ago.

también sonaba a ciencia ficción hace no mucho.

And if you think of AI,

Y si piensan en la IA,

if you think of superintelligence in particular, as just another technology,

si piensan en la superinteligencia como solo una tecnología más,

like electricity,

así como la electricidad,

probablemente no estén muy preocupados.

you're probably not very worried.

But you see,

Pero verán,

Turing thinks of superintelligence more like a new species.

Turing piensa en la superinteligencia más como una nueva especie.

Think of it,

Piénsenlo.

we are building creepy, super capable,

Estamos creando psicópatas espeluznantes,

supercapaces y amorales

amoral psychopaths

that don't sleep and think much faster than us,

que no duermen y piensan mucho más rápido que nosotros,

can make copies of themselves

pueden hacer copias de sí mismos

and have nothing human about them at all.

y no tienen nada de humano.

So what could possibly go wrong?

Así que, ¿qué podría salir mal?

(Laughter)

(Risas)

And it's not just Turing.

Y no es solo Turing.

OpenAI CEO Sam Altman, who gave us ChatGPT,

El director ejecutivo de OpenAI, Sam Altman, quien nos regaló ChatGPT,

recently warned that it could be "lights out for all of us."

advirtió recientemente que “podría ser el fin de todos”.

Anthropic CEO, Dario Amodei, even put a number on this risk:

El CEO de Anthropic, Darío Amodei, incluso calculó este riesgo con una cifra:

10-25 percent.

del 10 al 25 por ciento.

And it's not just them.

Y no son solo ellos.

Human extinction from AI went mainstream in May

La extinción humana a causa de la IA se generalizó en mayo,

when all the AGI CEOs and who's who of AI researchers

cuando todos los directores ejecutivos de IGA

y todos los investigadores importantes de la IA

came on and warned about it.

nos advirtieron al respecto.

And last month, even the number one of the European Union

Y el mes pasado, incluso la número uno de la Unión Europea

warned about human extinction by AI.

advirtió sobre la extinción humana a causa de la IA.

So let me summarize everything I've said so far

Permítanme resumir todo lo que he dicho hasta ahora

in just one slide of cat memes.

con una sola diapositiva de memes sobre gatos.

Three years ago,

Hace tres años,

people were saying it's inevitable, superintelligence,

la gente decía que era inevitable la superinteligencia,

it'll be fine,

pero que todo iba a estar bien,

it's decades away.

que aún faltaban décadas.

Last year it was more like,

El año pasado fue más bien como:

It's inevitable, it'll be fine.

“Es inevitable, todo estará bien”.

Now it's more like,

Y ahora es más bien:

It's inevitable.

“Es inevitable.”

(Laughter)

(Risas)

But let's take a deep breath and try to raise our spirits

Pero respiremos profundo e intentemos levantarnos el ánimo

and cheer ourselves up,

y ponernos de buen humor,

because the rest of my talk is going to be about the good news,

porque el resto de mi charla tratará de las buenas noticias,

that it's not inevitable, and we can absolutely do better,

que no es inevitable, y que podemos hacerlo mejor,

alright?

¿de acuerdo?

(Applause)

(Aplausos)

So ...

Así que...

The real problem is that we lack a convincing plan for AI safety.

El verdadero problema es que carecemos de un plan convincente para la seguridad

de la IA.

People are working hard on evals

La gente está trabajando arduamente en las evaluaciones que

looking for risky AI behavior, and that's good,

buscan comportamientos riesgosos en materia de IA, y eso es bueno,

but clearly not good enough.

pero claramente no lo suficientemente bueno.

They're basically training AI to not say bad things

Básicamente, están entrenando a la IA para que no diga cosas malas

rather than not do bad things.

en lugar de no hacer cosas malas.

Moreover, evals and debugging are really just necessary,

Además, las evaluaciones y la optimización son solo las condiciones de seguridad

not sufficient, conditions for safety.

necesarias, no las suficientes.

In other words,

En otras palabras,

they can prove the presence of risk,

pueden demostrar la presencia de riesgo,

not the absence of risk.

no la ausencia de riesgo.

So let's up our game, alright?

Así que mejoremos en eso, ¿de acuerdo?

Try to see how we can make provably safe AI that we can control.

Intenten pensar cómo podemos crear una IA que sea demostrablemente segura y que

podamos controlar.

Guardrails try to physically limit harm.

Los barandales intentan limitar físicamente el daño,

But if your adversary is superintelligence

pero si tu oponente es la superinteligencia,

o un humano que usa la superinteligencia en tu contra,

or a human using superintelligence against you, right,

trying is just not enough.

entonces intentarlo no es suficiente.

You need to succeed.

Debes tener éxito.

Harm needs to be impossible.

El daño tiene que ser imposible.

So we need provably safe systems.

Por lo tanto, necesitamos sistemas que se demuestre que son seguros.

Provable, not in the weak sense of convincing some judge,

Demostrables, no en el sentido débil de convencer a un juez,

but in the strong sense of there being something that's impossible

sino en el sentido de que hay algo que es literalmente imposible

according to the laws of physics.

según las leyes de la física.

Because no matter how smart an AI is,

Porque, por muy inteligente que sea una IA,

it can't violate the laws of physics and do what's provably impossible.

no puede violar las leyes de la física y hacer lo que es científicamente imposible.

Steve Omohundro and I wrote a paper about this,

Steve Omohundro y yo escribimos un artículo sobre esto,

and we're optimistic that this vision can really work.

y nos sentimos optimistas que esta visión podrá funcionar muy bien.

So let me tell you a little bit about how.

Así que permítanme contarles un poco sobre cómo hacerlo.

There's a venerable field called formal verification,

Hay un campo venerable llamado verificación formal,

which proves stuff about code.

que prueba cosas sobre el código.

And I'm optimistic that AI will revolutionize automatic proving business

Y tengo esperanzas de que la IA revolucionará el negocio de

las pruebas automáticas, al igual que la síntesis de programas,

and also revolutionize program synthesis,

es decir, la capacidad de escribir automáticamente código realmente bueno.

the ability to automatically write really good code.

So here is how our vision works.

Así es como funciona nuestra visión:

You, the human, write a specification

Tú, el ser humano, escribes una especificación

that your AI tool must obey,

que tu herramienta de inteligencia artificial debe cumplir,

that it's impossible to log in to your laptop

que es imposible iniciar sesión en tu computadora portátil

without the correct password,

sin la contraseña correcta,

or that a DNA printer cannot synthesize dangerous viruses.

o que una impresora de ADN no puede sintetizar virus peligrosos.

Then a very powerful AI creates both your AI tool

Entonces, una IA muy poderosa crea tu herramienta de IA

and a proof that your tool meets your spec.

y una prueba de que tu herramienta cumple con tus especificaciones.

Machine learning is uniquely good at learning algorithms,

El aprendizaje automático es especialmente bueno para aprenderse algoritmos,

but once the algorithm has been learned,

pero una vez que se ha aprendido,

puedes volver a implementarlo en una arquitectura computacional diferente

you can re-implement it in a different computational architecture

that's easier to verify.

que sea más fácil de verificar.

Now you might worry,

Quizás piensen,

how on earth am I going to understand this powerful AI

¿cómo diablos voy a entender esta poderosa IA,

and the powerful AI tool it built

la poderosa herramienta de IA que creó

and the proof,

y la prueba,

if they're all too complicated for any human to grasp?

si son demasiado complicadas para que cualquier humano las comprenda?

Here is the really great news.

Aquí están las noticias realmente buenas.

You don't have to understand any of that stuff,

No tienes que entender nada de eso,

because it's much easier to verify a proof than to discover it.

porque es mucho más fácil verificar una prueba que descubrirla.

So you only have to understand or trust your proof-checking code,

Por lo tanto, solo tiene que entender o confiar en su código de verificación,

which could be just a few hundred lines long.

que puede tener solo unos cientos de líneas.

And Steve and I envision

Steve y yo prevemos que esos verificadores de pruebas

that such proof checkers get built into all our compute hardware,

estén integrados en todo nuestro hardware de cómputo,

so it just becomes impossible to run very unsafe code.

por lo que será imposible ejecutar código muy inseguro.

What if the AI, though, isn't able to write that AI tool for you?

Sin embargo, ¿qué pasa si la IA no es capaz de escribir esa herramienta por ti?

Then there's another possibility.

Entonces hay otra posibilidad.

You train an AI to first just learn to do what you want

Entrenas a una IA para que primero aprenda a hacer lo que quieres

and then you use a different AI

y, después, utilizas una IA diferente

to extract out the learned algorithm and knowledge for you,

para extraer el algoritmo y los conocimientos aprendidos,

like an AI neuroscientist.

como un neurocientífico de IA.

This is in the spirit of the field of mechanistic interpretability,

Esto es el fundamento del campo de la interpretabilidad mecanicista,

which is making really impressive rapid progress.

que está progresando a una velocidad realmente impresionante.

Provably safe systems are clearly not impossible.

Evidentemente, los sistemas seguros y demostrables no son imposibles.

Let's look at a simple example

Veamos un ejemplo sencillo en el que primero

of where we first machine-learn an algorithm from data

aprendemos automáticamente un algoritmo a partir de los datos

and then distill it out in the form of code

y luego lo destilamos en forma de código

that provably meets spec, OK?

que cumple con las especificaciones, ¿sí?

Let’s do it with an algorithm that you probably learned in first grade,

Hagámoslo con un algoritmo que probablemente aprendiste en primer grado,

addition,

la adición,

where you loop over the digits from right to left,

donde recorres los dígitos de derecha a izquierda

and sometimes you do a carry.

y a veces sumas el dígito de la décima.

We'll do it in binary,

Lo haremos en binario,

as if you were counting on two fingers instead of ten.

como si contaras con dos dedos en lugar de con diez.

And we first train a recurrent neural network,

Y primero entrenamos una red neuronal recurrente,

never mind the details,

sin importar los detalles,

to nail the task.

para completar la tarea.

So now you have this algorithm that you don't understand how it works

Así que ahora tenemos este algoritmo que no entiendes cómo funciona

in a black box

en una caja negra

defined by a bunch of tables of numbers that we, in nerd speak,

definida por un grupo de tablas a las que nosotros los nerds

call parameters.

llamamos parámetros.

Then we use an AI tool we built to automatically distill out from this

Luego utilizamos una herramienta de IA creada para extraer automáticamente de ahí

the learned algorithm in the form of a Python program.

el algoritmo aprendido en forma de un programa de Python.

And then we use the formal verification tool known as Daphne

Y luego utilizamos la herramienta de verificación formal conocida como Daphne

to prove that this program correctly adds up any numbers,

para demostrar que este programa suma correctamente cualquier número,

not just the numbers that were in your training data.

no solo los números que estaban en tus datos de entrenamiento.

So in summary,

En resumen,

estoy convencido de que la IA demostrablemente segura es posible,

provably safe AI, I'm convinced is possible,

but it's going to take time and work.

pero va a llevar tiempo y trabajo.

And in the meantime,

Mientras tanto,

let's remember that all the AI benefits

recordemos que todos los beneficios

that most people are excited about

de la IA que entusiasman a la mayoría de la gente

actually don't require superintelligence.

en realidad no requieren la superinteligencia.

We can have a long and amazing future with AI.

Podemos tener un futuro largo y sorprendente con la IA.

So let's not pause AI.

Así que no hagamos una pausa en la IA.

Let's just pause the reckless race to superintelligence.

Solo hagamos una pausa en la peligrosa carrera hacia la superinteligencia.

Let's stop obsessively training ever-larger models

Dejemos de entrenar obsesivamente a modelos cada vez más grandes

that we don't understand.

que no entendemos.

Let's heed the warning from ancient Greece

Prestemos atención a la advertencia de la antigua Grecia

and not get hubris, like in the story of Icarus.

y no nos dejemos llevar por la arrogancia, como en la historia de Ícaro.

Because artificial intelligence

Porque la inteligencia artificial

is giving us incredible intellectual wings

nos está dando unas alas intelectuales increíbles

with which we can do things beyond our wildest dreams

con las que podemos hacer cosas más allá de nuestros sueños más descabellados

if we stop obsessively trying to fly to the sun.

si dejamos de intentar volar obsesivamente hacia el sol.

Thank you.

Gracias.

(Applause)

(Aplausos)