What happens when our computers get smarter than we are? | Nick Bostrom

Nick Bostrom: ¿Qué sucede cuando nuestras computadoras se vuelven más inteligentes que nosotros?

Traductor: Denise RQ Revisor: Sebastian Betti

I work with a bunch of mathematicians, philosophers and computer scientists,

Yo trabajo con un grupo de matemáticos, filósofos y científicos informáticos,

and we sit around and think about the future of machine intelligence,

y nos juntamos para pensar en el futuro de la inteligencia artificial,

among other things.

entre otras cosas.

Some people think that some of these things are sort of science fiction-y,

Algunos piensan que estas cosas son una especie de ciencia ficción

far out there, crazy.

alocadas y alejadas de la verdad.

But I like to say,

Pero bueno, me gusta sugerir

okay, let's look at the modern human condition.

que analicemos la condición humana moderna.

(Laughter)

(Risas)

This is the normal way for things to be.

Así es cómo tienen que ser las cosas.

But if we think about it,

Pero si lo pensamos,

we are actually recently arrived guests on this planet,

en realidad acabamos de llegar a este planeta,

the human species.

nosotros, la especie humana.

Think about if Earth was created one year ago,

Piensen que si la Tierra hubiera sido creada hace un año,

the human species, then, would be 10 minutes old.

entonces la raza humana solo tendría 10 minutos de edad

The industrial era started two seconds ago.

y la era industrial habría empezado hace dos segundos.

Another way to look at this is to think of world GDP over the last 10,000 years,

Otra forma de abordar esto es pensar en el PIB mundial en los últimos 10 000 años,

I've actually taken the trouble to plot this for you in a graph.

y de hecho, me he tomado la molestia de representarlo en un gráfico para Uds.

It looks like this.

Se ve así.

(Laughter)

(Risas)

It's a curious shape for a normal condition.

Tiene una forma curiosa para ser normal.

I sure wouldn't want to sit on it.

Y seguro que no me gustaría sentarme en ella.

(Laughter)

(Risas)

Let's ask ourselves, what is the cause of this current anomaly?

Preguntémonos ¿cuál es la causa de esta anomalía actual?

Some people would say it's technology.

Algunas personas dirán que es la tecnología.

Now it's true, technology has accumulated through human history,

Ahora bien es cierto que la tecnología ha aumentado a lo largo de la historia,

and right now, technology advances extremely rapidly --

y en la actualidad avanza muy rápidamente

that is the proximate cause,

--esa es la causa inmediata--

that's why we are currently so very productive.

y por esto la razón de ser muy productivos hoy en día.

But I like to think back further to the ultimate cause.

Pero me gusta indagar más allá, buscar la causa de todo.

Look at these two highly distinguished gentlemen:

Miren a estos 2 caballeros muy distinguidos:

We have Kanzi --

Tenemos a Kanzi,

he's mastered 200 lexical tokens, an incredible feat.

que domina 200 unidades léxicas, una hazaña increíble,

And Ed Witten unleashed the second superstring revolution.

y a Ed Witten que desató la segunda revolución de las supercuerdas.

If we look under the hood, this is what we find:

Si miramos atentamente esto es lo que encontramos:

basically the same thing.

básicamente la misma cosa.

One is a little larger,

Uno es un poco más grande,

it maybe also has a few tricks in the exact way it's wired.

y puede que también tenga algunos trucos más por la forma en que está diseñado,

These invisible differences cannot be too complicated, however,

sin embargo, estas diferencias invisibles no pueden ser demasiado complicadas

because there have only been 250,000 generations

porque solo nos separan 250 000 generaciones

since our last common ancestor.

de nuestro último ancestro común.

We know that complicated mechanisms take a long time to evolve.

Sabemos que los mecanismos complicados tardan mucho tiempo en evolucionar

So a bunch of relatively minor changes

así que una serie de pequeños cambios

take us from Kanzi to Witten,

nos lleva de Kanzi a Witten,

from broken-off tree branches to intercontinental ballistic missiles.

de las ramas de árboles rotas a los misiles balísticos intercontinentales.

So this then seems pretty obvious that everything we've achieved,

Así que parece bastante claro que todo lo que hemos logrado,

and everything we care about,

y todo lo que nos importa,

depends crucially on some relatively minor changes that made the human mind.

depende fundamentalmente de algunos cambios relativamente menores

sufridos por la mente humana.

And the corollary, of course, is that any further changes

Y el corolario es que, por supuesto, cualquier cambio ulterior

that could significantly change the substrate of thinking

que cambiara significativamente el fundamento del pensamiento

could have potentially enormous consequences.

podría potencialmente acarrear enormes consecuencias.

Some of my colleagues think we're on the verge

Algunos de mis colegas piensan que estamos muy cerca

of something that could cause a profound change in that substrate,

de algo que podría causar un cambio significativo en ese fundamento

and that is machine superintelligence.

y que eso es la máquina superinteligente.

Artificial intelligence used to be about putting commands in a box.

La inteligencia artificial solía ser la integración de comandos en una caja,

You would have human programmers

con programadores humanos

that would painstakingly handcraft knowledge items.

que elaboraban conocimiento minuciosamente a mano.

You build up these expert systems,

Se construían estos sistemas especializados

and they were kind of useful for some purposes,

y eran bastante útiles para ciertos propósitos,

but they were very brittle, you couldn't scale them.

pero eran muy frágiles y no se podían ampliar.

Basically, you got out only what you put in.

Básicamente, se conseguía solamente lo que se invertía en ellos.

But since then,

Pero desde entonces,

a paradigm shift has taken place in the field of artificial intelligence.

hubo un cambio de paradigma en el campo de la inteligencia artificial.

Today, the action is really around machine learning.

Hoy, la acción gira en torno al aprendizaje máquina.

So rather than handcrafting knowledge representations and features,

Así que en lugar de producir características

y representar el conocimiento de manera artesanal,

we create algorithms that learn, often from raw perceptual data.

creamos algoritmos que aprenden a menudo a partir de datos de percepción en bruto.

Basically the same thing that the human infant does.

Básicamente lo mismo que hace el bebé humano.

The result is A.I. that is not limited to one domain --

El resultado es inteligencia artificial que no se limita a un solo campo;

the same system can learn to translate between any pairs of languages,

el mismo sistema puede aprender a traducir entre cualquier par de idiomas

or learn to play any computer game on the Atari console.

o aprender a jugar a cualquier juego de ordenador en la consola Atari.

Now of course,

Ahora, por supuesto,

A.I. is still nowhere near having the same powerful, cross-domain

la IA está todavía muy lejos de tener el mismo poder y alcance interdisciplinario

ability to learn and plan as a human being has.

para aprender y planificar como lo hacen los humanos.

The cortex still has some algorithmic tricks

La corteza cerebral aún esconde algunos trucos algorítmicos

that we don't yet know how to match in machines.

que todavía no sabemos cómo simular en las máquinas.

So the question is,

Así que la pregunta es,

how far are we from being able to match those tricks?

¿cuánto nos falta para poder implementar esos trucos?

A couple of years ago,

Hace un par de años

we did a survey of some of the world's leading A.I. experts,

hicimos una encuesta entre los expertos de IA más importantes del mundo

to see what they think, and one of the questions we asked was,

para ver lo que piensan, y una de las preguntas que hicimos fue,

"By which year do you think there is a 50 percent probability

"¿En qué año crees que habrá un 50 % de probabilidad en elevar

that we will have achieved human-level machine intelligence?"

la inteligencia artificial al mismo nivel que la inteligencia humana?"

We defined human-level here as the ability to perform

Donde hemos definido ese nivel como la capacidad de realizar

almost any job at least as well as an adult human,

casi todas las tareas, al menos así como las desarrolla un humano adulto,

so real human-level, not just within some limited domain.

por lo cual, un nivel real no solo dentro de un área limitada.

And the median answer was 2040 or 2050,

Y la respuesta fue alrededor de 2040 o 2050,

depending on precisely which group of experts we asked.

dependiendo del grupo de expertos consultados.

Now, it could happen much, much later, or sooner,

Ahora, puede ocurrir mucho más tarde o más temprano,

the truth is nobody really knows.

la verdad es que nadie lo sabe realmente.

What we do know is that the ultimate limit to information processing

Lo que sí sabemos es que el umbral en el procesamiento de información

in a machine substrate lies far outside the limits in biological tissue.

en una infraestructura artificial

se encuentra mucho más allá de los límites del tejido biológico.

This comes down to physics.

Esto pertenece al campo de la física.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Una neurona biológica manda impulsos quizá a 200 Hertz, 200 veces por segundo.

But even a present-day transistor operates at the Gigahertz.

mientras que incluso hoy, un transistor opera a la frecuencia de los gigahercios.

Neurons propagate slowly in axons, 100 meters per second, tops.

Las neuronas propagan el impulso lentamente a lo largo de los axones,

a máximo 100 metros por segundo.

But in computers, signals can travel at the speed of light.

Pero en las computadoras, las señales pueden viajar a la velocidad de la luz.

There are also size limitations,

También hay limitaciones de tamaño,

like a human brain has to fit inside a cranium,

como el cerebro humano que tiene que encajar dentro del cráneo,

but a computer can be the size of a warehouse or larger.

pero una computadora puede ser del tamaño de un almacén o aún más grande.

So the potential for superintelligence lies dormant in matter,

Así que el potencial de la máquina superinteligente

permanece latente en la materia,

much like the power of the atom lay dormant throughout human history,

al igual que el poder atómico a lo largo de toda la historia

patiently waiting there until 1945.

que esperó pacientemente hasta 1945.

In this century,

De cara a este siglo los científicos pueden aprender a despertar

scientists may learn to awaken the power of artificial intelligence.

el poder de la inteligencia artificial

And I think we might then see an intelligence explosion.

y creo que podríamos ser testigos de una explosión de inteligencia.

Now most people, when they think about what is smart and what is dumb,

Cuando la mayoría de la gente piensa en lo inteligente o lo tonto

I think have in mind a picture roughly like this.

creo que tienen en mente una imagen más o menos así.

So at one end we have the village idiot,

En un extremo tenemos al tonto del pueblo,

and then far over at the other side

y lejos en el otro extremo,

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

tenemos a Ed Witten o a Albert Einstein, o quien sea su gurú favorito.

But I think that from the point of view of artificial intelligence,

Pero creo que desde el punto de vista de la inteligencia artificial,

the true picture is actually probably more like this:

lo más probable es que la imagen real sea la siguiente:

AI starts out at this point here, at zero intelligence,

Se empieza en este punto aquí, en ausencia de inteligencia

and then, after many, many years of really hard work,

y luego, después de muchos, muchos años de trabajo muy arduo,

maybe eventually we get to mouse-level artificial intelligence,

quizá finalmente lleguemos al nivel intelectual de un ratón,

something that can navigate cluttered environments

algo que puede navegar entornos desordenados

as well as a mouse can.

igual que un ratón.

And then, after many, many more years of really hard work, lots of investment,

Y luego, después de muchos, muchos más años

de trabajo muy arduo, de mucha inversión,

maybe eventually we get to chimpanzee-level artificial intelligence.

tal vez alcancemos el nivel de inteligencia de un chimpancé.

And then, after even more years of really, really hard work,

Y luego, después de más años de trabajo muy, muy arduo

we get to village idiot artificial intelligence.

alcancemos la inteligencia artificial del tonto del pueblo.

And a few moments later, we are beyond Ed Witten.

Un poco más tarde, estaremos más allá de Ed Witten.

The train doesn't stop at Humanville Station.

El tren del progreso no se detiene en la estación de los Humanos.

It's likely, rather, to swoosh right by.

Es probable que más bien, pase volando.

Now this has profound implications,

Esto tiene profundas consecuencias,

particularly when it comes to questions of power.

especialmente si se trata de poder.

For example, chimpanzees are strong --

Por ejemplo, los chimpancés son fuertes.

pound for pound, a chimpanzee is about twice as strong as a fit human male.

Un chimpancé es dos veces más fuerte y en mejor forma física que un hombre

And yet, the fate of Kanzi and his pals depends a lot more

y, sin embargo, el destino de Kanzi y sus amigos depende mucho más

on what we humans do than on what the chimpanzees do themselves.

de lo que hacemos los humanos que de lo que ellos mismos hacen.

Once there is superintelligence,

Una vez que hay superinteligencia,

the fate of humanity may depend on what the superintelligence does.

el destino de la humanidad dependerá de lo que haga la superinteligencia.

Think about it:

Piensen en esto:

Machine intelligence is the last invention that humanity will ever need to make.

la máquina inteligente es el último invento

que la humanidad jamás tendrá que realizar.

Machines will then be better at inventing than we are,

Las máquinas serán entonces mejores inventores que nosotros,

and they'll be doing so on digital timescales.

y lo harán a escala de tiempo digital

What this means is basically a telescoping of the future.

lo que significa básicamente que acelerarán la cercanía al futuro.

Think of all the crazy technologies that you could have imagined

Piensen en todas las tecnologías que tal vez, en su opinión,

maybe humans could have developed in the fullness of time:

los humanos pueden desarrollar con el paso del tiempo:

cures for aging, space colonization,

tratamientos para el envejecimiento, la colonización del espacio,

self-replicating nanobots or uploading of minds into computers,

nanobots autoreplicantes, mentes integradas en las computadoras,

all kinds of science fiction-y stuff

todo tipo de ciencia-ficción

that's nevertheless consistent with the laws of physics.

y sin embargo en consonancia con las leyes de la física.

All of this superintelligence could develop, and possibly quite rapidly.

Todo esta superinteligencia podría desarrollarse

y posiblemente con bastante rapidez.

Now, a superintelligence with such technological maturity

Ahora, una superinteligencia con tanta madurez tecnológica

would be extremely powerful,

sería extremadamente poderosa,

and at least in some scenarios, it would be able to get what it wants.

y con la excepción de algunos casos sería capaz de conseguir lo que quiere.

We would then have a future that would be shaped by the preferences of this A.I.

Nuestro futuro se determinaría por las preferencias de esta IA.

Now a good question is, what are those preferences?

Y una buena pregunta es ¿cuáles son esas preferencias?

Here it gets trickier.

Aquí se vuelve más complicado.

To make any headway with this,

Para avanzar con esto,

we must first of all avoid anthropomorphizing.

debemos en primer lugar evitar el antropomorfismo.

And this is ironic because every newspaper article

Y esto es irónico porque cada artículo de prensa sobre el futuro de la IA

about the future of A.I. has a picture of this:

presenta una imagen como esta:

So I think what we need to do is to conceive of the issue more abstractly,

Así que creo que tenemos que pensar de manera más abstracta,

not in terms of vivid Hollywood scenarios.

no según escenarios entretenidos de Hollywood.

We need to think of intelligence as an optimization process,

Tenemos que pensar en la inteligencia como un proceso de optimización

a process that steers the future into a particular set of configurations.

un proceso que dirige el futuro hacia un conjunto especifico de configuraciones.

A superintelligence is a really strong optimization process.

Un superinteligencia es un proceso de optimización realmente potente.

It's extremely good at using available means to achieve a state

Es muy bueno en el uso de recursos disponibles

para lograr un estado óptimo y alcanzar su objetivo.

in which its goal is realized.

This means that there is no necessary connection between

Esto significa que no hay ningún vínculo necesario

being highly intelligent in this sense,

entre ser muy inteligente en este sentido,

and having an objective that we humans would find worthwhile or meaningful.

y tener una meta que para los humanos vale la pena o es significativa.

Suppose we give an A.I. the goal to make humans smile.

Por ejemplo, la IA podría tener el objetivo de hacer sonreír a los humanos.

When the A.I. is weak, it performs useful or amusing actions

Cuando la IA está en desarrollo, realiza acciones entretenidas

that cause its user to smile.

para hacer sonreír a su usuario.

When the A.I. becomes superintelligent,

Cuando la IA se vuelve superinteligente,

it realizes that there is a more effective way to achieve this goal:

se da cuenta de que hay una manera más eficaz para lograr su objetivo:

take control of the world

tomar el control del mundo

and stick electrodes into the facial muscles of humans

e introducir electrodos en los músculos faciales de la gente

to cause constant, beaming grins.

para provocar sonrisas constantes y radiantes.

Another example,

Otro ejemplo,

suppose we give A.I. the goal to solve a difficult mathematical problem.

supongamos que le damos el objetivo de resolver un problema matemático difícil.

When the A.I. becomes superintelligent,

Cuando la IA se vuelve superinteligente,

it realizes that the most effective way to get the solution to this problem

se da cuenta de que la forma más eficaz para conseguir la solución a este problema

is by transforming the planet into a giant computer,

es mediante la transformación del planeta en un computador gigante,

so as to increase its thinking capacity.

para aumentar su capacidad de pensar.

And notice that this gives the A.I.s an instrumental reason

Y tengan en cuenta que esto da a la IA una razón instrumental

to do things to us that we might not approve of.

para hacer cosas que nosotros no podemos aprobar.

Human beings in this model are threats,

Los seres humanos se convierten en una amenaza,

we could prevent the mathematical problem from being solved.

ya que podríamos evitar que el problema se resuelva.

Of course, perceivably things won't go wrong in these particular ways;

Por supuesto, las cosas no tienen necesariamente que pasar de esa manera:

these are cartoon examples.

son ejemplos de muestra.

But the general point here is important:

Pero lo importante,

if you create a really powerful optimization process

si crean un proceso de optimización muy potente,

to maximize for objective x,

optimizado para lograr el objetivo X,

you better make sure that your definition of x

más vale asegurarse de que la definición de X

incorporates everything you care about.

incluye todo lo que importa.

This is a lesson that's also taught in many a myth.

Es una moraleja que también se enseña a través de varios mitos.

King Midas wishes that everything he touches be turned into gold.

El rey Midas deseaba convertir en oro todo lo que tocaba.

He touches his daughter, she turns into gold.

Toca a su hija y ella se convierte en oro.

He touches his food, it turns into gold.

Toca su comida, se convierte en oro.

This could become practically relevant,

Es un ejemplo relevante

not just as a metaphor for greed,

no solo de una metáfora de la codicia sino como ilustración

but as an illustration of what happens

de lo que sucede si crean un proceso de optimización potente

if you create a powerful optimization process

and give it misconceived or poorly specified goals.

pero le encomiendan objetivos incomprensibles o sin claridad.

Now you might say, if a computer starts sticking electrodes into people's faces,

Uno puede pensar:

"Si una computadora empieza a poner electrodos en la cara de la gente

we'd just shut it off.

bastaría simplemente con apagarla.

A, this is not necessarily so easy to do if we've grown dependent on the system --

En primer lugar, puede que no sea tan sencillo

si somos dependientes del sistema

like, where is the off switch to the Internet?

por ejemplo: ¿dónde está el botón para apagar Internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

En segundo lugar, ¿por qué los chimpancés

no tienen acceso al mismo interruptor de la humanidad, o los neandertales?

or the Neanderthals?

They certainly had reasons.

Sin duda razones tendrían.

We have an off switch, for example, right here.

Tenemos un interruptor de apagado, por ejemplo, aquí mismo.

(Choking)

(Finge estrangulación)

The reason is that we are an intelligent adversary;

La razón es que somos un adversario inteligente;

we can anticipate threats and plan around them.

podemos anticipar amenazas y planificar en consecuencia,

But so could a superintelligent agent,

pero también podría hacerlo un agente superinteligente,

and it would be much better at that than we are.

y mucho mejor que nosotros.

The point is, we should not be confident that we have this under control here.

El tema es que no debemos confiar

que podemos controlar esta situación.

And we could try to make our job a little bit easier by, say,

Y podríamos tratar de hacer nuestro trabajo un poco más fácil digamos,

putting the A.I. in a box,

poniendo a la IA en una caja, en un entorno de software seguro,

like a secure software environment,

a virtual reality simulation from which it cannot escape.

una simulación de realidad virtual de la que no pueda escapar.

But how confident can we be that the A.I. couldn't find a bug.

Pero, ¿cómo podemos estar seguros de que la IA no encontrará un error?

Given that merely human hackers find bugs all the time,

Dado que incluso los hackers humanos encuentran errores todo el tiempo,

I'd say, probably not very confident.

yo diría que probablemente, no podemos estar muy seguros.

So we disconnect the ethernet cable to create an air gap,

Así que desconectamos el cable ethernet para crear un espacio vacío,

but again, like merely human hackers

pero una vez más, al igual que los hackers humanos,

routinely transgress air gaps using social engineering.

podrían superar estos espacios usando la ingeniería social.

Right now, as I speak,

Ahora mismo, mientras hablo,

I'm sure there is some employee out there somewhere

estoy seguro de que algún empleado, en algún lugar

who has been talked into handing out her account details

ha sido convencido para revelar los detalles de su cuenta

by somebody claiming to be from the I.T. department.

por alguien que dice ser del departamento de IT.

More creative scenarios are also possible,

Otros escenarios creativos también son posibles,

like if you're the A.I.,

por ejemplo si Ud. es la IA,

you can imagine wiggling electrodes around in your internal circuitry

puede hacer cambios en los electrodos de su circuito interno de seguridad

to create radio waves that you can use to communicate.

para crear ondas de radio y usarlas para comunicarse.

Or maybe you could pretend to malfunction,

O tal vez fingir un mal funcionamiento,

and then when the programmers open you up to see what went wrong with you,

y cuando los programadores lo abren para entender qué está mal,

they look at the source code -- Bam! --

al mirar el código fuente, ¡pum!

the manipulation can take place.

ya empieza a manipular.

Or it could output the blueprint to a really nifty technology,

O podría idear un programa tecnológico realmente ingenioso,

and when we implement it,

y cuando lo implementamos,

it has some surreptitious side effect that the A.I. had planned.

tener efectos secundarios ocultos planeados por la IA.

The point here is that we should not be confident in our ability

No debemos confiar en nuestra capacidad

to keep a superintelligent genie locked up in its bottle forever.

para mantener un genio superinteligente encerrado en su lámpara para siempre.

Sooner or later, it will out.

Tarde o temprano, saldrá.

I believe that the answer here is to figure out

Creo que la solución es averiguar cómo crear una IA superinteligente

how to create superintelligent A.I. such that even if -- when -- it escapes,

para que incluso si, o cuando se escape, sea todavía segura

it is still safe because it is fundamentally on our side

para que fundamentalmente esté de nuestro lado y comparta nuestros valores.

because it shares our values.

I see no way around this difficult problem.

No veo cómo evitar este problema difícil.

Now, I'm actually fairly optimistic that this problem can be solved.

En realidad soy bastante optimista de que este problema pueda ser resuelto.

We wouldn't have to write down a long list of everything we care about,

No tendríamos que escribir una larga lista de todo lo que nos importa,

or worse yet, spell it out in some computer language

o, peor aún, codificarla en algún lenguaje informático

like C++ or Python,

como C++ o Python,

that would be a task beyond hopeless.

sería una reto imposible.

Instead, we would create an A.I. that uses its intelligence

A cambio, crearíamos una IA que use su inteligencia

to learn what we value,

para aprender lo que valoramos,

and its motivation system is constructed in such a way that it is motivated

y su sistema integrado de motivación sería diseñado

para defender nuestros valores

to pursue our values or to perform actions that it predicts we would approve of.

y realizar acciones que se ajusten a ellos.

We would thus leverage its intelligence as much as possible

Así que usaríamos su inteligencia tanto como fuera posible

to solve the problem of value-loading.

para resolver el problema de la atribución de valores.

This can happen,

Esto puede suceder,

and the outcome could be very good for humanity.

y el resultado podría ser muy bueno para la humanidad.

But it doesn't happen automatically.

Pero no sucede automáticamente.

The initial conditions for the intelligence explosion

Las condiciones iniciales para la explosión de la inteligencia

might need to be set up in just the right way

necesitan ser perfectamente definidas

if we are to have a controlled detonation.

si queremos contar con una detonación controlada.

The values that the A.I. has need to match ours,

Los valores de la IA tienen que coincidir con los nuestros

not just in the familiar context,

no solo en el ámbito familiar,

like where we can easily check how the A.I. behaves,

donde podemos comprobar fácilmente cómo se comporta,

but also in all novel contexts that the A.I. might encounter

sino también en todos los nuevos contextos

in the indefinite future.

donde la IA podría encontrarse en un futuro indefinido.

And there are also some esoteric issues that would need to be solved, sorted out:

Y también hay algunas cuestiones esotéricas que habría que resolver:

the exact details of its decision theory,

los detalles exactos de su teoría de la decisión,

how to deal with logical uncertainty and so forth.

cómo manejar la incertidumbre lógica, etc.

So the technical problems that need to be solved to make this work

Así que los problemas técnicos que hay que resolver

para hacer este trabajo parecen muy difíciles

look quite difficult --

not as difficult as making a superintelligent A.I.,

--no tan difíciles como crear una IA superinteligente--

but fairly difficult.

pero bastante difíciles.

Here is the worry:

Este es la preocupación:

Making superintelligent A.I. is a really hard challenge.

crear una IA superinteligente es un reto muy difícil

Making superintelligent A.I. that is safe

y crear una que sea segura

involves some additional challenge on top of that.

implica desafíos adicionales.

The risk is that if somebody figures out how to crack the first challenge

El riesgo es si alguien encuentra la manera de superar el primer reto

without also having cracked the additional challenge

sin resolver el otro desafío de garantizar la máxima seguridad.

of ensuring perfect safety.

So I think that we should work out a solution

Así que creo que deberíamos encontrar una solución

to the control problem in advance,

al problema del control por adelantado,

so that we have it available by the time it is needed.

de modo que esté disponible para cuando sea necesario.

Now it might be that we cannot solve the entire control problem in advance

Puede ser que no podamos resolver por completo

el problema del control de antemano

because maybe some elements can only be put in place

porque tal vez, algunos elementos solo pueden ser desarrollados

once you know the details of the architecture where it will be implemented.

después de reunir los detalles técnicos de la IA en cuestión.

But the more of the control problem that we solve in advance,

Pero cuanto antes solucionemos el problema del control,

the better the odds that the transition to the machine intelligence era

mayores serán las probabilidades

de que la transición a la era de las máquinas inteligentes

will go well.

vaya bien.

This to me looks like a thing that is well worth doing

Esto me parece algo digno de hacer

and I can imagine that if things turn out okay,

y puedo imaginar que si las cosas salen bien,

that people a million years from now look back at this century

la gente en un millón de años discutirá nuestro siglo

and it might well be that they say that the one thing we did that really mattered

y dirá que posiblemente lo único que hicimos bien y mereció la pena

was to get this thing right.

fue superar con éxito este reto.

Thank you.

Gracias.

(Aplausos)

(Applause)