How to get empowered, not overpowered, by AI | Max Tegmark

Traductor: Ciro Gomez Revisor: Lidia Cámara de la Fuente

After 13.8 billion years of cosmic history,

Después de 13,8 mil millones de años de historia cósmica,

our universe has woken up

nuestro universo ha despertado

and become aware of itself.

y toma conciencia de sí mismo.

From a small blue planet,

Desde un pequeño planeta azul,

tiny, conscious parts of our universe have begun gazing out into the cosmos

pequeñas partes conscientes de nuestro universo

han comenzado a mirar hacia el cosmos con telescopios,

with telescopes,

discovering something humbling.

descubriendo un poco de humildad.

We've discovered that our universe is vastly grander

Descubrimos que nuestro universo es mucho más grandioso

de lo que nuestros antepasados ​​imaginaron

than our ancestors imagined

and that life seems to be an almost imperceptibly small perturbation

y esa vida parece ser una perturbación casi imperceptiblemente pequeña

on an otherwise dead universe.

en un universo por lo demás muerto.

But we've also discovered something inspiring,

Pero también descubrimos algo inspirador,

which is that the technology we're developing has the potential

que es que la tecnología que estamos desarrollando tiene el potencial

to help life flourish like never before,

de ayudar a que la vida florezca como nunca antes,

not just for centuries but for billions of years,

no solo por siglos, sino por miles de millones de años,

and not just on earth but throughout much of this amazing cosmos.

y no solo en la Tierra sino a lo largo de gran parte de este increíble cosmos.

I think of the earliest life as "Life 1.0"

Pienso en la vida más temprana como "Vida 1.0"

because it was really dumb,

porque era realmente tonta,

like bacteria, unable to learn anything during its lifetime.

como las bacterias, incapaces de aprender nada durante su vida.

I think of us humans as "Life 2.0" because we can learn,

Pienso en nosotros los humanos como "Vida 2.0" porque podemos aprender,

which we in nerdy, geek speak,

que en 'nerdy', hablando 'geek',

might think of as installing new software into our brains,

podría pensarse como instalar un nuevo software en nuestros cerebros,

like languages and job skills.

como idiomas y habilidades laborales.

"Life 3.0," which can design not only its software but also its hardware

La "Vida 3.0", que puede diseñar no solo su software sino también su hardware,

of course doesn't exist yet.

por supuesto no existe todavía.

But perhaps our technology has already made us "Life 2.1,"

Pero tal vez nuestra tecnología ya nos haya hecho "Vida 2.1"

with our artificial knees, pacemakers and cochlear implants.

con nuestras rodillas artificiales, marcapasos e implantes cocleares.

So let's take a closer look at our relationship with technology, OK?

Echemos un vistazo más de cerca a nuestra relación con la tecnología, ¿vale?

As an example,

Como ejemplo,

the Apollo 11 moon mission was both successful and inspiring,

la misión Apolo 11 a la Luna fue exitosa e inspiradora,

showing that when we humans use technology wisely,

mostrando que cuando los humanos usamos la tecnología sabiamente,

we can accomplish things that our ancestors could only dream of.

podemos lograr cosas que nuestros antepasados ​​solo podían soñar.

But there's an even more inspiring journey

Pero hay un viaje aún más inspirador

propelled by something more powerful than rocket engines,

propulsado por algo más poderoso que un cohete,

where the passengers aren't just three astronauts

en el que los pasajeros no son solo tres astronautas,

but all of humanity.

sino toda la humanidad.

Let's talk about our collective journey into the future

Hablemos de nuestro viaje colectivo hacia el futuro

with artificial intelligence.

con inteligencia artificial.

My friend Jaan Tallinn likes to point out that just as with rocketry,

A mi amigo Jaan Tallinn le gusta señalar que al igual que con los cohetes,

it's not enough to make our technology powerful.

no es suficiente con que nuestra tecnología sea poderosa.

We also have to figure out, if we're going to be really ambitious,

También hay que descubrir, si seremos lo suficientemente ambiciosos,

how to steer it

como dirigirla

and where we want to go with it.

y a dónde queremos ir con eso.

So let's talk about all three for artificial intelligence:

Así que hablemos de las tres para la inteligencia artificial:

the power, the steering and the destination.

el poder, la dirección y el destino.

Let's start with the power.

Comencemos con el poder.

I define intelligence very inclusively --

Yo defino la inteligencia de forma muy inclusiva...

simply as our ability to accomplish complex goals,

simplemente como nuestra capacidad para lograr objetivos complejos,

because I want to include both biological and artificial intelligence.

porque quiero incluir inteligencia biológica y artificial.

And I want to avoid the silly carbon-chauvinism idea

Y quiero evitar la tonta idea del chauvinismo de carbono:

that you can only be smart if you're made of meat.

que solo se puede ser inteligente si se está hecho de carne.

It's really amazing how the power of AI has grown recently.

Es realmente sorprendente cómo el poder de la IA ha crecido recientemente.

Just think about it.

Solo piensen en ello.

Not long ago, robots couldn't walk.

No hace mucho tiempo, los robots no podían caminar.

Now, they can do backflips.

Hoy pueden hacer volteretas hacia atrás.

Not long ago,

No hace mucho tiempo,

we didn't have self-driving cars.

no teníamos autos sin conductor.

Now, we have self-flying rockets.

Ahora, tenemos cohetes que vuelan de forma autónoma.

Not long ago,

No hace mucho tiempo,

AI couldn't do face recognition.

la IA no podía hacer reconocimiento facial.

Now, AI can generate fake faces

Ahora la IA puede generar caras falsas

and simulate your face saying stuff that you never said.

y simula tu cara diciendo cosas que nunca dijiste.

Not long ago,

No hace mucho tiempo,

AI couldn't beat us at the game of Go.

la IA no podía vencernos en el juego de Go.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

AlphaZero AI de Google DeepMind tomó 3000 años de juegos de Go humanos

and Go wisdom,

y la sabiduría Go,

ignored it all and became the world's best player by just playing against itself.

lo ignoró todo y se convirtió en el mejor jugador del mundo

simplemente jugando contra sí misma.

And the most impressive feat here wasn't that it crushed human gamers,

Y la hazaña más impresionante aquí no fue que aplastara a los jugadores humanos,

but that it crushed human AI researchers

sino que aplastó a los investigadores humanos de IA

who had spent decades handcrafting game-playing software.

que habían pasado décadas elaborando software de juegos a mano.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

Y AlphaZero aplastó a los investigadores de IA humana no solo en Go

sino incluso en ajedrez,

which we have been working on since 1950.

en el que hemos estado trabajando desde 1950.

So all this amazing recent progress in AI really begs the question:

Así que este increíble progreso reciente en IA realmente plantea la pregunta:

How far will it go?

¿hasta dónde llegará?

I like to think about this question

Me gusta pensar en esta pregunta

in terms of this abstract landscape of tasks,

en términos de este paisaje abstracto de tareas,

where the elevation represents how hard it is for AI to do each task

en el que la elevación representa lo difícil que es para la IA hacer cada tarea

at human level,

a nivel humano,

and the sea level represents what AI can do today.

y el nivel del mar representa lo que la IA puede hacer hoy.

The sea level is rising as AI improves,

El nivel del mar aumenta a medida que mejora la IA,

so there's a kind of global warming going on here in the task landscape.

así hay una especie de calentamiento global en el paisaje de tareas.

And the obvious takeaway is to avoid careers at the waterfront --

Y lo obvio es evitar las carreras en el paseo marítimo...

(Laughter)

(Risas)

which will soon be automated and disrupted.

que pronto será automatizado e interrumpido.

But there's a much bigger question as well.

Pero también hay una pregunta mucho más relevante.

How high will the water end up rising?

¿Qué tan alto llegará el agua?

Will it eventually rise to flood everything,

¿Finalmente se aumentará hasta inundar todo,

matching human intelligence at all tasks.

coincidir la inteligencia humana en todas las tareas?

This is the definition of artificial general intelligence --

Esta es la definición de inteligencia general artificial...

AGI,

IAG,

which has been the holy grail of AI research since its inception.

que ha sido el santo grial de la investigación de IA desde su inicio.

Según esta definición, las personas que dicen,

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

"Siempre habrá trabajos que los humanos puedan hacer mejor que las máquinas",

are simply saying that we'll never get AGI.

simplemente están diciendo que nunca tendremos IAG.

Sure, we might still choose to have some human jobs

Claro, aún podríamos elegir tener algunos trabajos humanos

or to give humans income and purpose with our jobs,

o darles a los humanos un ingreso y un propósito con nuestros trabajos,

but AGI will in any case transform life as we know it

pero la IAG en cualquier caso transformará la vida tal como la conocemos

with humans no longer being the most intelligent.

al no ser ya los humanos los más inteligentes.

Now, if the water level does reach AGI,

Ahora, si el nivel del agua llega a IAG,

then further AI progress will be driven mainly not by humans but by AI,

entonces, el progreso de la IA no será impulsado

principalmente por humanos, sino por la IA,

which means that there's a possibility

lo que significa que hay la posibilidad

that further AI progress could be way faster

de que ese progreso adicional de la IA sea mucho más rápido

than the typical human research and development timescale of years,

que la escala de tiempo típica

de investigación y desarrollo humano de años,

raising the controversial possibility of an intelligence explosion

planteando la posibilidad controvertida de una explosión de inteligencia

where recursively self-improving AI

donde la IA recursivamente automejorada

rapidly leaves human intelligence far behind,

rápidamente deja muy atrás la inteligencia humana,

creating what's known as superintelligence.

creando lo que se conoce como superinteligencia.

Alright, reality check:

Bien, verificación de la realidad:

Are we going to get AGI any time soon?

¿Vamos a lograr IAG en el corto plazo?

Some famous AI researchers, like Rodney Brooks,

Algunos investigadores famosos de IA, como Rodney Brooks,

think it won't happen for hundreds of years.

creen que no sucederá en cientos de años.

But others, like Google DeepMind founder Demis Hassabis,

Pero otros, como el fundador de Google DeepMind, Demis Hassabis,

are more optimistic

son más optimistas

and are working to try to make it happen much sooner.

y están trabajando para tratar de que suceda mucho antes.

And recent surveys have shown that most AI researchers

Y encuestas recientes han mostrado que la mayoría de los investigadores IA

actually share Demis's optimism,

en realidad comparten el optimismo de Demis,

expecting that we will get AGI within decades,

esperando que obtengamos IAG en décadas,

so within the lifetime of many of us,

en la vida de muchos de nosotros,

which begs the question -- and then what?

lo cual plantea la pregunta, ¿y luego qué?

What do we want the role of humans to be

¿Cuál queremos que sea el papel de los humanos

if machines can do everything better and cheaper than us?

si las máquinas pueden hacer todo mejor y más barato que nosotros?

The way I see it, we face a choice.

De la forma en que lo veo, enfrentamos una elección.

One option is to be complacent.

Una opción es ser complacientes.

We can say, "Oh, let's just build machines that can do everything we can do

Decir: "Construyamos máquinas que puedan hacer todo lo que podemos hacer

and not worry about the consequences.

y no preocuparnos por las consecuencias.

Come on, if we build technology that makes all humans obsolete,

Es decir, si construimos tecnología que hace a todos los humanos obsoletos,

what could possibly go wrong?"

¿qué podrá salir mal?".

(Laughter)

(Risas)

But I think that would be embarrassingly lame.

Pero creo que eso sería vergonzosamente flojo.

I think we should be more ambitious -- in the spirit of TED.

Creo que deberíamos ser más ambiciosos... en el espíritu de TED.

Let's envision a truly inspiring high-tech future

Imaginemos un futuro de alta tecnología verdaderamente inspirador

and try to steer towards it.

y tratemos de dirigirnos a él.

This brings us to the second part of our rocket metaphor: the steering.

Esto nos lleva a la segunda parte de nuestra metáfora del cohete: la dirección.

We're making AI more powerful,

Estamos haciendo que la IA sea más poderosa,

but how can we steer towards a future

pero ¿cómo podemos dirigirnos hacia un futuro

where AI helps humanity flourish rather than flounder?

en el que la IA ayude a la humanidad a florecer en lugar de al desconcierto?

To help with this,

Para esto,

cofundé Future of Life Institute,

I cofounded the Future of Life Institute.

una organización sin fines de lucro

It's a small nonprofit promoting beneficial technology use,

que promueve el uso de tecnología beneficiosa,

and our goal is simply for the future of life to exist

y nuestro objetivo es que exista

and to be as inspiring as possible.

el futuro de la vida

y ser lo más inspiradores posible.

You know, I love technology.

Ya saben, me encanta la tecnología.

Technology is why today is better than the Stone Age.

La tecnología es el por qué hoy es mejor que la Edad de Piedra.

And I'm optimistic that we can create a really inspiring high-tech future ...

Y soy optimista de que podemos crear un futuro

de alta tecnología realmente inspirador...

if -- and this is a big if --

si —y esto es un gran si—

if we win the wisdom race --

si ganamos la carrera de sabiduría,

the race between the growing power of our technology

la carrera entre el poder creciente de nuestra tecnología

and the growing wisdom with which we manage it.

y la creciente sabiduría con la que lo administramos.

But this is going to require a change of strategy

Pero esto requerirá un cambio de estrategia

because our old strategy has been learning from mistakes.

porque nuestra vieja estrategia ha sido aprender de los errores.

We invented fire,

Inventamos el fuego,

screwed up a bunch of times --

nos afectó un montón de veces...

invented the fire extinguisher.

se inventó el extintor de incendios.

(Laughter)

(Risas)

We invented the car, screwed up a bunch of times --

Inventamos el auto, arruinado un montón de veces

se inventó el semáforo, el cinturón de seguridad y el airbag,

invented the traffic light, the seat belt and the airbag,

but with more powerful technology like nuclear weapons and AGI,

pero con tecnología más poderosa como armas nucleares e IAG,

learning from mistakes is a lousy strategy,

aprender de los errores es una estrategia pésima,

don't you think?

¿no creen?

(Laughter)

(Risas)

Es mucho mejor ser proactivo en lugar de reactivo;

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

planificar y hacer las cosas bien la primera vez

because that might be the only time we'll get.

porque podría ser la única vez que lo consiguiéramos.

But it is funny because sometimes people tell me,

Pero es extraño porque a veces la gente me dice:

"Max, shhh, don't talk like that.

"Max, shhh, no hables así.

That's Luddite scaremongering."

Ese es el alarmismo ludista".

But it's not scaremongering.

Pero no es alarmismo.

It's what we at MIT call safety engineering.

Es lo que en MIT llamamos ingeniería de seguridad.

Think about it:

Piénsenlo:

before NASA launched the Apollo 11 mission,

antes de que la NASA lanzara la misión Apolo 11,

they systematically thought through everything that could go wrong

pensaron sistemáticamente en todo lo que podría salir mal

when you put people on top of explosive fuel tanks

al poner gente sobre tanques de combustible explosivos

and launch them somewhere where no one could help them.

y lanzarla a un lugar donde nadie podía ayudarla.

And there was a lot that could go wrong.

Y había muchas cosas que podrían salir mal.

Was that scaremongering?

¿Era eso alarmismo?

No.

No.

That's was precisely the safety engineering

Fue precisamente la ingeniería de seguridad

that ensured the success of the mission,

la que aseguró el éxito de la misión,

and that is precisely the strategy I think we should take with AGI.

y esa es precisamente la estrategia que creo que deberíamos tomar con IAG.

Think through what can go wrong to make sure it goes right.

Pensar en lo que puede salir mal para asegurarnos de que va a salir bien.

So in this spirit, we've organized conferences,

En este espíritu, organizamos conferencias,

con los principales investigadores de la IA y otros pensadores

bringing together leading AI researchers and other thinkers

para discutir cómo crecer esta sabiduría para mantener la IA beneficiosa.

to discuss how to grow this wisdom we need to keep AI beneficial.

Our last conference was in Asilomar, California last year

Nuestra última conferencia fue en Asilomar, California, el año pasado

and produced this list of 23 principles

y produjo esta lista de 23 principios

que desde entonces han sido firmados por más de 1000 investigadores de IA

which have since been signed by over 1,000 AI researchers

and key industry leaders,

y líderes clave de la industria,

and I want to tell you about three of these principles.

y quiero contarles acerca de tres de estos principios.

One is that we should avoid an arms race and lethal autonomous weapons.

Uno es que debemos evitar una carrera armamentista y armas letales autónomas.

The idea here is that any science can be used for new ways of helping people

La idea aquí es que toda ciencia puede usarse para nuevas formas de ayudar

o nuevas formas de dañar personas.

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

Por ejemplo, es mucho más probable que se usen la biología y la química

for new medicines or new cures than for new ways of killing people,

para nuevas medicinas o nuevas curas que para nuevas formas de matar personas,

because biologists and chemists pushed hard --

porque los biólogos y los químicos presionaron mucho

and successfully --

y exitosamente...

for bans on biological and chemical weapons.

para prohibir las armas biológicas y químicas.

And in the same spirit,

Y en el mismo espíritu,

most AI researchers want to stigmatize and ban lethal autonomous weapons.

la mayoría de los investigadores de IA

quieren estigmatizar y prohibir las armas letales autónomas.

Another Asilomar AI principle

Otro principio de IA Asilomar

is that we should mitigate AI-fueled income inequality.

es que debemos mitigar la desigualdad de ingresos alimentada con IA.

I think that if we can grow the economic pie dramatically with AI

Creo que si podemos hacer crecer el pastel económico radicalmente con la IA

and we still can't figure out how to divide this pie

y no podemos entender cómo dividir este pastel

so that everyone is better off,

para que todos estén mejor,

then shame on us.

entonces avergoncémonos.

(Applause)

(Aplausos)

Alright, now raise your hand if your computer has ever crashed.

Ahora levanten la mano si su computadora se ha dañado alguna vez.

(Laughter)

(Risas)

Wow, that's a lot of hands.

Uy, son muchas manos.

Well, then you'll appreciate this principle

Bueno, entonces apreciarán este principio

that we should invest much more in AI safety research,

que deberíamos invertir mucho más en la investigación de seguridad de IA,

because as we put AI in charge of even more decisions and infrastructure,

porque al poner a la IA a cargo de más decisiones e infraestructura,

we need to figure out how to transform today's buggy and hackable computers

tenemos que encontrar cómo transformar

las computadoras pirateables y con errores

into robust AI systems that we can really trust,

en sistemas robustos de IA en los que poder confiar,

because otherwise,

porque de otra manera,

all this awesome new technology can malfunction and harm us,

toda esta nueva tecnología puede funcionar mal y dañarnos,

or get hacked and be turned against us.

o ser pirateada y volverse contra nosotros.

And this AI safety work has to include work on AI value alignment,

Y este trabajo de seguridad de IA

debe incluir trabajo sobre la alineación de valores de IA,

because the real threat from AGI isn't malice,

porque la amenaza real de la IAG no es la malicia,

como en las tontas películas de Hollywood,

like in silly Hollywood movies,

but competence --

sino la competencia...

AGI accomplishing goals that just aren't aligned with ours.

La IAG logrando metas que simplemente no están alineadas con las nuestras.

For example, when we humans drove the West African black rhino extinct,

Por ejemplo, cuando los humanos llevamos

al rinoceronte negro africano occidental a la extinción,

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

no lo hicimos porque fuéramos malvados enemigos del rinoceronte, ¿verdad?

We did it because we were smarter than them

Fue porque éramos más inteligentes que ellos

and our goals weren't aligned with theirs.

y nuestros objetivos no estaban alineados con los suyos.

But AGI is by definition smarter than us,

Pero la IAG es, por definición, más inteligente que nosotros,

so to make sure that we don't put ourselves in the position of those rhinos

así que para asegurarnos de no ponernos en la posición de esos rinocerontes

if we create AGI,

si creamos la IAG,

we need to figure out how to make machines understand our goals,

necesitamos descubrir cómo hacer que las máquinas comprendan nuestros objetivos,

adopt our goals and retain our goals.

adopten nuestros objetivos y retengan nuestros objetivos.

And whose goals should these be, anyway?

¿Y de quién son los objetivos, de todos modos?

Which goals should they be?

¿Cuáles objetivos deberían ser?

This brings us to the third part of our rocket metaphor: the destination.

Esto nos lleva a la tercera parte de nuestra metáfora del cohete: el destino.

We're making AI more powerful,

Estamos haciendo que la IA sea más poderosa,

trying to figure out how to steer it,

tratando de descubrir cómo dirigirla,

but where do we want to go with it?

pero ¿a dónde queremos llegar?

This is the elephant in the room that almost nobody talks about --

Este es el elefante en la habitación del que casi nadie habla...

not even here at TED --

ni siquiera aquí en TED,

because we're so fixated on short-term AI challenges.

porque estamos muy obsesionados con los desafíos de la IA a corto plazo.

Look, our species is trying to build AGI,

Miren, nuestra especie está tratando de construir la IAG,

motivated by curiosity and economics,

motivada por la curiosidad y la economía,

but what sort of future society are we hoping for if we succeed?

pero ¿qué tipo de sociedad futura estamos esperando si lo logramos?

We did an opinion poll on this recently,

Una encuesta de opinión sobre esto recientemente,

and I was struck to see

y me llamó la atención ver

that most people actually want us to build superintelligence:

que la mayoría de la gente quiere que construyamos superinteligencia:

AI that's vastly smarter than us in all ways.

La IA es mucho más inteligente que nosotros en todos los sentidos.

What there was the greatest agreement on was that we should be ambitious

El mayor acuerdo fue que deberíamos ser ambiciosos

and help life spread into the cosmos,

y ayudar a la vida a extenderse al cosmos,

but there was much less agreement about who or what should be in charge.

pero había mucho menos acuerdo sobre quién o qué debería estar a cargo.

And I was actually quite amused

Y en realidad era bastante entretenido

to see that there's some some people who want it to be just machines.

ver que hay algunas personas que quieren que sean solo máquinas.

(Laughter)

(Risas)

And there was total disagreement about what the role of humans should be,

Y hubo desacuerdo total sobre cuál debería ser el papel de los humanos,

even at the most basic level,

incluso en el nivel más básico,

so let's take a closer look at possible futures

así que echemos un vistazo más de cerca a los posibles futuros

that we might choose to steer toward, alright?

a los que podríamos elegir dirigirnos, ¿está bien?

So don't get me wrong here.

No se equivoquen aquí.

I'm not talking about space travel,

No estoy hablando de viajes espaciales

merely about humanity's metaphorical journey into the future.

solo del viaje metafórico de la humanidad hacia el futuro.

So one option that some of my AI colleagues like

Entonces, una opción que a algunos de mis colegas de IA les gusta

is to build superintelligence and keep it under human control,

es construir superinteligencia y mantenerla bajo control humano,

like an enslaved god,

como un dios esclavizado,

disconnected from the internet

desconectado de internet

and used to create unimaginable technology and wealth

y que se usa para crear tecnología y riqueza inimaginables

for whoever controls it.

para quien la controla.

But Lord Acton warned us

Pero Lord Acton nos advirtió que

that power corrupts, and absolute power corrupts absolutely,

ese poder corrompe, y el poder absoluto corrompe absolutamente,

so you might worry that maybe we humans just aren't smart enough,

podrían preocuparse de que, tal vez, los humanos no somos lo inteligentes

or wise enough rather,

o suficientemente sabios,

to handle this much power.

como para manejar tanto poder.

Also, aside from any moral qualms you might have

Además, aparte de cualquier reparo moral que puedan tener

about enslaving superior minds,

sobre esclavizar mentes superiores,

you might worry that maybe the superintelligence could outsmart us,

podrían preocuparse de que tal vez la superinteligencia

pueda ser más astuta que nosotros,

break out and take over.

evadirse y tomar el control.

But I also have colleagues who are fine with AI taking over

Pero también tengo colegas que están de acuerdo con que la IA se haga cargo

and even causing human extinction,

e incluso cause la extinción humana,

as long as we feel the the AIs are our worthy descendants,

siempre y cuando sientan que las IAs son nuestras dignas descendientes,

like our children.

como nuestros hijos

But how would we know that the AIs have adopted our best values

Pero ¿cómo sabríamos que la IA ha adoptado nuestros mejores valores?

and aren't just unconscious zombies tricking us into anthropomorphizing them?

y no son solo zombis inconscientes engañándonos antropomorfizándose?

Also, shouldn't those people who don't want human extinction

Además, ¿no deberían las personas que no quieren la extinción humana

have a say in the matter, too?

poder algo decir al respecto también?

Now, if you didn't like either of those two high-tech options,

Ahora, si no les gustó ninguna de esas dos opciones de alta tecnología,

it's important to remember that low-tech is suicide

es importante recordar que la baja tecnología es un suicidio

from a cosmic perspective,

desde una perspectiva cósmica,

because if we don't go far beyond today's technology,

porque si no vamos más allá de la tecnología actual,

the question isn't whether humanity is going to go extinct,

la pregunta no es si la humanidad se va a extinguir,

merely whether we're going to get taken out

simplemente si nos van a acabar

by the next killer asteroid, supervolcano

el próximo asteroide asesino, un supervolcán

or some other problem that better technology could have solved.

u otro problema que una mejor tecnología podría haber resuelto.

So, how about having our cake and eating it ...

Entonces, ¿qué tal tener nuestro pastel y comérnoslo...

with AGI that's not enslaved

con la IAG que no esté esclavizada

sino que nos trata bien porque sus valores están alineados con los nuestros?

but treats us well because its values are aligned with ours?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

Es la esencia de lo que Eliezer Yudkowsky llama "amigable inteligencia artificial".

and if we can do this, it could be awesome.

y si podemos hacer esto, podría ser increíble.

It could not only eliminate negative experiences like disease, poverty,

No solo podría eliminar las experiencias negativas como la enfermedad, la pobreza,

crime and other suffering,

el crimen u otro sufrimiento,

but it could also give us the freedom to choose

sino también podría darnos la libertad de elegir

from a fantastic new diversity of positive experiences --

de una nueva y fantástica diversidad de experiencias positivas

basically making us the masters of our own destiny.

básicamente haciéndonos dueños de nuestro propio destino.

So in summary,

Entonces, en resumen,

our situation with technology is complicated,

nuestra situación con la tecnología es complicada,

but the big picture is rather simple.

pero el panorama general es bastante simple.

Most AI researchers expect AGI within decades,

La mayoría de los investigadores de IA esperan la IAG en décadas,

and if we just bumble into this unprepared,

y si nos equivocamos en esto sin preparación,

it will probably be the biggest mistake in human history --

probablemente sea el error más grande en la historia de la humanidad...

let's face it.

afrontémoslo.

It could enable brutal, global dictatorship

Podría permitir una dictadura brutal y global

with unprecedented inequality, surveillance and suffering,

con desigualdad, vigilancia y sufrimiento sin precedentes,

and maybe even human extinction.

y tal vez incluso la extinción humana.

But if we steer carefully,

Pero si nos dirigimos con cuidado,

we could end up in a fantastic future where everybody's better off:

podríamos terminar en un futuro fantástico en el que todos estemos mejor:

the poor are richer, the rich are richer,

los pobres son más ricos, los ricos son más ricos,

everybody is healthy and free to live out their dreams.

todos están sanos y son libres de vivir sus sueños.

Now, hang on.

Ahora, esperen.

Do you folks want the future that's politically right or left?

¿Uds. quieren el futuro políticamente de derecha o de izquierda?

Do you want the pious society with strict moral rules,

¿Quieren la sociedad piadosa con estrictas reglas morales,

or do you an hedonistic free-for-all,

o una libertad hedonista para todos,

more like Burning Man 24/7?

más como Burning Man 24/7?

Do you want beautiful beaches, forests and lakes,

¿Quieren hermosas playas, bosques y lagos,

or would you prefer to rearrange some of those atoms with the computers,

o prefieren reorganizar algunos de esos átomos con las computadoras,

enabling virtual experiences?

permitiendo experiencias virtuales?

With friendly AI, we could simply build all of these societies

Con una IA amigable, podríamos construir todas estas sociedades

and give people the freedom to choose which one they want to live in

y dar a las personas la libertad de elegir en cuál quieren vivir

because we would no longer be limited by our intelligence,

porque ya no estaríamos limitados por nuestra inteligencia,

merely by the laws of physics.

solo por las leyes de la física.

So the resources and space for this would be astronomical --

Entonces, los recursos y el espacio para esto serían astronómicos,

literally.

literalmente.

So here's our choice.

Así que aquí está nuestra elección.

We can either be complacent about our future,

Podemos ser complacientes con nuestro futuro,

taking as an article of blind faith

tomando como un artículo de fe ciega

that any new technology is guaranteed to be beneficial,

que cualquier nueva tecnología garantiza ser beneficiosa,

and just repeat that to ourselves as a mantra over and over and over again

y solo repetírnoslo a nosotros mismos como un mantra una y otra y otra vez

as we drift like a rudderless ship towards our own obsolescence.

mientras navegamos como un barco sin timón hacia nuestra propia obsolescencia.

Or we can be ambitious --

O podemos ser ambiciosos

thinking hard about how to steer our technology

pensando mucho acerca de cómo dirigir nuestra tecnología

and where we want to go with it

y a dónde queremos ir con eso

to create the age of amazement.

para crear la era del asombro.

We're all here to celebrate the age of amazement,

Todos estamos aquí para celebrar la era del asombro,

and I feel that its essence should lie in becoming not overpowered

y siento que su esencia debe estar en no ser poderosos en exceso

but empowered by our technology.

sino empoderados por nuestra tecnología.

Thank you.

Gracias.

(Applause)

(Aplausos)