How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Traductor: Nerea García Garmendia Revisor: Lidia Cámara de la Fuente

Chris Anderson: Nick Bostrom.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Nos has dado muchas ideas locas.

I think a couple of decades ago,

Creo que hace un par de décadas,

you made the case that we might all be living in a simulation,

defendías que estaríamos viviendo una simulación,

or perhaps probably were.

o que, probablemente, vivíamos en una.

More recently,

Recientemente,

you've painted the most vivid examples of how artificial general intelligence

has dado ejemplos muy claros de cómo la inteligencia artificial general

could go horribly wrong.

podría generar resultados terribles.

And now this year,

Y este año estás a punto de publicar

you're about to publish

a paper that presents something called the vulnerable world hypothesis.

un ensayo sobre algo denominado la hipótesis del mundo vulnerable.

And our job this evening is to give the illustrated guide to that.

Nuestro trabajo esta tarde consiste en ofrecer una guía ilustrada sobre eso.

So let's do that.

Así que empecemos.

What is that hypothesis?

¿En qué consiste esa hipótesis?

Nick Bostrom: It's trying to think about

Nick Bostrom: Se trata de pensar

a sort of structural feature of the current human condition.

en una especie de característica estructural de la actual condición humana.

You like the urn metaphor,

Como te gusta la metáfora de la urna,

so I'm going to use that to explain it.

voy a utilizarla para explicarlo.

So picture a big urn filled with balls

Imagínate una gran urna llena de bolas

representing ideas, methods, possible technologies.

que representan ideas, métodos, posibles tecnologías.

You can think of the history of human creativity

Puedes pensar en la historia de la creatividad humana

as the process of reaching into this urn and pulling out one ball after another,

como el proceso de extraer de esta urna una bola tras otra,

and the net effect so far has been hugely beneficial, right?

y el efecto neto hasta la fecha ha sido muy beneficioso, ¿verdad?

We've extracted a great many white balls,

Hemos extraído una gran cantidad de bolas blancas,

some various shades of gray, mixed blessings.

de varias tonalidades de gris, con pros y contras.

We haven't so far pulled out the black ball --

Hasta ahora no hemos sacado la bola negra:

a technology that invariably destroys the civilization that discovers it.

una tecnología que invariablemente destruye la civilización que la descubre.

So the paper tries to think about what could such a black ball be.

Mi ensayo trata de pensar qué podría ser esa bola negra.

CA: Así que defines la bola negra

CA: So you define that ball

as one that would inevitably bring about civilizational destruction.

como una que llevará inevitablemente a la destrucción de la civilización.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: Salvo que salgamos de lo que denomino condición semianárquica por defecto.

But sort of, by default.

Bueno, más o menos por defecto.

CA: So, you make the case compelling

CA: Haces que este caso adquiera carácter de urgencia

by showing some sort of counterexamples

al mostrar contraejemplos

where you believe that so far we've actually got lucky,

que crees que demuestran que hasta ahora hemos tenido suerte,

that we might have pulled out that death ball

que puede que hayamos sacado la bola de la muerte,

without even knowing it.

sin habernos siquiera dado cuenta.

So there's this quote, what's this quote?

Hay una cita al respecto, ¿cuál es?

NB: Well, I guess it's just meant to illustrate

NB: Bueno, imagino que solo trato de ilustrar la dificultad de prever

the difficulty of foreseeing

what basic discoveries will lead to.

hacia dónde llevarán los descubrimientos básicos,

We just don't have that capability.

simplemente no tenemos esa capacidad.

Because we have become quite good at pulling out balls,

Porque nos hemos hecho bastante hábiles extrayendo bolas,

but we don't really have the ability to put the ball back into the urn, right.

pero realmente no tenemos la capacidad de devolver la bola a la urna.

We can invent, but we can't un-invent.

Podemos inventar, pero no desinventar.

So our strategy, such as it is,

Así que nuestra estrategia, en realidad,

es confiar en que no haya una bola negra en la urna.

is to hope that there is no black ball in the urn.

CA: So once it's out, it's out, and you can't put it back in,

CA: Así que una vez que está fuera, no se puede devolver a la urna,

and you think we've been lucky.

y crees que hemos tenido suerte.

So talk through a couple of these examples.

Cuéntanos un par de ejemplos.

You talk about different types of vulnerability.

Hablas de diferentes tipos de vulnerabilidad.

NB: So the easiest type to understand

NB: El tipo más fácil de comprender

is a technology that just makes it very easy

es una tecnología que hace muy fácil producir una enorme destrucción.

to cause massive amounts of destruction.

Synthetic biology might be a fecund source of that kind of black ball,

La biología sintética podría ser una fuente abundante

but many other possible things we could --

de ese tipo de bola negra,

pero hay muchas otras cosas en las que podríamos pensar,

think of geoengineering, really great, right?

como la geoingeniería, realmente genial, ¿verdad?

We could combat global warming,

Podríamos combatir el calentamiento global,

but you don't want it to get too easy either,

pero tampoco queremos que sea demasiado sencillo,

you don't want any random person and his grandmother

que cualquier persona y su abuela tengan la capacidad

to have the ability to radically alter the earth's climate.

de alterar radicalmente el clima de la Tierra.

Or maybe lethal autonomous drones,

O tal vez producir en masa drones autónomos letales,

massed-produced, mosquito-sized killer bot swarms.

enjambres de robots asesinos del tamaño de un mosquito.

Nanotechnology, artificial general intelligence.

Nanotecnología, inteligencia artificial general.

CA: Tú argumentas en el ensayo que fue una cuestión de suerte

CA: You argue in the paper

that it's a matter of luck that when we discovered

que el descubrimiento de la energía nuclear

that nuclear power could create a bomb,

pudiera crear una bomba;

it might have been the case

podría haber sido el caso de que fuera posible crear una bomba

that you could have created a bomb

with much easier resources, accessible to anyone.

con recursos mucho menores, accesibles a cualquiera.

NB: Yeah, so think back to the 1930s

NB: Sí, creo que allá por los años 30,

where for the first time we make some breakthroughs in nuclear physics,

cuando por primera vez hicimos grandes avances en física nuclear,

algunas figuras insignes expusieron

some genius figures out that it's possible to create a nuclear chain reaction

que era posible crear reacciones nucleares en cadena

and then realizes that this could lead to the bomb.

para luego caer en la cuenta de que eso podría llevar a crear una bomba.

And we do some more work,

Investigamos y descubrimos que para hacer una bomba nuclear

it turns out that what you require to make a nuclear bomb

is highly enriched uranium or plutonium,

se necesita uranio enriquecido o plutonio,

which are very difficult materials to get.

que son materiales muy difíciles de conseguir.

You need ultracentrifuges,

Se precisan ultracentrifugadoras,

you need reactors, like, massive amounts of energy.

reactores para gigantescas cantidades de energía.

Pero imagínate que en lugar de eso,

But suppose it had turned out instead

there had been an easy way to unlock the energy of the atom.

hubiera habido una manera fácil de liberar la energía del átomo.

Que tal vez calentando arena en el microondas o algo así

That maybe by baking sand in the microwave oven

or something like that

se hubiese podido crear una detonación nuclear.

you could have created a nuclear detonation.

Sabemos que es físicamente imposible.

So we know that that's physically impossible.

Pero antes de desarrollar esa física relevante,

But before you did the relevant physics

how could you have known how it would turn out?

¿cómo se podría haber sabido cómo acabaría?

CA: Although, couldn't you argue

CA: A pesar de eso, ¿no se podría alegar

that for life to evolve on Earth

que para que la vida evolucionara en la Tierra

that implied sort of stable environment,

se necesitaría cierto entorno estable,

that if it was possible to create massive nuclear reactions relatively easy,

y que si fuera tan fácil crear reacciones nucleares masivas

la Tierra nunca habría sido estable,

the Earth would never have been stable,

y por tanto no podríamos estar aquí.

that we wouldn't be here at all.

NB: Sí, salvo que hubiera algo fácil de hacer a propósito,

NB: Yeah, unless there were something that is easy to do on purpose

but that wouldn't happen by random chance.

pero que no ocurriría solo por azar.

Es decir, cosas que podemos hacer con facilidad,

So, like things we can easily do,

we can stack 10 blocks on top of one another,

podemos apilar 10 bloques uno sobre otro,

but in nature, you're not going to find, like, a stack of 10 blocks.

pero en la naturaleza, no se da una pila de 10 bloques.

CA: OK, so this is probably the one

CA: De acuerdo, quizá esto es lo que más nos preocupa a la mayoría,

that many of us worry about most,

and yes, synthetic biology is perhaps the quickest route

y sí, la biología sintética es tal vez la vía más rápida

that we can foresee in our near future to get us here.

que podemos prever en nuestro futuro cercano para llegar hasta aquí.

NB: Yeah, and so think about what that would have meant

NB: Sí, imagínate lo que eso habría supuesto,

if, say, anybody by working in their kitchen for an afternoon

si, digamos, cualquiera trabajando en su cocina por la tarde

pudiera destruir una ciudad.

could destroy a city.

It's hard to see how modern civilization as we know it

Cuesta entender que la civilización moderna,

tal como la conocemos, haya podido sobrevivir a eso,

could have survived that.

Because in any population of a million people,

porque en cualquier población de un millón de personas

there will always be some who would, for whatever reason,

siempre habrá alguien que, por algún motivo,

choose to use that destructive power.

quiera utilizar ese poder de destrucción.

So if that apocalyptic residual

Así que si ese residuo apocalíptico

would choose to destroy a city, or worse,

eligiera destruir una ciudad, o peor aún,

then cities would get destroyed.

las ciudades podrían ser destruidas.

CA: So here's another type of vulnerability.

CA: Hay otra clase de vulnerabilidad,

Talk about this.

hábleme de ella.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: Sí, además de estos tipos evidentes de bolas negras

that would just make it possible to blow up a lot of things,

que podrían hacer que muchas cosas volaran por los aires,

other types would act by creating bad incentives

hay otros tipos que pueden crear malos incentivos

for humans to do things that are harmful.

para que los humanos hagamos cosas dañinas.

So, the Type-2a, we might call it that,

El Tipo 2a, podríamos llamarlo,

is to think about some technology that incentivizes great powers

serían tecnologías que posibilitan a los grandes poderes

to use their massive amounts of force to create destruction.

usar su enorme fuerza para crear destrucción.

So, nuclear weapons were actually very close to this, right?

Las armas nucleares están muy cerca de esto, ¿verdad?

What we did, we spent over 10 trillion dollars

Hemos gastado más de USD 10 billones

to build 70,000 nuclear warheads

para construir 70 000 cabezas nucleares

and put them on hair-trigger alert.

que están en estado de alerta instantánea.

And there were several times during the Cold War

Hubo varios momentos durante la Guerra Fría

we almost blew each other up.

en los que casi nos volamos por los aires.

It's not because a lot of people felt this would be a great idea,

No es que muchos pensaran que era una gran idea

gastarnos USD 10 billones para volarnos por los aires,

let's all spend 10 trillion dollars to blow ourselves up,

but the incentives were such that we were finding ourselves --

pero los incentivos eran tales que nos encontrábamos...

this could have been worse.

podría haber sido mucho peor.

Imagina que hubiera habido un primer ataque seguro.

Imagine if there had been a safe first strike.

Then it might have been very tricky,

Habría sido muy difícil, en una situación de crisis,

in a crisis situation,

reprimir el lanzamiento de todos los misiles nucleares,

to refrain from launching all their nuclear missiles.

If nothing else, because you would fear that the other side might do it.

aunque solo fuera por el temor a que lo hiciera el otro.

CA: De acuerdo, la destrucción mutua asegurada

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

mantuvo la Guerra Fría relativamente estable,

without that, we might not be here now.

porque sin eso, podríamos no estar hoy aquí.

NB: It could have been more unstable than it was.

NB: Pudo haber sido más inestable,

And there could be other properties of technology.

y pudo haber otras propiedades de la tecnología,

pudo haber sido más difícil lograr tratados armamentísticos,

It could have been harder to have arms treaties,

if instead of nuclear weapons

si en vez de cabezas nucleares,

there had been some smaller thing or something less distinctive.

hubiera habido cosas más pequeñas o menos distintivas.

CA: Al igual que los malos incentivos para los actores del poder,

CA: And as well as bad incentives for powerful actors,

you also worry about bad incentives for all of us, in Type-2b here.

también te preocupan los malos incentivos para todos nosotros, en este Tipo 2a.

NB: Yeah, so, here we might take the case of global warming.

NB: Sí, podemos poner el caso del calentamiento global.

There are a lot of little conveniences

Hay muchos pequeños inconvenientes

that cause each one of us to do things

que nos llevan a hacer cosas

that individually have no significant effect, right?

que individualmente no tienen efecto, ¿verdad?

But if billions of people do it,

Pero si miles de millones de personas lo hacen,

cumulatively, it has a damaging effect.

acumulativamente, tiene un efecto perjudicial.

Now, global warming could have been a lot worse than it is.

El calentamiento global podría haber sido mucho peor.

So we have the climate sensitivity parameter, right.

Tenemos el parámetro de la sensibilidad climática.

It's a parameter that says how much warmer does it get

Se trata de un parámetro que indica cuánto se calentaría

if you emit a certain amount of greenhouse gases.

si emitieras cierta cantidad de gases de efecto invernadero.

But, suppose that it had been the case

Pero, suponiendo que fuera el caso

that with the amount of greenhouse gases we emitted,

de que con la cantidad de gases de efecto invernadero que hemos emitido

instead of the temperature rising by, say,

en lugar de que la temperatura subiera, entre 3 y 4.5 º C hasta 2100,

between three and 4.5 degrees by 2100,

suppose it had been 15 degrees or 20 degrees.

imagina que hubieran sido 15 o 20 ºC,

Like, then we might have been in a very bad situation.

entonces estaríamos en una situación muy mala.

Or suppose that renewable energy had just been a lot harder to do.

O que la energía renovable fuera más difícil de producir.

o que hubiera más combustibles fósiles en el subsuelo.

Or that there had been more fossil fuels in the ground.

CA: No se podría argumentar que,

CA: Couldn't you argue that if in that case of --

si lo que hacemos hoy

if what we are doing today

had resulted in 10 degrees difference in the time period that we could see,

hubiera producido 10 º C de diferencia en un periodo que pudiéramos ver,

actually humanity would have got off its ass and done something about it.

la humanidad ya se habría puesto las pilas para hacer algo al respecto.

We're stupid, but we're not maybe that stupid.

Somos estúpidos, pero quizá no tanto.

O tal vez sí.

Or maybe we are.

NB: I wouldn't bet on it.

NB: No apostaría por ello.

(Laughter)

(Risas)

You could imagine other features.

Puedes imaginarte otras características.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

En estos momentos es algo difícil cambiar a las renovables y todo eso, de acuerdo,

but it can be done.

pero se puede hacer.

But it might just have been, with slightly different physics,

Pero podría haber sucedido que, con una física algo diferente,

it could have been much more expensive to do these things.

hubiera sido mucho más difícil hacer estas cosas.

CA: And what's your view, Nick?

CA: ¿Qué opinas, Nick, crees que, teniendo en cuenta todo esto,

Do you think, putting these possibilities together,

that this earth, humanity that we are,

este planeta, nosotros como humanidad, conformamos un mundo vulnerable,

we count as a vulnerable world?

que hay una bola de muerte en nuestro futuro?

That there is a death ball in our future?

NB: It's hard to say.

NB: Es difícil de decir,

I mean, I think there might well be various black balls in the urn,

creo que también hay algunas bolas doradas en la urna, o eso parece.

that's what it looks like.

There might also be some golden balls

Puede que haya algunas bolas doradas

that would help us protect against black balls.

que nos puedan proteger de las bolas negras.

And I don't know which order they will come out.

Y no sé en qué orden van a salir.

CA: I mean, one possible philosophical critique of this idea

CA: Una posible crítica filosófica a esta idea

is that it implies a view that the future is essentially settled.

es que implica la visión de que el futuro está básicamente determinado.

That there either is that ball there or it's not.

De que o bien está esa bola ahí o no está.

And in a way,

Y de alguna manera, no es una visión del futuro en la que quiero creer.

that's not a view of the future that I want to believe.

Quiero creer que el futuro es indeterminado,

I want to believe that the future is undetermined,

que nuestras decisiones de hoy determinarán qué tipos de bolas sacamos.

that our decisions today will determine

what kind of balls we pull out of that urn.

NB: I mean, if we just keep inventing,

NB: Si seguimos inventando,

like, eventually we will pull out all the balls.

al final acabaremos sacando todas las bolas.

I mean, I think there's a kind of weak form of technological determinism

Creo que hay una forma débil de determinismo tecnológico

que es bastante plausible,

that is quite plausible,

like, you're unlikely to encounter a society

como que es bastante improbable que encontremos una sociedad

that uses flint axes and jet planes.

que use hachas de pedernal y aviones tipo jet.

But you can almost think of a technology as a set of affordances.

Pero casi puedes pensar en una tecnología como un conjunto de posibilidades.

So technology is the thing that enables us to do various things

La tecnología nos permite hacer varias cosas

y conseguir diversos efectos en el mundo.

and achieve various effects in the world.

Cómo la usemos depende de nuestra elección como humanos.

How we'd then use that, of course depends on human choice.

Pero si pensamos en estos tres tipos de vulnerabilidades,

But if we think about these three types of vulnerability,

they make quite weak assumptions about how we would choose to use them.

hacen unas asunciones bastante débiles sobre cómo podríamos elegir utilizarla.

So a Type-1 vulnerability, again, this massive, destructive power,

En el Tipo 1 de vulnerabilidad, con su poder destructor masivo,

it's a fairly weak assumption

es una asunción bastante débil suponer

to think that in a population of millions of people

que en una población de millones de personas

there would be some that would choose to use it destructively.

haya alguno que elija usarlo de manera destructiva.

CA: For me, the most single disturbing argument

CA: Para mí, el argumento más inquietante

is that we actually might have some kind of view into the urn

es que puede que tengamos cierta visión de la urna,

that makes it actually very likely that we're doomed.

que hace pensar que muy posiblemente estemos condenados.

Namely, if you believe in accelerating power,

Por ejemplo, si crees en el poder de la aceleración,

that technology inherently accelerates,

esa tecnología inherentemente se acelera,

y si creamos la herramientas que nos den más poder

that we build the tools that make us more powerful,

then at some point you get to a stage

llegaremos a un punto

where a single individual can take us all down,

en el que un solo individuo pueda acabar con todo,

and then it looks like we're screwed.

y eso nos lleva a pensar que estamos apañados.

Isn't that argument quite alarming?

¿No es un argumento bastante alarmante?

NB: Ah, yeah.

NB: Ah, sí...

(Laughter)

(Risas)

I think --

Creo que...

Yeah, we get more and more power,

Sí, tenemos más y más poder,

and [it's] easier and easier to use those powers,

y es cada vez más sencillo utilizarlo,

but we can also invent technologies that kind of help us control

pero también podemos inventar tecnologías

que nos ayuden a controlar cómo las personas utilizan ese poder.

how people use those powers.

CA: So let's talk about that, let's talk about the response.

CA: Hablemos de eso, de la respuesta.

Suppose that thinking about all the possibilities

Imagina todas las posibilidades que tenemos ahora,

that are out there now --

it's not just synbio, it's things like cyberwarfare,

no es solo la biología sintética,

sino cosas como la ciberguerra, la inteligencia artificial, etc.,

artificial intelligence, etc., etc. --

that there might be serious doom in our future.

que indican que nuestro futuro puede estar seriamente condenado.

¿Cuáles son las posibles respuestas?

What are the possible responses?

And you've talked about four possible responses as well.

Has hablado de cuatro posibles respuestas.

NB: Restricting technological development doesn't seem promising,

NB: Restringir el desarrollo tecnológico no parece prometedor,

if we are talking about a general halt to technological progress.

si hablamos de un parón general del progreso tecnológico,

I think neither feasible,

no creo que sea ni factible ni deseable, aunque lo pudiéramos hacer.

nor would it be desirable even if we could do it.

I think there might be very limited areas

Creo que hay áreas muy limitadas

where maybe you would want slower technological progress.

en las que tal vez desees un progreso tecnológico más lento.

You don't, I think, want faster progress in bioweapons,

No creo que quieras un progreso mayor en bioarmamento,

or in, say, isotope separation,

o en separación isotópica,

that would make it easier to create nukes.

que facilitaría la creación de armas nucleares.

CA: I mean, I used to be fully on board with that.

CA: Antes solía estar totalmente de acuerdo en eso.

But I would like to actually push back on that for a minute.

Pero me gustaría retroceder un paso un momento.

Just because, first of all,

Antes de nada, si ves la historia de hace un par de décadas,

if you look at the history of the last couple of decades,

you know, it's always been push forward at full speed,

ha sido una continua aceleración a toda velocidad,

it's OK, that's our only choice.

está bien, pero es nuestra elección,

But if you look at globalization and the rapid acceleration of that,

pero si te fijas en la globalización y su rápida aceleración,

si te fijas en la estrategia de "muévete rápido y rompe cosas"

if you look at the strategy of "move fast and break things"

and what happened with that,

y lo que ha producido,

and then you look at the potential for synthetic biology,

y luego te fijas en el potencia de la biología sintética,

I don't know that we should move forward rapidly

no creo que debamos avanzar rápidamente sin ningún tipo de restricción

or without any kind of restriction

to a world where you could have a DNA printer in every home

hacia un mundo en el que pueda haber una impresora de ADN en cada casa

and high school lab.

en cada laboratorio de secundaria.

There are some restrictions, right?

Hay algunas restricciones, ¿verdad?

NB: Possibly, there is the first part, the not feasible.

NB: Posiblemente en la primera parte, en la no factibilidad,

If you think it would be desirable to stop it,

si crees que sería deseable pararla, aparece el problema de la factibilidad.

there's the problem of feasibility.

So it doesn't really help if one nation kind of --

No ayudaría que un país...

CA: No, it doesn't help if one nation does,

CA: No, no ayudaría que un país lo hiciera,

but we've had treaties before.

pero hemos tenido tratados con anterioridad.

That's really how we survived the nuclear threat,

Así es como hemos sobrevivido a la amenaza nuclear,

was by going out there

gracias a que hemos salido y hemos pasado por el penoso proceso de negociación.

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

Me pregunto si la lógica no es acaso que nosotros, como prioridad global,

we shouldn't go out there and try,

no deberíamos salir e intentar negociar normas muy duras

like, now start negotiating really strict rules

on where synthetic bioresearch is done,

sobre dónde se hace la investigación en biología sintética,

that it's not something that you want to democratize, no?

porque no es algo que quieras democratizar, ¿no?

NB: Estoy totalmente de acuerdo con eso,

NB: I totally agree with that --

that it would be desirable, for example,

sería deseable, por ejemplo,

maybe to have DNA synthesis machines,

tener máquinas para sintetizar ADN,

not as a product where each lab has their own device,

no de manera en la que cada laboratorio sea el dueño de su propio dispositivo,

but maybe as a service.

sino como un servicio.

Maybe there could be four or five places in the world

Podría haber cuatro o cinco lugares en el mundo

where you send in your digital blueprint and the DNA comes back, right?

a los que enviar el modelo digital y recibir el ADN de vuelta, ¿verdad?

And then, you would have the ability,

Entonces, tendrías la habilidad, si un día fuera necesario,

if one day it really looked like it was necessary,

tendríamos un número finito de cuellos de botella.

we would have like, a finite set of choke points.

So I think you want to look for kind of special opportunities,

Creo que tienes que fijarte en ciertos tipos de oportunidades

sobre las que quieres tener control.

where you could have tighter control.

CA: Your belief is, fundamentally,

CA: Crees, fundamentalmente,

we are not going to be successful in just holding back.

que no vamos a conseguir retenerlo.

Someone, somewhere -- North Korea, you know --

Que alguien, en algún lugar como Corea del Norte,

someone is going to go there and discover this knowledge,

va a descubrir este conocimiento, si es que es posible descubrirlo.

if it's there to be found.

NB: That looks plausible under current conditions.

NB: Parece posible en las condiciones actuales.

It's not just synthetic biology, either.

No es solo la biología sintética,

sino que cualquier cambio nuevo y profundo en el mundo

I mean, any kind of profound, new change in the world

puede convertirse en una bola negra.

could turn out to be a black ball.

CA: Let's look at another possible response.

CA: Vamos a ver otra posible respuesta.

NB: This also, I think, has only limited potential.

NB: Creo que esto también tiene un potencial limitado.

So, with the Type-1 vulnerability again,

Con el Tipo 1 de vulnerabilidad,

I mean, if you could reduce the number of people who are incentivized

si puedes reducir el número de personas motivadas a destruir el mundo,

to destroy the world,

si solo ellos tuvieran acceso a los medios,

if only they could get access and the means,

that would be good.

eso estaría bien.

CA: In this image that you asked us to do

CA: En esta imagen que nos muestras,

you're imagining these drones flying around the world

imaginas esos drones de reconocimiento facial volando alrededor del mundo.

with facial recognition.

Cuando detectan a alguien con signos de comportamiento sociopático,

When they spot someone showing signs of sociopathic behavior,

they shower them with love, they fix them.

lo cubren de amor y lo curan.

NB: I think it's like a hybrid picture.

NB: Creo que es una imagen híbrida.

Eliminate can either mean, like, incarcerate or kill,

Eliminar puede significar encarcelar o matar,

or it can mean persuade them to a better view of the world.

o persuadir de una visión más optimista del mundo.

But the point is that,

Pero el asunto es,

suppose you were extremely successful in this,

imagina que tuvieras éxito

and you reduced the number of such individuals by half.

y redujeras el número de esos individuos a la mitad.

Si lo quieres hacer mediante la persuasión,

And if you want to do it by persuasion,

estás compitiendo contra otras fuerzas poderosas

you are competing against all other powerful forces

that are trying to persuade people,

que tratan de persuadir a la gente:

partidos políticos, religión o el sistema educativo.

parties, religion, education system.

But suppose you could reduce it by half,

Pero imagina que lo reduces a la mitad;

I don't think the risk would be reduced by half.

no creo que el riesgo se redujera a la mitad,

Maybe by five or 10 percent.

sino a un 5 o 10 %.

CA: You're not recommending that we gamble humanity's future on response two.

CA: No recomiendas que nos juguemos el futuro de la humanidad

a la respuesta 2.

NB: I think it's all good to try to deter and persuade people,

NB: Creo que está muy bien tratar de disuadir a las personas,

but we shouldn't rely on that as our only safeguard.

pero no deberíamos considerarlo nuestro único salvavidas.

CA: ¿Y la tercera?

CA: How about three?

NB: I think there are two general methods

NB: Creo que hay tres métodos generales

that we could use to achieve the ability to stabilize the world

con los que que podemos tener la habilidad de estabilizar el mundo

against the whole spectrum of possible vulnerabilities.

contra todo el espectro de posibles vulnerabilidades.

And we probably would need both.

Y probablemente necesitamos las dos.

So, one is an extremely effective ability

Una es una habilidad extremadamente efectiva de crear políticas preventivas,

to do preventive policing.

Such that you could intercept.

pensadas para interceptar.

If anybody started to do this dangerous thing,

Si todos empezaran a hacer esto tan peligroso,

you could intercept them in real time, and stop them.

podrías interceptarlos en tiempo real y detenerlos.

So this would require ubiquitous surveillance,

Esto requeriría vigilancia ubicua,

everybody would be monitored all the time.

todo el mundo estaría monitorizado todo el tiempo.

CA: This is "Minority Report," essentially, a form of.

CA: Esto es "Minority Report", en esencia.

NB: You would have maybe AI algorithms,

NB: Tal vez tendrías algoritmos de IA,

big freedom centers that were reviewing this, etc., etc.

grandes centros de libertad que estarían revisándolos, etc.

CA: You know that mass surveillance is not a very popular term right now?

CA: ¿Sabes que la vigilancia masiva

no es un término muy popular en este momento?

(Laughter)

(Risas)

NB: Yeah, so this little device there,

NB: Sí, ese pequeño dispositivo,

imagine that kind of necklace that you would have to wear at all times

imagina un tipo de collar que tuvieras que llevar todo el tiempo

with multidirectional cameras.

con cámaras multidireccionales.

But, to make it go down better,

Pero para hacerlo más llevadero,

just call it the "freedom tag" or something like that.

imagínate llamarlo "etiqueta de libertad" o algo así.

(Risas)

(Laughter)

CA: OK.

CA: De acuerdo.

I mean, this is the conversation, friends,

Esta es la conversación, amigos,

this is why this is such a mind-blowing conversation.

esta es la razón por la que es una conversación alucinante.

NB: De hecho, ya hay una gran conversación sobre de esto, obviamente.

NB: Actually, there's a whole big conversation on this

on its own, obviously.

Entraña grandes problemas y riesgos, ¿verdad?

There are huge problems and risks with that, right?

We may come back to that.

Tal vez volvamos a eso.

So the other, the final,

Así que última, la otra capacidad de estabilización general

the other general stabilization capability

is kind of plugging another governance gap.

es llenar otro vacío de gobernanza.

So the surveillance would be kind of governance gap at the microlevel,

De modo que la vigilancia sería un vacío de gobernanza a nivel micro,

like, preventing anybody from ever doing something highly illegal.

como impedir que cualquiera haga algo altamente ilegal.

Then, there's a corresponding governance gap

Pero hay un vacío de gobernanza a nivel macro, global.

at the macro level, at the global level.

Necesitarías la habilidad, de manera fiable,

You would need the ability, reliably,

to prevent the worst kinds of global coordination failures,

de prevenir los mayores fallos de coordinación global,

to avoid wars between great powers,

para evitar guerras entre grandes poderes,

guerras armamentísticas,

arms races,

cataclysmic commons problems,

problemas cataclísmicos de los bienes comunes,

in order to deal with the Type-2a vulnerabilities.

para poder lidiar con las vulnerabilidades del Tipo 2a.

CA: Global governance is a term

CA: La gobernanza global es un término totalmente en desuso ahora,

that's definitely way out of fashion right now,

but could you make the case that throughout history,

pero se podría argumentar

que a lo largo de la historia de la humanidad,

the history of humanity

is that at every stage of technological power increase,

en cada fase del aumento del poder tecnológico,

people have reorganized and sort of centralized the power.

la gente se ha reorganizado para centralizar el poder, por así decir,

So, for example, when a roving band of criminals

Por ejemplo, cuando una banda errante de criminales

could take over a society,

podía conquistar una sociedad,

the response was, well, you have a nation-state

se respondía con el Estado nación,

y se centralizaba la fuerza, policial o militar,

and you centralize force, a police force or an army,

so, "No, you can't do that."

así que "no, no puedes hacer eso".

The logic, perhaps, of having a single person or a single group

La lógica de que una sola persona o grupo pueda conquistar la humanidad

able to take out humanity

tal vez signifique que en algún momento tendremos que tomar este camino,

means at some point we're going to have to go this route,

at least in some form, no?

al menos en cierta manera, ¿no?

NB: It's certainly true that the scale of political organization has increased

NB: Es cierto que la escala de la organización política ha aumentado

over the course of human history.

a lo largo de la historia de la humanidad.

It used to be hunter-gatherer band, right,

Solíamos ser grupos de cazadores-recolectores,

and then chiefdom, city-states, nations,

luego liderados por jefes, Estados naciones, naciones,

now there are international organizations and so on and so forth.

y ahora hay organizaciones internacionales y todo eso.

Again, I just want to make sure

De nuevo, solo quiero asegurarme

I get the chance to stress

de que remarco que obviamente hay enormes desventajas,

that obviously there are huge downsides

and indeed, massive risks,

y desde luego, riesgos descomunales,

both to mass surveillance and to global governance.

tanto en la vigilancia masiva como en la gobernanza global.

I'm just pointing out that if we are lucky,

Solo estoy destacando que, si tenemos suerte,

the world could be such that these would be the only ways

el mundo puede llegar a un punto

en el que solo así podamos sobrevivir a la bola negra.

you could survive a black ball.

CA: The logic of this theory,

CA: La lógica de esta teoría,

me parece,

it seems to me,

is that we've got to recognize we can't have it all.

es que tenemos que asumir que no podemos tenerlo todo.

That the sort of,

Que el sueño inocente, por así decir, que muchos de nosotros teníamos

I would say, naive dream that many of us had

that technology is always going to be a force for good,

de que esa tecnología siempre va a ser una fuerza positiva,

keep going, don't stop, go as fast as you can

sigue adelante, no pares, ve tan rápido como puedas

and not pay attention to some of the consequences,

y no te fijes en las consecuencias,

that's actually just not an option.

ya no es una opción.

We can have that.

Podemos tenerlo.

If we have that,

Si podemos tenerlo,

we're going to have to accept

tendremos que aceptar algunos aspectos muy incómodos que conlleva,

some of these other very uncomfortable things with it,

and kind of be in this arms race with ourselves

y entrar esta carrera armamentística con nosotros mismos,

of, you want the power, you better limit it,

de modo que si quieres poder tienes que limitarlo,

you better figure out how to limit it.

y más te vale averiguar cómo.

NB: I think it is an option,

NB: Creo que es una opción,

a very tempting option, it's in a sense the easiest option

una opción muy tentadora, diría que la más sencilla,

and it might work,

y podría funcionar,

but it means we are fundamentally vulnerable to extracting a black ball.

pero significa que somos fundamentalmente vulnerables a extraer la bola negra.

Now, I think with a bit of coordination,

Pero pienso que con un poco de coordinación,

like, if you did solve this macrogovernance problem,

pongamos que has resuelto el problema de la macrogobernanza

and the microgovernance problem,

y el de la microgobernanza,

then we could extract all the balls from the urn

podríamos extraer todas las bolas de la urna

and we'd benefit greatly.

y beneficiarnos enormemente.

CA: I mean, if we're living in a simulation, does it matter?

CA: Y si estamos viviendo en una simulación, ¿qué más da?

Simplemente nos reiniciamos.

We just reboot.

(Laughter)

(Risas)

NB: Then ... I ...

NB: Entonces...

(Laughter)

(Risas)

I didn't see that one coming.

Eso no me lo esperaba.

CA: So what's your view?

CA: ¿Cuál es tu opinión?

Putting all the pieces together, how likely is it that we're doomed?

Si juntamos todas las piezas,

qué posibilidades tenemos de estar condenados?

(Laughter)

(Risas)

Me encanta que la gente se ría cuando hago esa pregunta.

I love how people laugh when you ask that question.

NB: On an individual level,

NB: A nivel individual,

we seem to kind of be doomed anyway, just with the time line,

parece que ya estamos condenados, solo con el cronograma,

we're rotting and aging and all kinds of things, right?

nos pudrimos y envejecemos y todo eso, ¿verdad?

(Laughter)

(Risas)

It's actually a little bit tricky.

La verdad es que es un poco complicado.

If you want to set up so that you can attach a probability,

Si quieres hacerte una idea para obtener una probabilidad,

first, who are we?

antes de nada, ¿quiénes somos?

If you're very old, probably you'll die of natural causes,

Si eres muy mayor, seguramente morirás de causas naturales,

if you're very young, you might have a 100-year --

si eres muy joven, tal vez vivas 100 años;

the probability might depend on who you ask.

la probabilidad dependerá de a quién preguntes.

Luego está el umbral: ¿Qué se considera como devastación de la humanidad?

Then the threshold, like, what counts as civilizational devastation?

In the paper I don't require an existential catastrophe

Sobre el papel, no necesito una catástrofe existencial

in order for it to count.

para que la considere como tal.

This is just a definitional matter,

Es cuestión de definición:

I say a billion dead,

si digo mil millones de muertos, o la reducción del PIB al 50 %,

or a reduction of world GDP by 50 percent,

but depending on what you say the threshold is,

así que dependiendo de dónde pongas el umbral,

you get a different probability estimate.

obtienes una estimación de probabilidad diferente.

But I guess you could put me down as a frightened optimist.

Supongo que me podrías catalogar como un optimista asustado.

(Laughter)

(Risas)

CA: You're a frightened optimist,

CA: Eres un optimista asustado,

and I think you've just created a large number of other frightened ...

y creo que acabas de crear una gran cantidad de personas asustadas...

people.

(Laughter)

(Risas)

NB: In the simulation.

NB: En la simulación.

CA: En una simulación.

CA: In a simulation.

Nick Bostrom, tu mente me fascina,

Nick Bostrom, your mind amazes me,

muchas gracias por asustarnos hasta la médula.

thank you so much for scaring the living daylights out of us.

(Aplausos)

(Applause)