How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Tradutor: Bubby Fernandes Revisor: Maricene Crus

Chris Anderson: Nick Bostrom.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Bem, você já nos apresentou muitas ideias loucas por aí.

I think a couple of decades ago,

Acho que, há algumas décadas,

you made the case that we might all be living in a simulation,

você argumentou sobre a possibilidade de vivermos numa simulação,

or perhaps probably were.

ou talvez a probabilidade disso.

More recently,

Mais recentemente,

you've painted the most vivid examples of how artificial general intelligence

ilustrou os mais vívidos exemplos de como a inteligência artificial

could go horribly wrong.

poderia tomar um caminho terrível.

And now this year,

E agora, este ano,

you're about to publish

você está prestes a publicar

a paper that presents something called the vulnerable world hypothesis.

um artigo que apresenta algo chamado de "A Hipótese do Mundo Vulnerável".

And our job this evening is to give the illustrated guide to that.

Nosso trabalho esta noite é de fornecer o guia ilustrado para ela.

So let's do that.

Então, vamos fazê-lo.

What is that hypothesis?

O que é essa hipótese?

Nick Bostrom: It's trying to think about

Nick Bostrom: É a de tentar pensar

a sort of structural feature of the current human condition.

sobre uma espécie de característica estrutural da atual condição humana.

You like the urn metaphor,

Você gosta da metáfora da urna,

so I'm going to use that to explain it.

então eu a utilizarei na explicação.

So picture a big urn filled with balls

Imagine uma grande urna preenchida por bolas

representing ideas, methods, possible technologies.

que representam ideias, métodos e possíveis tecnologias.

You can think of the history of human creativity

Você pode pensar sobre a história da criatividade humana

as the process of reaching into this urn and pulling out one ball after another,

como o processo de enfiar a mão nessa urna e tirar uma bola após a outra,

and the net effect so far has been hugely beneficial, right?

e o efeito em rede até agora tem sido muito benéfico, certo?

We've extracted a great many white balls,

Nós extraímos muitíssimas bolas brancas,

some various shades of gray, mixed blessings.

e algumas com tons cinzas, bênçãos misturadas.

We haven't so far pulled out the black ball --

Nós ainda não tiramos a bola completamente escura...

a technology that invariably destroys the civilization that discovers it.

uma tecnologia que invariavelmente destrói a civilização que a descobre.

So the paper tries to think about what could such a black ball be.

Então, o artigo tenta imaginar o que seria tal bola completamente escura.

CA: So you define that ball

CA: Então, você define a bola

as one that would inevitably bring about civilizational destruction.

como aquela que inevitavelmente provoca a destruição da civilização.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: A não ser que abandonemos o que chamo de condição semi-anárquica padrão.

But sort of, by default.

Mas assim, através de um padrão.

CA: So, you make the case compelling

CA: Você argumenta convincentemente, mostrando alguns tipos de contra-exemplos

by showing some sort of counterexamples

where you believe that so far we've actually got lucky,

nos quais acredita que, até hoje, na verdade tivemos sorte,

that we might have pulled out that death ball

pois possivelmente já tiramos essa bola devastadora

without even knowing it.

sem termos nos dado conta disso.

So there's this quote, what's this quote?

Há uma citação; o que ela significa?

[O progresso da mecânica trará a Bomba-H]

NB: Well, I guess it's just meant to illustrate

NB: Acho que ela quer ilustrar

the difficulty of foreseeing

a dificuldade em prever

what basic discoveries will lead to.

até onde as descobertas básicas podem nos levar.

We just don't have that capability.

Nós simplesmente não temos esse tipo de capacidade.

Because we have become quite good at pulling out balls,

Porque nos tornamos muito bons em tirar bolas da urna,

but we don't really have the ability to put the ball back into the urn, right.

mas não temos de fato a capacidade de colocá-las de volta.

We can invent, but we can't un-invent.

Podemos inventar algo, mas não "desinventar".

So our strategy, such as it is,

Sendo assim, nossa estratégia

is to hope that there is no black ball in the urn.

é esperar que não haja nenhuma bola escura na urna.

CA: So once it's out, it's out, and you can't put it back in,

CA: Então, uma vez que está fora, está fora, e não se pode colocar de volta,

and you think we've been lucky.

e você acha que temos tido sorte.

So talk through a couple of these examples.

Fale sobre alguns desses exemplos.

You talk about different types of vulnerability.

Você menciona diferentes tipos de vulnerabilidade.

NB: So the easiest type to understand

NB: O tipo mais fácil de entender

is a technology that just makes it very easy

é uma tecnologia que facilita muito

to cause massive amounts of destruction.

causar enormes quantidades de destruição.

Synthetic biology might be a fecund source of that kind of black ball,

A biologia sintética pode ser uma fonte fértil desse tipo de bola escura,

but many other possible things we could --

mas há muitas outras coisas possíveis que poderíamos...

think of geoengineering, really great, right?

pense na geoengenharia, que é ótima.

We could combat global warming,

Poderíamos usá-la no combate ao aquecimento global,

but you don't want it to get too easy either,

mas também não é ideal facilitar esse acesso,

you don't want any random person and his grandmother

pois não queremos que alguém e sua avó

to have the ability to radically alter the earth's climate.

tenham a habilidade de alterar radicalmente o clima da Terra.

Or maybe lethal autonomous drones,

Ou talvez os drones autônomos letais,

massed-produced, mosquito-sized killer bot swarms.

produzidos em massa; enxames de robôs assassinos do tamanho de mosquitos.

Nanotechnology, artificial general intelligence.

A nanotecnologia, a inteligência artificial geral.

CA: You argue in the paper

CA: Você argumenta no artigo que foi questão de sorte quando descobrimos

that it's a matter of luck that when we discovered

that nuclear power could create a bomb,

que o poder nuclear podia criar bombas,

it might have been the case

porque poderia ter sido o caso

that you could have created a bomb

de podermos fazer bombas

with much easier resources, accessible to anyone.

com recursos muito mais fáceis, acessíveis a qualquer um.

NB: Yeah, so think back to the 1930s

NB: Sim, então, pense na década de 1930,

where for the first time we make some breakthroughs in nuclear physics,

na qual, pela primeira vez, nós fizemos grandes descobertas na física nuclear,

some genius figures out that it's possible to create a nuclear chain reaction

e um gênio descobre que é possível criar uma reação nuclear em cadeia,

and then realizes that this could lead to the bomb.

e percebe que isso pode gerar uma bomba.

And we do some more work,

E então, trabalhamos um pouco mais,

it turns out that what you require to make a nuclear bomb

e descobrimos que para fazer uma bomba nuclear é necessário

is highly enriched uranium or plutonium,

ter elementos como urânio ou plutônio altamente enriquecidos,

which are very difficult materials to get.

que são bem difíceis de se obter.

You need ultracentrifuges,

É preciso o uso de ultracentrifugadoras,

you need reactors, like, massive amounts of energy.

de reatores e de quantidades imensas de energia.

But suppose it had turned out instead

Mas suponha que, em vez disso,

there had been an easy way to unlock the energy of the atom.

houvesse uma maneira mais fácil de desbloquear a energia daquele átomo.

That maybe by baking sand in the microwave oven

Que, talvez, ao cozinhar areia no micro-ondas, ou algo do tipo,

or something like that

seri possível ter criado uma detonação nuclear.

you could have created a nuclear detonation.

Hoje, sabemos que isso é fisicamente impossível;

So we know that that's physically impossible.

But before you did the relevant physics

mas, antes de fazer o cálculo de física, como poderíamos saber que seria assim?

how could you have known how it would turn out?

CA: Although, couldn't you argue

CA: Mas você não poderia argumentar

that for life to evolve on Earth

que para a vida se desenvolver na Terra

that implied sort of stable environment,

isso implicou um tipo de ambiente estável, e que se fosse possível

that if it was possible to create massive nuclear reactions relatively easy,

criar de forma relativamente fácil reações nucleares maciças,

the Earth would never have been stable,

a Terra nunca teria sido estável, e nós nem estaríamos aqui?

that we wouldn't be here at all.

NB: Sim, a não ser que isso envolvesse algo que é fácil fazer de propósito,

NB: Yeah, unless there were something that is easy to do on purpose

but that wouldn't happen by random chance.

mas que não poderia acontecer aleatoriamente.

So, like things we can easily do,

Como coisas que fazemos com facilidade, por exemplo: empilhar dez blocos;

we can stack 10 blocks on top of one another,

e, no entanto, na natureza não encontramos uma pilha assim.

but in nature, you're not going to find, like, a stack of 10 blocks.

CA: OK, so this is probably the one

CA: Certo, a próxima é provavelmente

that many of us worry about most,

aquela com a maioria de nós mais se preocupa;

and yes, synthetic biology is perhaps the quickest route

e sim, a biologia sintética talvez seja a rota mais rápida que podemos ver

that we can foresee in our near future to get us here.

em nosso futuro próximo para nos levar a esse ponto.

NB: Yeah, and so think about what that would have meant

NB: Sim, então pense sobre o que isso teria significado

if, say, anybody by working in their kitchen for an afternoon

se, digamos, qualquer pessoa trabalhando em sua cozinha por uma tarde

could destroy a city.

pudesse destruir uma cidade.

It's hard to see how modern civilization as we know it

É difícil ver como a civilização moderna da maneira como a conhecemos

could have survived that.

poderia ter sobrevivido a isso.

Because in any population of a million people,

Porque, em qualquer população de milhões de pessoas

there will always be some who would, for whatever reason,

sempre haverá alguém que, por qualquer motivo,

choose to use that destructive power.

escolheria usar esse poder destrutivo.

So if that apocalyptic residual

Então, se esse resíduo apocalíptico

would choose to destroy a city, or worse,

escolhesse destruir uma cidade ou pior, então as cidades seriam destruídas.

then cities would get destroyed.

CA: So here's another type of vulnerability.

CA: Então, aqui temos outro tipo de vulnerabilidade.

Talk about this.

Fale sobre isso.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: Além dessas espécies de bola escura, que são um pouco óbvias,

that would just make it possible to blow up a lot of things,

que permitiriam explodir várias coisas,

other types would act by creating bad incentives

outros tipos agiriam no sentido de criar estímulos ruins

for humans to do things that are harmful.

para que humanos tomassem atitudes prejudiciais.

So, the Type-2a, we might call it that,

Então, o Tipo 2A, podemos chamá-la assim,

is to think about some technology that incentivizes great powers

é para pensar sobre alguma tecnologia que estimula que grandes poderes

to use their massive amounts of force to create destruction.

usem suas quantidades maciças de força para causar destruição.

So, nuclear weapons were actually very close to this, right?

As armas nucleares na verdade estavam bem próximas disso, certo?

What we did, we spent over 10 trillion dollars

Nós gastamos mais de US$ 10 trilhões para construir 70 mil ogivas nucleares

to build 70,000 nuclear warheads

and put them on hair-trigger alert.

e colocá-las em alerta de gatilho.

And there were several times during the Cold War

E houve várias ocasiões na Guerra Fria em que quase explodimos um ao outro.

we almost blew each other up.

It's not because a lot of people felt this would be a great idea,

Não que muitos achassem que essa era uma ótima ideia,

gastar US$ 10 trilhões para explodir uns aos outros,

let's all spend 10 trillion dollars to blow ourselves up,

but the incentives were such that we were finding ourselves --

mas os estímulos eram tais que não tínhamos saída...

e poderia ter sido pior.

this could have been worse.

Imagine se tivesse havido um primeiro ataque seguro.

Imagine if there had been a safe first strike.

Then it might have been very tricky,

Então, teria sido muito complicado, numa situação de crise,

in a crisis situation,

to refrain from launching all their nuclear missiles.

evitar o lançamento de todos os mísseis nucleares deles.

If nothing else, because you would fear that the other side might do it.

Se não por outra razão, pelo medo do outro lado também fazê-lo.

CA: A certeza da destruição mútua

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

manteve a Guerra Fria relativamente estável,

without that, we might not be here now.

e sem isso, possivelmente não estaríamos aqui.

NB: It could have been more unstable than it was.

NB: Poderia ter sido mais instável, e provocado outras questões tecnológicas.

And there could be other properties of technology.

Poderia ter sido mais difícil ter tratados militares

It could have been harder to have arms treaties,

if instead of nuclear weapons

se ao invés de armas nucleares

there had been some smaller thing or something less distinctive.

tivesse sido algo menor ou menos distinto.

CA: And as well as bad incentives for powerful actors,

CA: Assim como estímulos ruins para agentes poderosos,

you also worry about bad incentives for all of us, in Type-2b here.

você também se preocupa com estímulos ruins para todos nós no Tipo 2B, aqui.

NB: Yeah, so, here we might take the case of global warming.

NB: Então, aqui, nós podemos exemplificar com o aquecimento global.

There are a lot of little conveniences

Há várias pequenas conveniências

that cause each one of us to do things

que induzem cada um de nós a fazer coisas

that individually have no significant effect, right?

que individualmente não têm nenhum efeito significativo, certo?

But if billions of people do it,

Mas, se bilhões de pessoas as fazem cumulativamente, o efeito é prejudicial.

cumulatively, it has a damaging effect.

Now, global warming could have been a lot worse than it is.

O aquecimento global poderia ter sido bem pior do que é.

So we have the climate sensitivity parameter, right.

Nós temos o parâmetro de sensibilidade climática.

It's a parameter that says how much warmer does it get

É um parâmetro que nos diz o quão mais quente o mundo fica

if you emit a certain amount of greenhouse gases.

ao emitirmos certa quantidade de gases de efeito estufa.

But, suppose that it had been the case

Mas, suponha que fosse o caso

that with the amount of greenhouse gases we emitted,

de que com o volume de gases de efeito estufa que emitimos,

instead of the temperature rising by, say,

em vez da temperatura subir,

between three and 4.5 degrees by 2100,

digamos, entre 3 °C e 4,5 °C até 2100,

suppose it had been 15 degrees or 20 degrees.

ela subisse 15 °C ou 20 °C.

Like, then we might have been in a very bad situation.

Ficaríamos numa situação muito ruim.

Or suppose that renewable energy had just been a lot harder to do.

Ou suponha que a energia renovável fosse bem mais difícil de produzir,

ou que tivesse mais combustíveis fósseis sob o solo.

Or that there had been more fossil fuels in the ground.

CA: Couldn't you argue that if in that case of --

CA: Você não poderia argumentar que caso o que estamos fazendo hoje

if what we are doing today

had resulted in 10 degrees difference in the time period that we could see,

tivesse resultado na diferença de 10 °C num período de tempo que podíamos prever,

actually humanity would have got off its ass and done something about it.

na verdade a humanidade teria se esforçado e feito algo sobre isso.

We're stupid, but we're not maybe that stupid.

Somos estúpidos, mas não tanto assim.

Ou talvez sejamos. NB: Eu não apostaria nisso.

Or maybe we are.

NB: I wouldn't bet on it.

(Laughter)

(Risos)

You could imagine other features.

Você pode imaginar outras condições.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Então...

nesse momento, é um pouco difícil mudar para renováveis e coisas do tipo,

but it can be done.

mas isso pode ser feito.

But it might just have been, with slightly different physics,

Mas é possível que com um tipo de física levemente diferente,

it could have been much more expensive to do these things.

teria sido muito mais caro fazer coisas desse gênero.

CA: And what's your view, Nick?

CA: E qual é sua visão, Nick?

Do you think, putting these possibilities together,

Acha que ao juntar tais possibilidades,

that this earth, humanity that we are,

que essa humanidade que somos, nós contamos como um mundo vulnerável?

we count as a vulnerable world?

That there is a death ball in our future?

Há uma bola da morte em nosso futuro?

NB: It's hard to say.

NB: É difícil dizer.

I mean, I think there might well be various black balls in the urn,

Acho que é possível haver várias bolas escuras na urna,

that's what it looks like.

isso é o que parece.

There might also be some golden balls

Também parece haver algumas bolas douradas

that would help us protect against black balls.

que ajudariam a nos proteger dessas bolas escuras.

And I don't know which order they will come out.

E eu não sei em qual ordem elas sairão.

CA: I mean, one possible philosophical critique of this idea

CA: Bem, uma possível crítica filosófica a essa ideia

is that it implies a view that the future is essentially settled.

é que ela implica na visão de que o futuro está essencialmente determinado.

That there either is that ball there or it's not.

Ou seja: ou essa bola está lá, ou não.

And in a way,

E, de certa forma, essa não é uma visão de futuro na qual eu quero acreditar.

that's not a view of the future that I want to believe.

I want to believe that the future is undetermined,

Quero acreditar que o futuro é indeterminado,

that our decisions today will determine

que são as decisões de hoje que determinarão

what kind of balls we pull out of that urn.

os tipos de bolas que pegaremos da urna.

NB: I mean, if we just keep inventing,

NB: Bem, se nós apenas continuarmos inventando,

like, eventually we will pull out all the balls.

eventualmente pegaremos todas as bolas.

I mean, I think there's a kind of weak form of technological determinism

Acho que há uma certa forma fraca de determinismo tecnológico bem plausível,

that is quite plausible,

like, you're unlikely to encounter a society

do tipo: é improvável que encontremos uma sociedade

that uses flint axes and jet planes.

que use tanto eixos de pederneira quanto aviões a jato.

But you can almost think of a technology as a set of affordances.

Mas podemos quase pensar sobre tecnologia como um conjunto de recursos.

So technology is the thing that enables us to do various things

Então, a tecnologia é algo que permite fazer várias coisas

and achieve various effects in the world.

e alcançar inúmeros efeitos no mundo.

Agora, a maneira de utilizá-la é algo que depende da escolha humana.

How we'd then use that, of course depends on human choice.

But if we think about these three types of vulnerability,

Mas, pensando sobre esses três tipos de vulnerabilidade,

they make quite weak assumptions about how we would choose to use them.

eles fazem suposições bem fracas sobre como escolheríamos utilizá-las.

So a Type-1 vulnerability, again, this massive, destructive power,

A vulnerabilidade Tipo 1, de novo, esse imenso poder destrutivo,

it's a fairly weak assumption

é uma hipótese bastante fraca

to think that in a population of millions of people

de pensar que numa população de milhões de pessoas

there would be some that would choose to use it destructively.

somente algumas escolheriam usá-la de maneira destrutiva.

CA: For me, the most single disturbing argument

CA: Para mim, o argumento mais perturbador de todos

is that we actually might have some kind of view into the urn

é o de que, na verdade, temos uma certa visão do lado de dentro da urna

that makes it actually very likely that we're doomed.

que nos faz perceber que é bem provável que estejamos condenados.

Namely, if you believe in accelerating power,

Isto é, se acreditamos no poder de aceleramento,

that technology inherently accelerates,

de que a tecnologia inerentemente se acelera,

that we build the tools that make us more powerful,

de que construímos ferramentas que nos dão mais poder,

then at some point you get to a stage

então, em algum momento, chegaremos num estágio

where a single individual can take us all down,

no qual um indivíduo qualquer poderá matar todo mundo,

and then it looks like we're screwed.

e, por isso, parece que estamos ferrados.

Isn't that argument quite alarming?

Esse argumento não é bem alarmante?

NB: Ah, yeah.

NB: Bem, sim.

(Laughter)

(Risos)

I think --

Eu acho...

Yeah, we get more and more power,

É, nós obtemos cada vez mais poder,

and [it's] easier and easier to use those powers,

e fica cada vez mais fácil utilizar esses poderes,

but we can also invent technologies that kind of help us control

mas também podemos inventar tecnologias que nos ajudem a ter certo controle

how people use those powers.

de como as pessoas os utilizam.

CA: So let's talk about that, let's talk about the response.

CA: Então, falemos sobre a resposta.

Suppose that thinking about all the possibilities

Suponha que pensar sobre todas as possibilidades que já existem...

that are out there now --

it's not just synbio, it's things like cyberwarfare,

não é só a biologia sintética, mas a guerra cibernética,

artificial intelligence, etc., etc. --

inteligência artificial, etc...

that there might be serious doom in our future.

que podem ser uma séria ruína em nosso futuro.

What are the possible responses?

Quais são as possíveis respostas?

And you've talked about four possible responses as well.

Você também falou sobre quatro possíveis respostas.

NB: Restricting technological development doesn't seem promising,

NB: Restringir o desenvolvimento tecnológico não parece promissor,

if we are talking about a general halt to technological progress.

se estamos falando de uma parada geral do progresso tecnológico.

I think neither feasible,

Também não acho factível ou desejável, ainda que pudéssemos fazer isso.

nor would it be desirable even if we could do it.

I think there might be very limited areas

Acho que pode haver várias áreas limitadas

where maybe you would want slower technological progress.

nas quais talvez seria bom abrandar o progresso tecnológico.

You don't, I think, want faster progress in bioweapons,

Não queremos um progresso mais rápido das armas biológicas,

or in, say, isotope separation,

ou em, digamos, separação isotópica,

that would make it easier to create nukes.

que facilitaria a criação de armas nucleares.

CA: I mean, I used to be fully on board with that.

CA: Eu costumava ser totalmente a favor dessa rapidez.

But I would like to actually push back on that for a minute.

Mas na verdade, eu gostaria de discordar dela por um momento.

Just because, first of all,

Apenas porque, primeiro,

if you look at the history of the last couple of decades,

se observarmos a história das últimas décadas,

you know, it's always been push forward at full speed,

os avanços foram acelerados na velocidade máxima,

it's OK, that's our only choice.

e essa é nossa única escolha.

But if you look at globalization and the rapid acceleration of that,

Mas se considerarmos a globalização e sua rápida aceleração,

if you look at the strategy of "move fast and break things"

e observarmos a estratégia de "mover depressa e quebrar tudo"

and what happened with that,

e o que aconteceu com isso,

and then you look at the potential for synthetic biology,

e então observamos o potencial da biologia sintética,

I don't know that we should move forward rapidly

eu não sei se deveríamos nos mover rapidamente

or without any kind of restriction

ou sem qualquer tipo de restrição

to a world where you could have a DNA printer in every home

para um mundo onde se pode ter uma impressora de DNA em toda casa

and high school lab.

e laboratórios de escola de ensino médio.

There are some restrictions, right?

Há algumas restrições, não é?

NB: Possibly, there is the first part, the not feasible.

NB: Talvez a primeira parte, sobre isso não ser factível.

If you think it would be desirable to stop it,

Se pensarmos que seria desejável parar isso,

there's the problem of feasibility.

há o problema da viabilidade.

So it doesn't really help if one nation kind of --

Então realmente não ajuda quando uma nação meio que...

CA: No, it doesn't help if one nation does,

CA: Não ajuda se uma nação o faz,

but we've had treaties before.

mas nós tivemos tratados antes.

That's really how we survived the nuclear threat,

Foi realmente assim que sobrevivemos à ameaça nuclear,

was by going out there

nos expondo e enfrentando o doloroso processo de negociação.

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

Só me pergunto se a lógica não é que nós, como um assunto de prioridade global,

não deveríamos tentar, por exemplo, começar a negociar agora

we shouldn't go out there and try,

like, now start negotiating really strict rules

regras bem estritas sobre até onde a biopesquisa com sintéticos pode ir,

on where synthetic bioresearch is done,

that it's not something that you want to democratize, no?

porque isso não é algo que se queira democratizar, certo?

NB: I totally agree with that --

NB: Eu concordo plenamente com isso...

that it would be desirable, for example,

que seria desejável, por exemplo,

maybe to have DNA synthesis machines,

talvez ter máquinas de síntese de DNA,

not as a product where each lab has their own device,

não como produto no qual todo laboratório teria seu próprio dispositivo,

but maybe as a service.

mas talvez como um serviço.

Maybe there could be four or five places in the world

Talvez poderia haver quatro ou cinco lugares no mundo

where you send in your digital blueprint and the DNA comes back, right?

para onde se mandasse um planta digital e o DNA fosse enviado de volta.

And then, you would have the ability,

E então, teríamos a habilidade,

if one day it really looked like it was necessary,

se um dia realmente parecesse necessário,

de ter um conjunto determinado de pontos de bloqueio.

we would have like, a finite set of choke points.

So I think you want to look for kind of special opportunities,

Então, acho que devemos olhar para aquelas oportunidades especiais,

nas quais podemos ter um controle mais rígido.

where you could have tighter control.

CA: Your belief is, fundamentally,

CA: Sua crença é, fundamentalmente,

we are not going to be successful in just holding back.

de que não seremos bem-sucedidos ao ficarmos só na retaguarda.

Someone, somewhere -- North Korea, you know --

Em algum lugar, alguém, na Coreia do Norte, quem sabe?

someone is going to go there and discover this knowledge,

Alguém no mundo vai descobrir esse conhecimento, se ele existir.

if it's there to be found.

NB: That looks plausible under current conditions.

NB: Isso parece plausível sob as condições atuais.

It's not just synthetic biology, either.

E não se trata só da biologia sintética;

I mean, any kind of profound, new change in the world

qualquer tipo de mudança nova e profunda no mundo

could turn out to be a black ball.

poderia vir a ser uma bola escura.

CA: Let's look at another possible response.

CA: Vamos olhar outra possível resposta.

NB: This also, I think, has only limited potential.

NB: Considero que isso também tenha potencial limitado.

So, with the Type-1 vulnerability again,

Então, com a vulnerabilidade de Tipo 1, de novo,

I mean, if you could reduce the number of people who are incentivized

se pudermos reduzir o número de pessoas que são incentivadas

to destroy the world,

a destruir o mundo,

if only they could get access and the means,

as que têm acesso e meios para destruí-lo, isso seria bom.

that would be good.

CA: In this image that you asked us to do

CA: Nesta imagem você imagina esses drones viajando pelo mundo

you're imagining these drones flying around the world

com reconhecimento facial.

with facial recognition.

Quando reconhece alguém que demonstra sinais de comportamento sociopata,

When they spot someone showing signs of sociopathic behavior,

they shower them with love, they fix them.

o drone o "banha com amor" e o "conserta".

NB: I think it's like a hybrid picture.

NB: Acho que é tipo uma figura híbrida.

Eliminate can either mean, like, incarcerate or kill,

Eliminar pode significar encarcerar ou matar,

or it can mean persuade them to a better view of the world.

ou persuadir alguém a ter uma visão melhor do mundo.

But the point is that,

Mas o ponto é,

suppose you were extremely successful in this,

suponha que você fosse muito bem-sucedido nisso,

and you reduced the number of such individuals by half.

e reduzisse o número de tais indivíduos pela metade.

And if you want to do it by persuasion,

E se quiser fazer isso pela persuasão,

you are competing against all other powerful forces

está competindo contra todas as outras forças de poder

that are trying to persuade people,

que tentam persuadir as pessoas: política, religião, sistemas de educação.

parties, religion, education system.

But suppose you could reduce it by half,

Mas, supondo que os reduza pela metade,

I don't think the risk would be reduced by half.

não acho que o risco seria reduzido pela metade.

Maybe by five or 10 percent.

Talvez por 5% ou 10%.

CA: You're not recommending that we gamble humanity's future on response two.

CA: Não está recomendado que apostemos o futuro da humanidade na resposta dois.

NB: I think it's all good to try to deter and persuade people,

NB: Acho muito bom tentar dissuadir e persuadir as pessoas,

but we shouldn't rely on that as our only safeguard.

mas não deveríamos depender disso como nossa única salvaguarda.

CA: How about three?

CA: E quanto à três?

NB: I think there are two general methods

NB: Acho que há dois métodos gerais

that we could use to achieve the ability to stabilize the world

que podemos usar para alcançar a habilidade de estabilizar o mundo

against the whole spectrum of possible vulnerabilities.

contra o espectro total das possíveis vulnerabilidades.

And we probably would need both.

E provavelmente precisaríamos de ambos.

So, one is an extremely effective ability

Então, um é uma habilidade extremamente eficaz

to do preventive policing.

de fazer policiamento preventivo, com a possibilidade de interceptação.

Such that you could intercept.

If anybody started to do this dangerous thing,

Se alguém começar a fazer algo perigoso,

you could intercept them in real time, and stop them.

podemos interceptá-lo em tempo real, e pará-lo.

So this would require ubiquitous surveillance,

Assim, isso iria requerer vigilância onipresente:

everybody would be monitored all the time.

todo mundo sendo monitorado o tempo todo.

CA: This is "Minority Report," essentially, a form of.

CA: É basicamente o filme "Minority Report - A Nova Lei".

NB: You would have maybe AI algorithms,

NB: Você talvez tivesse algoritmos de IA,

big freedom centers that were reviewing this, etc., etc.

grandes centros de liberdade que ficariam revendo isso, etc.

CA: You know that mass surveillance is not a very popular term right now?

CA: Sabe que a vigilância das massas não é muito popular hoje?

(Laughter)

(Risos)

NB: Yeah, so this little device there,

NB: Bem, sobre o dispositivo da figura,

imagine that kind of necklace that you would have to wear at all times

imagine um tipo de colar que teríamos que usar o tempo todo

with multidirectional cameras.

com câmeras multidirecionais.

But, to make it go down better,

Mas, para ficar mais palatável,

just call it the "freedom tag" or something like that.

vamos chamá-lo de algo do tipo "etiqueta da liberdade".

(Laughter)

(Risos)

CA: OK.

CA: Tudo bem.

I mean, this is the conversation, friends,

Essa é a conversa, amigos, e por isso é tão intrigante.

this is why this is such a mind-blowing conversation.

NB: Na verdade, há outra conversa enorme sobre isso

NB: Actually, there's a whole big conversation on this

on its own, obviously.

paralelamente à nossa, claro.

There are huge problems and risks with that, right?

Há problemas enormes e riscos sobre isso, né?

We may come back to that.

Nós podemos voltar a isso.

So the other, the final,

Então a a outra capacidade final de estabilização geral

the other general stabilization capability

is kind of plugging another governance gap.

está obstruindo uma outra lacuna de governança.

So the surveillance would be kind of governance gap at the microlevel,

A vigilância seria um tipo de lacuna de governança a um micronível,

like, preventing anybody from ever doing something highly illegal.

a ponto de impedir todo mundo de fazer qualquer coisa altamente ilegal.

Then, there's a corresponding governance gap

Então, há a lacuna de governança correspondente a nível global.

at the macro level, at the global level.

You would need the ability, reliably,

Precisaríamos da habilidade e da confiabilidade

to prevent the worst kinds of global coordination failures,

para prevenir os piores tipos de falhas de coordenação global,

to avoid wars between great powers,

e evitar guerras entre grandes poderes,

arms races,

corridas armamentistas,

cataclysmic commons problems,

problemas comuns de cataclismo...

in order to deal with the Type-2a vulnerabilities.

para poder lidar com as vulnerabilidades do Tipo 2A.

CA: Global governance is a term

CA: Governança global é um termo bem fora de moda agora,

that's definitely way out of fashion right now,

mas você poderia dizer que, ao longo da história da humanidade,

but could you make the case that throughout history,

the history of humanity

is that at every stage of technological power increase,

a cada estágio de crescimento de poder tecnológico,

people have reorganized and sort of centralized the power.

as pessoas reorganizaram e, de certa forma, centralizaram o poder?

So, for example, when a roving band of criminals

Assim, por exemplo, quando um bando itinerante de criminosos

could take over a society,

tentasse dominar uma sociedade,

the response was, well, you have a nation-state

a resposta de uma nação-estado seria

centralizar a força policial ou militar e dizer: "Vocês não podem fazer isso".

and you centralize force, a police force or an army,

so, "No, you can't do that."

The logic, perhaps, of having a single person or a single group

Talvez a lógica de que uma única pessoa ou um único grupo fosse capaz

able to take out humanity

de assumir o controle da humanidade significa que em algum ponto

means at some point we're going to have to go this route,

teremos que considerar isso, não?

at least in some form, no?

NB: It's certainly true that the scale of political organization has increased

NB: É verdade que a escala de organização política aumentou

over the course of human history.

através do curso da história humana.

It used to be hunter-gatherer band, right,

Costumava ser um grupo de caçadores-coletores,

and then chiefdom, city-states, nations,

então uma chefia, depois cidades-estados, e nações,

now there are international organizations and so on and so forth.

agora há organizações internacionais, e por aí vai.

Again, I just want to make sure

De novo, quero ter a chance de enfatizar que obviamente há grandes desvantagens

I get the chance to stress

that obviously there are huge downsides

and indeed, massive risks,

e, certamente, riscos concretos,

both to mass surveillance and to global governance.

tanto para a vigilância de massa quanto para a governança global.

I'm just pointing out that if we are lucky,

Só estou apontando que, se tivermos sorte,

the world could be such that these would be the only ways

o mundo poderia ser tal que essas seriam as únicas formas

you could survive a black ball.

de sobreviver a uma bola escura.

CA: The logic of this theory,

CA: A lógica dessa teoria,

it seems to me,

me parece,

is that we've got to recognize we can't have it all.

é a de que temos que reconhecer que não podemos ter tudo.

That the sort of,

Que, assim,

I would say, naive dream that many of us had

esse "sonho ingênuo" que muitos de nós tínhamos

that technology is always going to be a force for good,

de que a tecnologia sempre seria uma força para o bem,

keep going, don't stop, go as fast as you can

sempre indo, sem parar, o mais rápido que pudesse,

and not pay attention to some of the consequences,

sem prestar atenção para certas consequências,

that's actually just not an option.

isso de fato não é uma opção.

We can have that.

Nós podemos ter isso,

If we have that,

mas aí teremos que aceitar outras coisas desconfortáveis inerentes a isso

we're going to have to accept

some of these other very uncomfortable things with it,

and kind of be in this arms race with ourselves

e entrar numa corrida armamentista contra nós mesmos,

of, you want the power, you better limit it,

na qual, se quisermos o poder, precisaremos descobrir como limitá-lo.

you better figure out how to limit it.

NB: I think it is an option,

NB: Acredito que essa seja uma opção,

a very tempting option, it's in a sense the easiest option

e bem tentadora, no sentido de que é a mais fácil e que pode dar certo,

and it might work,

but it means we are fundamentally vulnerable to extracting a black ball.

mas significa, basicamente, que ficamos vulneráveis a extrair uma bola escura.

Now, I think with a bit of coordination,

Acho que com certa coordenação,

like, if you did solve this macrogovernance problem,

se resolvêssemos esse problema de micro e macrogovernança,

and the microgovernance problem,

then we could extract all the balls from the urn

então poderíamos extrair todas as bolas da urna

and we'd benefit greatly.

e nos beneficiaríamos grandemente.

CA: I mean, if we're living in a simulation, does it matter?

CA: Bem, se estamos vivendo em uma simulação, isso importa?

We just reboot.

Nós apenas reiniciaríamos.

(Laughter)

(Risos)

NB: Then ... I ...

(Laughter)

I didn't see that one coming.

Eu não esperava por isso.

CA: So what's your view?

CA: E qual a sua visão?

Putting all the pieces together, how likely is it that we're doomed?

Encaixando todos os pedaços, é provável que estejamos condenados?

(Laughter)

(Risos)

Adoro quando as pessoas riem quando você pergunta isso.

I love how people laugh when you ask that question.

NB: On an individual level,

NB: Em um nível individual,

we seem to kind of be doomed anyway, just with the time line,

parecemos condenados de qualquer jeito pela questão da linha do tempo,

we're rotting and aging and all kinds of things, right?

já que estamos apodrecendo, envelhecendo, e tudo isso, não é?

(Laughter)

(Risos)

It's actually a little bit tricky.

De fato, é um pouco complexo.

If you want to set up so that you can attach a probability,

Para prever uma probabilidade, primeiro: de quem estamos falando?

first, who are we?

If you're very old, probably you'll die of natural causes,

Um idoso, provavelmente morrerá de causas naturais,

if you're very young, you might have a 100-year --

alguém bem jovem ainda terá uns 100 anos; a probabilidade dependerá do receptor.

the probability might depend on who you ask.

Then the threshold, like, what counts as civilizational devastation?

E então, o limite, o que contaria como a devastação da civilização?

In the paper I don't require an existential catastrophe

No artigo eu não preciso de uma catástrofe existencial

in order for it to count.

para que se conte como tal.

This is just a definitional matter,

É só uma questão de definição, digamos, um bilhão de mortos,

I say a billion dead,

or a reduction of world GDP by 50 percent,

ou uma redução do PIB mundial de 50%;

but depending on what you say the threshold is,

mas dependendo do que coloca como limite, a estimativa da probabilidade é diferente.

you get a different probability estimate.

But I guess you could put me down as a frightened optimist.

Mas acho que você poderia me menosprezar dizendo que sou um otimista assustado.

(Laughter)

(Risos)

CA: You're a frightened optimist,

CA: Você é um otimista assustado,

and I think you've just created a large number of other frightened ...

e acho que acabou de criar um grande número de outras...

people.

pessoas assustadas.

(Laughter)

(Risos)

NB: In the simulation.

NB: Dentro da simulação. CA: Dentro de uma simulação!

CA: In a simulation.

Nick Bostrom, your mind amazes me,

Nick Bostrom, sua mente me fascina,

muito obrigado por assustar todos nós imensamente.

thank you so much for scaring the living daylights out of us.

(Aplausos)

(Applause)