How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Tradutor: Margarida Ferreira Revisora: Camila Frade

Chris Anderson: Nick Bostrom.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Já nos deste muitas ideias incríveis.

I think a couple of decades ago,

Penso que aqui há décadas

you made the case that we might all be living in a simulation,

defendeste a ideia de que podemos estar a viver numa simulação,

or perhaps probably were.

ou provavelmente, estávamos.

More recently,

Mais recentemente,

you've painted the most vivid examples of how artificial general intelligence

descreveste os exemplos mais impressionantes

de como a inteligência artificial poderá vir a gerar resultados terríveis.

could go horribly wrong.

And now this year,

E este ano, estás prestes a publicar

you're about to publish

a paper that presents something called the vulnerable world hypothesis.

um artigo que apresenta uma coisa chamada a hipótese do mundo vulnerável.

And our job this evening is to give the illustrated guide to that.

O nosso papel esta noite é apresentar um guia ilustrado sobre esse tema.

So let's do that.

Vamos a isso.

What is that hypothesis?

Que hipótese é essa?

Nick Bostrom: It's trying to think about

Nick Bostrom: É uma tentativa de reflexão

a sort of structural feature of the current human condition.

sobre uma característica estrutural da atual condição humana.

You like the urn metaphor,

Tu gostas da metáfora da urna,

so I'm going to use that to explain it.

por isso vou usá-la para explicar melhor.

So picture a big urn filled with balls

Imagina uma grande urna cheia de bolas,

representing ideas, methods, possible technologies.

que representam ideias, métodos, possíveis tecnologias.

You can think of the history of human creativity

Podes pensar na história da criatividade humana

as the process of reaching into this urn and pulling out one ball after another,

como o processo de chegar a esta urna e ir tirando uma bola atrás de outra.

and the net effect so far has been hugely beneficial, right?

Até aqui, o efeito tem sido muito benéfico, não é?

We've extracted a great many white balls,

Já extraímos uma grande quantidade de bolas brancas,

some various shades of gray, mixed blessings.

algumas de vários tons de cinzento, com prós e contras.

We haven't so far pulled out the black ball --

Até agora não tirámos a bola preta

a technology that invariably destroys the civilization that discovers it.

— uma tecnologia que destrua fatalmente a civilização que a encontrar.

So the paper tries to think about what could such a black ball be.

O artigo procura refletir no que será essa bola preta.

CA: So you define that ball

CA: Então, defines essa bola

as one that would inevitably bring about civilizational destruction.

como aquela que, inevitavelmente, provocará a destruição da civilização.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: A não ser que abandonemos aquilo a que chamo

a situação semianárquica, por defeito

But sort of, by default.

mas, de qualquer modo, por defeito.

CA: So, you make the case compelling

CA: Argumentas de forma convincente apresentando contraexemplos

by showing some sort of counterexamples

where you believe that so far we've actually got lucky,

de que, segundo crês, temos tido muita sorte, até agora,

that we might have pulled out that death ball

em que podíamos ter tirado essa bola mortífera

without even knowing it.

sem sequer darmos por isso.

So there's this quote, what's this quote?

O que é esta citação?

["O Progresso Contínuo na Mecânica Celestial produzirá a bomba H"]

NB: Well, I guess it's just meant to illustrate

NB: Penso que pretende ilustrar

the difficulty of foreseeing

a dificuldade de prever aonde nos levarão as descobertas elementares.

what basic discoveries will lead to.

We just don't have that capability.

Não temos essa capacidade.

Because we have become quite good at pulling out balls,

Porque tornámo-nos muito bons a extrair as bolas,

but we don't really have the ability to put the ball back into the urn, right.

mas não temos a capacidade de voltar a pôr a bola na urna.

We can invent, but we can't un-invent.

Podemos inventar, mas não podemos des-inventar.

So our strategy, such as it is,

A nossa estratégia atual

is to hope that there is no black ball in the urn.

é ter a esperança de que não haja nenhuma bola preta na urna.

CA: So once it's out, it's out, and you can't put it back in,

CA: Depois de aparecer, está cá fora e não podemos voltar a pô-la lá dentro

and you think we've been lucky.

e tu pensas que temos tido sorte.

So talk through a couple of these examples.

Fala-nos de alguns desses exemplos.

You talk about different types of vulnerability.

Falas de diferentes tipos de vulnerabilidade.

NB: So the easiest type to understand

NB: O tipo mais fácil de perceber

is a technology that just makes it very easy

é uma tecnologia que torna muito fácil uma destruição maciça.

to cause massive amounts of destruction.

Synthetic biology might be a fecund source of that kind of black ball,

A biologia sintética pode ser uma fonte fecunda duma bola preta,

but many other possible things we could --

mas há muitas outras coisas possíveis

think of geoengineering, really great, right?

— pensa na geo-engenharia, é genial, não é?

We could combat global warming,

Podemos combater o aquecimento global,

but you don't want it to get too easy either,

mas não queremos que seja demasiado fácil,

you don't want any random person and his grandmother

não queremos que uma pessoa qualquer e a sua avó

to have the ability to radically alter the earth's climate.

possam alterar radicalmente o clima da Terra.

Or maybe lethal autonomous drones,

Ou os "drones" autónomos mortíferos, enxames de robôs assassinos

massed-produced, mosquito-sized killer bot swarms.

do tamanho de mosquitos e produzidos em massa.

Nanotechnology, artificial general intelligence.

A nanotecnologia, a inteligência artificial geral.

CA: You argue in the paper

CA: Defendes nesse artigo

that it's a matter of luck that when we discovered

que foi só por sorte — quando descobrimos

that nuclear power could create a bomb,

que a energia nuclear podia criar uma bomba —

it might have been the case

que não criámos uma bomba

that you could have created a bomb

with much easier resources, accessible to anyone.

com recursos muito mais simples, acessíveis a toda a gente.

NB: Yeah, so think back to the 1930s

NB: Sim, pensa nos anos 30

where for the first time we make some breakthroughs in nuclear physics,

em que, pela primeira vez,

fizemos descobertas revolucionárias na física nuclear.

some genius figures out that it's possible to create a nuclear chain reaction

Houve um génio que descobriu ser possível criar uma reação nuclear em cadeia

and then realizes that this could lead to the bomb.

e depois percebeu-se que isso podia levar à bomba.

And we do some more work,

E continuámos a trabalhar.

it turns out that what you require to make a nuclear bomb

Acontece que o necessário para fazer uma bomba nuclear

is highly enriched uranium or plutonium,

é urânio enriquecido ou plutónio,

which are very difficult materials to get.

que são materiais muito difíceis de obter.

You need ultracentrifuges,

São precisos ultracentrifugadores,

you need reactors, like, massive amounts of energy.

são precisos reatores, quantidades enormes de energia.

But suppose it had turned out instead

Mas suponhamos que, em vez disso,

there had been an easy way to unlock the energy of the atom.

tivesse havido uma forma fácil de libertar a energia do átomo.

That maybe by baking sand in the microwave oven

Talvez cozendo areia no micro-ondas

or something like that

ou qualquer coisa assim,

you could have created a nuclear detonation.

pudéssemos ter criado uma explosão nuclear.

So we know that that's physically impossible.

Sabemos que isso é fisicamente impossível.

But before you did the relevant physics

Mas antes de estudarmos a física relevante

how could you have known how it would turn out?

como é que sabíamos o que iria acontecer?

CA: Although, couldn't you argue

CA: Podias alegar que, para a vida evoluir na Terra

that for life to evolve on Earth

that implied sort of stable environment,

era indispensável um ambiente estável

that if it was possible to create massive nuclear reactions relatively easy,

e que, se fosse possível criar grandes reações nucleares

com relativa facilidade,

the Earth would never have been stable,

a Terra nunca teria estado estável e nós não estaríamos aqui.

that we wouldn't be here at all.

NB: Yeah, unless there were something that is easy to do on purpose

NB: Sim, a não ser que houvesse qualquer coisa fácil de fazer

but that wouldn't happen by random chance.

mas isso não aconteceria por acaso.

So, like things we can easily do,

Coisas fáceis de fazer,

we can stack 10 blocks on top of one another,

como empilhar 10 blocos uns por cima dos outros

but in nature, you're not going to find, like, a stack of 10 blocks.

mas, na Natureza, não encontramos uma pilha de 10 blocos.

CA: OK, so this is probably the one

CA: Ok, isto provavelmente é aquilo que mais preocupa muitos de nós

that many of us worry about most,

and yes, synthetic biology is perhaps the quickest route

e, sim, a biologia sintética talvez seja o caminho mais rápido

that we can foresee in our near future to get us here.

que, podemos prever, pode levar-nos lá num futuro próximo.

NB: Yeah, and so think about what that would have meant

NB: Pois é, pensa no que significaria

if, say, anybody by working in their kitchen for an afternoon

se alguém, a trabalhar na cozinha, durante uma tarde,

could destroy a city.

pudesse destruir uma cidade.

It's hard to see how modern civilization as we know it

É difícil ver como a civilização moderna, tal como a conhecemos,

could have survived that.

teria sobrevivido a isso.

Because in any population of a million people,

Porque, em qualquer população de um milhão de pessoas,

there will always be some who would, for whatever reason,

haverá sempre alguém, por qualquer razão que seja,

choose to use that destructive power.

que pode decidir usar esse poder destrutivo.

So if that apocalyptic residual

Assim, se esse resíduo apocalíptico

would choose to destroy a city, or worse,

decidir destruir uma cidade ou, pior,

then cities would get destroyed.

as cidades serão destruídas.

CA: So here's another type of vulnerability.

CA: Esse é outro tipo de vulnerabilidade.

Talk about this.

Fala-nos disso.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: Para além destes tipos óbvios de bolas pretas

that would just make it possible to blow up a lot of things,

isso tornaria possível fazer explodir muitas coisas.

other types would act by creating bad incentives

Outros tipos agiriam criando maus incentivos

for humans to do things that are harmful.

para os seres humanos fazerem coisas prejudiciais.

So, the Type-2a, we might call it that,

O Tipo-2a, podemos chamar-lhe assim,

is to think about some technology that incentivizes great powers

é pensar nalguma tecnologia que incentive as grandes potências

to use their massive amounts of force to create destruction.

a usar a sua quantidade enorme de força para provocar a destruição.

So, nuclear weapons were actually very close to this, right?

As armas nucleares estiveram muito perto disso, não foi?

What we did, we spent over 10 trillion dollars

Gastámos mais de 10 biliões de dólares

to build 70,000 nuclear warheads

para fabricar 70 000 ogivas nucleares

and put them on hair-trigger alert.

e colocá-las em alerta imediato.

And there were several times during the Cold War

Houve várias ocasiões, durante a Guerra Fria,

we almost blew each other up.

em que quase nos explodimos mutuamente.

It's not because a lot of people felt this would be a great idea,

Não porque muita gente achasse que seria boa ideia

let's all spend 10 trillion dollars to blow ourselves up,

gastar 10 biliões de dólares para nos fazermos explodir,

but the incentives were such that we were finding ourselves --

mas porque os incentivos eram enormes

this could have been worse.

— podia ter sido pior.

Imagina se tivesse havido um primeiro ataque.

Imagine if there had been a safe first strike.

Then it might have been very tricky,

Podia ter sido muito complicado, numa situação de crise,

in a crisis situation,

conseguirmos abstermo-nos de lançar todos os mísseis nucleares.

to refrain from launching all their nuclear missiles.

If nothing else, because you would fear that the other side might do it.

Quanto mais não fosse, porque recearíamos que o outro lado o fizesse.

CA: Right, mutual assured destruction

CA: Claro, uma destruição mútua garantida

kept the Cold War relatively stable,

manteve a Guerra Fria relativamente estável.

without that, we might not be here now.

Sem isso, podíamos não estar aqui agora.

NB: It could have been more unstable than it was.

NB: Podia ter sido mais instável do que foi.

And there could be other properties of technology.

Podia haver outras propriedades da tecnologia.

It could have been harder to have arms treaties,

Podia ter sido mais difícil ter tratados sobre armamento

if instead of nuclear weapons

se, em vez de armas nucleares,

there had been some smaller thing or something less distinctive.

fosse uma coisa mais pequena ou menos impressionante.

CA: And as well as bad incentives for powerful actors,

CA: Tal como com os maus incentivos para atores poderosos,

you also worry about bad incentives for all of us, in Type-2b here.

também te preocupas

com os maus incentivos para todos nós, o Tipo-2b.

NB: Yeah, so, here we might take the case of global warming.

NB: Sim, podemos agarrar no caso do aquecimento global.

There are a lot of little conveniences

Há muitos pequenos confortos

that cause each one of us to do things

que levam cada um de nós a fazer coisas

that individually have no significant effect, right?

que, individualmente, não têm efeito significativo.

But if billions of people do it,

Mas, se milhares de milhões de pessoas o fizerem,

cumulatively, it has a damaging effect.

cumulativamente, o efeito é destruidor.

Now, global warming could have been a lot worse than it is.

O aquecimento global podia ter sido muito pior do que é.

So we have the climate sensitivity parameter, right.

Temos o parâmetro de sensibilidade climática.

It's a parameter that says how much warmer does it get

É um parâmetro que indica quanto é o aquecimento

if you emit a certain amount of greenhouse gases.

se emitirmos uma certa quantidade de gases com efeito de estufa.

But, suppose that it had been the case

Mas supõe que se dava o caso

that with the amount of greenhouse gases we emitted,

de que, com a quantidade de gases com efeito de estufa que emitimos,

instead of the temperature rising by, say,

em vez de a temperatura subir

between three and 4.5 degrees by 2100,

entre 3 a 4,5 graus até 2100,

suppose it had been 15 degrees or 20 degrees.

imagina que subiria entre 15 ou 20 graus.

Like, then we might have been in a very bad situation.

Aí estaríamos numa situação muito má.

Or suppose that renewable energy had just been a lot harder to do.

Supõe que as energias renováveis tinham sido muito mais complexas

ou que tinha havido mais combustíveis fósseis no terreno.

Or that there had been more fossil fuels in the ground.

CA: Couldn't you argue that if in that case of --

CA: Não podias argumentar que,

se aquilo que estamos a fazer hoje

if what we are doing today

had resulted in 10 degrees difference in the time period that we could see,

tivesse resultado em 10 graus de diferença no período de tempo que podemos ver,

actually humanity would have got off its ass and done something about it.

a humanidade ter-se-ia alarmado e teria feito alguma coisa.

We're stupid, but we're not maybe that stupid.

Somos estúpidos, mas não somos assim tão estúpidos.

Or maybe we are.

Ou talvez sejamos.

NB: I wouldn't bet on it.

NB: Não apostaria nisso.

(Laughter)

(Risos)

You could imagine other features.

Podemos imaginar outras opções.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Neste momento, é um pouco difícil mudar para as renováveis,

but it can be done.

mas pode ser feito.

But it might just have been, with slightly different physics,

Podia ter sido, com uma física um pouco diferente,

it could have been much more expensive to do these things.

teria sido muito mais dispendioso fazer essas coisas.

CA: And what's your view, Nick?

CA: Qual é a tua opinião, Nick?

Do you think, putting these possibilities together,

Achas que, juntando todas estas possibilidades.

that this earth, humanity that we are,

esta humanidade que somos,

we count as a vulnerable world?

somos um mundo vulnerável?

That there is a death ball in our future?

Haverá uma bola mortífera no nosso futuro?

NB: It's hard to say.

NB: É difícil dizer.

I mean, I think there might well be various black balls in the urn,

Ou seja, penso que pode haver várias bolas pretas na urna,

that's what it looks like.

é o que parece.

There might also be some golden balls

Também pode haver algumas bolas douradas

that would help us protect against black balls.

que nos ajudarão a proteger-nos das bolas pretas.

And I don't know which order they will come out.

Mas não sei qual a ordem por que vão sair.

CA: I mean, one possible philosophical critique of this idea

CA: Uma possível crítica filosófica dessa ideia

is that it implies a view that the future is essentially settled.

é que isso implica uma visão de um futuro já determinado,

That there either is that ball there or it's not.

quer essa bola exista ou não.

And in a way,

E, de certa forma,

that's not a view of the future that I want to believe.

é uma visão do futuro em que eu não quero acreditar.

I want to believe that the future is undetermined,

Eu quero acreditar que o futuro é indeterminado,

that our decisions today will determine

que são as nossas decisões de hoje que determinarão

what kind of balls we pull out of that urn.

o tipo de bolas que vamos tirar dessa urna.

NB: I mean, if we just keep inventing,

NB: Se continuarmos a inventar,

like, eventually we will pull out all the balls.

acabaremos por extrair todas as bolas.

I mean, I think there's a kind of weak form of technological determinism

Penso que há uma certa forma de determinismo tecnológico

that is quite plausible,

que é bastante plausível.

like, you're unlikely to encounter a society

Ou seja, não é provável encontrar uma sociedade

that uses flint axes and jet planes.

que use machados de sílex e aviões a jato.

But you can almost think of a technology as a set of affordances.

Mas quase podemos ver a tecnologia como um conjunto de possibilidades.

So technology is the thing that enables us to do various things

A tecnologia é a coisa que nos possibilita fazer diversas coisas

and achieve various effects in the world.

e obter diversos efeitos no mundo.

How we'd then use that, of course depends on human choice.

Como vamos usá-las depende das opções humanas.

But if we think about these three types of vulnerability,

Mas, se pensarmos nestes três tipos de vulnerabilidade,

they make quite weak assumptions about how we would choose to use them.

são pressupostos muito fracos sobre como optaríamos por usá-las.

So a Type-1 vulnerability, again, this massive, destructive power,

Uma vulnerabilidade Tipo-1 esse enorme poder destrutivo,

it's a fairly weak assumption

é uma hipótese muito fraca

to think that in a population of millions of people

pensar que, numa população de milhões de pessoas

there would be some that would choose to use it destructively.

haveria algumas que optariam por usá-la destrutivamente.

CA: For me, the most single disturbing argument

CA: Para mim, o argumento mais perturbador

is that we actually might have some kind of view into the urn

é podermos espreitar para dentro da urna

that makes it actually very likely that we're doomed.

e vermos que, provavelmente, estamos condenados.

Namely, if you believe in accelerating power,

Se acreditarmos no poder acelerador,

that technology inherently accelerates,

que a tecnologia acelera inerentemente,

que criamos as ferramentas que nos tornam mais poderosos,

that we build the tools that make us more powerful,

then at some point you get to a stage

a certa altura, acabamos por chegar a um ponto

where a single individual can take us all down,

em que um único indivíduo pode eliminar-nos a todos

and then it looks like we're screwed.

e assim, parece que estamos lixados.

Isn't that argument quite alarming?

Este argumento não é alarmante?

NB: Ah, yeah.

NB: Claro que é.

(Laughter)

(Risos)

I think --

Penso que...

Yeah, we get more and more power,

Sim, cada vez temos mais poder

and [it's] easier and easier to use those powers,

e é cada vez mais fácil usar esses poderes

but we can also invent technologies that kind of help us control

mas também podemos inventar tecnologias que nos ajudem a controlar

how people use those powers.

como as pessoas usam esses poderes.

CA: So let's talk about that, let's talk about the response.

CA: Falemos nisso, falemos na resposta.

Suppose that thinking about all the possibilities

Suponhamos que pensar em todas as possibilidades

that are out there now --

que existem atualmente

it's not just synbio, it's things like cyberwarfare,

— não é só a biologia sintética, são coisas como a guerra cibernética,

artificial intelligence, etc., etc. --

a inteligência artificial, etc., etc. —

that there might be serious doom in our future.

que podem ser uma condenação do nosso futuro.

What are the possible responses?

Quais são as possíveis respostas?

And you've talked about four possible responses as well.

Falaste de quatro respostas possíveis.

NB: Restricting technological development doesn't seem promising,

NB: Restringir o desenvolvimento tecnológico não parece ser promissor,

if we are talking about a general halt to technological progress.

se falamos duma paragem geral do progresso tecnológico.

I think neither feasible,

Penso que não é exequível nem seria desejável,

nor would it be desirable even if we could do it.

mesmo que o pudéssemos fazer.

I think there might be very limited areas

Penso que pode haver áreas muito limitadas

where maybe you would want slower technological progress.

em que talvez quiséssemos abrandar o progresso tecnológico.

You don't, I think, want faster progress in bioweapons,

Penso que não queremos um progresso mais rápido nas armas biológicas

or in, say, isotope separation,

ou na separação de isótopos

that would make it easier to create nukes.

que facilitaria a criação de ogivas nucleares.

CA: I mean, I used to be fully on board with that.

CA: Eu costumava estar inteiramente de acordo com isso.

But I would like to actually push back on that for a minute.

Mas gostaria de contra-argumentar durante instantes.

Just because, first of all,

Primeiro que tudo,

if you look at the history of the last couple of decades,

se olharmos para a história das últimas décadas,

you know, it's always been push forward at full speed,

tem havido sempre uma evolução a toda a velocidade.

it's OK, that's our only choice.

Tudo bem, a escolha tem sido nossa.

But if you look at globalization and the rapid acceleration of that,

Mas, se olharmos para a globalização e para a sua rápida aceleração,

if you look at the strategy of "move fast and break things"

se olharmos para a estratégia de "avançar rápido e partir a loiça"

and what happened with that,

e o que aconteceu com isso,

and then you look at the potential for synthetic biology,

e depois olhamos para o potencial da biologia sintética,

I don't know that we should move forward rapidly

não sei se devemos avançar rapidamente

or without any kind of restriction

ou sem qualquer tipo de restrições

to a world where you could have a DNA printer in every home

para um mundo em que podemos ter uma impressora de ADN em todos os lares

and high school lab.

e nos laboratórios dos liceus.

There are some restrictions, right?

Há restrições, não há?

NB: Possibly, there is the first part, the not feasible.

NB: Possivelmente. Temos a primeira parte: não exequível.

If you think it would be desirable to stop it,

Se pensarmos que seria desejável parar,

there's the problem of feasibility.

há o problema da exequibilidade.

So it doesn't really help if one nation kind of --

Na verdade, não ajuda muito se um país...

CA: No, it doesn't help if one nation does,

CA: Não, não ajuda muito se for um só país,

but we've had treaties before.

mas já tivemos tratados.

That's really how we survived the nuclear threat,

Foi assim que sobrevivemos à ameaça nuclear,

was by going out there

foi passando pelo processo doloroso de negociação.

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

Ponho-me a pensar se a lógica não será

que nós, em termos de prioridade global,

não devíamos tentar começar a negociar regras estritas

we shouldn't go out there and try,

like, now start negotiating really strict rules

on where synthetic bioresearch is done,

sobre onde se pode fazer investigação sobre biologia sintética.

that it's not something that you want to democratize, no?

Não é uma coisa que queiramos democratizar, pois não?

NB: I totally agree with that --

NB: Estou inteiramente de acordo com isso.

that it would be desirable, for example,

Seria desejável, por exemplo,

maybe to have DNA synthesis machines,

ter máquinas de síntese de ADN,

not as a product where each lab has their own device,

não enquanto um aparelho existente em todos os laboratórios,

but maybe as a service.

mas como um serviço.

Maybe there could be four or five places in the world

Talvez pudesse haver quatro ou cinco locais no mundo

where you send in your digital blueprint and the DNA comes back, right?

para onde enviar o nosso modelo digital e receber o ADN de volta.

And then, you would have the ability,

Depois, teríamos essa capacidade

if one day it really looked like it was necessary,

se um dia isso fosse mesmo necessário

we would have like, a finite set of choke points.

teríamos um conjunto finito de pontos de obstrução.

So I think you want to look for kind of special opportunities,

Penso que queres olhar para especiais oportunidades,

em que podemos ter um controlo mais apertado.

where you could have tighter control.

CA: Your belief is, fundamentally,

CA: Fundamentalmente, acreditas

we are not going to be successful in just holding back.

que não vamos conseguir atrasar as coisas.

Someone, somewhere -- North Korea, you know --

Alguém, algures — Coreia do Norte —

someone is going to go there and discover this knowledge,

alguém vai lá chegar e descobrir esse conhecimento

if it's there to be found.

se é que ele existe.

NB: That looks plausible under current conditions.

NB: Isso parece plausível nas atuais condições.

It's not just synthetic biology, either.

Também não é só biologia sintética.

I mean, any kind of profound, new change in the world

Qualquer tipo de mudança profunda e nova, no mundo

could turn out to be a black ball.

pode vir a ser uma bola preta.

CA: Let's look at another possible response.

CA: Vejamos outra resposta possível.

NB: This also, I think, has only limited potential.

NB: Penso que isto também tem um potencial limitado.

So, with the Type-1 vulnerability again,

Com a vulnerabilidade de Tipo-1, mais uma vez,

I mean, if you could reduce the number of people who are incentivized

se pudermos reduzir o número de pessoas que estão motivadas

a destruir o mundo,

to destroy the world,

se pelo menos fossem só elas a ter o acesso e os meios

if only they could get access and the means,

that would be good.

isso seria bom.

CA: In this image that you asked us to do

CA: Nesta imagem que nos pediste para fazermos,

you're imagining these drones flying around the world

imaginaste estes "drones" a voar à volta do mundo

with facial recognition.

com reconhecimento facial.

When they spot someone showing signs of sociopathic behavior,

Quando detetam alguém que mostra um comportamento sociopata

they shower them with love, they fix them.

dão-lhe um banho de amor e recuperam-no.

NB: I think it's like a hybrid picture.

NB: É uma imagem híbrida.

Eliminate can either mean, like, incarcerate or kill,

Eliminar pode significar encarcerar ou matar

or it can mean persuade them to a better view of the world.

ou pode significar convencê-los a uma melhor visão do mundo.

But the point is that,

Mas a questão é esta:

suppose you were extremely successful in this,

Imagina que temos um grande êxito,

and you reduced the number of such individuals by half.

e reduzíamos para metade o número desses indivíduos.

And if you want to do it by persuasion,

Se queremos fazê-lo por persuasão,

estamos a competir contra as outras forças poderosas

you are competing against all other powerful forces

that are trying to persuade people,

que tentam persuadir as pessoas,

parties, religion, education system.

os partidos, a religião, o sistema de ensino.

But suppose you could reduce it by half,

Mas suponhamos que os reduzimos a metade,

I don't think the risk would be reduced by half.

penso que o risco não seria reduzido a metade.

Maybe by five or 10 percent.

Talvez apenas a 5% ou 10%.

CA: You're not recommending that we gamble humanity's future on response two.

CA: Não estás a recomendar que falemos do futuro da humanidade

com a resposta dois.

NB: I think it's all good to try to deter and persuade people,

NB: Penso que é bom tentar dissuadir e persuadir as pessoas

but we shouldn't rely on that as our only safeguard.

mas não podemos confiar nisso como única salvaguarda.

CA: How about three?

CA: E quanto à terceira resposta?

NB: I think there are two general methods

NB: Penso que há dois métodos gerais

that we could use to achieve the ability to stabilize the world

que podemos usar para conseguir a capacidade de estabilizar o mundo

against the whole spectrum of possible vulnerabilities.

contra todo o espetro de possíveis vulnerabilidades.

And we probably would need both.

Provavelmente, vamos precisar das duas coisas.

So, one is an extremely effective ability

Uma é uma capacidade extremamente eficaz

to do preventive policing.

de policiamento preventivo.

Such that you could intercept.

para poder intercetar

If anybody started to do this dangerous thing,

alguém que comece a fazer coisas perigosas.

you could intercept them in real time, and stop them.

Poder intercetá-la em tempo real, e detê-la.

So this would require ubiquitous surveillance,

Isso exigirá uma vigilância omnipresente,

everybody would be monitored all the time.

toda a gente terá de ser monitorizada a toda a hora.

CA: This is "Minority Report," essentially, a form of.

CA: É essencialmente uma forma de "Minority Report".

NB: You would have maybe AI algorithms,

NB: Talvez tenhamos algoritmos de IA,

big freedom centers that were reviewing this, etc., etc.

grandes centro de liberdade que examinariam isso, etc., etc.

CA: You know that mass surveillance is not a very popular term right now?

CA: A vigilância de massas não é muito popular neste momento...

(Laughter)

(Risos)

NB: Yeah, so this little device there,

NB: Eu sei. Aquele pequeno aparelho.

imagine that kind of necklace that you would have to wear at all times

imagina que tens de usar sempre aquele tipo de coleira

with multidirectional cameras.

com câmaras multidirecionais.

But, to make it go down better,

Mas, para ser mais bem aceite,

just call it the "freedom tag" or something like that.

chama-lhe "farol da liberdade" ou qualquer coisa dessas.

(Laughter)

(Risos)

CA: OK.

CA: Ok.

I mean, this is the conversation, friends,

Isto, meus amigos, é só uma conversa

this is why this is such a mind-blowing conversation.

é por isso que é uma conversa tão estonteante.

NB: Na verdade, há toda uma conversa sobre este tema em especial.

NB: Actually, there's a whole big conversation on this

on its own, obviously.

Há grandes problemas e riscos com isto, não é?

There are huge problems and risks with that, right?

We may come back to that.

Podemos voltar a falar nisso.

So the other, the final,

A última resposta,

the other general stabilization capability

a outra capacidade de estabilização geral colmata um vazio da governação.

is kind of plugging another governance gap.

So the surveillance would be kind of governance gap at the microlevel,

A vigilância preencherá um vazio da governação a um nível micro:

like, preventing anybody from ever doing something highly illegal.

impedir quem quer que seja de fazer uma coisa altamente ilegal.

Then, there's a corresponding governance gap

Há um vazio de governação equivalente,

at the macro level, at the global level.

a nível macro, a nível mundial.

You would need the ability, reliably,

Precisaremos de capacidade eficaz,

to prevent the worst kinds of global coordination failures,

para impedir os piores tipos de falhas de coordenação mundial,

to avoid wars between great powers,

para evitar guerras entre as grandes potências,

arms races,

corridas ao armamento,

cataclysmic commons problems,

problemas comuns cataclísmicos,

in order to deal with the Type-2a vulnerabilities.

a fim de lidar com as vulnerabilidades Tipo-2a.

CA: Global governance is a term

CA: Governação global é um termo

that's definitely way out of fashion right now,

que está definitivamente fora de moda neste momento

but could you make the case that throughout history,

mas podes adiantar que, ao longo da História,

the history of humanity

a História da Humanidade,

is that at every stage of technological power increase,

em cada fase do aumento do poder tecnológico

people have reorganized and sort of centralized the power.

as pessoas têm reorganizado e de certa forma centralizado o poder.

So, for example, when a roving band of criminals

Por exemplo, quando um bando itinerante de criminosos

could take over a society,

podia dominar uma sociedade,

the response was, well, you have a nation-state

a reposta foi criar um estado-nação

and you centralize force, a police force or an army,

e uma força centralizada, força policial ou militar,

so, "No, you can't do that."

para isso não ser possível

The logic, perhaps, of having a single person or a single group

A lógica, talvez, de ter uma única pessoa ou um único grupo

able to take out humanity

capaz de dominar a humanidade

means at some point we're going to have to go this route,

significa que, a certa altura, temos de ir por este caminho,

at least in some form, no?

de alguma forma, não é?

NB: It's certainly true that the scale of political organization has increased

NB: É verdade que a escala da organização política aumentou

over the course of human history.

ao longo da história humana.

It used to be hunter-gatherer band, right,

Primeiro era um bando de caçadores-recoletores.

and then chiefdom, city-states, nations,

depois uma chefatura, cidades-estados, nações.

now there are international organizations and so on and so forth.

Agora são organizações internacionais etc., etc.

Again, I just want to make sure

Mais uma vez, só quero assegurar, ter a hipótese de sublinhar

I get the chance to stress

that obviously there are huge downsides

que, obviamente, há tremendos inconvenientes

and indeed, massive risks,

e enormes riscos

both to mass surveillance and to global governance.

tanto na vigilância de massas como na governação global.

I'm just pointing out that if we are lucky,

Só estou a sublinhar que, se tivermos sorte,

the world could be such that these would be the only ways

o mundo pode ser tal que estas serão as únicas formas

you could survive a black ball.

de sobrevivermos a uma bola preta.

CA: The logic of this theory,

CA: A lógica desta teoria

it seems to me,

segundo me parece,

is that we've got to recognize we can't have it all.

é que temos de reconhecer que não podemos ter tudo.

That the sort of,

De certo modo, eu diria

I would say, naive dream that many of us had

que o sonho ingénuo que muitos de nós temos

that technology is always going to be a force for good,

é que a tecnologia vai ser sempre uma força para o bem,

keep going, don't stop, go as fast as you can

que não devemos parar, mas avançar o mais depressa possível

and not pay attention to some of the consequences,

e não prestar atenção a algumas das consequências.

that's actually just not an option.

Não temos opção.

We can have that.

Podemos ter isso.

If we have that,

Se tivermos isso,

we're going to have to accept

vamos ter de aceitar

some of these other very uncomfortable things with it,

algumas das outras coisas muito incómodas que vêm juntas

and kind of be in this arms race with ourselves

entramos na corrida ao armamento com nós mesmos:

of, you want the power, you better limit it,

se quisermos o poder devemos limitá-lo,

you better figure out how to limit it.

é melhor perceber como limitá-lo.

NB: I think it is an option,

NB: Penso que é uma opção, uma opção muito tentadora,

a very tempting option, it's in a sense the easiest option

de certo modo, a opção mais fácil

and it might work,

e pode funcionar,

but it means we are fundamentally vulnerable to extracting a black ball.

mas significa que estamos extremamente vulneráveis

a extrair a bola preta.

Now, I think with a bit of coordination,

Eu penso que, com um pouco de coordenação

like, if you did solve this macrogovernance problem,

— resolvendo este problema de macrogovernação,

and the microgovernance problem,

e o problema da microgovernação —

then we could extract all the balls from the urn

podemos extrair todas as bolas da urna

and we'd benefit greatly.

e beneficiar imenso.

CA: I mean, if we're living in a simulation, does it matter?

CA: Mas, se estamos a viver numa simulação, isso é importante?

We just reboot.

Basta reiniciarmos.

(Laughter)

(Risos)

NB: Then ... I ...

NB: Bom... eu...

(Laughter)

(Risos)

I didn't see that one coming.

eu não vi isso a chegar.

CA: So what's your view?

CA: Então, qual é a tua visão?

Putting all the pieces together, how likely is it that we're doomed?

Juntando todas as peças,

qual é a probabilidade de estarmos condenados?

(Laughter)

(Risos)

Adoro como as pessoas riem quando eu faço esta pergunta.

I love how people laugh when you ask that question.

NB: On an individual level,

NB: A nível individual,

we seem to kind of be doomed anyway, just with the time line,

parece que estamos condenados, mais tarde ou mais cedo,

we're rotting and aging and all kinds of things, right?

estamos a apodrecer e a envelhecer e todos os tipos de coisas.

(Laughter)

(Risos)

It's actually a little bit tricky.

Na verdade, é um pouco complicado.

If you want to set up so that you can attach a probability,

Se nos quisermos preparar para agarrar uma probabilidade,

first, who are we?

a primeira coisa é: quem somos nós?

If you're very old, probably you'll die of natural causes,

Se formos muito velhos, morreremos de causas naturais,

if you're very young, you might have a 100-year --

se formos muito novos podemos chegar aos 100 anos,

the probability might depend on who you ask.

consoante a quem perguntarem.

Depois o limiar: o que conta como devastação civilizacional?

Then the threshold, like, what counts as civilizational devastation?

In the paper I don't require an existential catastrophe

No meu artigo eu não preciso de uma catástrofe existencial

in order for it to count.

para que isso conte.

This is just a definitional matter,

É apenas uma questão de definição,

I say a billion dead,

digo mil milhões de mortos

or a reduction of world GDP by 50 percent,

ou uma redução do PIB mundial em 50%,

but depending on what you say the threshold is,

mas consoante o limiar que for definido,

you get a different probability estimate.

obtemos uma estimativa diferente da probabilidade.

But I guess you could put me down as a frightened optimist.

Acho que podem acusar-me de otimista assustado.

(Laughter)

(Risos)

CA: You're a frightened optimist,

CA: És um otimista assustado

and I think you've just created a large number of other frightened ...

e eu acho que acabaste de criar um grande número

de outras pessoas assustadas.

people.

(Laughter)

(Risos)

NB: In the simulation.

NB: Na simulação.

CA: In a simulation.

CA: Numa simulação.

Nick Bostrom, your mind amazes me,

Nick Bostrom, o teu espírito maravilha-me.

thank you so much for scaring the living daylights out of us.

Muito obrigado por nos teres assustado.

(Applause)

(Aplausos)