What happens when our computers get smarter than we are? | Nick Bostrom

Tradutor: Jorge Santos Revisora: Margarida Ferreira

I work with a bunch of mathematicians, philosophers and computer scientists,

Eu trabalho com um grupo de matemáticos, filósofos e informáticos,

and we sit around and think about the future of machine intelligence,

e pensamos acerca do futuro da inteligência mecânica,

among other things.

entre outras coisas.

Some people think that some of these things are sort of science fiction-y,

Algumas pessoas pensam que algumas destas coisas são como ciência ficção,

far out there, crazy.

muito longe da realidade.

But I like to say,

Mas eu gosto de dizer,

okay, let's look at the modern human condition.

olhemos para as condições humanas modernas.

(Laughter)

(Risos)

This is the normal way for things to be.

Essa é a forma normal de as coisas serem.

But if we think about it,

Mas se pensarmos nisso,

we are actually recently arrived guests on this planet,

somos na verdade visitantes recentes neste planeta,

the human species.

a espécie humana.

Think about if Earth was created one year ago,

Imaginem, se a Terra tivesse sido criada há um ano,

the human species, then, would be 10 minutes old.

a espécie humana, então, teria 10 minutos de vida.

The industrial era started two seconds ago.

A era da indústria teria começado há 2 segundos.

Another way to look at this is to think of world GDP over the last 10,000 years,

Outra forma de olhar para isto

é calcular o PIB mundial dos últimos 10 000 anos,

I've actually taken the trouble to plot this for you in a graph.

Tive a preocupação de inserir isto num gráfico para vocês verem.

It looks like this.

Parece-se com isto.

(Laughter)

(Risos)

It's a curious shape for a normal condition.

É uma forma curiosa para uma situação normal.

I sure wouldn't want to sit on it.

Eu não ficaria muito descansado.

(Laughter)

(Risos)

Let's ask ourselves, what is the cause of this current anomaly?

Perguntemos a nós próprios, qual é a causa dessa anomalia?

Some people would say it's technology.

Algumas pessoas diriam que é a tecnologia.

Now it's true, technology has accumulated through human history,

É verdade, a tecnologia acumulou-se durante a história da humanidade

and right now, technology advances extremely rapidly --

e, neste momento, a tecnologia evolui extremamente depressa

that is the proximate cause,

— essa é a causa imediata —

that's why we are currently so very productive.

é por isso que estamos tão produtivos.

But I like to think back further to the ultimate cause.

Mas eu gosto de pensar mais além, para a causa fundamental.

Look at these two highly distinguished gentlemen:

Olhem para estes dois senhores muito distintos:

We have Kanzi --

Temos o Kanzi,

he's mastered 200 lexical tokens, an incredible feat.

ele dominava 200 símbolos lexicais, uma incrível proeza.

And Ed Witten unleashed the second superstring revolution.

E Ed Witten desencadeou a segunda revolução das supercordas.

If we look under the hood, this is what we find:

Se examinarmos é isto que encontramos:

basically the same thing.

basicamente a mesma coisa.

One is a little larger,

Uma é um pouco maior,

it maybe also has a few tricks in the exact way it's wired.

talvez tenha alguns truques na maneira como está ligado.

These invisible differences cannot be too complicated, however,

Contudo, essas diferenças invisíveis não podem ser muito complicadas,

because there have only been 250,000 generations

porque apenas houve 250 000 gerações

since our last common ancestor.

desde o nosso último antepassado comum.

We know that complicated mechanisms take a long time to evolve.

Sabemos que os mecanismos complicados levam muito tempo a evoluir.

So a bunch of relatively minor changes

Portanto algumas mudanças mínimas

take us from Kanzi to Witten,

levam-nos de Kanzi para Witten,

from broken-off tree branches to intercontinental ballistic missiles.

desde ramos de árvores quebrados até mísseis balísticos intercontinentais.

So this then seems pretty obvious that everything we've achieved,

Assim, parece óbvio que tudo aquilo que tenhamos realizado,

and everything we care about,

e tudo aquilo que nos preocupa,

depends crucially on some relatively minor changes that made the human mind.

dependa crucialmente de algumas mudanças mínimas que construíram a mente humana.

And the corollary, of course, is that any further changes

E o corolário, claro, é que quaisquer mudanças adicionais

that could significantly change the substrate of thinking

que poderiam mudar significativamente o substrato de pensar

could have potentially enormous consequences.

poderiam ter enormes consequências.

Some of my colleagues think we're on the verge

Alguns dos meus colegas pensam que estamos à beira

of something that could cause a profound change in that substrate,

de algo que poderá causar uma mudança drástica nesse substrato,

and that is machine superintelligence.

e isso é a super inteligência mecânica.

Artificial intelligence used to be about putting commands in a box.

A inteligência artificial costumava cingir-se a ordens numa caixa.

You would have human programmers

Tínhamos programadores humanos

that would painstakingly handcraft knowledge items.

que construíam objectos inteligentes cuidadosamente.

You build up these expert systems,

Construíamos esses sistemas especializados,

and they were kind of useful for some purposes,

e eram úteis para alguns fins,

but they were very brittle, you couldn't scale them.

mas eram muito frágeis, não podíamos aumentá-los.

Basically, you got out only what you put in.

Basicamente, apenas obtínhamos aquilo que lá colocávamos inicialmente.

But since then,

Mas a partir daí,

a paradigm shift has taken place in the field of artificial intelligence.

ocorreu uma mudança de paradigma no campo da inteligência artificial.

Today, the action is really around machine learning.

Hoje, a acção anda à volta da aprendizagem da máquina.

So rather than handcrafting knowledge representations and features,

Portanto em vez de construir representações e elementos do conhecimento

we create algorithms that learn, often from raw perceptual data.

criamos algoritmos que aprendem, muitas vezes a partir de dados em bruto.

Basically the same thing that the human infant does.

Basicamente a mesma coisa que a criança faz.

The result is A.I. that is not limited to one domain --

O resultado é uma inteligência artificial que não se limita a um domínio

the same system can learn to translate between any pairs of languages,

— o mesmo sistema que pode aprender a traduzir várias línguas,

or learn to play any computer game on the Atari console.

ou aprender a jogar qualquer tipo de jogo de computador na consola Atari.

Now of course,

Agora, é claro,

A.I. is still nowhere near having the same powerful, cross-domain

a inteligência artificial ainda está muito longe de ter a mesma capacidade poderosa

ability to learn and plan as a human being has.

e transversal para aprender e planificar tal como um ser humano.

The cortex still has some algorithmic tricks

O córtex ainda tem alguns truques algorítmicos

that we don't yet know how to match in machines.

que ainda não sabemos como ligar nas máquinas.

So the question is,

Portanto a questão é,

how far are we from being able to match those tricks?

a que distância estamos de poder ligar esses truques?

A couple of years ago,

Há alguns anos,

we did a survey of some of the world's leading A.I. experts,

fizemos um inquérito a alguns dos especialistas em I.A.,

to see what they think, and one of the questions we asked was,

para ver o que eles pensam, e uma das questões que colocámos foi:

"By which year do you think there is a 50 percent probability

"Por volta de que ano é que pensa que atingiremos a I.A.

that we will have achieved human-level machine intelligence?"

ao nível humano, com 50% de probabilidade?"

We defined human-level here as the ability to perform

Definimos o nível humano como a capacidade de realizar

almost any job at least as well as an adult human,

praticamente qualquer trabalho. pelo menos como adulto,

so real human-level, not just within some limited domain.

a nível humano real, não apenas dentro de um domínio limitado.

And the median answer was 2040 or 2050,

A resposta média foi 2040 ou 2050,

depending on precisely which group of experts we asked.

consoante o grupo de especialistas a que perguntámos.

Now, it could happen much, much later, or sooner,

Poderá acontecer muito mais tarde, ou mais cedo,

the truth is nobody really knows.

a verdade é que ninguém sabe.

What we do know is that the ultimate limit to information processing

O que nós sabemos é que o limite fundamental

para processar informação no substrato duma máquina,

in a machine substrate lies far outside the limits in biological tissue.

é muito superior ao limite dos tecidos biológicos.

This comes down to physics.

Isto leva-nos à física.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Um neurónio biológico dispara, talvez, a 200 hertz, 200 vezes por segundo.

But even a present-day transistor operates at the Gigahertz.

Mas até um transístor moderno opera em gigahertz.

Neurons propagate slowly in axons, 100 meters per second, tops.

Os neurónios propagam lentamente em axónios, a 100 metros por segundo.

But in computers, signals can travel at the speed of light.

Mas em computadores, os sinais podem deslocar-se à velocidade da luz.

There are also size limitations,

Também há limitações de tamanho.

like a human brain has to fit inside a cranium,

O cérebro humano tem que caber dentro do crânio,

but a computer can be the size of a warehouse or larger.

mas um computador pode ser do tamanho de um armazém ou ainda maior.

So the potential for superintelligence lies dormant in matter,

Por isso o potencial para a super inteligência permanece latente na matéria,

much like the power of the atom lay dormant throughout human history,

tal como a potência do átomo permaneceu latente na história da humanidade,

patiently waiting there until 1945.

pacientemente à espera até 1945.

In this century,

Neste século,

scientists may learn to awaken the power of artificial intelligence.

os cientistas talvez aprendam a despertar o poder da inteligência artificial.

And I think we might then see an intelligence explosion.

E penso que poderemos então assistir a uma explosão intelectual.

Now most people, when they think about what is smart and what is dumb,

A maioria das pessoas, quando pensam acerca do que é a esperteza e a estupidez,

I think have in mind a picture roughly like this.

têm em mente uma imagem como esta, penso eu.

So at one end we have the village idiot,

Numa ponta temos o idiota da aldeia,

and then far over at the other side

e noutra ponta muito distante

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

temos Ed Witten, ou Albert Einstein, ou qualquer um dos vossos gurus favoritos.

But I think that from the point of view of artificial intelligence,

Mas penso que, do ponto de vista da inteligência artificial,

the true picture is actually probably more like this:

a imagem verdadeira é provavelmente mais parecida com isto.

AI starts out at this point here, at zero intelligence,

Começa tudo neste ponto aqui, na inteligência zero,

and then, after many, many years of really hard work,

e depois, após muitos anos de trabalho árduo,

maybe eventually we get to mouse-level artificial intelligence,

talvez cheguemos à inteligência artificial ao nível de um rato,

something that can navigate cluttered environments

uma coisa que possa navegar em ambientes obstruídos

as well as a mouse can.

tal como um rato pode.

And then, after many, many more years of really hard work, lots of investment,

E depois, após muitos mais anos de trabalho árduo, muitos investimentos,

maybe eventually we get to chimpanzee-level artificial intelligence.

talvez cheguemos à inteligência artificial a nível de um chimpanzé.

And then, after even more years of really, really hard work,

E depois, após ainda mais anos de trabalho ainda mais duro,

we get to village idiot artificial intelligence.

chegamos à inteligência artificial a nível do idiota da aldeia.

And a few moments later, we are beyond Ed Witten.

E alguns momentos depois, ultrapassamos Ed Witten.

The train doesn't stop at Humanville Station.

O comboio não pára na estação Humanville.

It's likely, rather, to swoosh right by.

É mais provável que a ultrapasse.

Now this has profound implications,

Isto tem profundas implicações,

particularly when it comes to questions of power.

particularmente no que toca à questão do poder.

For example, chimpanzees are strong --

Por exemplo, os chimpanzés são fortes

pound for pound, a chimpanzee is about twice as strong as a fit human male.

— em proporção ao peso, um chimpanzé é duas vezes mais forte que um ser humano.

And yet, the fate of Kanzi and his pals depends a lot more

No entanto, o destino de Kanzi e dos seus camaradas depende mais

on what we humans do than on what the chimpanzees do themselves.

daquilo que nós humanos fazemos do que o que os chimpanzés fazem.

Once there is superintelligence,

Uma vez atingida a super inteligência,

the fate of humanity may depend on what the superintelligence does.

o destino da humanidade pode depender daquilo que a super inteligência faz.

Think about it:

Pensem nisto:

Machine intelligence is the last invention that humanity will ever need to make.

A inteligência mecânica é a última invenção que a humanidade precisa de fazer.

Machines will then be better at inventing than we are,

As máquinas tornar-se-ão melhores a inventar do que nós,

and they'll be doing so on digital timescales.

e farão isso em tempos digitais.

What this means is basically a telescoping of the future.

O que isto significa é basicamente uma previsão do futuro distante.

Think of all the crazy technologies that you could have imagined

Pensem em todas as tecnologias absurdas que alguma vez podem ter imaginado

maybe humans could have developed in the fullness of time:

que os humanos pudessem ter desenvolvido com o tempo:

cures for aging, space colonization,

curas para o envelhecimento, colonização do espaço,

self-replicating nanobots or uploading of minds into computers,

nanorobôs auto-replicadores ou transferir as nossas mentes para computadores,

all kinds of science fiction-y stuff

todos os tipos de objectos da ciência ficção

that's nevertheless consistent with the laws of physics.

que, no entanto, são consistentes com as leis da física.

All of this superintelligence could develop, and possibly quite rapidly.

Toda esta super inteligência poderia ser desenvolvida, e rapidamente.

Now, a superintelligence with such technological maturity

Uma super inteligência com tanta maturidade tecnológica

would be extremely powerful,

poderia ser extremamente poderosa

and at least in some scenarios, it would be able to get what it wants.

e, pelo menos nalguns cenários, poderia conseguir aquilo que quer.

We would then have a future that would be shaped by the preferences of this A.I.

Teríamos então um futuro construído

segundo as preferências dessa inteligência artificial.

Now a good question is, what are those preferences?

Agora uma boa pergunta é, quais são essas preferências?

Here it gets trickier.

Aqui torna-se mais complicado.

Para fazer qualquer progresso com isto,

To make any headway with this,

we must first of all avoid anthropomorphizing.

temos de, primeiramente, evitar antropomorfizar.

And this is ironic because every newspaper article

E isto é irónico porque todos os artigos de jornais

about the future of A.I. has a picture of this:

acerca do futuro da inteligência artificial têm uma imagem como esta.

So I think what we need to do is to conceive of the issue more abstractly,

Então penso que aquilo que temos de fazer é imaginar a questão mais abstractamente,

not in terms of vivid Hollywood scenarios.

não em termos de cenários brilhantes de Hollywood.

We need to think of intelligence as an optimization process,

Temos de pensar na inteligência como um processo de optimização,

a process that steers the future into a particular set of configurations.

um processo que guia o futuro para um conjunto particular de configurações.

A superintelligence is a really strong optimization process.

A super inteligência é um processo de optimização muito forte.

It's extremely good at using available means to achieve a state

É extremamente bom a utilizar os meios disponíveis para atingir um estado

in which its goal is realized.

no qual o seu objetivo seja atingido.

This means that there is no necessary connection between

Isto significa que não há ligação necessária

being highly intelligent in this sense,

entre ser muito inteligente neste sentido,

and having an objective that we humans would find worthwhile or meaningful.

e ter um objectivo que nós humanos acharíamos útil ou proveitoso.

Suppose we give an A.I. the goal to make humans smile.

Suponham que damos o objectivo de criar sorrisos humanos à inteligência artificial.

When the A.I. is weak, it performs useful or amusing actions

Quando a I.A. é fraca, realiza acções cómicas ou úteis

that cause its user to smile.

que levam o utilizador a sorrir.

When the A.I. becomes superintelligent,

Quando a inteligência artificial se torna super inteligente,

it realizes that there is a more effective way to achieve this goal:

apercebe-se que existe uma melhor forma de atingir esse objectivo:

take control of the world

controlar o mundo

and stick electrodes into the facial muscles of humans

e inserir eléctrodos nos músculos faciais dos humanos

to cause constant, beaming grins.

para causar sorrisos constantes e radiantes.

Another example,

Outro exemplo:

suppose we give A.I. the goal to solve a difficult mathematical problem.

suponham que desafiamos a I.A. a resolver um problema matemático difícil.

When the A.I. becomes superintelligent,

Quando a I.A. se torna super inteligente,

it realizes that the most effective way to get the solution to this problem

percebe que a forma mais eficiente de obter a solução para este problema

is by transforming the planet into a giant computer,

é através da transformação do planeta num computador gigante,

so as to increase its thinking capacity.

para aumentar a sua capacidade de pensar.

And notice that this gives the A.I.s an instrumental reason

E reparem que isto dá uma razão instrumental à I.A.

to do things to us that we might not approve of.

para nos fazer coisas que possamos não aprovar.

Human beings in this model are threats,

Neste modelo, os seres humanos são uma ameaça,

we could prevent the mathematical problem from being solved.

poderíamos impedir a resolução deste problema matemático.

Claro, as coisas não vão dar erradas nessas formas particulares;

Of course, perceivably things won't go wrong in these particular ways;

these are cartoon examples.

estes são exemplos caricaturados.

But the general point here is important:

Mas este ponto geral é importante:

if you create a really powerful optimization process

se criarem um processo de optimização muito potente

to maximize for objective x,

para maximizar o objectivo x,

you better make sure that your definition of x

é melhor assegurarem-se que a definição de x

incorporates everything you care about.

incorpora tudo aquilo que vos interessa.

This is a lesson that's also taught in many a myth.

Esta é uma lição que também é ensinada em muitos mitos.

King Midas wishes that everything he touches be turned into gold.

O Rei Midas deseja que tudo aquilo em que ele toca se torne ouro.

He touches his daughter, she turns into gold.

Toca na filha dele, transforma-a em ouro.

He touches his food, it turns into gold.

Toca na comida dele, esta torna-se ouro.

This could become practically relevant,

Isto poderia tornar-se particularmente relevante,

not just as a metaphor for greed,

não apenas como metáfora para a ganância,

but as an illustration of what happens

mas como uma ilustração daquilo que acontece

if you create a powerful optimization process

se criarem um processo de optimização poderoso

and give it misconceived or poorly specified goals.

e lhe derem objectivos pouco específicos.

Now you might say, if a computer starts sticking electrodes into people's faces,

Podem dizer, se um computador começar a prender eléctrodos nas caras das pessoas,

we'd just shut it off.

basta desligá-los.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A) isso não é assim tão fácil de fazer se nos tornarmos dependentes do sistema

like, where is the off switch to the Internet?

— por exemplo, onde está o interruptor da Internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

B) porque é que os chimpanzés ou os neandertais

não desligaram o interruptor para a humanidade?

or the Neanderthals?

They certainly had reasons.

Eles de certeza que tinham motivos.

We have an off switch, for example, right here.

Temos um interruptor aqui, por exemplo.

(Choking)

(Sufocação)

The reason is that we are an intelligent adversary;

A razão é que somos um adversário inteligente;

we can anticipate threats and plan around them.

podemos prever ameaças e fazer planos para evitá-las.

But so could a superintelligent agent,

Mas isso também consegue um agente super inteligente,

and it would be much better at that than we are.

e seria muito melhor nisso do que nós.

The point is, we should not be confident that we have this under control here.

A questão é, não devemos ser confiantes e pensar que temos tudo sob controlo.

And we could try to make our job a little bit easier by, say,

Podíamos tentar fazer o nosso trabalho um pouco mais fácil,

pondo a inteligência artificial numa caixa,

putting the A.I. in a box,

like a secure software environment,

como um "software" de ambiente seguro,

a virtual reality simulation from which it cannot escape.

uma simulação da realidade virtual da qual não possa escapar.

But how confident can we be that the A.I. couldn't find a bug.

Mas quanta certeza podemos ter que a I.A. não encontraria um buraco.

Given that merely human hackers find bugs all the time,

Dado que os "hackers" humanos estão sempre a encontrar buracos,

I'd say, probably not very confident.

eu diria, provavelmente não muito confiantes.

So we disconnect the ethernet cable to create an air gap,

Então desligamos o cabo da Ethernet para criar uma caixa de ar,

but again, like merely human hackers

mas mais uma vez, como meros "hackers"

routinely transgress air gaps using social engineering.

que transgridem caixas de ar utilizando engenharia social.

Right now, as I speak,

Neste momento em que falo,

I'm sure there is some employee out there somewhere

tenho a certeza que há um empregado, algures.

who has been talked into handing out her account details

a quem alguém que diz ser do departamento de informática

by somebody claiming to be from the I.T. department.

está a pedir os dados de identificação e "password".

More creative scenarios are also possible,

Também são possíveis cenários mais criativos.

like if you're the A.I.,

Por exemplo, uma I.A. pode imaginar

you can imagine wiggling electrodes around in your internal circuitry

agitar eléctrodos nos circuitos internos

to create radio waves that you can use to communicate.

para criar ondas de rádio que pode utilizar para comunicar.

Or maybe you could pretend to malfunction,

Ou talvez pudesse fingir uma avaria

and then when the programmers open you up to see what went wrong with you,

e depois, quando os programadores a abrirem para ver o que se passou de errado,

they look at the source code -- Bam! --

olham para o código fonte — Bam! —

the manipulation can take place.

a manipulação toma lugar.

Or it could output the blueprint to a really nifty technology,

Ou poderia emitir um rascunho para uma tecnologia genial

and when we implement it,

e, quando a implementamos,

it has some surreptitious side effect that the A.I. had planned.

tem alguns efeitos secundários que a inteligência artificial planeou.

The point here is that we should not be confident in our ability

A questão aqui é que não deveríamos confiar na nossa capacidade

to keep a superintelligent genie locked up in its bottle forever.

em manter um génio super inteligente fechado na sua garrafa para sempre.

Sooner or later, it will out.

Mais cedo ou mais tarde ele vai sair.

I believe that the answer here is to figure out

Acredito que a resposta seja encontrar

how to create superintelligent A.I. such that even if -- when -- it escapes,

uma forma de criar uma inteligência artificial que, mesmo que escape,

it is still safe because it is fundamentally on our side

ainda se mantenha segura porque está fundamentalmente do nosso lado

because it shares our values.

porque partilha os nossos valores.

I see no way around this difficult problem.

Não vejo outra forma para este problema complexo.

Now, I'm actually fairly optimistic that this problem can be solved.

Eu sinto-me optimista quanto à resolução deste problema.

We wouldn't have to write down a long list of everything we care about,

Não teríamos de escrever uma longa lista com tudo aquilo que nos é importante,

or worse yet, spell it out in some computer language

ou ainda pior, enunciá-la numa linguagem de computador

like C++ or Python,

como C++ ou Python,

that would be a task beyond hopeless.

o que seria uma tarefa sem esperança.

Instead, we would create an A.I. that uses its intelligence

Em vez disso, criaríamos uma inteligência artificial que utiliza a sua inteligência

to learn what we value,

para aprender o que nós valorizamos.

and its motivation system is constructed in such a way that it is motivated

O seu sistema de motivação seria construído de tal forma que fosse motivado

to pursue our values or to perform actions that it predicts we would approve of.

pela busca de valores ou de acções, prevendo que iríamos aprová-las.

We would thus leverage its intelligence as much as possible

Iríamos então elevar a sua inteligência o mais possível

to solve the problem of value-loading.

para resolver o problema de carregamento de valores.

This can happen,

Isto pode acontecer,

and the outcome could be very good for humanity.

e o resultado poderia ser muito bom para a Humanidade.

But it doesn't happen automatically.

Mas não acontece sozinho.

The initial conditions for the intelligence explosion

As condições iniciais para a explosão da inteligência

might need to be set up in just the right way

podem precisar de ser definidas da forma correta

if we are to have a controlled detonation.

se queremos ter uma detonação controlada.

The values that the A.I. has need to match ours,

Os valores da I.A. têm de corresponder aos nossos,

not just in the familiar context,

não apenas num contexto familiar,

like where we can easily check how the A.I. behaves,

onde podemos ver com facilidade como a I.A. se comporta,

but also in all novel contexts that the A.I. might encounter

mas também em todos os contextos que a I.A. possa encontrar

in the indefinite future.

no futuro indefinido.

And there are also some esoteric issues that would need to be solved, sorted out:

E há também algumas questões esotéricas que teriam de ser resolvidas, que são:

the exact details of its decision theory,

os detalhes exactos da sua teoria decisiva,

how to deal with logical uncertainty and so forth.

como lidar com a incerteza lógica e assim por diante.

So the technical problems that need to be solved to make this work

Os problemas que têm de ser resolvidos tornam este trabalho

look quite difficult --

um pouco difícil

not as difficult as making a superintelligent A.I.,

— não tão difícil como fazer uma inteligência artificial super inteligente

but fairly difficult.

mas bastante difícil.

Here is the worry:

A preocupação é esta:

Making superintelligent A.I. is a really hard challenge.

Criar uma inteligência artificial super inteligente é um grande desafio.

Making superintelligent A.I. that is safe

Fazer uma inteligência artificial que seja segura

involves some additional challenge on top of that.

envolve desafios adicionais para além deste.

The risk is that if somebody figures out how to crack the first challenge

O risco é que, se alguém descobre uma forma de piratear o primeiro desafio

without also having cracked the additional challenge

sem ter pirateado o desafio adicional

of ensuring perfect safety.

de assegurar a segurança perfeita.

So I think that we should work out a solution

Por isso eu penso que deveríamos trabalhar numa solução

to the control problem in advance,

para controlar os problemas com antecedência,

so that we have it available by the time it is needed.

para que o tenhamos disponível para quando for preciso.

Now it might be that we cannot solve the entire control problem in advance

Pode ser que não consigamos resolver o problema de controlo por inteiro

because maybe some elements can only be put in place

porque talvez apenas se possam colocar alguns elementos

once you know the details of the architecture where it will be implemented.

uma vez que saibamos os detalhes da arquitectura onde vai ser implementado.

But the more of the control problem that we solve in advance,

Mas quanto mais resolvermos o problema de controlo,

the better the odds that the transition to the machine intelligence era

maior será a probabilidade que a transição para a era da inteligência mecânica

will go well.

corra bem.

This to me looks like a thing that is well worth doing

Isto parece-me algo que vale a pena ser feito

and I can imagine that if things turn out okay,

e posso imaginar que, se as coisas correrem bem,

that people a million years from now look back at this century

as pessoas daqui um milhão de anos vão olhar para este século

and it might well be that they say that the one thing we did that really mattered

e é muito provável que digam que uma das coisas que fizemos e que teve impacto

was to get this thing right.

foi pôr isto a funcionar.

Thank you.

Obrigado.

(Applause)

(Aplausos)