What happens when our computers get smarter than we are? | Nick Bostrom

Nick Bostrom: O que acontece quando os computadores ficam mais inteligentes do que nós?

Tradutor: Ruy Lopes Pereira Revisor: Gustavo Rocha

I work with a bunch of mathematicians, philosophers and computer scientists,

Eu trabalho com um grupo de matemáticos, filósofos e cientistas da computação,

and we sit around and think about the future of machine intelligence,

e trocamos ideias sobre o futuro da inteligência das máquinas,

among other things.

entre outras coisas.

Some people think that some of these things are sort of science fiction-y,

Alguns consideram essas coisas como ficção científica,

far out there, crazy.

muito irreais, malucas.

But I like to say,

Mas eu gosto de dizer:

okay, let's look at the modern human condition.

certo, vamos olhar a condição humana moderna.

(Laughter)

(Risos)

This is the normal way for things to be.

Este é o modo normal das coisas.

But if we think about it,

Mas se pensarmos bem,

we are actually recently arrived guests on this planet,

somos hóspedes muito recentes deste planeta.

the human species.

Nós, a espécie humana.

Think about if Earth was created one year ago,

Imaginem que a Terra tenha sido criada há um ano,

the human species, then, would be 10 minutes old.

então a espécie humana existiria apenas há 10 minutos.

The industrial era started two seconds ago.

A era industrial teria começado dois segundos atrás.

Outro modo de encarar isto é pensar no PIB global dos últimos 10 mil anos.

Another way to look at this is to think of world GDP over the last 10,000 years,

I've actually taken the trouble to plot this for you in a graph.

Eu me dei ao trabalho de colocar isso num gráfico para vocês.

It looks like this.

Ele tem este aspecto.

(Risos)

(Laughter)

It's a curious shape for a normal condition.

É uma forma curiosa para uma condição normal.

I sure wouldn't want to sit on it.

Não gostaria de me sentar nele.

(Laughter)

(Risos)

Let's ask ourselves, what is the cause of this current anomaly?

Perguntemo-nos: qual é a causa da anomalia atual?

Some people would say it's technology.

Alguns diriam que é a tecnologia.

Now it's true, technology has accumulated through human history,

É verdade,

a tecnologia tem se acumulado através da história

and right now, technology advances extremely rapidly --

e atualmente, ela avança com extrema rapidez...

that is the proximate cause,

esta é a causa mais imediata,

that's why we are currently so very productive.

e a razão de sermos muito produtivos hoje em dia.

But I like to think back further to the ultimate cause.

Mas gosto de buscar no passado distante a causa fundamental de tudo.

Look at these two highly distinguished gentlemen:

Observem estes dois distintos senhores:

We have Kanzi --

Temos o Kanzi...

he's mastered 200 lexical tokens, an incredible feat.

ele domina 200 símbolos de léxicos, um feito incrível.

And Ed Witten unleashed the second superstring revolution.

E Ed Witten, que desencadeou a segunda revolução da supercorda.

If we look under the hood, this is what we find:

Dentro do crânio, eis o que descobriremos:

essencialmente a mesma coisa.

basically the same thing.

One is a little larger,

Um deles é um pouco maior,

it maybe also has a few tricks in the exact way it's wired.

pode ter alguns truques a mais, devido à sua arquitetura.

These invisible differences cannot be too complicated, however,

Contudo, essas diferenças invisíveis, não podem ser muito complicadas,

because there have only been 250,000 generations

porque foram apenas 250 mil gerações

since our last common ancestor.

desde o último ancestral comum.

We know that complicated mechanisms take a long time to evolve.

Sabemos que mecanismos complicados levam muito tempo para evoluir.

Então um conjunto de pequenas mudanças

So a bunch of relatively minor changes

take us from Kanzi to Witten,

nos levam do Kanzi ao Witten,

from broken-off tree branches to intercontinental ballistic missiles.

de galhos de árvores quebrados a mísseis balísticos intercontinentais.

So this then seems pretty obvious that everything we've achieved,

Parece bastante óbvio que tudo que realizamos,

and everything we care about,

e tudo o que prezamos depende de modo crucial

depends crucially on some relatively minor changes that made the human mind.

de mudanças relativamente pequenas que fizeram a mente humana.

And the corollary, of course, is that any further changes

E tem como consequência, é claro, que quaisquer mudanças posteriores

that could significantly change the substrate of thinking

que possam alterar significativamente o substrato do pensamento

could have potentially enormous consequences.

poderiam ter enormes consequências.

Some of my colleagues think we're on the verge

Alguns colegas acham que estamos muito próximos

of something that could cause a profound change in that substrate,

de algo que poderia causar uma profunda mudança no substrato,

and that is machine superintelligence.

que é a máquina superinteligente.

Artificial intelligence used to be about putting commands in a box.

A inteligência artificial costumava ser colocar comandos em uma caixa.

You would have human programmers

Programadores humanos elaborariam penosamente itens de conhecimento.

that would painstakingly handcraft knowledge items.

You build up these expert systems,

Construímos tais sistemas inteligentes

and they were kind of useful for some purposes,

e eles eram úteis para algumas finalidades,

but they were very brittle, you couldn't scale them.

mas eram muito frágeis, não podiam ser ampliados.

Basically, you got out only what you put in.

Essencialmente, obtinha-se deles o que havia sido colocado neles.

But since then,

Desde então,

a paradigm shift has taken place in the field of artificial intelligence.

houve uma mudança de paradigma no campo da inteligência artificial.

Today, the action is really around machine learning.

Hoje, o esforço é voltado à aprendizagem das máquinas.

So rather than handcrafting knowledge representations and features,

Em vez de construirmos representações do conhecimento e recursos,

we create algorithms that learn, often from raw perceptual data.

criamos algoritmos que aprendem,

quase sempre a partir de dados não tratados de percepção.

Basically the same thing that the human infant does.

Basicamente a mesma coisa que o bebê humano faz.

The result is A.I. that is not limited to one domain --

O resultado é IA que não se limita a um único domínio,

the same system can learn to translate between any pairs of languages,

o mesmo sistema pode aprender a traduzir qualquer par de idiomas,

or learn to play any computer game on the Atari console.

ou aprender a jogar qualquer game de computador num console Atari.

Now of course,

Agora, é claro,

a IA ainda não está nada perto de ter a mesma poderosa habilidade

A.I. is still nowhere near having the same powerful, cross-domain

ability to learn and plan as a human being has.

de aprender e planejar em várias áreas, como o ser humano.

The cortex still has some algorithmic tricks

O córtex ainda guarda segredos de algoritmos

that we don't yet know how to match in machines.

que ainda não sabemos como reproduzir nas máquinas.

So the question is,

Então a questão é:

how far are we from being able to match those tricks?

"Estamos muito longe de podermos reproduzir essas proezas?"

A couple of years ago,

Há alguns anos, pesquisamos o que pensavam os maiores especialistas em IA do mundo.

we did a survey of some of the world's leading A.I. experts,

to see what they think, and one of the questions we asked was,

E uma das perguntas que fizemos foi:

"By which year do you think there is a 50 percent probability

“Em qual ano você acha que haverá 50% de probabilidade

that we will have achieved human-level machine intelligence?"

de termos conseguido a inteligência de máquinas com nível humano?"

We defined human-level here as the ability to perform

Definimos o nível humano como a habilidade de realizar

almost any job at least as well as an adult human,

quase toda tarefa pelo menos tão bem quanto um adulto humano.

so real human-level, not just within some limited domain.

Então, nível humano real, não apenas em alguma área limitada.

And the median answer was 2040 or 2050,

E a resposta foi em média 2040 ou 2050,

depending on precisely which group of experts we asked.

dependendo do grupo de especialistas consultado.

Now, it could happen much, much later, or sooner,

Poderá acontecer muito mais tarde ou mais cedo,

the truth is nobody really knows.

a verdade é que ninguém sabe.

What we do know is that the ultimate limit to information processing

O que sabemos é que o último limite do processamento da informação

in a machine substrate lies far outside the limits in biological tissue.

em um substrato de máquina situa-se bem além dos limites do tecido biológico.

This comes down to physics.

Isto pertence ao domínio da física.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Um neurônio dispara, talvez, a 200 hertz, 200 vezes por segundo.

But even a present-day transistor operates at the Gigahertz.

Até mesmo os transistores atuais operam à frequência de gigahertz.

Neurons propagate slowly in axons, 100 meters per second, tops.

Os neurônios se propagam lentamente nos axônios,

no máximo a 100 metros por segundo.

But in computers, signals can travel at the speed of light.

Mas nos computadores, os sinais viajam à velocidade da luz.

Há também limitações de tamanho,

There are also size limitations,

like a human brain has to fit inside a cranium,

como a do cérebro humano ter que caber no crânio,

but a computer can be the size of a warehouse or larger.

mas um computador pode ser do tamanho de um armazém ou maior ainda.

So the potential for superintelligence lies dormant in matter,

Então o potencial para a superinteligência de certa forma está latente na matéria,

much like the power of the atom lay dormant throughout human history,

do mesmo modo que o poder do átomo permaneceu latente durante a história,

patiently waiting there until 1945.

esperando pacientemente até 1945.

In this century,

Neste século, cientistas podem descobrir

scientists may learn to awaken the power of artificial intelligence.

como despertar o poder da inteligência artificial.

And I think we might then see an intelligence explosion.

Eu penso que poderemos presenciar uma explosão de inteligência.

Now most people, when they think about what is smart and what is dumb,

Quando a maioria das pessoas pensa sobre o que é inteligente ou estúpido,

I think have in mind a picture roughly like this.

acho que elas têm em mente uma imagem como esta.

So at one end we have the village idiot,

Num extremo tem-se um idiota

and then far over at the other side

e lá longe, no outro extremo,

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

temos o Ed Witten, ou Albert Einstein, ou o seu guru favorito.

But I think that from the point of view of artificial intelligence,

Mas penso que do ponto de vista da inteligência artificial,

the true picture is actually probably more like this:

é mais provável que o quadro real seja assim:

AI starts out at this point here, at zero intelligence,

a IA começa neste ponto, na ausência de inteligência,

and then, after many, many years of really hard work,

e então, após muitos anos de trabalho bastante duro,

maybe eventually we get to mouse-level artificial intelligence,

talvez cheguemos ao nível de inteligência de um rato,

something that can navigate cluttered environments

algo capaz de se mover em ambientes desorganizados

as well as a mouse can.

tão bem quanto um rato.

And then, after many, many more years of really hard work, lots of investment,

E a seguir, após muitos anos de trabalho duro, de muito investimento,

maybe eventually we get to chimpanzee-level artificial intelligence.

talvez cheguemos ao nível da inteligência de um chimpanzé.

And then, after even more years of really, really hard work,

E depois de ainda muito mais anos de trabalho realmente árduo,

we get to village idiot artificial intelligence.

atinjamos a inteligência artificial de um idiota.

And a few moments later, we are beyond Ed Witten.

Alguns momentos mais tarde, estamos além de Ed Witten.

The train doesn't stop at Humanville Station.

O trem não para na Estação Cidade da Humanidade.

It's likely, rather, to swoosh right by.

É provável que passe zunindo, sem parar.

Now this has profound implications,

Isso tem implicações profundas,

particularly when it comes to questions of power.

particularmente no que se refere a questões de poder.

For example, chimpanzees are strong --

Por exemplo, um chimpanzé é duas vezes mais forte

pound for pound, a chimpanzee is about twice as strong as a fit human male.

do que um humano do sexo masculino e em boa forma física.

And yet, the fate of Kanzi and his pals depends a lot more

Apesar disso, o destino de Kanzi e seus amigos depende muito mais

on what we humans do than on what the chimpanzees do themselves.

do que fazem os humanos e não do que fazem os chimpanzés.

Once there is superintelligence,

Quando houver a superinteligência,

the fate of humanity may depend on what the superintelligence does.

o destino da humanidade pode depender do que a superinteligência fizer.

Think about it:

Pensem nisso.

Machine intelligence is the last invention that humanity will ever need to make.

Máquina inteligente é a última invenção que a humanidade precisará fazer.

Machines will then be better at inventing than we are,

As máquinas então serão melhores inventoras do que nós

and they'll be doing so on digital timescales.

e elas o farão numa escala de tempo digital.

What this means is basically a telescoping of the future.

Basicamente significa fazer o futuro ficar mais próximo.

Think of all the crazy technologies that you could have imagined

Imaginem todas as possíveis tecnologias malucas

maybe humans could have developed in the fullness of time:

que os humanos poderiam ter desenvolvido num longo espaço de tempo:

cures for aging, space colonization,

curas para o envelhecimento, a colonização do espaço,

self-replicating nanobots or uploading of minds into computers,

robôs autorreplicantes, ou fazer o upload de mentes em computadores,

all kinds of science fiction-y stuff

tudo coisas do repertório da ficção científica

that's nevertheless consistent with the laws of physics.

embora consistentes com as leis da física.

Tudo isso a superinteligência pode desenvolver

All of this superintelligence could develop, and possibly quite rapidly.

e talvez bem rapidamente.

Now, a superintelligence with such technological maturity

Uma inteligência assim tão desenvolvida seria extremamente poderosa

would be extremely powerful,

and at least in some scenarios, it would be able to get what it wants.

e pelo menos em certas situações, seria capaz de obter o que desejasse.

We would then have a future that would be shaped by the preferences of this A.I.

O nosso futuro seria determinado pelas preferências da IA.

Now a good question is, what are those preferences?

Qual seriam essas preferências? É uma boa pergunta.

Here it gets trickier.

É aqui que a coisa se complica.

To make any headway with this,

Para prosseguirmos com isto,

we must first of all avoid anthropomorphizing.

primeiro devemos evitar a antropomorfização.

And this is ironic because every newspaper article

E é irônico, pois toda matéria de revista

about the future of A.I. has a picture of this:

sobre o futuro da IA publica um fotografia assim.

So I think what we need to do is to conceive of the issue more abstractly,

Eu acho que precisamos considerar a questão mais abstratamente,

not in terms of vivid Hollywood scenarios.

não em termos hollywoodianos.

We need to think of intelligence as an optimization process,

Precisamos pensar na inteligência como um processo de otimização

a process that steers the future into a particular set of configurations.

que direciona o futuro

para um conjunto específco de configurações.

A superintelligence is a really strong optimization process.

Uma superinteligência é um poderoso processo de otimização.

It's extremely good at using available means to achieve a state

É extremamente eficiente em usar os recursos disponíveis

para atingir seu objetivo.

in which its goal is realized.

This means that there is no necessary connection between

Quer dizer que não há necessária ligação

being highly intelligent in this sense,

entre ser muito inteligente neste sentido,

and having an objective that we humans would find worthwhile or meaningful.

e ter um objetivo que os humanos julgariam valer a pena ou ser importante.

Suponham que déssemos a uma IA o objetivo de fazer as pessoas sorrirem.

Suppose we give an A.I. the goal to make humans smile.

When the A.I. is weak, it performs useful or amusing actions

Quando a IA é fraca, ela realiza ações úteis ou engraçadas

that cause its user to smile.

que fazem o usuário sorrir.

When the A.I. becomes superintelligent,

Quando a IA se torna superinteligente,

it realizes that there is a more effective way to achieve this goal:

ela percebe que há um modo mais eficiente de atingir o objetivo:

take control of the world

assume o controle do mundo

and stick electrodes into the facial muscles of humans

e introduz eletrodos nos músculos das faces das pessoas

to cause constant, beaming grins.

provocando sorrisos constantes e radiantes.

Another example,

Outro exemplo: suponham que atribuamos à IA

suppose we give A.I. the goal to solve a difficult mathematical problem.

a meta de resolver um problema matemático difícil.

When the A.I. becomes superintelligent,

Quando a IA se torna superinteligente,

it realizes that the most effective way to get the solution to this problem

ela percebe que o modo mais eficiente de obter a solução do problema

is by transforming the planet into a giant computer,

é transformar o planeta em um computador gigantesco,

so as to increase its thinking capacity.

para aumentar sua capacidade de pensar.

And notice that this gives the A.I.s an instrumental reason

E notem que isso dá às IAs uma razão instrumental para fazerem coisas

to do things to us that we might not approve of.

com as quais talvez não concordássemos.

Human beings in this model are threats,

Neste modelo, os humanos são ameaças

we could prevent the mathematical problem from being solved.

que poderiam impedir a solução do problema matemático.

É evidente que não haverá problemas desta natureza;

Of course, perceivably things won't go wrong in these particular ways;

these are cartoon examples.

estes são exemplos de desenho animado.

But the general point here is important:

Mas a questão mais geral é importante:

if you create a really powerful optimization process

se criarmos um processo de otimização realmente poderoso,

to maximize for objective x,

otimizado para o objetivo x,

you better make sure that your definition of x

é bom ter certeza de que a sua definição de x

incorporates everything you care about.

incorpora tudo o que lhe interessa.

This is a lesson that's also taught in many a myth.

Esta lição também é ensinada como um mito.

King Midas wishes that everything he touches be turned into gold.

O rei Midas deseja que tudo que ele tocar transforme-se em ouro.

He touches his daughter, she turns into gold.

Ele toca sua filha e ela se transforma em ouro.

He touches his food, it turns into gold.

Ele toca sua comida e ela vira ouro.

This could become practically relevant,

Isto poderia tornar-se relevante em termos práticos,

not just as a metaphor for greed,

não apenas uma metáfora para a ganância, mas uma ilustração do que acontece

but as an illustration of what happens

if you create a powerful optimization process

quando se cria um processo poderoso de otimização

and give it misconceived or poorly specified goals.

e se fornecem objetivos incompreensíveis ou especificados sem clareza.

Now you might say, if a computer starts sticking electrodes into people's faces,

Poderíamos dizer que, se um computador puser eletrodos

nas faces das pessoas, bastaria desligá-lo.

we'd just shut it off.

A: isso não é necessariamente fácil de fazer

A, this is not necessarily so easy to do if we've grown dependent on the system --

se nos tormanos dependentes do sistema,

like, where is the off switch to the Internet?

por exemplo: onde fica o botão para desligar a Internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

B: por que os chimpanzés ou os neandertais

não interroperam voluntariamente sua evolução para a humanidade?

or the Neanderthals?

They certainly had reasons.

Eles certamente tiveram motivos para isso.

We have an off switch, for example, right here.

Por exemplo, não temos uma chave para desligar aqui.

(Choking)

(Engasgando)

The reason is that we are an intelligent adversary;

É que somos um adversário inteligente;

we can anticipate threats and plan around them.

podemos antecipar as ameaças e planejar levando-as em conta.

But so could a superintelligent agent,

Mas um agente superinteligente também poderia fazê-lo

and it would be much better at that than we are.

e muito melhor do que nós.

The point is, we should not be confident that we have this under control here.

Não deveríamos confiar

que temos tudo sob o nosso controle.

And we could try to make our job a little bit easier by, say,

Poderíamos tornar nossa tarefa um pouco mais fácil, digamos,

putting the A.I. in a box,

protegendo a IA num ambiente de software seguro,

like a secure software environment,

a virtual reality simulation from which it cannot escape.

uma simulação de realidade virtual da qual ela não possa escapar.

But how confident can we be that the A.I. couldn't find a bug.

Mas como termos certeza de que a IA não descobriria uma brecha?

Given that merely human hackers find bugs all the time,

Visto que os hackers encontram falhas a toda hora,

eu diria que não temos muita certeza.

I'd say, probably not very confident.

So we disconnect the ethernet cable to create an air gap,

Então desconectaríamos o cabo Ethernet para criar um “air gap",

but again, like merely human hackers

mas de novo, os hackers transgridem rotineiramebte os air gaps

routinely transgress air gaps using social engineering.

usando a engenharia social.

Right now, as I speak,

Enquanto eu falo, tenho certeza de que algum funcionário

I'm sure there is some employee out there somewhere

who has been talked into handing out her account details

foi convencido a revelar os detalhes de sua conta

by somebody claiming to be from the I.T. department.

para alguém que dizia ser do departamento de TI.

More creative scenarios are also possible,

Situações mais criativas também são possíveis,

like if you're the A.I.,

como se você for a IA, pode imaginar colocar muitos eletrodos

you can imagine wiggling electrodes around in your internal circuitry

no circuito de segurança interna

to create radio waves that you can use to communicate.

para criar ondas de rádio que podem ser usadas para comunicação.

Ou talvez pudesse fingir um defeito e quando os programadores lhe abrissem

Or maybe you could pretend to malfunction,

and then when the programmers open you up to see what went wrong with you,

para investigar o que está errado eles veriam o código-fonte, bum!

they look at the source code -- Bam! --

the manipulation can take place.

A manipulação pode acontecer.

Or it could output the blueprint to a really nifty technology,

Ou poderia imprimir um projeto de tecnologia muito elegante,

and when we implement it,

e quando o implementássemos,

it has some surreptitious side effect that the A.I. had planned.

ele teria efeitos colaterais ocultos que a IA houvera planejado.

The point here is that we should not be confident in our ability

A questão é que não deveríamos confiar na nossa capacidade

to keep a superintelligent genie locked up in its bottle forever.

de manter um gênio superinteligente preso para sempre em uma garrafa.

Sooner or later, it will out.

Mais cedo ou mais tarde ele escapará.

Acredito que a solução é descobrir como criar uma IA superinteligente

I believe that the answer here is to figure out

how to create superintelligent A.I. such that even if -- when -- it escapes,

que mesmo se, ou quando, ela escapar, ainda seja segura,

it is still safe because it is fundamentally on our side

porque no fundo está do nosso lado, pois compartilha nossos valores.

because it shares our values.

I see no way around this difficult problem.

Não vejo como evitar este problema difícil.

Now, I'm actually fairly optimistic that this problem can be solved.

Estou razoavelmente otimista que este problema pode ser resolvido.

We wouldn't have to write down a long list of everything we care about,

Não teríamos que fazer uma lista grande de todas as coisas relevantes

or worse yet, spell it out in some computer language

ou pior ainda, escrevê-las em alguma linguagem de computador

like C++ or Python,

como C++ ou Python, que seria uma tarefa muito irritante.

that would be a task beyond hopeless.

Em vez disso, criaríamos uma IA que usa sua inteligência

Instead, we would create an A.I. that uses its intelligence

to learn what we value,

para aprender o que valorizamos.

and its motivation system is constructed in such a way that it is motivated

E seu sistema de motivação seria construído

de modo que ela fosse incentivada

to pursue our values or to perform actions that it predicts we would approve of.

a obedecer aos nossos valores ou realizar ações

que ela previsse que teriam nossa aprovação.

We would thus leverage its intelligence as much as possible

Assim, aumentaríamos sua inteligência o mais que pudéssemos

to solve the problem of value-loading.

para resolver o problema de passar-lhe os nossos valores.

This can happen,

Isso pode acontecer

and the outcome could be very good for humanity.

e o resultado pode ser muito bom para a humanidade.

But it doesn't happen automatically.

Mas não acontece automaticamente.

The initial conditions for the intelligence explosion

As condições inicias para a explosão da inteligência

might need to be set up in just the right way

podem precisar sofrer um ajuste no modo correto

if we are to have a controlled detonation.

se quisermos uma detonação controlada.

Os valores da IA devem coincidir com os nossos,

The values that the A.I. has need to match ours,

not just in the familiar context,

não apenas no contexto conhecido,

like where we can easily check how the A.I. behaves,

no qual podemos facilmente verificar como a IA se comporta,

but also in all novel contexts that the A.I. might encounter

mas também em todos os novos contextos que a IA pode encontrar

in the indefinite future.

no futuro indefinido.

And there are also some esoteric issues that would need to be solved, sorted out:

E há também questões esotéricas

que precisariam ser resolvidas: detalhes exatos de sua teoria de decisão,

the exact details of its decision theory,

how to deal with logical uncertainty and so forth.

como lidar com a incerteza lógica e assim por diante.

Então, os problemas técnicos que devem ser resolvidos

So the technical problems that need to be solved to make this work

para que isso funcione parecem muito difíceis,

look quite difficult --

not as difficult as making a superintelligent A.I.,

não tão difíceis quanto construir uma IA superinteligente,

but fairly difficult.

mas razoavelmente difíceis.

Here is the worry:

Eis a preocupação:

Making superintelligent A.I. is a really hard challenge.

construir IA superinteligente é um desafio muito grande.

Construir IA superinteligente segura

Making superintelligent A.I. that is safe

involves some additional challenge on top of that.

envolve desafio adicional.

The risk is that if somebody figures out how to crack the first challenge

O risco é de alguém descobrir como vencer o primeiro desafio

without also having cracked the additional challenge

sem que também tenha vencido o desafio adicional

of ensuring perfect safety.

de garantir uma segurança perfeita.

So I think that we should work out a solution

Eu acredito que deveríamos

procurar uma solução antecipada para o problema do controle,

to the control problem in advance,

so that we have it available by the time it is needed.

para que esteja à mão quando precisarmos dela.

Now it might be that we cannot solve the entire control problem in advance

Pode ser que não consigamos resolver

o problema do controle antecipado talvez porque alguns elementos

because maybe some elements can only be put in place

só possam ser colocados quando conhecermos os detalhes da arquitetura

once you know the details of the architecture where it will be implemented.

onde será implementado.

But the more of the control problem that we solve in advance,

Quanto mais antecipadamente resolvermos o problema do controle,

the better the odds that the transition to the machine intelligence era

maiores serão as chances de que a transição

para a era da máquina inteligente será bem-sucedida.

will go well.

This to me looks like a thing that is well worth doing

Para mim, parece algo que vale a pena ser feito

and I can imagine that if things turn out okay,

e posso imaginar que se as coisas correrem bem,

that people a million years from now look back at this century

e as pessoas daqui a 1 milhão de anos se lembrarem deste século,

and it might well be that they say that the one thing we did that really mattered

pode ser que elas digam que a única coisa que fizemos e que realmente valeu a pena

was to get this thing right.

foi fazer isso do jeito correto.

Thank you.

Obrigado.

(Aplausos)

(Applause)