Can we build AI without losing control over it? | Sam Harris

Tradutor: Carla Berjano Revisora: Margarida Ferreira

Eu vou falar de uma falha de intuição

I'm going to talk about a failure of intuition

that many of us suffer from.

de que muitos de nós sofremos.

It's really a failure to detect a certain kind of danger.

É uma falha em detetar um certo tipo de perigo.

I'm going to describe a scenario

Vou descrever um cenário

that I think is both terrifying

que considero tão aterrador

and likely to occur,

como provável de acontecer.

and that's not a good combination,

Acontece que isto não é uma boa combinação.

as it turns out.

No entanto, em vez de assustados,

And yet rather than be scared, most of you will feel

a maioria de vocês acha que aquilo de que estou a falar é fixe.

that what I'm talking about is kind of cool.

I'm going to describe how the gains we make

Eu vou descrever como as vantagens obtidas

in artificial intelligence

com a inteligência artificial

could ultimately destroy us.

podem acabar por nos destruir.

And in fact, I think it's very difficult to see how they won't destroy us

Penso que é muito difícil ver como não nos vão destruir

ou inspirar a destruirmo-nos a nós mesmos.

or inspire us to destroy ourselves.

And yet if you're anything like me,

Mas se vocês forem minimamente como eu,

you'll find that it's fun to think about these things.

vão descobrir que é divertido pensar nestas coisas.

And that response is part of the problem.

Essa resposta faz parte do problema.

OK? That response should worry you.

Essa resposta devia preocupar-vos.

And if I were to convince you in this talk

Se eu vos convencesse nesta palestra

that we were likely to suffer a global famine,

que vamos, provavelmente, sofrer uma fome mundial,

devido à mudança climática ou devido a alguma outra catástrofe,

either because of climate change or some other catastrophe,

and that your grandchildren, or their grandchildren,

e que os vossos netos, ou os netos deles,

are very likely to live like this,

têm a probabilidade de viver assim,

you wouldn't think,

não pensariam:

"Interesting.

"Que interessante.

I like this TED Talk."

"Gosto desta palestra TED."

Famine isn't fun.

A fome não tem graça.

Death by science fiction, on the other hand, is fun,

Mas a morte pela ficção científica é divertida.

and one of the things that worries me most about the development of AI at this point

Uma das coisas que mais me preocupa no desenvolvimento da IA, neste ponto,

é que parecemos incapazes de mobilizar uma resposta emocional apropriada

is that we seem unable to marshal an appropriate emotional response

to the dangers that lie ahead.

para os perigos que nos esperam.

I am unable to marshal this response, and I'm giving this talk.

Sou incapaz de conseguir esta resposta, e estou a fazer esta palestra.

É como se estivéssemos diante de duas portas.

It's as though we stand before two doors.

Behind door number one,

Atrás da porta número um,

we stop making progress in building intelligent machines.

deixamos de fazer progressos na construção de máquinas inteligentes.

Our computer hardware and software just stops getting better for some reason.

O hardware e o software dos computadores deixam de melhorar, por alguma razão.

Now take a moment to consider why this might happen.

Agora, pensem um momento na razão de isto poder acontecer.

Ou seja, sendo a inteligência e a automação tão valiosas,

I mean, given how valuable intelligence and automation are,

we will continue to improve our technology if we are at all able to.

vamos continuar a melhorar a tecnologia, se formos capazes disso.

What could stop us from doing this?

O que é que nos pode impedir de o fazer?

A full-scale nuclear war?

Uma guerra nuclear a larga escala?

Uma pandemia mundial?

A global pandemic?

An asteroid impact?

O impacto de um asteroide?

Justin Bieber becoming president of the United States?

Justin Bieber tornar-se presidente dos EUA?

(Laughter)

(Risos)

The point is, something would have to destroy civilization as we know it.

A questão é, algo teria de destruir a civilização, tal como a conhecemos

You have to imagine how bad it would have to be

Temos que imaginar quão mau teria que ser

to prevent us from making improvements in our technology

para nos impedir de fazer melhoramentos na tecnologia

de forma permanente,

permanently,

generation after generation.

geração após geração.

Almost by definition, this is the worst thing

Quase por definição, isto é a pior coisa

that's ever happened in human history.

que já aconteceu na história da Humanidade.

So the only alternative,

Por isso, a única alternativa,

and this is what lies behind door number two,

— e é o que está detrás da porta dois —

is that we continue to improve our intelligent machines

é que continuemos a melhorar as nossas máquinas inteligentes

year after year after year.

ano após ano após ano.

At a certain point, we will build machines that are smarter than we are,

A certa altura, iremos construir máquinas mais inteligentes que nós,

e assim que tivermos máquinas mais inteligentes que nós,

and once we have machines that are smarter than we are,

they will begin to improve themselves.

elas vão começar a melhorar-se a si mesmas.

And then we risk what the mathematician IJ Good called

Então arriscamo-nos ao que o matemático I.J. Good chamou

an "intelligence explosion,"

uma "explosão de inteligência,"

that the process could get away from us.

que o processo poderá sair das nossas mãos.

Isto é normalmente caricaturado, como vemos aqui,

Now, this is often caricatured, as I have here,

as a fear that armies of malicious robots

como o medo de que tropas de robôs malignos nos vão atacar.

will attack us.

But that isn't the most likely scenario.

Mas este não é o cenário mais provável.

It's not that our machines will become spontaneously malevolent.

As nossas máquinas não se tornarão espontaneamente maléficas.

The concern is really that we will build machines

O problema é se construímos máquinas

that are so much more competent than we are

que são muito mais competentes que nós

that the slightest divergence between their goals and our own

que à mínima divergência entre os seus objetivos e os nossos

could destroy us.

podem destruir-nos.

Just think about how we relate to ants.

Basta pensar na nossa ligação às formigas.

We don't hate them.

Não as odiamos.

We don't go out of our way to harm them.

Não saímos do nosso caminho para as magoar.

In fact, sometimes we take pains not to harm them.

Até fazemos o necessário para não as magoar.

We step over them on the sidewalk.

Passamos por cima delas no passeio.

But whenever their presence

Mas quando a sua presença

seriously conflicts with one of our goals,

representa um conflito com um dos nossos objetivos,

let's say when constructing a building like this one,

digamos, quando construindo um edifício como este,

we annihilate them without a qualm.

eliminamo-las sem hesitação.

The concern is that we will one day build machines

O problema é que iremos um dia construir máquinas

that, whether they're conscious or not,

que, conscientes ou não,

could treat us with similar disregard.

podem tratar-nos com o mesmo desprezo.

Now, I suspect this seems far-fetched to many of you.

Suspeito que isto pareça exagerado para a maioria.

I bet there are those of you who doubt that superintelligent AI is possible,

Aposto que são os mesmos que duvidam da possibilidade duma IA superinteligente,

much less inevitable.

e, mais ainda, inevitável.

But then you must find something wrong with one of the following assumptions.

Então, devem encontrar algo de errado nas seguintes premissas.

And there are only three of them.

Só existem três.

Intelligence is a matter of information processing in physical systems.

A inteligência é uma questão de processamento de informação

em sistemas físicos.

Actually, this is a little bit more than an assumption.

Na verdade, isto é mais que uma premissa.

We have already built narrow intelligence into our machines,

Já construímos inteligência limitada nas nossas máquinas,

and many of these machines perform

e muitas dessas máquinas já funcionam

at a level of superhuman intelligence already.

a um nível de inteligência super-humana.

And we know that mere matter

Sabemos que mera matéria

can give rise to what is called "general intelligence,"

pode dar origem ao que chamamos "inteligência geral,"

an ability to think flexibly across multiple domains,

a capacidade de pensar flexivelmente em múltiplos domínios,

because our brains have managed it. Right?

porque o nosso cérebros conseguiu isso.

I mean, there's just atoms in here,

Quero dizer, aqui só há átomos.

and as long as we continue to build systems of atoms

Enquanto continuamos a construir sistemas de átomos

that display more and more intelligent behavior,

que demonstram cada vez mais um comportamento inteligente,

we will eventually, unless we are interrupted,

acabaremos — a não ser que sejamos interrompidos —

we will eventually build general intelligence

acabaremos por construir inteligência geral

into our machines.

nas nossas máquinas.

It's crucial to realize that the rate of progress doesn't matter,

É crucial entender que a velocidade do progresso não importa,

pois qualquer progresso é suficiente para nos levar ao final.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

Não precisamos da Lei de Moore nem de progresso exponencial

para continuar.

We just need to keep going.

Só precisamos de continuar.

The second assumption is that we will keep going.

A segunda premissa é que iremos continuar.

Continuaremos a melhorar as nossas máquinas inteligentes.

We will continue to improve our intelligent machines.

E devido ao valor da inteligência

And given the value of intelligence --

I mean, intelligence is either the source of everything we value

— quer dizer, inteligência ou é a fonte de tudo que valorizamos

or we need it to safeguard everything we value.

ou precisamos dela para salvaguardar tudo o que valorizamos.

It is our most valuable resource.

É o nosso recurso mais valioso.

So we want to do this.

Por isso, queremos fazer isto.

We have problems that we desperately need to solve.

Temos problemas que queremos desesperadamente resolver.

We want to cure diseases like Alzheimer's and cancer.

Queremos curar doenças como Alzheimer ou cancro.

We want to understand economic systems. We want to improve our climate science.

Queremos entender sistemas económicos e melhorar a nossa ciência climatérica.

So we will do this, if we can.

Por isso iremos fazê-lo, se conseguirmos,

The train is already out of the station, and there's no brake to pull.

O comboio já saiu da estação, e não há travão para acionar.

Finally, we don't stand on a peak of intelligence,

Finalmente, não estamos num pico da inteligência,

or anywhere near it, likely.

provavelmente, nem perto dela.

And this really is the crucial insight.

E isto é a visão crucial.

This is what makes our situation so precarious,

Isto é o que torna a nossa situação tão precária.

and this is what makes our intuitions about risk so unreliable.

Isto é o que torna tão incertas as nossas intuições de risco.

Now, just consider the smartest person who has ever lived.

Agora, pensem na pessoa mais inteligente de sempre.

On almost everyone's shortlist here is John von Neumann.

Na lista de quase toda a gente está John von Neumann.

A impressão que von Neumann deixou nas pessoas ao seu redor,

I mean, the impression that von Neumann made on the people around him,

and this included the greatest mathematicians and physicists of his time,

incluindo os melhores matemáticos e físicos do seu tempo,

is fairly well-documented.

está bem documentada.

If only half the stories about him are half true,

Se metade das histórias sobre ele são meio verdadeiras,

there's no question

não há dúvida

he's one of the smartest people who has ever lived.

que ele foi uma das pessoas mais inteligentes que existiu.

So consider the spectrum of intelligence.

Considerem o espetro da inteligência.

Here we have John von Neumann.

Aqui temos John von Neumann.

And then we have you and me.

E aqui estamos nós.

E aqui temos uma galinha.

And then we have a chicken.

(Laughter)

(Risos)

Sorry, a chicken.

Desculpem, uma galinha.

(Laughter)

(Risos)

There's no reason for me to make this talk more depressing than it needs to be.

Não preciso de tornar esta palestra ainda mais deprimente.

(Laughter)

(Risos)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Mas parece muito provável que o espetro da inteligência

extends much further than we currently conceive,

se alargue muito mais além do que imaginamos.

and if we build machines that are more intelligent than we are,

Se construirmos máquinas mais inteligentes que nós,

iremos muito provavelmente explorar este espetro

they will very likely explore this spectrum

in ways that we can't imagine,

de formas inimagináveis,

and exceed us in ways that we can't imagine.

e superar-nos em formas, que não imaginávamos.

And it's important to recognize that this is true by virtue of speed alone.

É importante reconhecer que isto é verdade só por virtude da velocidade.

Right? So imagine if we just built a superintelligent AI

Imaginem que construímos uma IA superinteligente

that was no smarter than your average team of researchers

que não é mais inteligente que uma equipa normal de investigadores

at Stanford or MIT.

de Stanford ou do MIT.

Os circuitos eletrónicos funcionam um milhão de vezes mais depressa

Well, electronic circuits function about a million times faster

than biochemical ones,

do que os circuitos bioquímicos,

so this machine should think about a million times faster

por isso essa máquina iria pensar um milhão de vezes mais rápido

than the minds that built it.

do que as mentes que a construíram.

So you set it running for a week,

Pomo-la a funcionar durante uma semana,

and it will perform 20,000 years of human-level intellectual work,

e ela irá realizar 20 000 anos de trabalho intelectual humano,

week after week after week.

semana após semana.

How could we even understand, much less constrain,

Como podemos entender, e muito menos restringir,

a mind making this sort of progress?

uma mente que faz tal progresso?

The other thing that's worrying, frankly,

A outra coisa preocupante, honestamente...

is that, imagine the best case scenario.

Imaginem o melhor cenário possível.

Imaginem que chegamos ao "design" de uma IA superinteligente

So imagine we hit upon a design of superintelligent AI

that has no safety concerns.

sem problemas de segurança.

We have the perfect design the first time around.

Temos o "design" perfeito na primeira tentativa.

It's as though we've been handed an oracle

Seria como se nos tivessem dado um oráculo

that behaves exactly as intended.

cujo comportamento seria o esperado.

Well, this machine would be the perfect labor-saving device.

Esta máquina poderia ser a máquina perfeita para poupar trabalho.

It can design the machine that can build the machine

Poderia conceber a máquina para construir a máquina

that can do any physical work,

que pode fazer qualquer trabalho físico,

powered by sunlight,

usando energia solar,

more or less for the cost of raw materials.

mais ou menos ao custo das matérias-primas.

So we're talking about the end of human drudgery.

Estamos a falar do fim do trabalho duro humano

We're also talking about the end of most intellectual work.

Estamos também a falar do fim de maior parte do trabalho intelectual.

So what would apes like ourselves do in this circumstance?

O que fariam macacos como nós nestas circunstâncias?

Well, we'd be free to play Frisbee and give each other massages.

Teríamos tempo para jogar ao disco, e dar massagens uns aos outros.

Add some LSD and some questionable wardrobe choices,

Adicionem LSD e algumas escolhas duvidosas de roupa,

and the whole world could be like Burning Man.

e seria como o festival Burning Man por todo o mundo.

(Laughter)

(Risos)

Now, that might sound pretty good,

Isto até pode soar bem,

but ask yourself what would happen

mas questionem-se o que poderia aconteceu

under our current economic and political order?

na nossa ordem atual económica e política?

It seems likely that we would witness

Parece que poderíamos testemunhar

a level of wealth inequality and unemployment

um nível de desigualdade de riqueza

e desemprego como nunca vimos antes.

that we have never seen before.

Absent a willingness to immediately put this new wealth

Se não existir a vontade de colocar essa riqueza

imediatamente ao serviço de toda a humanidade,

to the service of all humanity,

a few trillionaires could grace the covers of our business magazines

alguns multimilionários poderiam figurar nas capas das nossas revistas de negócios

while the rest of the world would be free to starve.

enquanto o resto do mundo estaria à fome.

And what would the Russians or the Chinese do

E o que fariam os russos ou os chineses

if they heard that some company in Silicon Valley

se soubessem que alguma companhia em Silicon Valley

was about to deploy a superintelligent AI?

estaria prestes a implementar uma IA superinteligente?

This machine would be capable of waging war,

Essa máquina seria capaz de fazer a guerra,

whether terrestrial or cyber,

terrestre ou cibernética,

with unprecedented power.

com um poder inédito.

Isto é um cenário de "o vencedor leva tudo".

This is a winner-take-all scenario.

To be six months ahead of the competition here

Estar seis meses adiantado nesta competição

is to be 500,000 years ahead,

é como estar 500 000 anos adiantado,

at a minimum.

no mínimo.

So it seems that even mere rumors of this kind of breakthrough

Parece que os meros rumores deste tipo de inovação

could cause our species to go berserk.

poderiam descontrolar a nossa espécie.

Now, one of the most frightening things,

Uma das coisas mais assustadoras,

in my view, at this moment,

na minha perspetiva, neste momento,

are the kinds of things that AI researchers say

são o tipo de coisas que os investigadores da IA dizem

when they want to be reassuring.

quando querem tranquilizar-nos.

And the most common reason we're told not to worry is time.

O motivo mais comum que invocam para não nos preocuparmos é o tempo.

This is all a long way off, don't you know.

"Não sabem que isto ainda vem longe?

This is probably 50 or 100 years away.

"Só daqui a 50 ou 100 anos".

One researcher has said,

Um investigador disse:

"Worrying about AI safety

"Preocupar-se com a segurança da IA

is like worrying about overpopulation on Mars."

"é como preocupar-se com o excesso de população em Marte."

Esta é a versão de Silicon Valley

This is the Silicon Valley version

of "don't worry your pretty little head about it."

de "não preocupem a vossa cabeça com isto."

(Laughter)

(Risos)

No one seems to notice

Ninguém parece notar

that referencing the time horizon

que mencionar o horizonte do tempo

is a total non sequitur.

é um total "não se segue".

If intelligence is just a matter of information processing,

Se a inteligência é apenas uma questão de processamento de informação,

and we continue to improve our machines,

e continuarmos a melhorar as nossas máquinas,

we will produce some form of superintelligence.

iremos produzir alguma forma de superinteligência.

And we have no idea how long it will take us

Não fazemos ideia quanto tempo iremos demorar

a criar as condições para o fazer em segurança.

to create the conditions to do that safely.

Let me say that again.

Vou repetir.

We have no idea how long it will take us

Não sabemos quanto tempo vamos demorar

to create the conditions to do that safely.

para criar as condições para fazê-lo em segurança.

And if you haven't noticed, 50 years is not what it used to be.

Se ainda não repararam, 50 anos não é o que era dantes.

This is 50 years in months.

Isto são 50 anos em meses.

This is how long we've had the iPhone.

Isto é o tempo desde que temos o iPhone.

This is how long "The Simpsons" has been on television.

Isto é o tempo em que "Os Simpsons" têm estado na TV.

Fifty years is not that much time

50 anos não é assim tanto tempo

to meet one of the greatest challenges our species will ever face.

para ir de encontro aos maiores desafios que a nossa espécie irá enfrentar.

Once again, we seem to be failing to have an appropriate emotional response

Mais uma vez, parecemos estar a falhar em ter uma resposta emocional apropriada

to what we have every reason to believe is coming.

para o que acreditamos que está para vir.

The computer scientist Stuart Russell has a nice analogy here.

O cientista informático Stuart Russell tem uma boa analogia para isto.

He said, imagine that we received a message from an alien civilization,

Disse: "Imaginem que recebemos uma mensagem de uma civilização alienígena,

which read:

"que diz:

" 'Habitantes da Terra,

"People of Earth,

we will arrive on your planet in 50 years.

" vamos chegar ao vosso planeta dentro de 50 anos.

Get ready."

" 'Preparem-se'."

And now we're just counting down the months until the mothership lands?

Vamos contar os meses até a nave-mãe aterrar?

We would feel a little more urgency than we do.

Sentiríamos mais urgência do que o habitual.

Another reason we're told not to worry

Outro motivo que nos dão para não nos preocuparmos

is that these machines can't help but share our values

é que estas máquinas vão partilhar os nossos valores

because they will be literally extensions of ourselves.

pois serão literalmente extensões de nós próprios.

They'll be grafted onto our brains,

Serão implantadas no nosso cérebro,

and we'll essentially become their limbic systems.

e seremos os seus sistemas límbicos.

Parem um momento para considerar

Now take a moment to consider

that the safest and only prudent path forward,

que o caminho mais prudente e seguro,

recommended,

o caminho recomendado,

is to implant this technology directly into our brains.

é implantar esta tecnologia diretamente no nosso cérebro.

Now, this may in fact be the safest and only prudent path forward,

Isso poderá de facto ser o caminho mais prudente e seguro,

but usually one's safety concerns about a technology

mas normalmente as questões de segurança de uma tecnologia

have to be pretty much worked out before you stick it inside your head.

devem estar bem trabalhadas antes de serem enfiadas na nossa cabeça.

(Laughter)

(Risos)

The deeper problem is that building superintelligent AI on its own

O maior problema é que construir IA superinteligente, por si só,

parece ser mais fácil

seems likely to be easier

than building superintelligent AI

do que construir IA superinteligente

and having the completed neuroscience

e ter a neurociência completa

that allows us to seamlessly integrate our minds with it.

que nos permita integrar facilmente as nossas mentes com isso.

And given that the companies and governments doing this work

Sabendo que as companhias e os governos que fazem este trabalho

are likely to perceive themselves as being in a race against all others,

provavelmente se consideram numa corrida contra todos os outros,

given that to win this race is to win the world,

sendo que ganhar esta corrida, é ganhar o mundo,

provided you don't destroy it in the next moment,

desde que não o destruam logo a seguir,

then it seems likely that whatever is easier to do

então é evidente que o que for mais fácil

will get done first.

será o primeiro a ser feito.

Now, unfortunately, I don't have a solution to this problem,

Infelizmente, não tenho a solução para este problema,

apart from recommending that more of us think about it.

apenas posso recomendar que pensemos mais nisto.

Acho que precisamos de algo como o Projeto Manhattan

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

no tópico da inteligência artificial.

Not to build it, because I think we'll inevitably do that,

Não para a construir —acho que o faremos inevitavelmente —

but to understand how to avoid an arms race

mas para compreender como evitar uma corrida ao armamento

and to build it in a way that is aligned with our interests.

e para a construir de forma a estar alinhada com os nossos interesses.

Quando falamos na IA superinteligente

When you're talking about superintelligent AI

that can make changes to itself,

que pode alterar-se a si mesma,

it seems that we only have one chance to get the initial conditions right,

parece que só temos uma hipótese

para conseguir as condições iniciais corretas,

and even then we will need to absorb

e mesmo assim precisaremos de absorver

the economic and political consequences of getting them right.

as consequências económicas e politicas para conseguir tal.

But the moment we admit

Mas a partir do momento em que admitirmos

that information processing is the source of intelligence,

que o processamento de informação é a fonte de inteligência,

that some appropriate computational system is what the basis of intelligence is,

que algum sistema informático apropriado é a base de inteligência,

and we admit that we will improve these systems continuously,

e admitirmos que iremos melhorar estes sistemas de forma contínua,

and we admit that the horizon of cognition very likely far exceeds

e admitirmos que o horizonte da cognição

provavelmente ultrapassa o que conhecemos agora,

what we currently know,

então temos de admitir

then we have to admit

that we are in the process of building some sort of god.

que estamos no processo de construir uma espécie de deus.

Now would be a good time

Agora seria uma boa altura de certificarmo-nos

to make sure it's a god we can live with.

que seja um deus com quem queremos viver.

Muito obrigado.

Thank you very much.

(Applause)

(Aplausos)