Can we build AI without losing control over it? | Sam Harris

Tradutor: Laura Amaral Revisor: Cristiano Garcia

I'm going to talk about a failure of intuition

Vou falar sobre uma falha intuitiva

that many of us suffer from.

que afeta muitos de nós.

It's really a failure to detect a certain kind of danger.

É a falha de reconhecer certo perigo.

I'm going to describe a scenario

Eu vou descrever uma situação

that I think is both terrifying

que considero aterrorizante

and likely to occur,

e provável de acontecer,

and that's not a good combination,

e não é uma boa combinação,

as it turns out.

ao que parece.

Mesmo assim, em vez de sentir medo,

And yet rather than be scared, most of you will feel

a maioria vai achar legal o que vou falar.

that what I'm talking about is kind of cool.

I'm going to describe how the gains we make

Vou descrever como nossas conquistas

in artificial intelligence

na área da inteligência artificial

could ultimately destroy us.

poderão nos destruir.

And in fact, I think it's very difficult to see how they won't destroy us

Na verdade, acho muito difícil ver como elas não vão nos destruir,

or inspire us to destroy ourselves.

ou nos inspirar a nos destruirmos.

And yet if you're anything like me,

E se você é como eu,

you'll find that it's fun to think about these things.

vai descobrir que é divertido pensar sobre essas coisas.

And that response is part of the problem.

E essa resposta é parte do problema.

OK? That response should worry you.

OK? Essa resposta deve te preocupar.

And if I were to convince you in this talk

Se eu quisesse te convencer nessa palestra

that we were likely to suffer a global famine,

de que a fome mundial é provável,

either because of climate change or some other catastrophe,

por causa do aquecimento global ou qualquer outra catástrofe,

and that your grandchildren, or their grandchildren,

e de que seus netos e os netos dos seus netos

are very likely to live like this,

provavelmente viverão assim,

you wouldn't think,

você não pensaria:

"Interesting.

"Interessante.

I like this TED Talk."

Gostei dessa Palestra TED."

Famine isn't fun.

Fome não é divertido.

Death by science fiction, on the other hand, is fun,

Morte por ficção científica, por outro lado, é divertida,

and one of the things that worries me most about the development of AI at this point

e uma das coisas que mais me preocupa no desenvolvimento de IA nesse ponto

é que somos incapazes de organizar uma resposta emocional apropriada

is that we seem unable to marshal an appropriate emotional response

to the dangers that lie ahead.

para os perigos que estão à frente.

I am unable to marshal this response, and I'm giving this talk.

Eu sou incapaz de ordenar essa resposta, e estou dando esta palestra.

It's as though we stand before two doors.

É como se estivéssemos diante de duas portas.

Behind door number one,

Na porta de número 1,

we stop making progress in building intelligent machines.

paramos de progredir na área de IA.

Our computer hardware and software just stops getting better for some reason.

Nossos softwares e hardwares param de melhorar por algum motivo.

Now take a moment to consider why this might happen.

Pare um pouco para refletir por que isso pode acontecer.

I mean, given how valuable intelligence and automation are,

Dado que automação e inteligência são valiosos,

we will continue to improve our technology if we are at all able to.

continuaremos a melhorar nossa tecnologia, se isso for possível.

What could stop us from doing this?

O que poderia nos impedir de fazer isso?

A full-scale nuclear war?

Uma guerra nuclear em grande escala?

A global pandemic?

Uma pandemia global?

An asteroid impact?

A colisão de um asteroide?

Justin Bieber becoming president of the United States?

Justin Bieber como presidente dos Estado Unidos?

(Laughter)

(Risadas)

The point is, something would have to destroy civilization as we know it.

A questão é que algo teria que destruir a civilização que nós conhecemos.

You have to imagine how bad it would have to be

Você precisa imaginar o quão ruim teria que ser

to prevent us from making improvements in our technology

para impedir os avanços da nossa tecnologia

permanently,

permanentemente,

generation after generation.

geração após geração.

Almost by definition, this is the worst thing

Quase que por definição, essa é a pior coisa

that's ever happened in human history.

que já aconteceu na história humana.

So the only alternative,

A única alternativa,

and this is what lies behind door number two,

e é o que está atrás da porta de número 2,

is that we continue to improve our intelligent machines

é que continuemos a aprimorar nossas máquinas inteligentes,

year after year after year.

ano após ano.

At a certain point, we will build machines that are smarter than we are,

Em algum ponto, construiremos máquinas mais inteligentes que nós,

and once we have machines that are smarter than we are,

e uma vez que isso acontecer,

they will begin to improve themselves.

elas aperfeiçoarão a si mesmas.

And then we risk what the mathematician IJ Good called

E nós arriscamos o que o matemático I. J. Good chamou

an "intelligence explosion,"

de "explosão de inteligência",

that the process could get away from us.

que o processo poderia fugir do controle.

Now, this is often caricatured, as I have here,

Isso é frequentemente caricaturado, desse jeito aqui,

as a fear that armies of malicious robots

como medo de que exércitos de robôs malignos

will attack us.

nos ataquem.

But that isn't the most likely scenario.

Mas essa não é a situação mais provável.

It's not that our machines will become spontaneously malevolent.

Não é que nossas máquinas se tornarão espontaneamente más.

The concern is really that we will build machines

A preocupação é que construiremos máquinas

that are so much more competent than we are

que são muito mais competentes do que nós,

that the slightest divergence between their goals and our own

e que a menor das divergências entre nosso propósito e o delas

could destroy us.

possa nos destruir.

Just think about how we relate to ants.

Pense na nossa relação com as formigas.

We don't hate them.

Nós não as odiamos.

We don't go out of our way to harm them.

Nós não as machucamos de propósito.

In fact, sometimes we take pains not to harm them.

Na verdade, nós tentamos não machucar elas.

We step over them on the sidewalk.

Evitamos pisá-las na calçada.

But whenever their presence

Mas sempre que a presença delas

seriously conflicts with one of our goals,

colide com um dos nossos objetivos,

let's say when constructing a building like this one,

digamos que ao construirmos um prédio como este,

we annihilate them without a qualm.

nós exterminamos elas sem a menor cerimônia.

The concern is that we will one day build machines

A preocupação é que um dia vamos construir máquinas

that, whether they're conscious or not,

que, conscientes ou não,

could treat us with similar disregard.

poderão nos tratar com o mesmo desprezo.

Now, I suspect this seems far-fetched to many of you.

Eu suspeito que isso pareça difícil de acreditar para vocês.

I bet there are those of you who doubt that superintelligent AI is possible,

Aposto que alguns de vocês duvidam que uma IA superinteligente seja possível,

much less inevitable.

muito menos inevitável.

But then you must find something wrong with one of the following assumptions.

Mas então você precisar achar algo de errado com as seguintes suposições.

And there are only three of them.

E existem apenas três.

Intelligence is a matter of information processing in physical systems.

Inteligência é uma questão de processamento de informação

em sistemas físicos.

Actually, this is a little bit more than an assumption.

Na verdade, isso é mais do que uma suposição.

We have already built narrow intelligence into our machines,

Nós já construímos inteligência limitada em nossas máquinas,

and many of these machines perform

e muitas delas já trabalham num nível de inteligência sobre-humano.

at a level of superhuman intelligence already.

And we know that mere matter

E sabemos que matéria comum

can give rise to what is called "general intelligence,"

pode dar origem ao que é chamado de "inteligência geral",

an ability to think flexibly across multiple domains,

a habilidade de pensar de forma flexível em vários domínios,

because our brains have managed it. Right?

porque nossos cérebros conseguiram isso. Certo?

I mean, there's just atoms in here,

Existem apenas átomos aqui,

and as long as we continue to build systems of atoms

e desde que continuemos a construir sistemas de átomos

that display more and more intelligent behavior,

que mostrem mais e mais comportamento inteligente,

we will eventually, unless we are interrupted,

a não ser que nos interrompam,

we will eventually build general intelligence

vamos acabar construindo inteligência geral

into our machines.

dentro de nossas máquinas.

It's crucial to realize that the rate of progress doesn't matter,

É crucial perceber que a taxa de progresso não importa,

because any progress is enough to get us into the end zone.

porque qualquer progresso é suficiente para nos levar até a zona final.

We don't need Moore's law to continue. We don't need exponential progress.

Não precisamos da Lei de Moore para continuar,

Não precisamos de progresso exponencial, só precisamos continuar.

We just need to keep going.

The second assumption is that we will keep going.

A segunda suposição é que vamos continuar.

We will continue to improve our intelligent machines.

Continuaremos a melhorar nossas máquinas inteligentes.

And given the value of intelligence --

E dado o valor da inteligência...

I mean, intelligence is either the source of everything we value

Inteligência ou é a fonte de tudo aquilo que valorizamos

or we need it to safeguard everything we value.

ou precisamos dela para que proteja aquilo que valorizamos.

It is our most valuable resource.

É a nossa fonte mais valiosa.

So we want to do this.

Então nós queremos fazer isso.

We have problems that we desperately need to solve.

Temos problemas que precisamos resolver urgentemente.

We want to cure diseases like Alzheimer's and cancer.

Queremos curar doenças como Alzheimer e câncer.

We want to understand economic systems. We want to improve our climate science.

Queremos entender sistemas econômicos. Queremos aprimorar a ciência climática.

So we will do this, if we can.

Nós faremos isso, se pudermos.

The train is already out of the station, and there's no brake to pull.

O trem já saiu da estação, e não há freio para puxar.

Finally, we don't stand on a peak of intelligence,

Finalmente, não estamos em um pico de inteligência,

or anywhere near it, likely.

não estamos nem perto disso.

And this really is the crucial insight.

E essa é a percepção crucial.

This is what makes our situation so precarious,

Isso é o que faz a nossa situação ser tão precária

and this is what makes our intuitions about risk so unreliable.

e a nossa intuição sobre riscos não ser confiável.

Now, just consider the smartest person who has ever lived.

Pense na pessoa mais inteligente que já existiu.

On almost everyone's shortlist here is John von Neumann.

Na lista de quase todos aqui está John von Neumann.

I mean, the impression that von Neumann made on the people around him,

A impressão que ele causou nas pessoas ao seu redor,

and this included the greatest mathematicians and physicists of his time,

e isso inclui os melhores matemáticos e físicos de seu tempo,

is fairly well-documented.

está muito bem documentada.

If only half the stories about him are half true,

Se apenas metade das histórias sobre ele forem meio verdadeiras,

there's no question

não há dúvida de que ele foi uma das pessoas mais inteligentes que já existiu.

he's one of the smartest people who has ever lived.

Considere o espectro da inteligência.

So consider the spectrum of intelligence.

Here we have John von Neumann.

Aqui temos John von Neumann.

And then we have you and me.

E aqui temos eu e você.

And then we have a chicken.

E aqui temos uma galinha.

(Laughter)

(Risadas)

Sorry, a chicken.

Perdão, uma galinha.

(Laughter)

(Risadas)

There's no reason for me to make this talk more depressing than it needs to be.

Não existe razão pra que eu torne isso mais depressivo do que precisa ser.

(Laughter)

(Risadas)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Parece extremamente provável, no entanto, que esse espectro da inteligência

extends much further than we currently conceive,

se estenda muito além do que pensamos,

and if we build machines that are more intelligent than we are,

e se construirmos máquinas mais inteligentes do que nós,

they will very likely explore this spectrum

elas provavelmente vão explorar esse espectro

in ways that we can't imagine,

de maneiras que não podemos imaginar,

and exceed us in ways that we can't imagine.

e vão nos ultrapassar de formas inimagináveis.

And it's important to recognize that this is true by virtue of speed alone.

E é importante reconhecer que isso é verdade apenas pela velocidade.

Right? So imagine if we just built a superintelligent AI

Imagine se construíssemos uma IA superinteligente

that was no smarter than your average team of researchers

que não fosse mais inteligente do que seu time mediano de pesquisadores

at Stanford or MIT.

em Stanford ou no MIT.

Well, electronic circuits function about a million times faster

Circuitos eletrônicos funcionam quase 1 milhão de vezes mais rápido

than biochemical ones,

do que os biológicos,

so this machine should think about a million times faster

então essa máquina deve pensar 1 milhão de vezes mais rápido

than the minds that built it.

do que a mente que a criou.

So you set it running for a week,

Você deixa ela funcionando por uma semana,

and it will perform 20,000 years of human-level intellectual work,

e ela vai realizar 20 mil anos humanos de trabalho intelectual,

week after week after week.

semana após semana.

How could we even understand, much less constrain,

Como poderíamos entender, muito menos restringir,

a mind making this sort of progress?

uma mente progredindo dessa maneira?

The other thing that's worrying, frankly,

Outra coisa que é preocupante, francamente,

is that, imagine the best case scenario.

é... imagine o melhor cenário possível.

So imagine we hit upon a design of superintelligent AI

Imagine que nos deparamos com o design de uma IA superinteligente

that has no safety concerns.

que não tem problemas de segurança.

We have the perfect design the first time around.

Temos o design perfeito pela primeira vez.

It's as though we've been handed an oracle

É como se tivéssemos recebido um oráculo

that behaves exactly as intended.

que se comporta como deve.

Well, this machine would be the perfect labor-saving device.

Essa máquina seria o perfeito dispositivo de economia de trabalho.

It can design the machine that can build the machine

Pode desenvolver a máquina que pode construir a máquina

que pode executar qualquer trabalho físico,

that can do any physical work,

powered by sunlight,

movido à luz solar,

more or less for the cost of raw materials.

por mais ou menos o custo da matéria-prima.

So we're talking about the end of human drudgery.

Estamos falando do fim do esforço físico humano.

We're also talking about the end of most intellectual work.

Também estamos falando do fim da maior parte do trabalho intelectual.

So what would apes like ourselves do in this circumstance?

O que símios como nós fariam nessas circunstâncias?

Well, we'd be free to play Frisbee and give each other massages.

Estaríamos livres para jogar Frisbee e massagear uns aos outros.

Add some LSD and some questionable wardrobe choices,

Adicione LSD e escolhas de roupas questionáveis,

and the whole world could be like Burning Man.

e o mundo inteiro seria como o Festival Burning Man.

(Laughter)

(Risadas)

Now, that might sound pretty good,

Pode até parecer muito bom,

but ask yourself what would happen

mas se pergunte: o que aconteceria

under our current economic and political order?

sob a atual economia e ordem política?

It seems likely that we would witness

Possivelmente, iríamos presenciar

a level of wealth inequality and unemployment

um nível de desigualdade de riqueza e desemprego

that we have never seen before.

nunca visto antes.

Absent a willingness to immediately put this new wealth

Sem a vontade de colocar imediatamente essa riqueza

to the service of all humanity,

a serviço da humanidade,

a few trillionaires could grace the covers of our business magazines

alguns poucos trilionários apareceriam nas capas das revistas de negócios,

while the rest of the world would be free to starve.

enquanto o resto do mundo passaria fome.

And what would the Russians or the Chinese do

E o que os russos e os chineses fariam

if they heard that some company in Silicon Valley

se soubessem que uma empresa no Vale do Silício

was about to deploy a superintelligent AI?

estivesse pronta para implantar uma IA superinteligente?

This machine would be capable of waging war,

Essa máquina seria capaz de travar uma guerra,

whether terrestrial or cyber,

terrestre ou cibernética,

with unprecedented power.

com poder sem precedente.

This is a winner-take-all scenario.

É um cenário onde o vencedor leva tudo.

To be six months ahead of the competition here

Estar seis meses à frente da competição

is to be 500,000 years ahead,

é como estar 500 mil anos adiantado,

at a minimum.

no mínimo.

So it seems that even mere rumors of this kind of breakthrough

Parece que mesmo os meros rumores desse tipo de avanço

could cause our species to go berserk.

poderiam causar fúria em nossa espécie.

Now, one of the most frightening things,

Uma das coisas mais assustadoras,

in my view, at this moment,

na minha opinião, nesse momento,

are the kinds of things that AI researchers say

são os tipos de coisas que os pesquisadores de IA dizem

when they want to be reassuring.

quando querem nos tranquilizar.

And the most common reason we're told not to worry is time.

E eles nos dizem para não nos preocuparmos com o tempo.

This is all a long way off, don't you know.

Esse é um caminho longo, se você não sabe.

This is probably 50 or 100 years away.

Provavelmente está a 50, 100 anos de distância.

One researcher has said,

Um pesquisador disse:

"Worrying about AI safety

"Se preocupar com a segurança de IA

is like worrying about overpopulation on Mars."

é como se preocupar com a superpopulação em Marte."

This is the Silicon Valley version

Essa é a versão do Vale do Silício

of "don't worry your pretty little head about it."

para que você "não esquente sua cabecinha linda."

(Laughter)

(Risadas)

No one seems to notice

Ninguém parece perceber

that referencing the time horizon

que fazer referência ao tempo

is a total non sequitur.

é um argumento inválido.

If intelligence is just a matter of information processing,

Se inteligência é questão de processamento de informação,

and we continue to improve our machines,

e se continuarmos a aperfeiçoar nossas máquinas,

we will produce some form of superintelligence.

produziremos alguma forma de superinteligência.

And we have no idea how long it will take us

E não temos ideia de quanto tempo vai demorar

to create the conditions to do that safely.

para fazer isso de forma segura.

Let me say that again.

Vou dizer novamente.

We have no idea how long it will take us

Não temos ideia de quanto tempo vai levar

to create the conditions to do that safely.

para fazer isso de forma segura.

And if you haven't noticed, 50 years is not what it used to be.

E se você não percebeu, 50 anos não são mais o que costumavam ser.

This is 50 years in months.

Isso são 50 anos em meses.

This is how long we've had the iPhone.

Esta é a idade que tem o iPhone.

This is how long "The Simpsons" has been on television.

Este é o tempo que Os Simpsons está na televisão.

Fifty years is not that much time

Cinquenta anos não é muito tempo

to meet one of the greatest challenges our species will ever face.

para conhecer um dos maiores desafios que nossa espécie enfrentará.

Once again, we seem to be failing to have an appropriate emotional response

Novamente, parece que estamos falhando em uma reação emocional adequada

to what we have every reason to believe is coming.

a algo que, com certeza, está vindo.

The computer scientist Stuart Russell has a nice analogy here.

O cientista de computação Stuart Russell possui uma bela analogia:

He said, imagine that we received a message from an alien civilization,

imagine que recebamos uma mensagem de uma civilização alienígena,

which read:

que diz:

"Pessoas da Terra,

"People of Earth,

we will arrive on your planet in 50 years.

chegaremos ao seu planeta em 50 anos.

Get ready."

Se preparem."

And now we're just counting down the months until the mothership lands?

E agora estamos contando os meses até a chegada da nave-mãe?

We would feel a little more urgency than we do.

Nós teríamos mais urgência do que temos agora.

Another reason we're told not to worry

Outro motivo dito para não nos preocuparmos

is that these machines can't help but share our values

é que essas máquinas não podem evitar compartilhar nossos valores

because they will be literally extensions of ourselves.

porque eles serão literalmente extensões de nós mesmos.

They'll be grafted onto our brains,

Eles serão transplantados em nossos cérebros

and we'll essentially become their limbic systems.

e nos tornaremos parte de seus sistemas límbicos.

Now take a moment to consider

Reserve um momento para considerar

that the safest and only prudent path forward,

que o único caminho prudente e seguro recomendado,

recommended,

is to implant this technology directly into our brains.

é implantar essa tecnologia diretamente em nossos cérebros.

Now, this may in fact be the safest and only prudent path forward,

Esse pode ser o caminho mais seguro e prudente,

but usually one's safety concerns about a technology

mas, normalmente, os problemas de segurança da tecnologia

have to be pretty much worked out before you stick it inside your head.

precisam ser resolvidos antes de ser implantado dentro da sua cabeça.

(Laughter)

(Risadas)

The deeper problem is that building superintelligent AI on its own

O maior problema é que construir uma IA superinteligente por si só

seems likely to be easier

parece ser mais fácil

than building superintelligent AI

do que construir IA superinteligente

and having the completed neuroscience

e ter a neurociência completa

that allows us to seamlessly integrate our minds with it.

que nos permita integrar perfeitamente nossas mentes.

And given that the companies and governments doing this work

E dado que empresas e governos que estão trabalhando nisso

are likely to perceive themselves as being in a race against all others,

se encontram numa corrida uns contra os outros,

given that to win this race is to win the world,

dado que vencer essa corrida é conquistar o mundo,

provided you don't destroy it in the next moment,

supondo que você não o destrua no momento seguinte,

then it seems likely that whatever is easier to do

então parece que o que for mais fácil de se fazer

will get done first.

será feito primeiro.

Now, unfortunately, I don't have a solution to this problem,

Infelizmente, eu não tenho a solução para esse problema,

apart from recommending that more of us think about it.

a não ser recomendar que outros pensem sobre isso.

Acho que precisamos de algo como o Projeto Manhattan

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

na área de inteligência artificial.

Not to build it, because I think we'll inevitably do that,

Não para construir uma IA, porque vamos inevitavelmente fazer isso,

but to understand how to avoid an arms race

mas para entender como evitar uma corrida armamentista

and to build it in a way that is aligned with our interests.

e construir uma IA que esteja alinhada aos nossos interesses.

When you're talking about superintelligent AI

Quando se fala de uma IA superinteligente

that can make changes to itself,

que pode modificar a si mesma,

it seems that we only have one chance to get the initial conditions right,

parece que temos apenas uma chance para acertar as condições primárias

and even then we will need to absorb

e, mesmo assim, teremos que assimilar

the economic and political consequences of getting them right.

as consequências econômicas e políticas desse acerto.

But the moment we admit

Mas no momento em que admitirmos

that information processing is the source of intelligence,

que o processamento de informação é a fonte da inteligência,

that some appropriate computational system is what the basis of intelligence is,

que um sistema computacional apropriado é a base do que é a inteligência,

and we admit that we will improve these systems continuously,

e admitirmos que continuaremos a aprimorar esse sistema,

e que o horizonte do conhecimento provavelmente ultrapassa

and we admit that the horizon of cognition very likely far exceeds

what we currently know,

tudo o que sabemos agora,

then we have to admit

então teremos que admitir

that we are in the process of building some sort of god.

que estamos no processo de criação de algum tipo de deus.

Now would be a good time

Agora seria um ótimo momento de ter a certeza

to make sure it's a god we can live with.

de que é um deus com o qual podemos viver.

Thank you very much.

Muito obrigado.

(Applause)

(Aplausos)