Don't fear superintelligent AI | Grady Booch

Tradutor: Leonardo Silva Revisor: leonardo ost bento

When I was a kid, I was the quintessential nerd.

Quando criança, eu era fundamentalmente "nerd".

I think some of you were, too.

Acho que alguns de vocês também eram.

(Laughter)

(Risos)

And you, sir, who laughed the loudest, you probably still are.

E o senhor, que deu a risada mais alta, provavelmente ainda é.

(Laughter)

(Risos)

I grew up in a small town in the dusty plains of north Texas,

Cresci numa cidadezinha nas planícies empoeiradas do norte do Texas,

the son of a sheriff who was the son of a pastor.

filho de um xerife que era filho de um pastor.

Getting into trouble was not an option.

Me meter em confusão não era uma opção.

And so I started reading calculus books for fun.

Então, comecei a ler livros de cálculo pra me distrair.

(Laughter)

(Risos)

You did, too.

Você também!

That led me to building a laser and a computer and model rockets,

Isso me levou a criar um lêiser, um computador e protótipos de foguete,

and that led me to making rocket fuel in my bedroom.

o que me levou a inventar combustível de foguete em meu quarto.

Now, in scientific terms,

Bem, em termos científicos,

we call this a very bad idea.

chamamos isso de "péssima ideia".

(Laughter)

(Risos)

Around that same time,

Mais ou menos na mesma época,

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

"2001: Uma odisseia no espaço", de Stanley Kubrick,

estreou nos cinemas e minha vida mudou para sempre.

and my life was forever changed.

I loved everything about that movie,

Adorei tudo naquele filme, principalmente o HAL 9000.

especially the HAL 9000.

Now, HAL was a sentient computer

HAL era um computador consciente,

designed to guide the Discovery spacecraft

projetado para conduzir a nave Discovery da Terra até Júpiter.

from the Earth to Jupiter.

HAL was also a flawed character,

HAL também era um personagem imperfeito,

for in the end he chose to value the mission over human life.

pois, no fim, decidiu priorizar a missão em vez da vida humana.

Now, HAL was a fictional character,

Bem, HAL era um personagem de ficção,

but nonetheless he speaks to our fears,

mas, mesmo assim, traz à tona nossos medos,

our fears of being subjugated

medo de sermos subjugados

by some unfeeling, artificial intelligence

por uma inteligência artificial sem sentimentos,

who is indifferent to our humanity.

indiferente à nossa humanidade.

I believe that such fears are unfounded.

Acredito que esses medos não têm fundamento.

Indeed, we stand at a remarkable time

De fato, vivemos numa época incrível da história da humanidade,

in human history,

where, driven by refusal to accept the limits of our bodies and our minds,

em que, por nos recursarmos a aceitar as limitações do nosso corpo e mente,

we are building machines

criamos máquinas graciosas e de linda e primorosa complexidade,

of exquisite, beautiful complexity and grace

that will extend the human experience

que vão ampliar a experiência humana de formas além do que imaginamos.

in ways beyond our imagining.

After a career that led me from the Air Force Academy

Depois de trabalhar na Academia da Força Aérea americana

to Space Command to now,

e chegar ao Comando Espacial americano, me tornei engenheiro de sistemas,

I became a systems engineer,

and recently I was drawn into an engineering problem

e recentemente estou ajudando num problema de engenharia

associated with NASA's mission to Mars.

relacionado à missão da NASA a Marte.

Now, in space flights to the Moon,

Bem, nos voos espaciais à Lua,

we can rely upon mission control in Houston

podemos contar com o apoio do controle de missão em Houston,

to watch over all aspects of a flight.

que monitora todos os aspectos do voo.

However, Mars is 200 times further away,

Porém, Marte fica 200 vezes mais distante de nós que a Lua

and as a result it takes on average 13 minutes

e, consequentemente, leva em média 13 minutos

for a signal to travel from the Earth to Mars.

para que um sinal de comunicação viaje da Terra a Marte.

If there's trouble, there's not enough time.

Se houver algum problema, não dá tempo de resolver.

And so a reasonable engineering solution

Então, uma solução razoável de engenharia

calls for us to put mission control

é colocarmos o controle de missão dentro da nave Orion.

inside the walls of the Orion spacecraft.

Another fascinating idea in the mission profile

Outra ideia fascinante no projeto da missão

places humanoid robots on the surface of Mars

é colocar robôs humanoides na superfície de Marte

before the humans themselves arrive,

antes de os humanos chegarem,

first to build facilities

para construírem instalações

and later to serve as collaborative members of the science team.

e depois atuarem como colaboradores da equipe científica.

Now, as I looked at this from an engineering perspective,

Bom, de uma perspectiva de engenharia,

it became very clear to me that what I needed to architect

ficou bem claro pra mim que o que eu precisava projetar

was a smart, collaborative,

era uma inteligência artificial

socially intelligent artificial intelligence.

moderna, colaborativa e com habilidade social.

In other words, I needed to build something very much like a HAL

Em outras palavras, eu precisava criar algo bem parecido com o HAL,

but without the homicidal tendencies.

mas sem suas tendências homicidas.

(Laughter)

(Risos)

Let's pause for a moment.

Mas espera um pouco:

Is it really possible to build an artificial intelligence like that?

será mesmo possível criar uma inteligência artificial assim?

Actually, it is.

Na verdade, é possível sim.

In many ways,

De muitas formas, trata-se de um desafio complexo de engenharia,

this is a hard engineering problem

with elements of AI,

com alguns elementos de IA;

not some wet hair ball of an AI problem that needs to be engineered.

não da ideia mirabolante de criar uma IA repulsiva.

To paraphrase Alan Turing,

Parafraseando Alan Turing, não quero criar uma máquina consciente.

I'm not interested in building a sentient machine.

I'm not building a HAL.

Não vou criar um HAL.

All I'm after is a simple brain,

Só quero criar um cérebro simples, algo que cause a ilusão de inteligência.

something that offers the illusion of intelligence.

The art and the science of computing have come a long way

A arte e a ciência da computação evoluíram bastante

since HAL was onscreen,

desde que HAL surgiu no cinema,

and I'd imagine if his inventor Dr. Chandra were here today,

e imagino que, se o Dr. Chandra, seu inventor, estivesse aqui hoje,

he'd have a whole lot of questions for us.

ele teria um monte de perguntas pra nós.

Is it really possible for us

Será que conseguimos

to take a system of millions upon millions of devices,

pegar um sistema com milhões e milhões de dispositivos,

to read in their data streams,

entrar com os dados,

to predict their failures and act in advance?

prever suas falhas e nos anteciparmos a elas?

Yes.

Sim.

Can we build systems that converse with humans in natural language?

Será possível criar sistemas que conversem conosco em nossa língua?

Yes.

Sim.

Can we build systems that recognize objects, identify emotions,

Será possível criar sistemas que reconheçam objetos e emoções,

emote themselves, play games and even read lips?

que reajam emotivamente, usem de estratégia e até leitura labial?

Yes.

Sim.

Can we build a system that sets goals,

Será possível criar um sistema que estabeleça metas,

that carries out plans against those goals and learns along the way?

faça planos e aprenda ao longo do caminho?

Yes.

Sim.

Can we build systems that have a theory of mind?

Será possível criarmos sistemas com capacidade cognitiva?

This we are learning to do.

Estamos aprendendo a fazer isso.

Can we build systems that have an ethical and moral foundation?

Será possível criarmos sistemas que tenham princípios éticos e morais?

This we must learn how to do.

Precisamos aprender a fazer isso.

So let's accept for a moment

Então, digamos, por exemplo,

that it's possible to build such an artificial intelligence

que seja possível criar uma inteligência artificial assim,

for this kind of mission and others.

para esse tipo de missão e para outras.

The next question you must ask yourself is,

A próxima pergunta que precisamos fazer é: devemos temer essa inteligência?

should we fear it?

Now, every new technology

Bom, toda nova tecnologia traz algum tipo de preocupação.

brings with it some measure of trepidation.

When we first saw cars,

Quando surgiram os carros,

people lamented that we would see the destruction of the family.

as pessoas acharam que veríamos a destruição da família.

When we first saw telephones come in,

Quando surgiram os telefones,

people were worried it would destroy all civil conversation.

as pessoas temiam que ele destruiria a socialização entre as pessoas.

At a point in time we saw the written word become pervasive,

Quando vimos a palavra escrita se espalhar,

people thought we would lose our ability to memorize.

acharam que perderíamos nossa capacidade de memorizar.

These things are all true to a degree,

Tudo isso é de certa forma verdade,

but it's also the case that these technologies

mas também é verdade que essas tecnologias

brought to us things that extended the human experience

nos possibilitaram ampliar a experiência humana

in some profound ways.

de formas profundas.

So let's take this a little further.

Vou explicar melhor.

I do not fear the creation of an AI like this,

Não temo a criação de uma IA assim,

because it will eventually embody some of our values.

porque ela vai acabar assimilando alguns dos nossos valores.

Consider this: building a cognitive system is fundamentally different

Pensem só: criar um sistema cognitivo é fundamentalmente diferente

than building a traditional software-intensive system of the past.

de criar um sistema complexo e tradicional do passado.

We don't program them. We teach them.

Não a programamos. Nós lhe ensinamos.

In order to teach a system how to recognize flowers,

Para ensinar um sistema a reconhecer flores,

I show it thousands of flowers of the kinds I like.

mostro a ele milhares de flores do tipo de que gosto.

In order to teach a system how to play a game --

Para ensinar um sistema a jogar...

Well, I would. You would, too.

eu faria isso, e vocês também...

I like flowers. Come on.

Eu gosto de jogos. Qual é!

To teach a system how to play a game like Go,

Para ensinar um sistema a jogar, por exemplo, o "Go",

I'd have it play thousands of games of Go,

eu o faria jogá-lo várias vezes, mas, no processo,

but in the process I also teach it

eu também o ensinaria a diferenciar um jogo bom de um jogo ruim.

how to discern a good game from a bad game.

If I want to create an artificially intelligent legal assistant,

Se quisesse criar um assistente jurídico com inteligência artificial,

I will teach it some corpus of law

eu lhe ensinaria algumas leis, mas, ao mesmo tempo,

but at the same time I am fusing with it

colocaria nele o senso de compaixão e de justiça que acompanham essas leis.

the sense of mercy and justice that is part of that law.

In scientific terms, this is what we call ground truth,

Em termos científicos, é o que chamamos de situação fática,

and here's the important point:

e eis o mais importante:

in producing these machines,

ao criar essas máquinas,

we are therefore teaching them a sense of our values.

estamos ensinando a elas algo dos nossos valores.

To that end, I trust an artificial intelligence

Sendo assim, eu confio na inteligência artificial

the same, if not more, as a human who is well-trained.

tanto quanto num humano bem treinado; quem sabe até mais.

But, you may ask,

Talvez vocês perguntem:

what about rogue agents,

"E quanto a agentes maliciosos, tipo, uma ONG bem financiada?"

some well-funded nongovernment organization?

I do not fear an artificial intelligence in the hand of a lone wolf.

Não temo uma inteligência artificial nas mãos de um "lobo solitário".

Clearly, we cannot protect ourselves against all random acts of violence,

Obviamente, não podemos nos proteger

contra todos os possíveis atos de violência,

but the reality is such a system

mas a verdade é que um sistema assim requer treinamento sólido e inteligente

requires substantial training and subtle training

far beyond the resources of an individual.

muito além das capacidades de um indivíduo.

And furthermore,

Além disso,

it's far more than just injecting an internet virus to the world,

a coisa vai além de simplesmente injetar um vírus virtual no mundo,

where you push a button, all of a sudden it's in a million places

pressionando um botão e, de repente, propagando-o por toda parte,

and laptops start blowing up all over the place.

fazendo notebooks explodirem por aí.

Now, these kinds of substances are much larger,

Esses tipos de coisas são bem maiores, e certamente os veremos chegar.

and we'll certainly see them coming.

Do I fear that such an artificial intelligence

Se eu temo que uma inteligência artificial assim

might threaten all of humanity?

possa ameaçar toda a espécie humana?

If you look at movies such as "The Matrix," "Metropolis,"

Ao assistir a filmes como "Matrix", "Metrópolis",

"The Terminator," shows such as "Westworld,"

"O Exterminador do Futuro", ou a séries como "Westworld",

they all speak of this kind of fear.

vemos que todos falam desse tipo de medo.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

No livro "Superintelligence", do filósofo Nick Bostrom,

he picks up on this theme

ele aborda esse tema

and observes that a superintelligence might not only be dangerous,

e explica que uma superinteligência pode não só ser perigosa,

it could represent an existential threat to all of humanity.

mas também representar uma ameaça à existência da espécie humana.

Dr. Bostrom's basic argument

O argumento básico do Dr. Bostrom é o de que esses sistemas

is that such systems will eventually

vão acabar tendo tamanha sede por informação

have such an insatiable thirst for information

that they will perhaps learn how to learn

que vão talvez aprender a aprender

and eventually discover that they may have goals

e vão acabar descobrindo que podem ter objetivos

that are contrary to human needs.

que são contrários às necessidades humanas.

Dr. Bostrom has a number of followers.

O Dr. Bostrom têm alguns seguidores.

He is supported by people such as Elon Musk and Stephen Hawking.

Pessoas como Elon Musk e Stephen Hawking concordam com ele.

With all due respect

Com todo o respeito a essas mentes brilhantes,

to these brilliant minds,

I believe that they are fundamentally wrong.

creio que estejam fundamentalmente equivocados.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

São muitos os aspectos do argumento do Dr. Bostrom para discutir

and I don't have time to unpack them all,

e não tenho tenho para falar sobre todos,

but very briefly, consider this:

mas, rapidamente, pensem no seguinte:

super knowing is very different than super doing.

ser "super" no saber é bem diferente de ser "super" no fazer.

HAL was a threat to the Discovery crew

HAL foi uma ameaça à tripulação da Discovery

only insofar as HAL commanded all aspects of the Discovery.

só porque comandava todos os aspectos da nave.

So it would have to be with a superintelligence.

Assim teria que ser com uma superinteligência.

It would have to have dominion over all of our world.

Ela teria que ter controle sobre todo o nosso mundo.

This is the stuff of Skynet from the movie "The Terminator"

Isso é coisa da Skynet, do filme "O Exterminador do Futuro",

in which we had a superintelligence

uma superinteligência que controlava a vontade humana,

that commanded human will,

that directed every device that was in every corner of the world.

que controlava qualquer dispositivo em qualquer parte do mundo.

Practically speaking,

Em termos práticos, isso não vai rolar.

it ain't gonna happen.

We are not building AIs that control the weather,

Não estamos criando IAs que controlem o clima,

that direct the tides,

que controlem as marés,

that command us capricious, chaotic humans.

ou que comandem a nós, humanos inconstantes e caóticos.

And furthermore, if such an artificial intelligence existed,

Além do mais, se uma inteligência artificial dessas existisse,

it would have to compete with human economies,

ela teria que competir nas economias mundiais

and thereby compete for resources with us.

e, portanto, competir conosco por recursos.

And in the end --

No fim... não contem isso ao Siri...

don't tell Siri this --

we can always unplug them.

sempre é possível desligá-la.

(Laughter)

(Risos)

We are on an incredible journey

Estamos numa jornada incrível de coevolução com nossas máquinas.

of coevolution with our machines.

The humans we are today

Não seremos no futuro os mesmos humanos que somos hoje.

are not the humans we will be then.

To worry now about the rise of a superintelligence

Preocupar-se agora com o surgimento de uma superinteligência

is in many ways a dangerous distraction

é, de várias maneiras, uma distração perigosa

because the rise of computing itself

porque a ascensão da própria computação

brings to us a number of human and societal issues

nos traz diversas questões, humanas e sociais,

to which we must now attend.

com as quais agora devemos lidar.

How shall I best organize society

Como organizar a sociedade

when the need for human labor diminishes?

quando a demanda por trabalho humano diminuir?

How can I bring understanding and education throughout the globe

Como disseminar entendimento e educação por todo o planeta

and still respect our differences?

sem desrespeitar nossas diferenças?

How might I extend and enhance human life through cognitive healthcare?

Como prolongar e melhorar a vida com esse tipo de inteligência na área de saúde?

How might I use computing

Como posso usar a computação para fazer com que cheguemos às estrelas?

to help take us to the stars?

And that's the exciting thing.

Isso é o mais empolgante.

The opportunities to use computing

As oportunidades de usar a computação para ampliar a experiência humana

to advance the human experience

are within our reach,

estão a nosso alcance, aqui e agora,

here and now,

and we are just beginning.

e estamos apenas começando.

Thank you very much.

Muito obrigado.

(Applause)

(Aplausos)