Don't fear superintelligent AI | Grady Booch

Tradutor: Yali Gao Revisora: Margarida Ferreira

When I was a kid, I was the quintessential nerd.

Quando eu era miúdo, era um grandessíssimo "nerd".

I think some of you were, too.

Acho que alguns de vocês também eram.

(Laughter)

(Risos)

And you, sir, who laughed the loudest, you probably still are.

E o senhor, que riu mais alto, provavelmente ainda é.

(Laughter)

(Risos)

I grew up in a small town in the dusty plains of north Texas,

Cresci numa cidade pequena

nas planícies empoeiradas do norte do Texas,

the son of a sheriff who was the son of a pastor.

filho de um xerife que era filho de um pastor.

Getting into trouble was not an option.

Meter-me em sarilhos estava fora de causa.

And so I started reading calculus books for fun.

Por isso, comecei a ler livros de cálculo por diversão.

(Laughter)

(Risos)

You did, too.

Vocês também fizeram isso.

That led me to building a laser and a computer and model rockets,

Isso levou-me a construir um laser, um computador e modelos de foguetões

and that led me to making rocket fuel in my bedroom.

e levou-me a fazer combustível para foguetões, no meu quarto.

Now, in scientific terms,

Em termos científicos,

we call this a very bad idea.

chamamos a isso uma ideia muito má.

(Laughter)

(Risos)

Around that same time,

Por volta dessa época,

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

"2001: A Odisseia no Espaço", de Stanley Kubrick, chegou ao cinema

and my life was forever changed.

e a minha vida mudou para sempre.

I loved everything about that movie,

Adorei tudo naquele filme,

especially the HAL 9000.

especialmente o HAL 9000,

Now, HAL was a sentient computer

O HAL era um computador sensível

designed to guide the Discovery spacecraft

concebido para guiar a astronave Discovery

from the Earth to Jupiter.

da Terra para Júpiter.

HAL was also a flawed character,

O HAL também era um personagem com defeitos,

for in the end he chose to value the mission over human life.

porque, no final, preferiu valorizar a missão em vez da vida humana.

Now, HAL was a fictional character,

O HAL era uma personagem fictícia,

but nonetheless he speaks to our fears,

mas, mesmo assim, fala dos nossos medos,

our fears of being subjugated

dos nossos medos de sermos subjugados

by some unfeeling, artificial intelligence

por alguma inteligência insensível, artificial

who is indifferent to our humanity.

que é indiferente à nossa humanidade.

I believe that such fears are unfounded.

Acredito que tais medos são infundados.

Indeed, we stand at a remarkable time

Na verdade, estamos numa época notável

in human history,

da história humana,

where, driven by refusal to accept the limits of our bodies and our minds,

em que, impelidos pela recusa de aceitar os limites do nosso corpo e da nossa mente,

we are building machines

estamos a construir máquinas

of exquisite, beautiful complexity and grace

de complexidade e graça requintada e bonita

that will extend the human experience

que alargará a experiência humana

in ways beyond our imagining.

de formas para além da nossa imaginação.

After a career that led me from the Air Force Academy

Depois duma carreira que me levou da Academia da Força Aérea

to Space Command to now,

até ao Comando Espacial, agora,

I became a systems engineer,

tornei-me engenheiro de sistemas,

and recently I was drawn into an engineering problem

e recentemente, envolvi-me num problema de engenharia

associated with NASA's mission to Mars.

associado à missão da NASA em Marte.

Now, in space flights to the Moon,

Em voos espaciais para a Lua,

we can rely upon mission control in Houston

podemos confiar no controlo da missão em Houston

to watch over all aspects of a flight.

para observar todos os aspetos dum voo.

However, Mars is 200 times further away,

No entanto, Marte está 200 vezes mais longe

and as a result it takes on average 13 minutes

e, em resultado, são precisos 13 minutos, em média,

for a signal to travel from the Earth to Mars.

para um sinal viajar da Terra até Marte.

If there's trouble, there's not enough time.

Se houver problemas, não há tempo suficiente.

And so a reasonable engineering solution

Assim, uma solução razoável de engenharia

calls for us to put mission control

pede-nos para pôr o controlo da missão

inside the walls of the Orion spacecraft.

dentro das paredes da astronave Orion.

Another fascinating idea in the mission profile

Uma outra ideia fascinante, no perfil da missão,

places humanoid robots on the surface of Mars

coloca robôs humanoides na superfície de Marte

before the humans themselves arrive,

antes de os seres humanos chegarem,

first to build facilities

primeiro para construir instalações

and later to serve as collaborative members of the science team.

e depois, para servir como membros colaborativos da equipa de ciência

Now, as I looked at this from an engineering perspective,

Como olhei para isto numa perspetiva de engenharia

it became very clear to me that what I needed to architect

percebi rapidamente que aquilo de que precisava para arquitetar

was a smart, collaborative,

era de uma inteligência artificial,

socially intelligent artificial intelligence.

esperta, colaborativa e socialmente inteligente.

In other words, I needed to build something very much like a HAL

Por outras palavras, tinha de construir algo muito parecido com um HAL

but without the homicidal tendencies.

mas sem tendências homicidas.

(Laughter)

(Risos)

Let's pause for a moment.

Vamos fazer uma pausa por um momento

Is it really possible to build an artificial intelligence like that?

Será realmente possível construir uma inteligência artificial assim?

Actually, it is.

Na verdade, é.

In many ways,

De muitas formas,

this is a hard engineering problem

isso é um árduo problema de engenharia

with elements of AI,

com elementos de inteligência artificial,

not some wet hair ball of an AI problem that needs to be engineered.

não um problema complicado de IA que precisa de ser projetado.

To paraphrase Alan Turing,

Parafraseando Alan Turing,

não estou interessado em construir uma máquina sensível.

I'm not interested in building a sentient machine.

I'm not building a HAL.

Não estou a construir um HAL.

All I'm after is a simple brain,

Só estou a procurar um cérebro simples,

something that offers the illusion of intelligence.

algo que ofereça a ilusão de inteligência.

The art and the science of computing have come a long way

A arte e a ciência da informática têm percorrido um longo caminho

since HAL was onscreen,

desde que o HAL esteve no ecrã

and I'd imagine if his inventor Dr. Chandra were here today,

e imagino que, se o seu inventor Dr. Chandra estivesse aqui hoje,

he'd have a whole lot of questions for us.

teria um monte de questões para nós.

Is it really possible for us

Será realmente possível

to take a system of millions upon millions of devices,

termos um sistema de milhões e milhões de dispositivos,

to read in their data streams,

para ler nos fluxos de dados,

to predict their failures and act in advance?

prever as suas falhas e agir com antecedência?

Yes.

É, sim.

Can we build systems that converse with humans in natural language?

Podemos construir sistemas que conversam com humanos em língua natural?

Yes.

Podemos, sim.

Can we build systems that recognize objects, identify emotions,

Podemos construir sistemas que reconheçam objetos, identifiquem emoções,

emote themselves, play games and even read lips?

se emocionem, joguem jogos e até leiam lábios?

Yes.

Podemos, sim.

Can we build a system that sets goals,

Podemos construir um sistema que estabeleça metas,

that carries out plans against those goals and learns along the way?

que execute planos para essas metas e aprenda ao longo do caminho?

Yes.

Podemos, sim.

Can we build systems that have a theory of mind?

Podemos construir sistemas que tenham uma teoria de pensamento?

This we are learning to do.

Estamos a aprender a fazer isso.

Can we build systems that have an ethical and moral foundation?

Podemos construir sistemas que têm um fundamento ético e moral?

This we must learn how to do.

Temos de aprender a fazer isso.

So let's accept for a moment

Vamos aceitar, por instantes,

that it's possible to build such an artificial intelligence

que é possível construir essa inteligência artificial

for this kind of mission and others.

para este tipo de missão e outros.

The next question you must ask yourself is,

A pergunta seguinte que devemos fazer é:

should we fear it?

Devemos ter medo dela?

Now, every new technology

Cada nova tecnologia

brings with it some measure of trepidation.

traz consigo uma certa trepidação.

When we first saw cars,

Quando viram carros pela primeira vez,

people lamented that we would see the destruction of the family.

as pessoas queixaram-se de que veríamos a destruição da família.

When we first saw telephones come in,

Quando viram os telefones, pela primeira vez,

people were worried it would destroy all civil conversation.

as pessoas recearam que fossem destruir toda a conversação civil.

At a point in time we saw the written word become pervasive,

A certa altura, vimos a palavra escrita tornar-se universal.

people thought we would lose our ability to memorize.

As pessoas pensaram perder a capacidade de memorizar.

These things are all true to a degree,

Tudo isto é verdade, até certo ponto,

but it's also the case that these technologies

mas acontece também que essas tecnologias

brought to us things that extended the human experience

trouxeram-nos coisas que ampliaram a experiência humana

in some profound ways.

de formas profundas.

So let's take this a little further.

Então, vamos levar isso um pouco mais longe.

I do not fear the creation of an AI like this,

Eu não temo a criação duma IA como esta,

because it will eventually embody some of our values.

porque ela acabará por incorporar alguns dos nossos valores.

Consider this: building a cognitive system is fundamentally different

Considerem isto: construir um sistema cognitivo é totalmente diferente

than building a traditional software-intensive system of the past.

de construir um sistema tradicional de software intensivo do passado.

We don't program them. We teach them.

Não os programamos. Ensinamo-los.

In order to teach a system how to recognize flowers,

Para ensinar um sistema a reconhecer flores,

I show it thousands of flowers of the kinds I like.

mostro-lhe milhares de flores dos tipos que gosto.

In order to teach a system how to play a game --

Para ensinar um sistema a jogar um jogo...

Well, I would. You would, too.

— bem, eu ensinaria, vocês também ensinariam.

I like flowers. Come on.

Adoro flores. Vamos lá.

To teach a system how to play a game like Go,

Para ensinar um sistema a jogar um jogo como o Go,

I'd have it play thousands of games of Go,

deixá-lo-ia jogar milhares de jogos do Go,

but in the process I also teach it

mas no processo também lhe ensino

how to discern a good game from a bad game.

como discernir um jogo bom de um jogo mau.

If I want to create an artificially intelligent legal assistant,

Se eu quiser criar um assistente legal artificialmente inteligente,

I will teach it some corpus of law

vou ensinar-lhe algumas noções de leis

but at the same time I am fusing with it

mas, ao mesmo tempo, estou a introduzir-lhe

the sense of mercy and justice that is part of that law.

o sentido de piedade e de justiça que faz parte dessas leis.

In scientific terms, this is what we call ground truth,

Em termos científicos, é aquilo a que chamamos verdade fundamental,

and here's the important point:

e este é o ponto importante:

in producing these machines,

ao produzir estas máquinas,

we are therefore teaching them a sense of our values.

estamos a ensinar-lhes um sentido dos nossos valores.

To that end, I trust an artificial intelligence

Para esse fim, confio tanto numa inteligência artificial,

the same, if not more, as a human who is well-trained.

— ou mesmo mais — do que num ser humano que é bem formado.

But, you may ask,

Mas podem perguntar:

what about rogue agents,

"E quanto a agentes desonestos,

some well-funded nongovernment organization?

"a alguma organização não governamental bem financiada?"

I do not fear an artificial intelligence in the hand of a lone wolf.

Eu não temo uma inteligência artificial na mão de um lobo solitário.

Clearly, we cannot protect ourselves against all random acts of violence,

Claramente, não conseguimos proteger-nos

contra todos os atos fortuitos de violência,

but the reality is such a system

mas a realidade é que um sistema destes

requires substantial training and subtle training

requer formação substancial e formação subtil

far beyond the resources of an individual.

muito para além dos recursos de um indivíduo.

And furthermore,

E além disso,

it's far more than just injecting an internet virus to the world,

é muito mais do que injetar um vírus de Internet no mundo

where you push a button, all of a sudden it's in a million places

em que apertamos um botão, e ele aparece num milhão de lugares

and laptops start blowing up all over the place.

e os portáteis começam a explodir por toda a parte.

Now, these kinds of substances are much larger,

Estes tipos de substância são muito maiores,

and we'll certainly see them coming.

e certamente vamos vê-los chegar.

Do I fear that such an artificial intelligence

Será que receio que essa inteligência artificial

might threaten all of humanity?

possa ameaçar toda a humanidade?

If you look at movies such as "The Matrix," "Metropolis,"

Se olharmos para filmes como "The Matrix", "Metropolis",

"The Terminator," shows such as "Westworld,"

"O Exterminador Implacável", séries como "Westworld",

they all speak of this kind of fear.

todos falam desse tipo de medo.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

De facto, no livro "Superintelligence" do filósofo Nick Bostrom,

he picks up on this theme

ele pega neste tema

and observes that a superintelligence might not only be dangerous,

e nota que uma superinteligência pode não só ser perigosa,

it could represent an existential threat to all of humanity.

pode representar uma ameaça existencial para toda a humanidade.

Dr. Bostrom's basic argument

O argumento básico do Dr. Bostrom

is that such systems will eventually

é que tais sistemas vão acabar por ter

have such an insatiable thirst for information

uma tal ânsia insaciável de informação

that they will perhaps learn how to learn

que talvez aprendam como aprender

and eventually discover that they may have goals

e acabem por descobrir que podem ter metas

that are contrary to human needs.

que são contrárias às necessidades humanas.

Dr. Bostrom has a number of followers.

O Dr. Bostrom tem muitos seguidores.

He is supported by people such as Elon Musk and Stephen Hawking.

É apoiado por pessoas como Elon Musk e Stephen Hawking.

With all due respect

Com o devido respeito

to these brilliant minds,

a essas mentes brilhantes,

I believe that they are fundamentally wrong.

acho que estão fundamentalmente errados.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Há muitas peças do argumento do Dr. Bostrom para desmontar,

and I don't have time to unpack them all,

mas não tenho tempo para desmontá-las a todas,

but very briefly, consider this:

mas muito rapidamente, considerem isto:

super knowing is very different than super doing.

o super conhecimento é muito diferente da super ação.

HAL was a threat to the Discovery crew

O HAL só foi uma ameaça para a tripulação do Discovery

only insofar as HAL commanded all aspects of the Discovery.

na medida em que o HAL comandava todos os aspetos do Discovery.

So it would have to be with a superintelligence.

Então teria de ser com superinteligência.

It would have to have dominion over all of our world.

Teria que ter o domínio sobre todo o nosso mundo.

This is the stuff of Skynet from the movie "The Terminator"

Isto é o material do Skynet de “O Exterminador Implacável”

in which we had a superintelligence

em que tínhamos uma superinteligência

that commanded human will,

que comandava a vontade humana,

that directed every device that was in every corner of the world.

que dirigia todos os dispositivos que estavam pelo mundo inteiro.

Practically speaking,

Em termos práticos,

it ain't gonna happen.

isso não vai acontecer.

We are not building AIs that control the weather,

Não estamos a construir IA que controlam o tempo,

that direct the tides,

que dirigem as marés,

that command us capricious, chaotic humans.

que comandam os seres humanos caprichosos e caóticos.

And furthermore, if such an artificial intelligence existed,

E além disso, se existisse tal inteligência artificial,

it would have to compete with human economies,

teria de competir com economias humanas,

and thereby compete for resources with us.

e, portanto, competir connosco pelos recursos.

And in the end --

E, no final,

don't tell Siri this --

— não digam isto ao Siri —

we can always unplug them.

podemos sempre desligá-los.

(Laughter)

(Risos)

We are on an incredible journey

Estamos numa viagem incrível

of coevolution with our machines.

de coevolução com as nossas máquinas.

The humans we are today

Os seres humanos que somos hoje

are not the humans we will be then.

não são os seres humanos que seremos depois.

To worry now about the rise of a superintelligence

Preocuparmo-nos agora com o aparecimento duma superinteligência

is in many ways a dangerous distraction

é, em muitos aspetos, uma diversão perigosa.

because the rise of computing itself

porque o aparecimento da própria informática

brings to us a number of human and societal issues

traz-nos uma série de questões humanas e sociais

to which we must now attend.

às quais devemos agora dar atenção.

How shall I best organize society

Como é que organizo melhor a sociedade

when the need for human labor diminishes?

quando a necessidade de trabalho humano diminui?

How can I bring understanding and education throughout the globe

Como posso trazer compreensão e educação a todo o mundo

and still respect our differences?

sem desrespeitar as nossas diferenças?

How might I extend and enhance human life through cognitive healthcare?

Como posso ampliar e melhorar a vida humana através da assistência médica cognitiva?

How might I use computing

Como posso usar a informática

to help take us to the stars?

para nos levar às estrelas?

And that's the exciting thing.

E esta é a coisa excitante.

The opportunities to use computing

As oportunidades de usar a informática

to advance the human experience

para fazer avançar a experiência humana

are within our reach,

estão ao nosso alcance, aqui e agora,

here and now,

and we are just beginning.

e estamos apenas a começar.

Thank you very much.

Muito obrigado.

(Applause)

(Aplausos)