How to get empowered, not overpowered, by AI | Max Tegmark

Tradutor: Leticia Garcia Revisora: Margarida Ferreira

After 13.8 billion years of cosmic history,

Após 13 800 milhões de anos de história cósmica

our universe has woken up

o nosso universo acordou

and become aware of itself.

e tomou consciência de si mesmo.

From a small blue planet,

De um pequeno planeta azul,

tiny, conscious parts of our universe have begun gazing out into the cosmos

minúsculas partículas conscientes do nosso universo

começaram a explorar o cosmos com telescópios,

with telescopes,

discovering something humbling.

descobrindo uma coisa humilhante.

We've discovered that our universe is vastly grander

Descobrimos que o nosso universo

é muito maior do que imaginavam os nossos antepassados

than our ancestors imagined

and that life seems to be an almost imperceptibly small perturbation

e que a vida parecia ser uma perturbação quase impercetível

on an otherwise dead universe.

num universo que parecia morto.

But we've also discovered something inspiring,

Mas descobrimos também uma coisa inspiradora,

which is that the technology we're developing has the potential

a tecnologia que estamos a desenvolver tem o potencial

to help life flourish like never before,

de ajudar a vida a florescer como nunca anteriormente,

not just for centuries but for billions of years,

não só durante séculos, mas durante milhares de milhões de anos,

and not just on earth but throughout much of this amazing cosmos.

e não só na Terra, mas por esse incrível universo lá fora.

I think of the earliest life as "Life 1.0"

Vejo o início da vida como " Vida 1.0",

because it was really dumb,

porque era muito burra

like bacteria, unable to learn anything during its lifetime.

como as bactérias, incapaz de aprender o que fosse, durante a sua vida.

I think of us humans as "Life 2.0" because we can learn,

Vejo os seres humanos como "Vida 2.0", porque nós podemos aprender,

which we in nerdy, geek speak,

o que, na nossa forma "nerd" de falar,

might think of as installing new software into our brains,

podemos pensar como a instalação de um novo "software" no cérebro,

like languages and job skills.

como os idiomas e as competências profissionais,

"Life 3.0," which can design not only its software but also its hardware

A "Vida 3.0", que pode conceber, não só o "software", mas também o "hardware"

of course doesn't exist yet.

claramente ainda não existe.

But perhaps our technology has already made us "Life 2.1,"

Mas talvez a nossa tecnologia já nos tenha criado a "Vida 2.1",

with our artificial knees, pacemakers and cochlear implants.

com joelhos artificiais, "pacemakers" e transplantes cocleares.

So let's take a closer look at our relationship with technology, OK?

Então, olhemos mais atentamente para a nossa relação com a tecnologia.

As an example,

Um exemplo:

the Apollo 11 moon mission was both successful and inspiring,

A missão à Lua Apollo 11 foi bem sucedida e inspiradora,

showing that when we humans use technology wisely,

mostrando que, quando usamos a tecnologia com sabedoria,

we can accomplish things that our ancestors could only dream of.

podemos realizar coisas com que os nossos antepassados só podiam sonhar.

But there's an even more inspiring journey

Mas há uma viagem ainda mais inspiradora,

propelled by something more powerful than rocket engines,

propulsionada por algo muito mais potente que os motores de um foguetão,

where the passengers aren't just three astronauts

na qual os passageiros não são apenas três astronautas,

but all of humanity.

mas toda a humanidade.

Let's talk about our collective journey into the future

Vamos falar sobre a nossa viagem coletiva para o futuro

with artificial intelligence.

com inteligência artificial.

My friend Jaan Tallinn likes to point out that just as with rocketry,

O meu amigo Jaan Tallin costuma salientar que construir apenas foguetões

it's not enough to make our technology powerful.

não é o suficiente para tornar a nossa tecnologia poderosa.

We also have to figure out, if we're going to be really ambitious,

Se queremos ser realmente ambiciosos,

também precisamos de descobrir como conduzi-los

how to steer it

and where we want to go with it.

e onde queremos ir com eles.

So let's talk about all three for artificial intelligence:

Portanto, vamos falar dos três tipos de inteligência artificial:

the power, the steering and the destination.

a potência, a condução e o destino.

Let's start with the power.

Vamos começar pela potência.

I define intelligence very inclusively --

Eu defino inteligência de forma bastante abrangente

simply as our ability to accomplish complex goals,

- simplesmente como a nossa capacidade de concretizar objetivos complexos -

because I want to include both biological and artificial intelligence.

porque eu quero incluir a inteligência biológica e a artificial.

And I want to avoid the silly carbon-chauvinism idea

E quero afastar essa estúpida ideia chauvinista

that you can only be smart if you're made of meat.

de que só podemos ser inteligentes, se formos feitos de carne e osso.

It's really amazing how the power of AI has grown recently.

É incrível como a potência da IA vem crescendo ultimamente.

Just think about it.

Pensem nisso.

Not long ago, robots couldn't walk.

Há pouco tempo ainda, os robôs não andavam.

Now, they can do backflips.

Agora, podem dar mortais para trás.

Not long ago,

Há pouco tempo ainda,

we didn't have self-driving cars.

não tínhamos carros autónomos.

Now, we have self-flying rockets.

Agora, temos foguetões autónomos.

Not long ago,

Há pouco tempo ainda,

AI couldn't do face recognition.

a IA não sabia fazer reconhecimento facial.

Now, AI can generate fake faces

Agora, pode produzir rostos falsos

and simulate your face saying stuff that you never said.

e simular o nosso rosto, a dizer coisas que nunca dissemos.

Not long ago,

Há pouco tempo ainda,

AI couldn't beat us at the game of Go.

a IA não conseguia vencer-nos numa partida de Go.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

Depois, a IA Alfa Zero do Google DeepMind absorveu 3000 anos de partidas humanas

and Go wisdom,

e os conhecimentos de Go,

ignored it all and became the world's best player by just playing against itself.

ignorou tudo isso e tornou-se o melhor jogador do mundo,

jogando apenas contra si mesmo.

And the most impressive feat here wasn't that it crushed human gamers,

O mais impressionante não é ela ter derrotado jogadores humanos,

but that it crushed human AI researchers

mas é ter derrotado os investigadores da IA

who had spent decades handcrafting game-playing software.

que tinham passado décadas a trabalhar em "software" de jogos.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

O Alfa Zero não só derrotou os investigadores de IA no Go

como também no xadrez em que temos vindo a trabalhar desde 1950.

which we have been working on since 1950.

So all this amazing recent progress in AI really begs the question:

Portanto, este incrível progresso recente da IA leva-nos a perguntar:

How far will it go?

Até aonde irá?

I like to think about this question

Gosto de pensar nesta pergunta

in terms of this abstract landscape of tasks,

como uma paisagem abstrata de tarefas,

where the elevation represents how hard it is for AI to do each task

em que o nível elevado representa a dificuldade que a IA tem

para realizar cada tarefa a nível humano.

at human level,

and the sea level represents what AI can do today.

e o nível do mar representa o que a IA pode fazer hoje.

O nível do mar vai subindo à medida que a IA evolui,

The sea level is rising as AI improves,

so there's a kind of global warming going on here in the task landscape.

Assim, há uma espécie de aquecimento global nesta paisagem de tarefas.

And the obvious takeaway is to avoid careers at the waterfront --

A conclusão óbvia é evitar seguir carreiras aquáticas

(Laughter)

(Risos)

which will soon be automated and disrupted.

que em breve serão automatizadas e extintas.

But there's a much bigger question as well.

Mas ainda há uma pergunta mais relevante.

How high will the water end up rising?

Até que altura pode chegar a água?

Will it eventually rise to flood everything,

Será que sobe o suficiente para acabar por inundar tudo,

matching human intelligence at all tasks.

igualando a inteligência humana em todas as tarefas?

This is the definition of artificial general intelligence --

Esta é a definição de inteligência artificial geral

AGI,

a IAG,

which has been the holy grail of AI research since its inception.

que tem sido o Santo Graal da investigação da IA desde o seu início.

Com esta definição, as pessoas que dizem:

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

"Sempre haverá tarefas que os humanos podem fazer melhor que as máquinas,"

are simply saying that we'll never get AGI.

estão a afirmar que nunca teremos IAG.

Sure, we might still choose to have some human jobs

Claro, nós ainda podemos optar por usar mão-de-obra humana

or to give humans income and purpose with our jobs,

ou dar aos seres humanos receitas ou um objetivo sem empregos,

but AGI will in any case transform life as we know it

mas a IAG irá, de qualquer forma, transformar a vida como a conhecemos

with humans no longer being the most intelligent.

em que os seres humanos já não serão os mais inteligentes.

Now, if the water level does reach AGI,

Mas, se, de facto, o nível da água alcançar a IAG,

then further AI progress will be driven mainly not by humans but by AI,

então, o progresso futuro da IA estará, principalmente, nas suas próprias mãos.

which means that there's a possibility

Sendo assim, existe uma possibilidade

that further AI progress could be way faster

de que o progresso da IA seja muito mais rápido

than the typical human research and development timescale of years,

do que a escala temporal em anos da investigação realizada pelos homens.

raising the controversial possibility of an intelligence explosion

criando a possibilidade controversa de uma explosão de inteligência

where recursively self-improving AI

em que, novamente, uma IA que evolui por si mesma,

rapidly leaves human intelligence far behind,

rapidamente deixará para trás a inteligência humana,

creating what's known as superintelligence.

criando o que é conhecido por superinteligência.

Alright, reality check:

Ok, verifiquemos a realidade:

Are we going to get AGI any time soon?

Teremos uma IAG em breve?

Some famous AI researchers, like Rodney Brooks,

Alguns investigadores famosos de IA, como Rodney Brooks,

pensam que isso não acontecerá nas próximas centenas de anos.

think it won't happen for hundreds of years.

But others, like Google DeepMind founder Demis Hassabis,

Mas outros, como Demis Hassabis, o fundador do Google DeepMind,

are more optimistic

são mais otimistas

and are working to try to make it happen much sooner.

e trabalham para fazer que isso aconteça muito mais cedo.

And recent surveys have shown that most AI researchers

Pesquisas recentes mostram que a maioria dos investigadores de IA,

actually share Demis's optimism,

partilham do otimismo de Demis,

expecting that we will get AGI within decades,

defendendo que teremos uma IAG dentro de décadas,

so within the lifetime of many of us,

ou seja, durante a vida de muitos de nós,

which begs the question -- and then what?

o que nos levar a perguntar: e depois?

What do we want the role of humans to be

Que papel queremos para o ser humano

if machines can do everything better and cheaper than us?

se as máquinas puderem fazer tudo melhor e mais barato que nós?

The way I see it, we face a choice.

Na minha opinião, temos que escolher.

One option is to be complacent.

Uma opção é ser complacente.

We can say, "Oh, let's just build machines that can do everything we can do

Dizemos: "Só vamos construir máquinas que façam tudo o que nós fazemos.

and not worry about the consequences.

"Não nos preocupemos com as consequências,

Come on, if we build technology that makes all humans obsolete,

"A sério, se criarmos uma tecnologia que torne obsoletos os seres humanos,

what could possibly go wrong?"

"o que é que pode correr mal?"

(Laughter)

(Risos)

But I think that would be embarrassingly lame.

Mas eu acho que isso seria terrivelmente patético.

I think we should be more ambitious -- in the spirit of TED.

Acho que nós devemos ser mais ambiciosos - no espírito da TED.

Let's envision a truly inspiring high-tech future

Imaginemos um futuro com alta tecnologia, verdadeiramente inspirador

and try to steer towards it.

e vamos tentar chegar até lá.

This brings us to the second part of our rocket metaphor: the steering.

Isso leva-nos à segunda parte da nossa teoria do foguetão: a condução.

We're making AI more powerful,

Nós estamos a tornar a IA mais poderosa,

but how can we steer towards a future

mas como podemos guiar para um futuro,

where AI helps humanity flourish rather than flounder?

em que a IA ajude a humanidade a prosperar e a não se debater?

To help with this,

Para ajudar nessa questão,

I cofounded the Future of Life Institute.

fui cofundador do Instituto Futuro da Vida.

It's a small nonprofit promoting beneficial technology use,

É uma organização sem fins lucrativos, que promove o uso benéfico da tecnologia.

and our goal is simply for the future of life to exist

Queremos que exista futuro para a vida

and to be as inspiring as possible.

e seja o mais inspiradora possível.

You know, I love technology.

Sabem, eu adoro a tecnologia.

Technology is why today is better than the Stone Age.

A tecnologia é a razão de o presente ser melhor que a Idade da Pedra.

And I'm optimistic that we can create a really inspiring high-tech future ...

E eu acredito que nós podemos criar um futuro de alta tecnologia

verdadeiramente inspirador

if -- and this is a big if --

se - e este é um grande se -

if we win the wisdom race --

se nós vencermos a corrida dos conhecimentos,

the race between the growing power of our technology

a corrida entre o crescente poder da nossa tecnologia

and the growing wisdom with which we manage it.

e a crescente sabedoria com que a vamos controlando.

But this is going to require a change of strategy

Mas isso vai exigir uma mudança de estratégia,

because our old strategy has been learning from mistakes.

pois a estratégia antiga era aprender com os erros

We invented fire,

Nós inventámos o fogo,

screwed up a bunch of times --

fizemos erros muitas vezes,

invented the fire extinguisher.

inventámos o extintor de incêndios.

(Laughter)

(Risos)

We invented the car, screwed up a bunch of times --

Inventámos o automóvel, fizemos erros muitas vezes,

invented the traffic light, the seat belt and the airbag,

inventámos os semáforos, o cinto de segurança e o "airbag".

but with more powerful technology like nuclear weapons and AGI,

Mas com uma tecnologia mais potente, como a das armas nucleares e a da IAG,

learning from mistakes is a lousy strategy,

aprender com os erros é uma estratégia péssima, não acham?

don't you think?

(Risos)

(Laughter)

É muito melhor ser proativo do que reativo,

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

planear o futuro e acertar à primeira,

because that might be the only time we'll get.

porque essa pode ser a nossa única oportunidade.

But it is funny because sometimes people tell me,

Mas é engraçado porque, às vezes, as pessoas dizem-me:

"Max, shhh, don't talk like that.

"Max, chiu, não fales assim.

That's Luddite scaremongering."

"Isso é um alarmismo ludita."

But it's not scaremongering.

Mas não é alarmismo.

It's what we at MIT call safety engineering.

Isto é aquilo a que o ITM chama engenharia de segurança.

Think about it:

Pensem nisto.

before NASA launched the Apollo 11 mission,

Antes de a NASA lançar a missão Apollo 11,

they systematically thought through everything that could go wrong

pensaram, sistematicamente, em tudo o que podia correr mal,

when you put people on top of explosive fuel tanks

quando colocaram pessoas em cima de tanques de combustível explosivo

and launch them somewhere where no one could help them.

e as lançaram para onde ninguém as podia ajudar.

And there was a lot that could go wrong.

E havia muitas coisas que podiam correr mal.

Was that scaremongering?

Isso foi alarmismo?

No.

Não.

That's was precisely the safety engineering

Foi precisamente a engenharia de segurança

that ensured the success of the mission,

que garantiu o sucesso da missão.

and that is precisely the strategy I think we should take with AGI.

É essa a estratégia que eu penso que devemos adotar com a IAG.

Think through what can go wrong to make sure it goes right.

Pensar no que pode correr mal, para garantir que corra bem.

So in this spirit, we've organized conferences,

Com esse pensamento, organizámos conferências,

bringing together leading AI researchers and other thinkers

reunindo os melhores investigadores de IA e outros estudiosos

to discuss how to grow this wisdom we need to keep AI beneficial.

para analisar como desenvolver o saber para manter os benefícios da IA.

Our last conference was in Asilomar, California last year

A nossa última conferência foi no ano passado, em Asilomar, na Califórnia

and produced this list of 23 principles

e dela saiu uma lista com 23 princípios,

which have since been signed by over 1,000 AI researchers

que já foi assinada por mais de mil investigadores de IA

and key industry leaders,

e por importantes líderes da indústria.

and I want to tell you about three of these principles.

Vou falar um pouco sobre três desses princípios.

One is that we should avoid an arms race and lethal autonomous weapons.

Um, é que devemos evitar uma corrida às armas e armas letais autónomas.

The idea here is that any science can be used for new ways of helping people

A ideia aqui é que nenhuma ciência pode ser usada como uma nova forma

de ajudar ou de prejudicar as pessoas,

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

Por exemplo, a Biologia e a Química, provavelmente, serão mais usadas

for new medicines or new cures than for new ways of killing people,

em novos medicamentos ou novas curas do que em novas formas de matar pessoas,

because biologists and chemists pushed hard --

já que biólogos e químicos lutaram - e com sucesso -

and successfully --

pela proibição de armas químicas e biológicas.

for bans on biological and chemical weapons.

And in the same spirit,

Dentro desse mesmo espírito, a maioria dos investigadores de IA

most AI researchers want to stigmatize and ban lethal autonomous weapons.

gostaria de estigmatizar e banir as armas letais autónomas.

Another Asilomar AI principle

Outro princípio criado em Asilomar determina que devemos reduzir

is that we should mitigate AI-fueled income inequality.

a desigualdade de receitas impulsionada pela IA.

I think that if we can grow the economic pie dramatically with AI

Acho que, se o bolo da economia aumentar drasticamente, com a IA,

and we still can't figure out how to divide this pie

mas não conseguirmos imaginar como dividir esse bolo,

so that everyone is better off,

para beneficiar toda a gente,

then shame on us.

será uma vergonha para nós.

(Applause)

(Aplausos)

Alright, now raise your hand if your computer has ever crashed.

Então, levante a mão quem já sofreu uma falha de sistema no computador.

(Laughter)

(Risos)

Wow, that's a lot of hands.

Meu Deus, quantas mãos!

Well, then you'll appreciate this principle

Então vocês vão gostar deste princípio

that we should invest much more in AI safety research,

de que devemos investir muito mais na investigação da segurança de IA,

because as we put AI in charge of even more decisions and infrastructure,

pois, quando colocamos a IA responsável por mais decisões e infraestruturas,

we need to figure out how to transform today's buggy and hackable computers

precisamos de imaginar como transformar esses computadores defeituosos e frágeis

into robust AI systems that we can really trust,

em sistemas de IA robustos, em que podemos confiar.

because otherwise,

Caso contrário, toda essa nova tecnologia incrível

all this awesome new technology can malfunction and harm us,

pode funcionar mal e prejudicar-nos ou ser pirateada e voltar-se contra nós.

or get hacked and be turned against us.

And this AI safety work has to include work on AI value alignment,

Esse trabalho de segurança de IA tem que incluir um alinhamento de valores,

because the real threat from AGI isn't malice,

pois a verdadeira ameaça da IAG não é a maldade,

like in silly Hollywood movies,

como nos filmes idiotas de Hollywood,

but competence --

mas a competência

AGI accomplishing goals that just aren't aligned with ours.

- os objetivos da IAG não estarem alinhados com os nossos.

For example, when we humans drove the West African black rhino extinct,

Por exemplo, quando nós causámos a extinção do Rinoceronte Negro africano

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

não o fizemos porque odiamos os rinocerontes,

We did it because we were smarter than them

mas porque somos mais inteligentes que eles

and our goals weren't aligned with theirs.

e os nossos objetivos não estavam alinhados com os deles.

But AGI is by definition smarter than us,

Mas, por definição, a IAG é mais inteligente que nós.

so to make sure that we don't put ourselves in the position of those rhinos

Assim, para garantir que não acabamos como os rinocerontes,

if we create AGI,

se criarmos a IAG,

we need to figure out how to make machines understand our goals,

precisamos de descobrir como fazer com que as máquinas entendam,

adopt our goals and retain our goals.

adotem e mantenham os nossos objetivos.

And whose goals should these be, anyway?

Aliás, de quem devem ser esses objetivos?

Which goals should they be?

Quais devem ser esses objetivos?

This brings us to the third part of our rocket metaphor: the destination.

Isto leva-nos à terceira parte da nossa metáfora do foguetão: o destino.

We're making AI more powerful,

Estamos a tornar a IA mais poderosa,

trying to figure out how to steer it,

tentando descobrir como a guiar.

but where do we want to go with it?

Mas onde queremos chegar com ela?

This is the elephant in the room that almost nobody talks about --

Este é o elefante na sala de que quase ninguém fala

not even here at TED --

- nem mesmo aqui na TED -

because we're so fixated on short-term AI challenges.

porque estamos muito focados nos desafios da IA a curto prazo.

Look, our species is trying to build AGI,

A nossa espécie está a tentar criar uma IAG,

motivated by curiosity and economics,

motivada pela curiosidade e pela economia,

but what sort of future society are we hoping for if we succeed?

mas que tipo de sociedade futura estamos a esperar, se o conseguirmos?

Fizemos uma sondagem de opinião sobre isso recentemente.

We did an opinion poll on this recently,

and I was struck to see

Fiquei surpreendido ao ver

that most people actually want us to build superintelligence:

que a maioria das pessoas quer a criação de uma superinteligência,

AI that's vastly smarter than us in all ways.

a IA que, seja como for, é muito mais inteligente do que nós.

What there was the greatest agreement on was that we should be ambitious

O maior consenso era que devemos ser ambiciosos

and help life spread into the cosmos,

e ajudar a vida a espalhar-se pelo cosmos.

but there was much less agreement about who or what should be in charge.

Mas houve muito menos consenso sobre quem ou o quê deve ser o responsável.

And I was actually quite amused

Na verdade, fiquei bastante divertido

to see that there's some some people who want it to be just machines.

ao ver que há pessoas que querem que sejam apenas as máquinas

(Laughter)

(Risos)

And there was total disagreement about what the role of humans should be,

E não houve consenso algum sobre o papel do ser humano,

even at the most basic level,

mesmo ao nível mais básico.

so let's take a closer look at possible futures

Então, vamos olhar com mais atenção para os possíveis futuros

that we might choose to steer toward, alright?

que podemos escolher.

So don't get me wrong here.

Não me interpretem mal.

I'm not talking about space travel,

Eu não estou a falar de uma viagem espacial,

merely about humanity's metaphorical journey into the future.

mas de uma viagem metafórica da humanidade para o futuro.

So one option that some of my AI colleagues like

Uma opção que alguns dos meus colegas de IA gostam

is to build superintelligence and keep it under human control,

é a de criar uma superinteligência e mantê-la sob o controlo humano,

like an enslaved god,

como um deus escravizado,

disconnected from the internet

desligado da Internet

and used to create unimaginable technology and wealth

e usado para criar uma riqueza e uma tecnologia inimagináveis

for whoever controls it.

para quem a controlar.

But Lord Acton warned us

Mas Lorde Acton avisou-nos que o poder corrompe

that power corrupts, and absolute power corrupts absolutely,

e o poder absoluto corrompe absolutamente.

so you might worry that maybe we humans just aren't smart enough,

Assim, podemos temer que talvez não sejamos inteligentes o suficiente,

or wise enough rather,

ou sábios o bastante,

to handle this much power.

para lidar com tanto poder.

Also, aside from any moral qualms you might have

Além disso, para além de qualquer receio moral que possamos ter

about enslaving superior minds,

de escravizar mentes superiores,

you might worry that maybe the superintelligence could outsmart us,

podemos temer que talvez a superinteligência nos possa ultrapassar,

break out and take over.

libertar-se e assumir o controlo.

But I also have colleagues who are fine with AI taking over

Mas eu também tenho colegas que aceitam que a IA assuma o controlo

and even causing human extinction,

e, até mesmo, cause a extinção humana,

as long as we feel the the AIs are our worthy descendants,

contanto que vejamos a IA como nossos descendentes diretos,

like our children.

tal como os nossos filhos.

But how would we know that the AIs have adopted our best values

Mas como é que sabemos se as IAs adotaram os nossos melhores valores

and aren't just unconscious zombies tricking us into anthropomorphizing them?

e não são apenas zombies inconscientes que nos enganam com a sua forma humana?

Also, shouldn't those people who don't want human extinction

Além do mais, aqueles que não querem a extinção humana

have a say in the matter, too?

não deviam também ter algo a dizer sobre essa questão?

Now, if you didn't like either of those two high-tech options,

Se nós não gostamos de nenhuma destas duas opções de alta tecnologia,

it's important to remember that low-tech is suicide

é importante lembrar que a baixa tecnologia é um suicídio,

from a cosmic perspective,

numa perspetiva cósmica,

because if we don't go far beyond today's technology,

porque, se não formos muito além da tecnologia de hoje,

the question isn't whether humanity is going to go extinct,

a questão não será apenas se a humanidade será extinta,

merely whether we're going to get taken out

mas se nós seremos dizimados

by the next killer asteroid, supervolcano

por um asteroide assassino, por um super vulcão

or some other problem that better technology could have solved.

ou por qualquer outra coisa que uma tecnologia melhor podia resolver.

So, how about having our cake and eating it ...

Então, que tal conciliarmos as duas coisas?

with AGI that's not enslaved

Com uma IGA, que não seja escrava, mas que nos trate bem,

but treats us well because its values are aligned with ours?

porque os valores estão alinhados com os nossos?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

É esta a essência do que Eliezer Yudkowsky chamou uma "IA amigável".

and if we can do this, it could be awesome.

Se o conseguirmos, será maravilhoso.

It could not only eliminate negative experiences like disease, poverty,

Poderíamos eliminar experiências negativas, como as doenças, a pobreza,

crime and other suffering,

o crime e outros sofrimentos

but it could also give us the freedom to choose

e também poderíamos ter a liberdade de escolha

a partir de novas experiências fantásticas e positivas

from a fantastic new diversity of positive experiences --

basically making us the masters of our own destiny.

tornando-nos, basicamente, nos mestres do nosso próprio destino.

So in summary,

Em resumo,

our situation with technology is complicated,

a nossa situação com a tecnologia é complicada,

but the big picture is rather simple.

mas o cenário geral é bastante simples.

Most AI researchers expect AGI within decades,

A maioria dos investigadores de IA esperam a IAG dentro de décadas.

and if we just bumble into this unprepared,

Se nós não estivermos preparados,

it will probably be the biggest mistake in human history --

será, provavelmente, o maior erro na história da humanidade,

let's face it.

convenhamos.

It could enable brutal, global dictatorship

Ela poderá permitir uma brutal ditadura global,

with unprecedented inequality, surveillance and suffering,

com desigualdade, vigilância e sofrimento sem precedentes,

and maybe even human extinction.

e talvez, até mesmo a extinção humana.

But if we steer carefully,

Mas, se conduzirmos com cuidado,

we could end up in a fantastic future where everybody's better off:

podemos chegar a um futuro fantástico onde toda a gente fica a ganhar:

the poor are richer, the rich are richer,

os pobres ficam mais ricos e os ricos ficam mais ricos,

everybody is healthy and free to live out their dreams.

toda a gente é mais saudável e livre para viver os seus sonhos.

Now, hang on.

Agora, esperem um pouco.

Do you folks want the future that's politically right or left?

Vocês querem um futuro político de esquerda ou de direita?

Do you want the pious society with strict moral rules,

Vocês querem uma sociedade obediente às normas morais rigorosas

or do you an hedonistic free-for-all,

ou querem uma liberdade hedonista,

more like Burning Man 24/7?

tipo Burning Man, permanentemente?

Do you want beautiful beaches, forests and lakes,

Vocês querem belas praias, florestas e lagos,

or would you prefer to rearrange some of those atoms with the computers,

ou preferem reorganizar alguns desses átomos com os computadores,

enabling virtual experiences?

permitindo experiências virtuais?

With friendly AI, we could simply build all of these societies

Com uma IA amigável nós podemos construir todas essas sociedades

and give people the freedom to choose which one they want to live in

e dar às pessoas a liberdade de escolher em qual delas querem viver,

because we would no longer be limited by our intelligence,

porque deixamos de estar limitados pela nossa inteligência,

merely by the laws of physics.

mas apenas pelas leis da Física.

So the resources and space for this would be astronomical --

Os recursos e o espaço para isso serão astronómicos,

literally.

literalmente.

So here's our choice.

Então eis as nossas opções.

We can either be complacent about our future,

Podemos ser complacentes sobre o nosso futuro,

taking as an article of blind faith

aceitando cegamente

that any new technology is guaranteed to be beneficial,

que nenhuma nova tecnologia garante ser benéfica,

and just repeat that to ourselves as a mantra over and over and over again

e repetir isso várias vezes, como um mantra, vezes sem conta,

as we drift like a rudderless ship towards our own obsolescence.

enquanto andamos à deriva como um navio sem leme,

em direção a nossa própria obsolescência.

Or we can be ambitious --

Ou podemos ser ambiciosos.

thinking hard about how to steer our technology

analisando como dominar a nossa tecnologia

and where we want to go with it

e onde queremos chegar com ela

to create the age of amazement.

para criar a era da admiração.

We're all here to celebrate the age of amazement,

Estamos todos aqui para festejar a era da admiração,

and I feel that its essence should lie in becoming not overpowered

e eu sinto que a sua essência não deve ser superada,

but empowered by our technology.

mas dominar o poder pela nossa tecnologia.

Thank you.

Obrigado.

(Applause)

(Aplausos)