How to get empowered, not overpowered, by AI | Max Tegmark

Tradutor: Carolina Aguirre Revisor: Maricene Crus

After 13.8 billion years of cosmic history,

Depois de 13,8 bilhões de anos de história cósmica,

our universe has woken up

nosso universo acordou

and become aware of itself.

e tornou-se consciente de si mesmo.

From a small blue planet,

De um pequeno planeta azul,

tiny, conscious parts of our universe have begun gazing out into the cosmos

partes minúsculas e conscientes do nosso universo começaram a olhar para o cosmos

with telescopes,

com telescópios,

discovering something humbling.

descobrindo algo humildemente.

We've discovered that our universe is vastly grander

Descobrimos que nosso universo é muito mais grandioso

do que nossos ancestrais pensavam

than our ancestors imagined

and that life seems to be an almost imperceptibly small perturbation

e que a vida parece ser uma perturbação quase imperceptivelmente pequena

on an otherwise dead universe.

em um universo morto.

But we've also discovered something inspiring,

Mas também descobrimos algo inspirador:

which is that the technology we're developing has the potential

a tecnologia que estamos desenvolvendo tem o potencial

to help life flourish like never before,

de ajudar a vida a florescer como nunca,

not just for centuries but for billions of years,

não apenas por séculos, mas por bilhões de anos,

and not just on earth but throughout much of this amazing cosmos.

e não apenas na Terra, mas em grande parte desse incrível cosmos.

I think of the earliest life as "Life 1.0"

Eu penso na vida inicial como "Vida 1.0"

because it was really dumb,

porque era muito burra,

like bacteria, unable to learn anything during its lifetime.

como bactérias, incapazes de aprender qualquer coisa durante a vida.

I think of us humans as "Life 2.0" because we can learn,

Eu penso em nós seres humanos como "Vida 2.0" porque podemos aprender,

which we in nerdy, geek speak,

que nós, em linguagem "geek",

might think of as installing new software into our brains,

podemos pensar em como instalar novos softwares em nossos cérebros,

like languages and job skills.

como idiomas e habilidades profissionais.

"Life 3.0," which can design not only its software but also its hardware

A "Vida 3.0", que pode projetar não apenas seu software, mas também seu hardware,

of course doesn't exist yet.

claro que não existe ainda.

But perhaps our technology has already made us "Life 2.1,"

Mas talvez nossa tecnologia já nos tenha feito "Vida 2.1",

with our artificial knees, pacemakers and cochlear implants.

com nossos joelhos artificiais, marca-passos e implantes cocleares.

So let's take a closer look at our relationship with technology, OK?

Vamos dar uma olhada mais de perto no nosso relacionamento com a tecnologia.

As an example,

Como um exemplo,

the Apollo 11 moon mission was both successful and inspiring,

a missão "Apollo 11" à Lua foi bem-sucedida e inspiradora,

showing that when we humans use technology wisely,

mostrando que quando os humanos usam a tecnologia com sabedoria,

we can accomplish things that our ancestors could only dream of.

podemos realizar coisas que nossos ancestrais só podiam sonhar.

But there's an even more inspiring journey

Mas há uma jornada ainda mais inspiradora,

propelled by something more powerful than rocket engines,

impulsionada por algo mais poderoso que motores de foguete,

where the passengers aren't just three astronauts

em que os passageiros não são só três astronautas,

but all of humanity.

mas toda a humanidade.

Let's talk about our collective journey into the future

Vamos falar sobre nossa jornada coletiva para o futuro

with artificial intelligence.

com a inteligência artificial.

My friend Jaan Tallinn likes to point out that just as with rocketry,

Meu amigo Jaan Tallinn gosta de dizer que, assim como construção de foguetes,

it's not enough to make our technology powerful.

isso não é suficiente tornar nossa tecnologia poderosa.

We also have to figure out, if we're going to be really ambitious,

Se formos ser realmente ambiciosos, nós também temos que descobrir

how to steer it

como conduzi-la e aonde queremos ir com isso.

and where we want to go with it.

So let's talk about all three for artificial intelligence:

Para a inteligência artificial, vamos falar sobre os três:

the power, the steering and the destination.

o poder, a condução e o destino.

Let's start with the power.

Vamos começar com o poder.

I define intelligence very inclusively --

Defino inteligência muito inclusivamente,

simply as our ability to accomplish complex goals,

simplesmente como nossa capacidade de realizar objetivos complexos,

because I want to include both biological and artificial intelligence.

porque quero incluir inteligência biológica e artificial.

And I want to avoid the silly carbon-chauvinism idea

E quero evitar a ideia boba do chauvinismo do carbono

that you can only be smart if you're made of meat.

de que só se é inteligente se você for feito de carne.

It's really amazing how the power of AI has grown recently.

É realmente incrível como o poder da IA cresceu recentemente.

Just think about it.

Apenas pensem nisso.

Not long ago, robots couldn't walk.

Não muito tempo atrás, os robôs não podiam andar.

Now, they can do backflips.

Agora, dão cambalhota para trás.

Not long ago,

Não muito tempo atrás, nós não tínhamos carros autônomos.

we didn't have self-driving cars.

Now, we have self-flying rockets.

Agora, foguetes se autopilotam.

Not long ago,

Não muito tempo atrás,

AI couldn't do face recognition.

a IA não fazia reconhecimento facial.

Now, AI can generate fake faces

Agora, a IA produz rostos artificiais

and simulate your face saying stuff that you never said.

e simula seu rosto dizendo coisas que você nunca disse.

Not long ago,

Não muito tempo atrás,

AI couldn't beat us at the game of Go.

a IA não nos vencia no jogo "Go".

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

A Alpha Zero, IA da "DeepMind" da Google, pegou 3 mil anos de jogos humanos Go

and Go wisdom,

e de sabedoria Go,

ignored it all and became the world's best player by just playing against itself.

ignorou tudo e se tornou a melhor jogadora do mundo apenas jogando contra si mesma.

And the most impressive feat here wasn't that it crushed human gamers,

E o feito mais impressionante aqui não foi arrasar com os jogadores humanos,

but that it crushed human AI researchers

mas arrasar com os pesquisadores humanos de IA

who had spent decades handcrafting game-playing software.

que passaram décadas criando o software de jogos.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

E a AlphaZero arrasou com os pesquisadores de IA não apenas no Go, mas até no xadrez,

which we have been working on since 1950.

no qual temos trabalhado desde 1950.

So all this amazing recent progress in AI really begs the question:

Então, todo esse incrível progresso recente na IA realmente levanta a questão:

How far will it go?

quão longe isso vai?

I like to think about this question

Gosto de pensar nesta questão

in terms of this abstract landscape of tasks,

em termos dessa paisagem abstrata de tarefas,

where the elevation represents how hard it is for AI to do each task

em que a elevação representa o quão difícil é para a IA fazer cada tarefa

at human level,

a nível humano,

and the sea level represents what AI can do today.

e o nível do mar representa o que a IA pode fazer hoje.

The sea level is rising as AI improves,

O nível do mar sobe conforme a IA melhora,

so there's a kind of global warming going on here in the task landscape.

há um tipo de aquecimento global acontecendo na paisagem de tarefas.

And the obvious takeaway is to avoid careers at the waterfront --

E o óbvio é evitar carreiras na orla marítima,

(Laughter)

(Risos)

which will soon be automated and disrupted.

que em breve serão automatizadas e interrompidas.

But there's a much bigger question as well.

Mas há uma questão muito maior também.

How high will the water end up rising?

Quanto a água vai subir?

Will it eventually rise to flood everything,

Acabará subindo para inundar tudo,

matching human intelligence at all tasks.

se igualando à inteligência humana em todas as tarefas?

This is the definition of artificial general intelligence --

Esta é a definição de inteligência artificial geral,

AGI,

IAG,

which has been the holy grail of AI research since its inception.

que tem sido o Santo Graal da pesquisa em IA desde o início.

Por essa definição, as pessoas que dizem:

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

"Sempre haverá empregos que humanos podem fazer melhor que máquinas",

are simply saying that we'll never get AGI.

estão simplesmente dizendo que nunca obteremos IAG.

Sure, we might still choose to have some human jobs

Claro, podemos ainda optar por ter alguns empregos humanos

or to give humans income and purpose with our jobs,

ou dar aos humanos renda e propósito com o trabalho,

but AGI will in any case transform life as we know it

mas a IAG irá, de qualquer forma, transformar a vida como a conhecemos,

with humans no longer being the most intelligent.

com os humanos não sendo os mais inteligentes.

Now, if the water level does reach AGI,

Agora, se o nível da água atingir a IAG,

then further AI progress will be driven mainly not by humans but by AI,

mais progresso da IA será impulsionado principalmente pela IA, e não por humanos,

which means that there's a possibility

o que significa que há uma possibilidade

that further AI progress could be way faster

do progresso da IA ser mais rápido

than the typical human research and development timescale of years,

do que a escala em anos, típica da pesquisa e desenvolvimento humano,

raising the controversial possibility of an intelligence explosion

levantando a possibilidade controversa de uma explosão de inteligência

where recursively self-improving AI

em que a IA repetidamente autoaperfeiçoada

rapidly leaves human intelligence far behind,

deixa a inteligência humana rapidamente para trás,

creating what's known as superintelligence.

criando o que é conhecido como superinteligência.

Alright, reality check:

Tudo bem, a realidade:

Are we going to get AGI any time soon?

nós vamos obter IAG em breve?

Some famous AI researchers, like Rodney Brooks,

Alguns famosos pesquisadores de IA, como Rodney Brooks,

think it won't happen for hundreds of years.

acham que não acontecerá por centenas de anos.

But others, like Google DeepMind founder Demis Hassabis,

Mas outros, como o fundador do Google DeepMind, Demis Hassabis,

are more optimistic

são mais otimistas

and are working to try to make it happen much sooner.

e estão tentando fazer isso acontecer muito antes.

And recent surveys have shown that most AI researchers

E pesquisas recentes mostraram que a maioria dos pesquisadores de IA

actually share Demis's optimism,

de fato compartilham o otimismo de Demis,

expecting that we will get AGI within decades,

esperando que tenhamos a IAG dentro de décadas,

so within the lifetime of many of us,

assim, durante a vida de muitos de nós,

which begs the question -- and then what?

o que levanta a questão: e depois?

What do we want the role of humans to be

Qual queremos que seja o papel dos humanos

if machines can do everything better and cheaper than us?

se as máquinas puderem fazer tudo melhor e mais barato?

The way I see it, we face a choice.

A meu ver, nos deparamos com uma escolha.

One option is to be complacent.

Uma opção é ser complacente.

We can say, "Oh, let's just build machines that can do everything we can do

Podemos dizer: "Vamos construir máquinas que possam fazer tudo que podemos fazer

and not worry about the consequences.

e não nos preocuparmos com consequências.

Come on, if we build technology that makes all humans obsolete,

Se criarmos uma tecnologia que torne os seres humanos obsoletos,

what could possibly go wrong?"

o que poderia dar errado?"

(Laughter)

(Risos)

But I think that would be embarrassingly lame.

Mas eu acho que seria embaraçosamente estúpido.

I think we should be more ambitious -- in the spirit of TED.

Acho que devemos ser mais ambiciosos, no espírito do TED.

Let's envision a truly inspiring high-tech future

Vamos imaginar um futuro de alta tecnologia verdadeiramente inspirador

and try to steer towards it.

e tentar seguir em frente.

This brings us to the second part of our rocket metaphor: the steering.

O que nos leva à segunda parte da nossa metáfora de foguetes: a direção.

We're making AI more powerful,

Estamos tornando a IA mais poderosa,

but how can we steer towards a future

mas como podemos nos guiar para um futuro

where AI helps humanity flourish rather than flounder?

em que a IA ajuda a humanidade a florescer em vez de tropeçar?

To help with this,

Para ajudar com isso, eu cofundei o Future of Life Institute,

I cofounded the Future of Life Institute.

uma organização não lucrativa que apoia o bom uso da tecnologia,

It's a small nonprofit promoting beneficial technology use,

and our goal is simply for the future of life to exist

e nossa meta é simplesmente que o futuro da vida exista

and to be as inspiring as possible.

e que seja o mais inspirador possível.

You know, I love technology.

Vocês sabem, eu amo tecnologia.

Technology is why today is better than the Stone Age.

A tecnologia é a razão de hoje ser melhor que a Idade da Pedra.

And I'm optimistic that we can create a really inspiring high-tech future ...

E estou otimista de que podemos criar um futuro inspirador de alta tecnologia.

if -- and this is a big if --

Se, e é um grande "se",

if we win the wisdom race --

vencermos a corrida da sabedoria,

the race between the growing power of our technology

a corrida entre o poder crescente da nossa tecnologia

and the growing wisdom with which we manage it.

e a crescente sabedoria com que a administramos.

But this is going to require a change of strategy

Mas isso exige uma mudança de estratégia

because our old strategy has been learning from mistakes.

porque nossa antiga estratégia era aprender com os erros.

We invented fire,

Nós inventamos o fogo, erramos um monte de vezes;

screwed up a bunch of times --

invented the fire extinguisher.

inventamos o extintor de incêndio.

(Laughter)

(Risos)

We invented the car, screwed up a bunch of times --

Nós inventamos o carro, erramos um monte de vezes;

inventamos o semáforo, o cinto de segurança e o Airbag,

invented the traffic light, the seat belt and the airbag,

but with more powerful technology like nuclear weapons and AGI,

mas com tecnologia mais poderosa, como armas nucleares e IAG,

learning from mistakes is a lousy strategy,

aprender com os erros é uma péssima estratégia, não acham?

don't you think?

(Risos)

(Laughter)

É muito melhor ser proativo ao invés de reativo;

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

planejar com antecedência e acertar na primeira vez

because that might be the only time we'll get.

porque essa pode ser a única vez que vamos conseguir.

But it is funny because sometimes people tell me,

É engraçado porque as pessoas me dizem:

"Max, não fale assim.

"Max, shhh, don't talk like that.

That's Luddite scaremongering."

Isso é alarmismo ludita".

But it's not scaremongering.

Mas não é alarmismo.

It's what we at MIT call safety engineering.

É o que nós do MIT chamamos de engenharia de segurança.

Think about it:

Pensem nisso:

before NASA launched the Apollo 11 mission,

antes de a NASA lançar a missão Apollo 11,

they systematically thought through everything that could go wrong

eles sistematicamente pensaram em tudo que poderia dar errado

when you put people on top of explosive fuel tanks

ao por pessoas em tanques de combustível explosivos

and launch them somewhere where no one could help them.

e as lançar aonde ninguém poderia ajudá-las.

And there was a lot that could go wrong.

E havia muita coisa que podia dar errado.

Was that scaremongering?

Foi alarmista?

No.

Não.

That's was precisely the safety engineering

Foi precisamente a engenharia de segurança que garantiu o sucesso da missão,

that ensured the success of the mission,

and that is precisely the strategy I think we should take with AGI.

e essa é precisamente a estratégia que acho que devemos adotar com a IAG.

Think through what can go wrong to make sure it goes right.

Pensar no que pode dar errado para garantir que tudo corra bem.

So in this spirit, we've organized conferences,

Nesse espírito, organizamos conferências,

bringing together leading AI researchers and other thinkers

reunindo os principais pesquisadores de IA e outros pensadores

to discuss how to grow this wisdom we need to keep AI beneficial.

para discutir como aumentar esta sabedoria para manter a IA benéfica.

Our last conference was in Asilomar, California last year

Nossa última conferência foi em Asilomar, Califórnia, no ano passado,

and produced this list of 23 principles

resultando numa lista de 23 princípios

which have since been signed by over 1,000 AI researchers

que já foram assinados por mais de mil pesquisadores de IA

and key industry leaders,

e líderes da indústria,

and I want to tell you about three of these principles.

e eu falarei sobre três desses princípios.

One is that we should avoid an arms race and lethal autonomous weapons.

Um é que devemos evitar uma corrida armamentista e armas autônomas letais.

The idea here is that any science can be used for new ways of helping people

A ideia é que qualquer ciência pode ser usada para ajudar as pessoas

or new ways of harming people.

ou para prejudicá-las.

For example, biology and chemistry are much more likely to be used

Por exemplo, a biologia e a química são muito mais prováveis de serem usadas

for new medicines or new cures than for new ways of killing people,

para novos medicamentos ou novas curas do que para novas formas de matar pessoas,

because biologists and chemists pushed hard --

porque biólogos e químicos pressionaram,

and successfully --

com sucesso,

for bans on biological and chemical weapons.

proibições de armas biológicas e químicas.

And in the same spirit,

E no mesmo espírito,

most AI researchers want to stigmatize and ban lethal autonomous weapons.

muitos pesquisadores de IA querem banir e estigmatizar as armas autônomas letais.

Another Asilomar AI principle

Outro princípio da IA de Asilomar

is that we should mitigate AI-fueled income inequality.

é que devemos mitigar a desigualdade de renda alimentada pela IA.

I think that if we can grow the economic pie dramatically with AI

Acho que se podemos crescer dramaticamente a "torta econômica" com a IA

and we still can't figure out how to divide this pie

e ainda não descobrimos como dividir a torta

pra todos terem uma melhor situação, então, isso é vergonhoso.

so that everyone is better off,

then shame on us.

(Applause)

(Aplausos)

Alright, now raise your hand if your computer has ever crashed.

Agora levantem a mão se o seu computador já quebrou.

(Laughter)

(Risos)

Wow, that's a lot of hands.

Uau, são muitas mãos.

Well, then you'll appreciate this principle

Então, vocês vão apreciar este princípio

that we should invest much more in AI safety research,

de que devemos investir muito mais em pesquisa de segurança em IA,

because as we put AI in charge of even more decisions and infrastructure,

porque, como colocamos a IA no comando de mais decisões e infraestrutura,

we need to figure out how to transform today's buggy and hackable computers

temos que descobrir como transformar os computadores defeituosos e hackeáveis

into robust AI systems that we can really trust,

em sistemas de IA robustos em que possamos confiar,

because otherwise,

porque senão, toda essa nova tecnologia incrível pode falhar e nos prejudicar,

all this awesome new technology can malfunction and harm us,

or get hacked and be turned against us.

ou ser hackeada e se virar contra nós.

And this AI safety work has to include work on AI value alignment,

E o trabalho de segurança tem que incluir o alinhamento de valores da IA,

because the real threat from AGI isn't malice,

porque a ameaça real da IAG não é malícia,

like in silly Hollywood movies,

como em filmes bobos de Hollywood,

but competence --

mas competência;

AGI accomplishing goals that just aren't aligned with ours.

a IAG cumprindo metas que simplesmente não estão alinhadas com as nossas.

For example, when we humans drove the West African black rhino extinct,

Por exemplo, quando extinguimos o rinoceronte-negro da África Ocidental,

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

não fizemos porque éramos um bando de inimigos do rinoceronte, não é?

We did it because we were smarter than them

Fizemos porque éramos mais espertos

and our goals weren't aligned with theirs.

e nossos objetivos não estavam alinhados com os deles.

But AGI is by definition smarter than us,

Mas a IAG é por definição mais inteligente que nós,

so to make sure that we don't put ourselves in the position of those rhinos

então para garantir que não nos coloquemos na mesma posição dos rinocerontes

if we create AGI,

se criarmos a IAG,

we need to figure out how to make machines understand our goals,

precisamos descobrir como fazer as máquinas entenderem,

adopt our goals and retain our goals.

adotarem e manterem nossos objetivos.

And whose goals should these be, anyway?

E quais objetivos deveriam ser, afinal?

Which goals should they be?

Quais devem ser as metas?

This brings us to the third part of our rocket metaphor: the destination.

O que nos leva à terceira parte da nossa metáfora do foguete: o destino.

We're making AI more powerful,

Estamos tornando a IA mais poderosa,

trying to figure out how to steer it,

tentando descobrir como orientá-la, mas aonde queremos ir com isso?

but where do we want to go with it?

This is the elephant in the room that almost nobody talks about --

Este é o elefante na sala do qual quase ninguém fala;

not even here at TED --

nem aqui no TED,

because we're so fixated on short-term AI challenges.

porque estamos muito fixados em desafios de IA de curto prazo.

Look, our species is trying to build AGI,

Nossa espécie está tentando criar a IAG,

motivated by curiosity and economics,

motivada pela curiosidade e economia,

but what sort of future society are we hoping for if we succeed?

mas que tipo de sociedade futura esperamos ter se conseguirmos?

We did an opinion poll on this recently,

Fizemos uma pesquisa recentemente e fiquei impressionado ao ver

and I was struck to see

that most people actually want us to build superintelligence:

que a maioria das pessoas quer que criemos a superinteligência,

AI that's vastly smarter than us in all ways.

uma IA que é muito mais inteligente do que nós em todos os sentidos.

What there was the greatest agreement on was that we should be ambitious

O maior consenso foi de que devemos ser ambiciosos

and help life spread into the cosmos,

e ajudar a vida a se espalhar no cosmos,

but there was much less agreement about who or what should be in charge.

mas houve muito menos consenso sobre quem ou o que deveria estar no comando.

And I was actually quite amused

E eu realmente me diverti

to see that there's some some people who want it to be just machines.

ao ver que há algumas pessoas que querem que sejam apenas as máquinas.

(Laughter)

(Risos)

And there was total disagreement about what the role of humans should be,

E houve discordância total sobre qual deveria ser o papel dos humanos,

even at the most basic level,

mesmo no nível mais básico,

so let's take a closer look at possible futures

então vamos dar uma olhada em possíveis futuros

that we might choose to steer toward, alright?

para que possamos escolher para qual nos direcionar.

So don't get me wrong here.

Não me entendam mal, não estou falando de viagens espaciais,

I'm not talking about space travel,

merely about humanity's metaphorical journey into the future.

apenas da jornada metafórica da humanidade para o futuro.

So one option that some of my AI colleagues like

Uma opção que alguns dos meus colegas de IA gostam

is to build superintelligence and keep it under human control,

é criar a superinteligência e mantê-la sob controle humano,

like an enslaved god,

como um deus escravo, desconectado da internet,

disconnected from the internet

and used to create unimaginable technology and wealth

e usado para criar tecnologia e riqueza inimagináveis

for whoever controls it.

para quem o controlar.

But Lord Acton warned us

Mas o Lord Acton nos advertiu

that power corrupts, and absolute power corrupts absolutely,

que esse poder corrompe, e o poder absoluto corrompe totalmente,

so you might worry that maybe we humans just aren't smart enough,

então podemos nos preocupar que talvez não sejamos inteligentes,

or wise enough rather,

ou melhor, sábios o suficiente, para lidar com tal poder.

to handle this much power.

Also, aside from any moral qualms you might have

Também, além de qualquer escrúpulo moral que tenhamos

about enslaving superior minds,

em escravizar mentes superiores,

you might worry that maybe the superintelligence could outsmart us,

podemos nos preocupar que talvez a superinteligência possa nos enganar,

break out and take over.

se libertar e assumir o controle.

But I also have colleagues who are fine with AI taking over

Mas eu também tenho colegas que estão bem com a IA assumindo

and even causing human extinction,

e até mesmo causando a extinção humana,

as long as we feel the the AIs are our worthy descendants,

desde que sintamos que as IAs são nossas dignas descendentes,

like our children.

como nossos filhos.

But how would we know that the AIs have adopted our best values

Mas como saberíamos que as IAs adotaram nossos melhores valores

and aren't just unconscious zombies tricking us into anthropomorphizing them?

e não são apenas zumbis inconscientes que nos enganam para antropomorfizá-las?

Also, shouldn't those people who don't want human extinction

E as pessoas que não querem a extinção humana não deveriam

have a say in the matter, too?

dar uma opinião, também?

Now, if you didn't like either of those two high-tech options,

Se não gostaram de nenhuma dessas duas opções de alta tecnologia,

it's important to remember that low-tech is suicide

é importante lembrar que a baixa tecnologia é suicídio

from a cosmic perspective,

de uma perspectiva cósmica, porque, se não superarmos a tecnologia atual,

because if we don't go far beyond today's technology,

the question isn't whether humanity is going to go extinct,

a questão não é se a humanidade vai ser extinta,

merely whether we're going to get taken out

apenas se vamos ser levados

by the next killer asteroid, supervolcano

pelo próximo asteroide assassino, supervulcão

or some other problem that better technology could have solved.

ou outro problema que uma tecnologia melhor poderia ter resolvido.

So, how about having our cake and eating it ...

Então, que tal ter o nosso bolo e comê-lo

with AGI that's not enslaved

com a IAG que não é escravizada,

but treats us well because its values are aligned with ours?

mas nos trata bem porque seus valores estão alinhados com os nossos?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

Esta é a essência do que Eliezer Yudkowsky chamou de "IA amigável",

and if we can do this, it could be awesome.

e se pudermos fazer isso, pode ser incrível.

It could not only eliminate negative experiences like disease, poverty,

Não só poderia eliminar experiências negativas como doenças, pobreza,

crime and other suffering,

crime e outros sofrimentos,

but it could also give us the freedom to choose

mas também poderia nos dar a liberdade de escolher

from a fantastic new diversity of positive experiences --

numa fantástica nova diversidade de experiências positivas;

basically making us the masters of our own destiny.

basicamente nos tornando os mestres do nosso próprio destino.

So in summary,

Então, em resumo,

our situation with technology is complicated,

a situação com a tecnologia é complicada,

but the big picture is rather simple.

mas o panorama geral é bastante simples.

Most AI researchers expect AGI within decades,

A maioria dos pesquisadores de IA espera a IAG dentro de décadas,

and if we just bumble into this unprepared,

e se nós estivermos despreparados,

it will probably be the biggest mistake in human history --

provavelmente será o maior erro da história humana; vamos encarar.

let's face it.

It could enable brutal, global dictatorship

Poderia permitir uma ditadura global e brutal

with unprecedented inequality, surveillance and suffering,

com desigualdade sem precedentes, vigilância e sofrimento,

and maybe even human extinction.

e talvez até a extinção humana.

But if we steer carefully,

Mas se nos orientarmos com cuidado,

we could end up in a fantastic future where everybody's better off:

podemos acabar num futuro fantástico em que todos estão em melhor situação;

the poor are richer, the rich are richer,

os pobres são mais ricos, os ricos são mais ricos,

everybody is healthy and free to live out their dreams.

todo mundo é saudável e livre para viver os próprios sonhos.

Now, hang on.

Agora, esperem.

Do you folks want the future that's politically right or left?

Vocês querem o futuro politicamente de direita ou de esquerda?

Do you want the pious society with strict moral rules,

Vocês querem a sociedade devota com regras morais rígidas,

or do you an hedonistic free-for-all,

ou um "vale tudo" hedonístico, como um "Burning Man" o tempo todo?

more like Burning Man 24/7?

Do you want beautiful beaches, forests and lakes,

Querem belas praias, florestas e lagos,

or would you prefer to rearrange some of those atoms with the computers,

ou prefeririam reorganizar uns átomos com computadores,

permitindo experiências virtuais?

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

Com a IA amigável, poderíamos simplesmente construir todas essas sociedades

and give people the freedom to choose which one they want to live in

e dar às pessoas a liberdade de escolher onde querem morar

porque não seríamos mais limitados pela nossa inteligência,

because we would no longer be limited by our intelligence,

merely by the laws of physics.

apenas pelas leis da física.

So the resources and space for this would be astronomical --

Os recursos e espaço seriam astronômicos, literalmente.

literally.

So here's our choice.

Aqui está a nossa escolha.

We can either be complacent about our future,

Podemos ser complacentes com o nosso futuro,

taking as an article of blind faith

acreditando cegamente

that any new technology is guaranteed to be beneficial,

que qualquer nova tecnologia tem a garantia de ser benéfica,

and just repeat that to ourselves as a mantra over and over and over again

e repetindo para nós mesmos como um mantra várias vezes

as we drift like a rudderless ship towards our own obsolescence.

enquanto vamos como um navio sem rumo em direção à nossa própria obsolescência.

Or we can be ambitious --

Ou podemos ser ambiciosos,

thinking hard about how to steer our technology

pensando seriamente em como orientar nossa tecnologia

and where we want to go with it

e aonde queremos ir com isso para criar uma era surpreendente.

to create the age of amazement.

We're all here to celebrate the age of amazement,

Estamos todos aqui para celebrar uma era surpreendente,

and I feel that its essence should lie in becoming not overpowered

e eu sinto que a essência dela deve estar em não sermos dominados

but empowered by our technology.

mas fortalecidos pela nossa tecnologia.

Thank you.

Obrigado.

(Applause)

(Aplausos)