How to Keep AI Under Control | Max Tegmark | TED

Tradutor: Margarida Ferreira Revisora: Eliana Santos

Five years ago,

Há cinco anos,

I stood on the TED stage

subi ao palco TED

and warned about the dangers of superintelligence.

e alertei para os perigos da superinteligência.

Eu estava enganado.

I was wrong.

It went even worse than I thought.

Correu ainda pior do que eu pensava.

(Laughter)

(Risos)

Nunca pensei que os governos deixassem as empresas de IA chegarem tão longe

I never thought governments would let AI companies get this far

without any meaningful regulation.

sem qualquer regulamentação significativa.

And the progress of AI went even faster than I predicted.

O progresso da IA foi ainda mais rápido do que eu previa.

Look, I showed this abstract landscape of tasks

Mostrei este panorama abstrato de tarefas

where the elevation represented how hard it was for AI

em que a elevação representava o quão difícil era

a IA fazer cada tarefa como um ser humano.

to do each task at human level.

And the sea level represented what AI could be back then.

O nível do mar representava o que a IA podia ser naquela época.

And boy or boy, has the sea been rising fast ever since.

O mar tem vindo a subir rapidamente desde então.

But a lot of these tasks have already gone blub blub blub blub blub blub.

Mas muitas destas tarefas já foram blub blub blub blub blub blub.

And the water is on track to submerge all land,

A água está em vias de submergir toda a terra,

matching human intelligence at all cognitive tasks.

equiparando-se à inteligência humana em todas as tarefas cognitivas.

This is a definition of artificial general intelligence, AGI,

Esta é uma definição de inteligência geral artificial, IGA,

which is the stated goal of companies like OpenAI,

que é o objetivo declarado de empresas como a OpenAI,

Google DeepMind and Anthropic.

a Google DeepMind e a Anthropic.

And these companies are also trying to build superintelligence,

Estas empresas também estão a tentar criar uma superinteligência

leaving human intelligence far behind.

que deixará a inteligência humana muito para trás.

And many think it'll only be a few years, maybe, from AGI to superintelligence.

Muita gente pensa que serão só uns anos, talvez, da IGA até à superinteligência.

So when are we going to get AGI?

Então, quando é que vamos ter uma IGA?

Well, until recently, most AI researchers thought it was at least decades away.

Até há pouco tempo, a maioria dos investigadores da IA pensava

que faltavam pelo menos umas décadas.

And now Microsoft is saying, "Oh, it's almost here."

Mas agora a Microsoft diz: “Oh, está quase aqui”.

We're seeing sparks of AGI in ChatGPT-4,

Estamos a ver lampejos de IGA no ChatGPT-4,

and the Metaculus betting site is showing the time left to AGI

e a página de previsões Metaculus mostra o tempo que falta

para a IGA cair de 20 anos para 3 anos, nos últimos 18 meses.

plummeting from 20 years away to three years away

in the last 18 months.

And leading industry people are now predicting

As principais pessoas da indústria estão agora a prever

que ainda temos dois ou três anos até sermos ultrapassados.

that we have maybe two or three years left until we get outsmarted.

So you better stop talking about AGI as a long-term risk,

É melhor deixarem de falar da IGA como um risco a longo prazo,

or someone might call you a dinosaur stuck in the past.

senão podem vir a chamar-vos dinossauros presos no passado.

It's really remarkable how AI has progressed recently.

É realmente espantoso como a IA progrediu recentemente.

Not long ago, robots moved like this.

Ainda há pouco tempo, os robôs moviam-se assim.

(Music)

(Música)

Now they can dance.

Agora já sabem dançar.

(Music)

(Música)

Just last year, Midjourney produced this image.

Ainda no ano passado, a Midjourney produziu esta imagem.

This year, the exact same prompt produces this.

Este ano, exatamente o mesmo pedido produz isto.

Deepfakes are getting really convincing.

Os deepfakes estão a tornar-se muito convincentes.

(Vídeo)

(Video) Deepfake Tom Cruise: I’m going to show you some magic.

Deepfake Tom Cruise: Vou mostrar-vos uma magia.

It's the real thing.

Isto é a coisa real.

(Laughs)

I mean ...

Quer dizer...

It's all ...

É tudo...

the real ...

a verdadeira coisa.

thing.

Max Tegmark: Or is it?

Max Tegmark: Será mesmo?

And Yoshua Bengio now argues

Yoshua Bengio defende agora

that large language models have mastered language

que os grandes modelos linguísticos dominaram a linguagem e o conhecimento,

and knowledge to the point that they pass the Turing test.

ao ponto de passarem no teste de Turing.

I know some skeptics are saying,

Sei que alguns céticos dizem:

"Nah, they're just overhyped stochastic parrots

“Não, são apenas papagaios aleatórios demasiado publicitados

that lack a model of the world,"

“que não têm um modelo do mundo”,

but they clearly have a representation of the world.

mas eles claramente têm uma representação do mundo.

In fact, we recently found that Llama-2 even has a literal map of the world in it.

Na verdade, descobrimos recentemente que o Llama-2

até contém um mapa literal do mundo.

And AI also builds

E a IA também cria representações geométricas

geometric representations of more abstract concepts

de conceitos mais abstratos

like what it thinks is true and false.

como o que pensa ser verdadeiro e falso.

So what's going to happen if we get AGI and superintelligence?

Então, o que acontecerá se obtivermos IGA e superinteligência?

If you only remember one thing from my talk, let it be this.

Se só se lembrarem de uma coisa de toda a minha palestra, que seja isto:

AI godfather, Alan Turing predicted

O padrinho da IA, Alan Turing,

that the default outcome is the machines take control.

previu que o resultado por defeito é que as máquinas assumam o controlo.

The machines take control.

As máquinas assumem o controlo.

I know this sounds like science fiction,

Eu sei que isto parece ficção científica,

but, you know, having AI as smart as GPT-4

mas ter uma IA tão esperta como o GPT-4

also sounded like science fiction not long ago.

também pareceu ser ficção científica há pouco tempo.

Se pensarem na IA,

And if you think of AI,

if you think of superintelligence in particular, as just another technology,

se pensarem na superinteligência, em particular,

apenas como mais uma tecnologia, como a eletricidade,

like electricity,

provavelmente não estarão muito preocupados.

you're probably not very worried.

But you see,

Mas Turing pensa na superinteligência

Turing thinks of superintelligence more like a new species.

mais como uma nova espécie.

Think of it,

Pensem nisso,

we are building creepy, super capable,

estamos a criar psicopatas assustadores, super capazes,

amoral psychopaths

psicopatas amorais

that don't sleep and think much faster than us,

que não dormem e pensam muito mais depressa do que nós,

can make copies of themselves

que fazem cópias de si mesmos

and have nothing human about them at all.

e não contêm nada de humano.

So what could possibly go wrong?

Então, o que é que pode correr mal?

(Laughter)

(Risos)

And it's not just Turing.

E não é só Turing.

OpenAI CEO Sam Altman, who gave us ChatGPT,

O CEO da OpenAI, Sam Altman, que nos deu o ChatGPT,

recently warned that it could be "lights out for all of us."

avisou recentemente que podem ser “luzes apagadas para todos nós”.

O diretor da Anthropic, Dario Amodei, até colocou um número nesse risco:

Anthropic CEO, Dario Amodei, even put a number on this risk:

10 a 25%.

10-25 percent.

And it's not just them.

E não são só eles.

Human extinction from AI went mainstream in May

A extinção humana devido à IA tornou-se popular em maio

when all the AGI CEOs and who's who of AI researchers

quando todos os CEO da IGA e quem é quem dos investigadores da IA

came on and warned about it.

apareceram a alertar sobre isto.

And last month, even the number one of the European Union

E no mês passado, até o número um da União Europeia

warned about human extinction by AI.

alertou para a extinção humana devido à IA.

So let me summarize everything I've said so far

Vou resumir tudo o que disse até agora

in just one slide of cat memes.

apenas num slide de memes de gatos.

Three years ago,

Há três anos, as pessoas diziam:

people were saying it's inevitable, superintelligence,

“A superinteligência é inevitável, vai tudo correr bem.

it'll be fine,

it's decades away.

“estamos a décadas de distância.”

Last year it was more like,

No ano passado foi mais tipo:

It's inevitable, it'll be fine.

“É inevitável, vai correr bem.”

Now it's more like,

Agora é mais assim:

It's inevitable.

“É inevitável.”

(Laughter)

(Risos)

But let's take a deep breath and try to raise our spirits

Mas vamos respirar fundo e tentar elevar o espírito

and cheer ourselves up,

e animar-nos,

because the rest of my talk is going to be about the good news,

porque o resto da minha palestra vai ser sobre as boas notícias,

that it's not inevitable, and we can absolutely do better,

o que não é inevitável, e o que podemos fazer melhor, ok?

alright?

(Aplausos)

(Applause)

So ...

Então...

The real problem is that we lack a convincing plan for AI safety.

O verdadeiro problema é que nos falta um plano convincente para uma IA segura.

People are working hard on evals

As pessoas estão a trabalhar arduamente em avaliações

que procuram comportamentos de risco da IA, e isso é bom,

looking for risky AI behavior, and that's good,

mas claramente não é suficiente.

but clearly not good enough.

They're basically training AI to not say bad things

Basicamente, estão a treinar a IA para não dizer coisas más

em vez de não fazer coisas más.

rather than not do bad things.

Além disso, as avaliações e a depuração são condições necessárias

Moreover, evals and debugging are really just necessary,

not sufficient, conditions for safety.

mas não suficientes para a segurança.

In other words,

Por outras palavras,

they can prove the presence of risk,

podem comprovar a presença de risco,

not the absence of risk.

mas não a ausência de risco.

So let's up our game, alright?

Então, vamos melhorar o nosso jogo, está bem?

Try to see how we can make provably safe AI that we can control.

Tentemos ver como podemos criar uma IA

comprovadamente segura que possamos controlar.

Guardrails try to physically limit harm.

As barreiras de proteção tentam limitar fisicamente os danos.

But if your adversary is superintelligence

Mas se o nosso adversário é uma superinteligência

ou um ser humano a usar uma superinteligência contra nós,

or a human using superintelligence against you, right,

trying is just not enough.

tentar não basta.

You need to succeed.

É preciso ter êxito.

Harm needs to be impossible.

Os danos têm de ser impossíveis.

So we need provably safe systems.

Por isso, precisamos de sistemas comprovadamente seguros.

Provable, not in the weak sense of convincing some judge,

Comprovado, não no sentido fraco de convencer algum juiz,

mas no sentido forte de haver algo

but in the strong sense of there being something that's impossible

que seja impossível segundo as leis da física.

according to the laws of physics.

Because no matter how smart an AI is,

Porque, por mais inteligente que seja uma IA,

it can't violate the laws of physics and do what's provably impossible.

não pode violar as leis da física e fazer o que se prova ser impossível.

Steve Omohundro and I wrote a paper about this,

Steve Omohundro e eu escrevemos um artigo sobre isto,

and we're optimistic that this vision can really work.

e estamos otimistas de que esta visão pode realmente funcionar.

So let me tell you a little bit about how.

Por isso, vou falar-vos um pouco sobre como será.

There's a venerable field called formal verification,

Há uma área venerável chamada verificação formal,

which proves stuff about code.

que prova coisas sobre código.

And I'm optimistic that AI will revolutionize automatic proving business

Eu estou otimista de que a IA vai revolucionar

o negócio das provas automáticas

and also revolutionize program synthesis,

e também revolucionar a síntese de programas,

the ability to automatically write really good code.

a capacidade de escrever automaticamente um código mesmo bom.

So here is how our vision works.

Eis como funciona a nossa visão.

You, the human, write a specification

Vocês, seres humanos, escrevem uma especificação

that your AI tool must obey,

a que a ferramenta da IA tem de obedecer,

that it's impossible to log in to your laptop

que é impossível entrar no nosso portátil sem a palavra-passe correta,

without the correct password,

or that a DNA printer cannot synthesize dangerous viruses.

ou que uma impressora de ADN não pode sintetizar vírus perigosos.

Then a very powerful AI creates both your AI tool

Então, uma IA muito avançada

cria uma ferramenta de IA e uma prova

and a proof that your tool meets your spec.

de que a vossa ferramenta obedece às vossas especificações.

Machine learning is uniquely good at learning algorithms,

A aprendizagem automática é especialmente boa na aprendizagem de algoritmos,

but once the algorithm has been learned,

mas, depois de aprendido o algoritmo,

you can re-implement it in a different computational architecture

podemos reimplementá-lo numa arquitetura computacional diferente

that's easier to verify.

que seja mais fácil de verificar.

Agora vocês podem preocupar-se.

Now you might worry,

how on earth am I going to understand this powerful AI

“Como é que vou entender esta poderosa inteligência artificial

and the powerful AI tool it built

“e a poderosa ferramenta de IA que ela criou, e a prova,

and the proof,

if they're all too complicated for any human to grasp?

“se são demasiado complicadas para qualquer ser humano entender?”

Here is the really great news.

Estas são as boas notícias.

You don't have to understand any of that stuff,

Não é preciso entender nada disso,

because it's much easier to verify a proof than to discover it.

porque é muito mais fácil verificar uma prova do que descobri-la.

So you only have to understand or trust your proof-checking code,

Só temos de entender ou confiar no nosso código de comprovação,

which could be just a few hundred lines long.

que pode ter apenas poucas centenas de linhas.

And Steve and I envision

E o Steve e eu imaginamos

that such proof checkers get built into all our compute hardware,

que essas provas são incorporadas em todo o nosso hardware computacional,

so it just becomes impossible to run very unsafe code.

e por isso torna-se impossível executar um código muito inseguro.

What if the AI, though, isn't able to write that AI tool for you?

E se a IA, no entanto, não conseguir escrever essa ferramenta de IA para nós?

Então, há outra possibilidade.

Then there's another possibility.

You train an AI to first just learn to do what you want

Primeiro treinamos uma IA para aprender a fazer o que queremos

and then you use a different AI

e depois usamos uma IA diferente

to extract out the learned algorithm and knowledge for you,

para extrair o algoritmo aprendido e o conhecimento para nós,

like an AI neuroscientist.

como um neurocientista da IA.

This is in the spirit of the field of mechanistic interpretability,

Isto está no espírito do campo da interpretabilidade mecanicista,

which is making really impressive rapid progress.

que está a fazer progressos rápidos verdadeiramente impressionantes.

Provably safe systems are clearly not impossible.

Sistemas comprovadamente seguros não são impossíveis.

Let's look at a simple example

Vejamos um exemplo simples.

of where we first machine-learn an algorithm from data

Primeiro, usamos a aprendizagem automática para um algoritmo a partir de dados

and then distill it out in the form of code

e depois destilamo-lo sob a forma de código

that provably meets spec, OK?

que, comprovadamente, cumpre as especificações.

Let’s do it with an algorithm that you probably learned in first grade,

Vamos fazer isso com um algoritmo

que, provavelmente, aprenderam no primeiro ano, a adição,

addition,

em que somamos os dígitos da direita para a esquerda

where you loop over the digits from right to left,

and sometimes you do a carry.

e, por vezes, fazemos um transporte.

We'll do it in binary,

Vamos fazê-lo em binário,

as if you were counting on two fingers instead of ten.

como se contassem com dois dedos em vez de dez.

And we first train a recurrent neural network,

Primeiro treinamos uma rede neuronal recorrente,

never mind the details,

sem nos preocuparmos com os pormenores,

to nail the task.

para realizar a tarefa.

So now you have this algorithm that you don't understand how it works

Agora temos um algoritmo que não percebemos como funciona

numa caixa negra

in a black box

defined by a bunch of tables of numbers that we, in nerd speak,

definida por uma série de tabelas de números

a que nós, em linguagem nerd, chamamos parâmetros.

call parameters.

Then we use an AI tool we built to automatically distill out from this

Depois usamos uma ferramenta de IA que criámos

para extrair automaticamente o algoritmo aprendido

the learned algorithm in the form of a Python program.

sob a forma de um programa Python.

And then we use the formal verification tool known as Daphne

Depois usamos a ferramenta de verificação formal conhecida por Daphne

to prove that this program correctly adds up any numbers,

para provar que este programa adiciona corretamente quaisquer números,

not just the numbers that were in your training data.

e não apenas os números que estavam nos dados da formação.

So in summary,

Resumindo, estou convencido de que é possível

provably safe AI, I'm convinced is possible,

uma IA comprovadamente segura,

but it's going to take time and work.

mas vai exigir tempo e trabalho.

And in the meantime,

Entretanto, não nos esqueçamos

let's remember that all the AI benefits

que todos os benefícios da IA

that most people are excited about

com que a maioria das pessoas estão entusiasmadas

actually don't require superintelligence.

não exigem uma superinteligência.

We can have a long and amazing future with AI.

Podemos ter um futuro longo e fantástico com a IA.

Por isso, não suspendamos a IA.

So let's not pause AI.

Let's just pause the reckless race to superintelligence.

Suspendamos apenas a corrida imprudente à superinteligência.

Let's stop obsessively training ever-larger models

Deixemos de treinar obsessivamente modelos cada vez maiores

that we don't understand.

que não compreendemos.

Let's heed the warning from ancient Greece

Oiçamos o aviso da Grécia antiga

and not get hubris, like in the story of Icarus.

e não usemos da arrogância, como na história de Ícaro.

Because artificial intelligence

Porque a inteligência artificial

is giving us incredible intellectual wings

está a dar-nos asas intelectuais incríveis

with which we can do things beyond our wildest dreams

com as quais podemos fazer coisas para além dos nossos sonhos mais loucos,

se deixarmos de tentar voar obsessivamente até ao sol.

if we stop obsessively trying to fly to the sun.

Thank you.

Obrigado.

(Applause)

(Aplausos)