The Dark Side of Competition in AI | Liv Boeree | TED

Tradutor: Margarida Ferreira Revisora: Nadia Tira

Competition.

Competição.

It's a fundamental part of human nature.

É uma parte fundamental da natureza humana.

Fui jogadora de póquer profissional durante 10 anos,

I was a professional poker player for 10 years,

so I've very much seen all the good, bad and ugly ways it can manifest.

por isso já vi todas as formas boas, más e feias

como ele se pode manifestar.

When it's done right,

Quando é bem feito,

it can drive us to incredible feats in sports and innovation,

pode levar-nos a feitos incríveis no desporto e na inovação,

like when car companies compete over who can build the safest cars

como quando as empresas automóveis competem

por quem constrói os carros mais seguros

or the most efficient solar panels.

ou os painéis solares mais eficientes.

Those are all examples of healthy competition,

Todos estes são exemplos de competição saudável,

porque, embora as empresas individuais possam chegar e desaparecer

because even though individual companies might come and go,

in the long run,

a longo prazo,

the game between them creates win-win outcomes

o jogo entre elas cria resultados

where everyone benefits in the end.

em que todos beneficiam no final.

But sometimes competition is not so great

Mas às vezes a competição não é tão boa

and can create lose-lose outcomes where everyone's worse off than before.

e pode criar resultados de perda em que todos ficam pior do que antes.

Take these AI beauty filters, for example.

Vejam os filtros de beleza da IA, por exemplo.

As you can see, they're a very impressive technology.

Como veem, têm uma tecnologia impressionante.

They can salvage almost any picture.

Podem recuperar quase todas as fotografias.

They can even make Angelina and Margot more beautiful.

Até podem tornar a Angelina e a Margot mais bonitas.

So they're very handy,

São muito úteis,

especially for influencers who, now, at the click of a button,

especialmente para influenciadoras que, com o simples clicar dum botão,

can transform into the most beautiful Hollywood versions of themselves.

podem transformar-se nas versões de Hollywood mais bonitas de si mesmas.

But handy doesn't always mean healthy.

Mas útil nem sempre significa saudável.

And I've personally noticed how quickly these things can train you

Eu percebi, pessoalmente, a rapidez com que estas coisas nos podem ensinar

to hate your natural face.

a odiar a nossa cara natural.

And there's growing evidence that they're creating issues

Há provas crescentes de que estão a criar problemas

like body dysmorphia, especially in young people.

como a dismorfia corporal, especialmente nas jovens.

Nonetheless, these things are now endemic to social media

No entanto, estas coisas são hoje endémicas nas redes sociais

because the nature of the game demands it.

porque a natureza do jogo assim o exige.

As plataformas são incentivadas a fornecê-las

The platforms are incentivized to provide them

because hotter pictures means more hijacked limbic systems,

porque imagens mais sexys significam sistemas límbicos mais sequestrados,

which means more scrolling and thus more ad revenue.

ou seja, mais pesquisa e, portanto, mais receitas de anúncios.

And users are incentivized to use them

Os utilizadores são incentivados a usá-las

because hotter pictures get you more followers.

porque imagens mais sexys atraem mais seguidores.

But this is a trap,

Mas isto é uma armadilha,

because once you start using these things,

porque, depois de começarmos a usar estas coisas,

it's really hard to go back.

é muito difícil voltar atrás.

Plus, you don't even get a competitive advantage from them anymore

Além disso, já nem se obtém uma vantagem competitiva

because everyone else is already using them too.

porque toda a gente já está a usá-las também.

So influencers are stuck using these things

Os influenciadores estão dependentes destas coisas

with all the downsides

com todas as desvantagens

and very little upside.

e muito poucas vantagens.

A lose-lose game.

Um jogo em que se perde sempre.

A similar kind of trap is playing out in our news media right now,

Um tipo de armadilha semelhante está a acontecer hoje

nos nossos meios de comunicação,

but with much worse consequences.

mas com consequências muito piores.

You'd think since the internet came along

Seria de pensar, depois de aparecer a Internet,

that the increased competition between news outlets

que o aumento da concorrência entre os órgãos noticiosos

would create a sort of positive spiral,

ia criar uma espécie de espiral positiva,

like a race to the top of nuanced, impartial, accurate journalism.

como uma corrida para um jornalismo matizado, imparcial e rigoroso.

Instead, we're seeing a race to the bottom of clickbait and polarization,

Em vez disso, estamos a assistir a uma corrida

até ao máximo do clickbait e da polarização,

onde até os papéis respeitáveis se inclinam cada vez mais

where even respectable papers are increasingly leaning

into these kind of low-brow partisan tactics.

para este tipo de táticas partidárias de baixa qualidade.

Again, this is due to crappy incentives.

Mais uma vez, isto deve-se a incentivos de má qualidade.

Today, we no longer just read our news.

Atualmente, já não nos limitamos a ler as notícias,

We interact with it by sharing and commenting.

interagimos com elas. partilhando-as e comentando-as.

Os cabeçalhos que provocam emoções como o medo ou a raiva

And headlines that trigger emotions like fear or anger

are far more likely to go viral than neutral or positive ones.

são muito mais propensos a tornar-se virais do que os neutros ou os positivos.

De muitas formas, os editores de notícias

So in many ways, news editors are in a similar kind of trap

estão numa armadilha semelhante à dos influenciadores,

as the influencers,

where, the more their competitors lean into clickbaity tactics,

em que, quanto mais os seus concorrentes utilizam táticas de clickbait

the more they have to as well.

mais eles também são obrigados a utilizá-las.

Otherwise, their stories just get lost in the noise.

Caso contrário, as suas notícias perdem-se no meio do ruído.

Mas isto é terrível para toda a gente,

But this is terrible for everybody,

because now the media get less trust from the public,

porque agora os media têm menos confiança por parte do público,

but also it becomes harder and harder for anyone to discern truth from fiction,

mas também se torna cada vez mais difícil separar a verdade da ficção,

which is a really big problem for democracy.

o que é um grande problema para a democracia.

Now, this process of competition gone wrong

Este processo de concorrência mal orientada

is actually the driving force behind so many of our biggest issues.

é a força motriz por detrás de muitos dos nossos maiores problemas.

Plastic pollution,

A poluição pelos plásticos,

deforestation,

a desflorestação,

antibiotic overuse in farming,

o uso excessivo de antibióticos na agricultura,

arms races,

as corridas ao armamento,

greenhouse gas emissions.

as emissões de gases com efeito de estufa.

These are all a result of crappy incentives,

Tudo isto é resultado de maus incentivos,

of poorly designed games that push their players --

de jogos mal concebidos que empurram os seus jogadores

be them people, companies or governments --

— sejam pessoas, empresas ou governos —

into taking strategies and tactics that defer costs and harms to the future.

a adotar estratégias e táticas que adiam os custos e os prejuízos para o futuro.

And what's so ridiculous is that most of the time,

O que é muito ridículo é que, na maior parte do tempo,

these guys don't even want to be doing this.

essa gente nem sequer quer fazer isso.

You know, it's not like packaging companies

Não é que empresas de embalagens

want to fill the oceans with plastic

queiram encher os oceanos de plásticos

or farmers want to worsen antibiotic resistance.

nem os agricultores querem agravar a resistência aos antibióticos.

But they’re all stuck in the same dilemma of:

Mas estão todos presos no mesmo dilema:

“Se eu não usar esta tática,

"If I don't use this tactic,

I’ll get outcompeted by all the others who do.

“vou ser ultrapassado por todos os outros que a usarem.

So I have to do it, too.”

“Por isso, também tenho de a usar.”

This is the mechanism we need to fix as a civilization.

Este é o mecanismo que é preciso corrigir enquanto civilização.

And I know what you're probably all thinking, "So it's capitalism."

Sei o que provavelmente estão a pensar: “Então, o problema é o capitalismo”.

Não, o capitalismo não é o problema.

No, it's not capitalism.

Which, yes, can cause problems,

Claro, pode causar problemas,

but it can also solve them and has been fantastic in general.

mas também pode resolvê-los e tem sido fantástico, no geral.

It's something much deeper.

É uma coisa muito mais profunda.

It's a force of misaligned incentives of game theory itself.

É uma força de incentivos mal alinhados da própria teoria dos jogos.

Há uns anos, abandonei o póquer,

So a few years ago, I retired from poker,

in part because I wanted to understand this mechanism better.

em parte porque queria perceber melhor este mecanismo.

Because it takes many different forms, and it goes by many different names.

Porque assume muitas formas diferentes e dá por muitos nomes diferentes.

These are just some of those names.

Estes são apenas alguns desses nomes.

Estão a ver que são um pouco abstratos e desajeitados, não é?

You can see they're a little bit abstract and clunky, right?

They don't exactly roll off the tongue.

Não são fáceis de pronunciar.

And given how insidious and connected all of these problems are,

Perceber que estes problemas são insidiosos e estão interligados

it helps to have a more visceral way of recognizing them.

ajuda a ter uma forma mais visceral de os reconhecer.

So this is probably the only time

Esta é provavelmente a única vez

you're going to hear about the Bible at this conference.

que vão ouvir falar da Bíblia nesta conferência.

Mas vou contar-vos uma historieta da Bíblia.

But I want to tell you a quick story from it,

because allegedly, back in the Canaanite days,

Segundo consta, nos tempos dos Canaanitas

havia um culto que queria tanto poder e dinheiro

there was a cult who wanted money and power so badly,

they were willing to sacrifice their literal children for it.

que estavam dispostos a sacrificar os seus filhos por causa disso.

And they did this by burning them alive in an effigy

Faziam isso queimando-os vivos com uma efígie de um Deus

of a God that they believed would then reward them

que, segundo acreditavam,

for this ultimate sacrifice.

os recompensaria por este sacrifício final.

And the name of this god was Moloch.

O nome deste deus era Moloch.

Bit of a bummer, as stories go.

Um pouco aborrecido, com a continuação.

But you can see why it's an apt metaphor,

Mas podem ver porque é que é uma metáfora adequada,

because sometimes we get so lost in winning the game right in front of us,

porque, por vezes, esforçamo-nos tanto

para ganhar o jogo que está mesmo à nossa frente

we lose sight of the bigger picture

que perdemos de vista o panorama geral

and sacrifice too much in our pursuit of victory.

e sacrificamos demasiadas coisas na procura da vitória.

So just like these guys were sacrificing their children for power,

Tal como esses tipos sacrificavam os filhos pelo poder,

those influencers are sacrificing their happiness for likes.

estes influenciadores sacrificam a sua felicidade por “likes”.

Those news editors are sacrificing their integrity for clicks,

Os editores de notícias sacrificam a sua integridade por cliques,

e os poluidores estão a sacrificar a biosfera pelo lucro.

and polluters are sacrificing the biosphere for profit.

In all these examples,

Em todos estes exemplos,

the short-term incentives of the games themselves are pushing,

os incentivos a curto prazo dos jogos

estão a pressionar, estão a tentar os jogadores

they're tempting their players

to sacrifice more and more of their future,

a sacrificarem cada vez mais o seu futuro,

trapping them in a death spiral where they all lose in the end.

encurralando-os numa espiral de morte em que todos perdem no final.

That's Moloch's trap.

Esta é a armadilha de Moloch.

The mechanism of unhealthy competition.

O mecanismo da competição doentia.

And the same is now happening in the AI industry.

O mesmo está a acontecer agora na indústria da IA.

We're all aware of the race that's heating up

Todos temos consciência da corrida que está a aquecer

between companies right now

entre as empresas, neste momento,

over who can score the most compute,

para ver quem consegue obter mais computação,

who can get the biggest funding round or get the top talent.

quem consegue o maior financiamento ou obter os melhores talentos.

Well, as more and more companies enter this race,

À medida que entram nesta corrida cada vez mais empresas,

the greater the pressure for everyone to go as fast as possible

maior é a pressão para todos avançarem o mais depressa possível

and sacrifice other important stuff like safety testing.

e sacrificarem coisas importantes como os testes de segurança.

This has all the hallmarks of a Moloch trap.

Isto tem todas as características de uma armadilha de Moloch,

porque imaginem que vocês são um CEO

Because, like, imagine you're a CEO who, you know, in your heart of hearts,

que acredita profundamente que a vossa equipa é a melhor

believes that your team is the best

to be able to safely build extremely powerful AI.

para construir com segurança uma IA extremamente poderosa.

Well, if you go too slowly, then you run the risk of other,

Se andarem demasiado devagar, correm o risco

de que outras equipas, muito menos cautelosas,

much less cautious teams getting there first

cheguem lá primeiro e implementem os sistemas delas

and deploying their systems before you can.

antes de vocês conseguirem.

So that in turn pushes you to be more reckless yourself.

Isso, por sua vez, empurra-nos para sermos mais imprudentes.

And given how many different experts and researchers,

Tendo em conta o número de especialistas e investigadores,

both within these companies

tanto dentro destas empresas

but also completely independent ones,

como totalmente independentes,

have been warning us about the extreme risks of rushed AI,

que nos têm alertado para os riscos extremos duma IA apressada,

esta abordagem é totalmente louca.

this approach is absolutely mad.

Plus, almost all AI companies

Além disso, quase todas as empresas de IA

are beholden to satisfying their investors,

são obrigadas a satisfazer os seus investidores,

a short-term incentive which, over time, will inevitably start to conflict

com um incentivo a curto prazo que, com o tempo,

entrará inevitavelmente em conflito com qualquer missão benevolente.

with any benevolent mission.

And this wouldn't be a big deal

Isso não seria muito importante

if this was really just toasters we're talking about here.

se estivéssemos apenas a falar de torradeiras,

mas a IA, e especialmente a IAG — inteligência artificial geral —

But AI, and especially AGI,

is set to be a bigger paradigm shift

está definida como uma mudança de paradigma maior

than the agricultural or industrial revolutions.

do que a revolução agrícola ou a industrial.

A moment in time so pivotal,

Um momento tão importante no tempo

it's deserving of reverence and reflection,

merece respeito e reflexão,

not something to be reduced to a corporate rat race

e não uma coisa que se reduza a uma corrida corporativa

of who can score the most daily active users.

de quem consegue obter o maior número de utilizadores ativos diariamente.

I'm not saying I know

Não estou a dizer que sei qual é o equilíbrio certo

what the right trade-off between acceleration and safety is,

entre rapidez e segurança,

but I do know that we'll never find out what that right trade-off is

mas sei que nunca descobriremos qual é o equilíbrio certo

if we let Moloch dictate it for us.

se deixarmos que seja Moloch a definir isso.

So what can we do?

Então, o que é que podemos fazer?

Well, the good news is we have managed to coordinate

A boa notícia é que já nos conseguimos coordenar

to escape some of Moloch's traps before.

para escapar a algumas das armadilhas de Moloch.

We managed to save the ozone layer from CFCs

Conseguimos salvar a camada de ozono dos CFC,

com a ajuda do Protocolo de Montreal.

with the help of the Montreal Protocol.

We managed to reduce the number of nuclear weapons on Earth

Conseguimos reduzir o número de armas nucleares na Terra em 80%,

by 80 percent,

with the help of the Strategic Arms Reduction Treaty in 1991.

com a ajuda do Tratado de Redução de Armas Estratégicas em 1991.

So smart regulation may certainly help with AI too,

Assim, uma regulamentação inteligente também pode ajudar com a IA,

but ultimately,

mas, em última análise,

it's the players within the game who have the most influence on it.

são os jogadores que têm mais influência nisso.

So we need AI leaders to show us

Precisamos que os líderes da IA nos mostrem

that they're not only aware of the risks their technologies pose,

que não só têm consciência dos riscos que esta tecnologia representa,

but also the destructive nature of the incentives

como também da natureza destrutiva dos incentivos

that they're currently beholden to.

a que estão sujeitos atualmente.

As their technological capabilities reach towards the power of gods,

À medida que as suas capacidades tecnológicas atingem o poder dos deuses,

they're going to need the godlike wisdom to know how to wield them.

precisam da sabedoria de deuses para saber como as manejar.

So it doesn't fill me with encouragement

Não me sinto encorajada

when I see a CEO of a very major company saying something like,

quando vejo um CEO de uma grande empresa a dizer algo como:

"I want people to know we made our competitor dance."

“Quero que as pessoas saibam que fizemos dançar o nosso concorrente”.

That is not the type of mindset we need here.

Não é esse o tipo de mentalidade de que precisamos.

We need leaders who are willing to flip Moloch's playbook,

Precisamos de líderes dispostos a inverter o manual de Moloch,

que estejam dispostos a sacrificar a sua oportunidade individual

who are willing to sacrifice their own individual chance of winning

for the good of the whole.

a bem de todos.

Ora bem, os três principais laboratórios

Now, fortunately, the three leading labs are showing some signs of doing this.

estão a mostrar alguns sinais de fazer isso.

Anthropic recently announced their responsible scaling policy,

A Anthropic anunciou recentemente a sua política de escala responsável,

which pledges to only increase capabilities

que se compromete a só aumentar as capacidades

once certain security criteria have been met.

depois de cumprirem determinados critérios de segurança.

OpenAI have recently pledged

A Open AI comprometeu-se recentemente

to dedicate 20 percent of their compute purely to alignment research.

a dedicar 20% de sua computação exclusivamente à pesquisa de alinhamento.

And DeepMind have shown a decade-long focus

E a DeepMind tem demonstrado que, desde há 10 anos,

of science ahead of commerce,

se tem concentrado na ciência, em detrimento do comércio,

like their development of AlphaFold,

como no desenvolvimento do AlphaFold,

which they gave away to the science community for free.

que foi entregue gratuitamente à comunidade científica.

These are all steps in the right direction,

Tudo isto são passos na direção certa,

but they are still nowhere close to being enough.

mas ainda estão longe de serem suficientes.

I mean, most of these are currently just words,

Quer dizer, a maior parte do que se diz são apenas palavras,

they're not even proven actions.

nem sequer são ações comprovadas.

Precisamos de uma forma clara de transformar a corrida à IA

So we need a clear way to turn the AI race into a definitive race to the top.

numa corrida definitiva para o topo.

Perhaps companies can start competing over who can be within these metrics,

Talvez as empresas possam começar a competir

sobre quem pode obedecer a estas métricas,

over who can develop the best security criteria.

sobre quem pode desenvolver os melhores critérios de segurança,

A race of who can dedicate the most compute to alignment.

numa corrida de quem pode dedicar mais computação ao alinhamento.

Now that would truly flip the middle finger to Moloch.

Isso seria verdadeiramente mostrar o dedo do meio ao Moloch.

Competition can be an amazing tool,

A competição pode ser uma ferramenta incrível,

provided we wield it wisely.

desde que a usemos com inteligência.

And we're going to need to do that

Vamos precisar de fazer isso

because the stakes we are playing for are astronomical.

porque o que está em jogo é astronómico.

If we get AI, and especially AGI, wrong,

Se conseguirmos uma IA, e especialmente uma IAG, errada,

it could lead to unimaginable catastrophe.

isso pode levar a uma catástrofe inimaginável.

But if we get it right,

Mas se conseguirmos a IA correta,

it could be our path out of many of these Moloch traps

pode ser a via para evitar muitas destas armadilhas de Moloch

that I've mentioned today.

que hoje referi.

And as things get crazier over the coming years,

À medida que as coisas enlouquecem nos próximos anos,

which they're probably going to,

o que provavelmente vai acontecer,

it's going to be more important than ever

vai ser mais importante do que nunca

that we remember that it is the real enemy here, Moloch.

recordarmos que o verdadeiro inimigo aqui, é Moloch,

Not any individual CEO or company, and certainly not one another.

não é nenhum CEO individual nem nenhuma empresa.

So don't hate the players,

Por isso, não odeiem os jogadores,

change the game.

mudem o jogo.

(Applause)

(Aplausos)