The Dark Side of Competition in AI | Liv Boeree | TED

Traduttore: Stefania Basset Revisore: Agnese Giacomelli

Competition.

La competizione

It's a fundamental part of human nature.

è una parte fondamentale della natura umana.

Sono stata una giocatrice di poker professionista per 10 anni,

I was a professional poker player for 10 years,

so I've very much seen all the good, bad and ugly ways it can manifest.

quindi ho visto bene tutti i buoni, brutti e cattivi modi in cui può manifestarsi.

When it's done right,

Se fatta bene,

it can drive us to incredible feats in sports and innovation,

può portarci a compiere incredibili imprese nello sport e nell'innovazione,

like when car companies compete over who can build the safest cars

come quando le case automobilistiche competono per costruire le auto più sicure

or the most efficient solar panels.

o i pannelli solari più efficienti.

Those are all examples of healthy competition,

Questi sono tutti esempi di competizione sana,

because even though individual companies might come and go,

perché anche se le singole aziende possono andare e venire,

in the long run,

a lungo termine,

the game between them creates win-win outcomes

il gioco tra di loro crea risultati vantaggiosi,

where everyone benefits in the end.

in cui alla fine tutti ci guadagnano.

But sometimes competition is not so great

Ma a volte la competizione non va così bene

and can create lose-lose outcomes where everyone's worse off than before.

e può portare a risultati negativi in cui tutti stanno peggio di prima.

Take these AI beauty filters, for example.

Prendiamo questi filtri di bellezza basati sull’IA, per esempio.

As you can see, they're a very impressive technology.

Come potete vedere, sono una tecnologia davvero impressionante.

They can salvage almost any picture.

Possono recuperare quasi tutte le immagini.

They can even make Angelina and Margot more beautiful.

Possono persino rendere più belle Angelina e Margot.

So they're very handy,

Quindi sono molto utili,

especially for influencers who, now, at the click of a button,

soprattutto per gli influencer che ora con un clic

can transform into the most beautiful Hollywood versions of themselves.

possono trasformarsi nelle migliori versioni hollywoodiane di sé stessi.

But handy doesn't always mean healthy.

Ma utile non significa sempre sano.

And I've personally noticed how quickly these things can train you

Ho notato personalmente quanto velocemente queste cose possano indurti

to hate your natural face.

a odiare il tuo viso naturale.

And there's growing evidence that they're creating issues

E ci sono prove crescenti che stiano creando problemi

like body dysmorphia, especially in young people.

come il dismorfismo corporeo, specialmente nei giovani.

Nonetheless, these things are now endemic to social media

Tuttavia, queste cose sono ormai endemiche nei social media

because the nature of the game demands it.

perché la natura del gioco lo richiede.

The platforms are incentivized to provide them

Le piattaforme sono incentivate a fornirle

because hotter pictures means more hijacked limbic systems,

perché immagini più fighe significano dirottare più sistemi limbici,

which means more scrolling and thus more ad revenue.

il che equivale a fare più scrolling e quindi a più entrate.

And users are incentivized to use them

E gli utenti sono incentivati a usarle

because hotter pictures get you more followers.

perché le foto più fighe fanno guadagnare più follower.

But this is a trap,

Ma questa è una trappola,

because once you start using these things,

perché una volta che inizi a usare queste cose,

it's really hard to go back.

è davvero difficile tornare indietro.

Plus, you don't even get a competitive advantage from them anymore

Inoltre, non ne ottieni nemmeno più un vantaggio competitivo,

because everyone else is already using them too.

perché anche tutti gli altri le stanno già utilizzando.

So influencers are stuck using these things

Quindi gli influencer sono costretti a usarle

with all the downsides

con tutti gli aspetti negativi

and very little upside.

e pochissimi vantaggi.

A lose-lose game.

Una partita dove tutti perdono.

A similar kind of trap is playing out in our news media right now,

Una trappola simile ora si sta diffondendo nei nostri mezzi di informazione

but with much worse consequences.

ma con conseguenze ben peggiori.

You'd think since the internet came along

Sarebbe lecito pensare che, con l’avvento di internet,

that the increased competition between news outlets

la crescente concorrenza tra le testate giornalistiche

would create a sort of positive spiral,

creasse una sorta di spirale positiva,

like a race to the top of nuanced, impartial, accurate journalism.

una corsa al vertice di un giornalismo ricco di sfumature, imparziale e accurato.

Instead, we're seeing a race to the bottom of clickbait and polarization,

Stiamo invece vedendo una corsa al ribasso con clickbait e polarizzazione

in cui anche giornali rispettabili si stanno sempre più orientando

where even respectable papers are increasingly leaning

into these kind of low-brow partisan tactics.

verso questo tipo di tattiche faziose di bassa lega.

Again, this is due to crappy incentives.

Ancora una volta, ciò è dovuto a incentivi scadenti.

Today, we no longer just read our news.

Oggi non leggiamo più solo le nostre notizie.

We interact with it by sharing and commenting.

Interagiamo con esse condividendo e commentando.

And headlines that trigger emotions like fear or anger

E i titoli che scatenano emozioni come paura o rabbia

are far more likely to go viral than neutral or positive ones.

hanno molte più probabilità di diventare virali di quelli neutri o positivi.

So in many ways, news editors are in a similar kind of trap

Quindi, per molti versi, chi redige le notizie si trova in una trappola

as the influencers,

simile a quella degli influencer:

where, the more their competitors lean into clickbaity tactics,

più i loro concorrenti si appoggiano alle tattiche del clickbait,

the more they have to as well.

più sono costretti a farlo anche loro.

Otherwise, their stories just get lost in the noise.

Altrimenti le loro storie si perdono nel rumore.

But this is terrible for everybody,

Ma questo è terribile per tutti,

because now the media get less trust from the public,

perché ora i media ottengono meno fiducia dal pubblico,

but also it becomes harder and harder for anyone to discern truth from fiction,

ma anche perché è sempre più difficile distinguere la verità dalla finzione,

which is a really big problem for democracy.

il che è davvero un grosso problema per la democrazia.

Now, this process of competition gone wrong

Questo processo di concorrenza andato male

is actually the driving force behind so many of our biggest issues.

è in realtà l’elemento trainante di molti dei nostri maggiori problemi.

Plastic pollution,

Inquinamento da plastica,

deforestation,

deforestazione,

antibiotic overuse in farming,

uso eccessivo di antibiotici in agricoltura,

arms races,

corsa agli armamenti,

greenhouse gas emissions.

emissioni di gas serra.

These are all a result of crappy incentives,

Sono tutti il risultato di incentivi scadenti,

of poorly designed games that push their players --

di giochi mal progettati che spingono i giocatori,

be them people, companies or governments --

siano essi persone, aziende o governi,

into taking strategies and tactics that defer costs and harms to the future.

a adottare strategie e tattiche che rinviano costi e danni al futuro.

And what's so ridiculous is that most of the time,

E quel che è ridicolo è che la maggior parte delle volte

these guys don't even want to be doing this.

non vogliono nemmeno farlo.

You know, it's not like packaging companies

Non è che le aziende di imballaggi

want to fill the oceans with plastic

vogliono riempire gli oceani di plastica

or farmers want to worsen antibiotic resistance.

o gli agricoltori vogliono peggiorare la resistenza agli antibiotici.

But they’re all stuck in the same dilemma of:

Ma sono tutti bloccati nello stesso dilemma:

"If I don't use this tactic,

«Se non uso questa tattica,

I’ll get outcompeted by all the others who do.

verrò battuto da tutti gli altri che lo fanno.

So I have to do it, too.”

Quindi devo farlo anch'io».

This is the mechanism we need to fix as a civilization.

Questo è il meccanismo che dobbiamo correggere come civiltà.

And I know what you're probably all thinking, "So it's capitalism."

E so cosa probabilmente state pensando: «Questo è capitalismo».

No, it's not capitalism.

No, non è capitalismo.

Which, yes, can cause problems,

Che sì, può causare problemi,

but it can also solve them and has been fantastic in general.

ma può anche risolverli ed è stato fantastico in generale.

It's something much deeper.

È qualcosa di molto più profondo.

It's a force of misaligned incentives of game theory itself.

È una forza di incentivi disallineati della stessa teoria dei giochi.

Così, qualche anno fa, mi sono ritirata dal poker,

So a few years ago, I retired from poker,

in part because I wanted to understand this mechanism better.

in parte perché volevo capire meglio questo meccanismo.

Because it takes many different forms, and it goes by many different names.

Perché assume molte forme diverse e ha molti nomi diversi.

These are just some of those names.

Questi sono solo alcuni di quei nomi.

You can see they're a little bit abstract and clunky, right?

Riuscite a vedere che sono un po’ astratti e goffi, vero?

They don't exactly roll off the tongue.

Non sono proprio semplici da dire.

And given how insidious and connected all of these problems are,

E visto quanto insidiosi e connessi siano tutti questi problemi,

it helps to have a more visceral way of recognizing them.

è utile avere un modo più viscerale di riconoscerli.

Questa è probabilmente l’unica volta

So this is probably the only time

you're going to hear about the Bible at this conference.

che sentirete parlare della Bibbia a questa conferenza.

But I want to tell you a quick story from it,

Ma voglio raccontarvi una breve storia,

because allegedly, back in the Canaanite days,

perché presumibilmente, ai tempi dei Cananei,

there was a cult who wanted money and power so badly,

c’era una setta che desiderava così tanto denaro e potere

they were willing to sacrifice their literal children for it.

che era disposta a sacrificare i propri figli per averli.

And they did this by burning them alive in an effigy

E lo fecero bruciandoli vivi in nome

of a God that they believed would then reward them

di un Dio che, secondo loro, li avrebbe ricompensati

for this ultimate sacrifice.

per questo sacrificio supremo.

And the name of this god was Moloch.

E il nome di questo dio era Moloch.

Bit of a bummer, as stories go.

Un po’ deludente come storia.

But you can see why it's an apt metaphor,

Ma potete capire perché è una metafora appropriata:

because sometimes we get so lost in winning the game right in front of us,

a volte ci concentriamo così tanto nel voler vincere la partita davanti a noi

we lose sight of the bigger picture

che perdiamo di vista il quadro generale

and sacrifice too much in our pursuit of victory.

e sacrifichiamo troppo cercando la vittoria.

So just like these guys were sacrificing their children for power,

Quindi, proprio come questi uomini sacrificavano i loro figli per il potere,

those influencers are sacrificing their happiness for likes.

quegli influencer stanno sacrificando la loro felicità per i like.

Those news editors are sacrificing their integrity for clicks,

Quei redattori di notizie stanno sacrificando la loro integrità per i clic

and polluters are sacrificing the biosphere for profit.

e chi inquina sta sacrificando la biosfera per il profitto.

In all these examples,

In tutti questi esempi,

the short-term incentives of the games themselves are pushing,

gli stessi incentivi a breve termine dei giochi fanno pressione:

they're tempting their players

invitano i giocatori

to sacrifice more and more of their future,

a sacrificare sempre più il loro futuro,

trapping them in a death spiral where they all lose in the end.

intrappolandoli in una spirale mortale in cui alla fine perderanno tutti.

That's Moloch's trap.

Questa è la trappola di Moloch.

The mechanism of unhealthy competition.

Il meccanismo della concorrenza malsana.

And the same is now happening in the AI industry.

E lo stesso sta accadendo ora nel settore dell’intelligenza artificiale.

Conosciamo tutti la corsa che si sta accendendo

We're all aware of the race that's heating up

between companies right now

ora tra le aziende

over who can score the most compute,

a chi ha più risorse di calcolo,

a chi ottiene il round di finanziamento più alto o ha i migliori talenti.

who can get the biggest funding round or get the top talent.

Well, as more and more companies enter this race,

Bene, man mano che sempre più aziende partecipano a questa gara,

the greater the pressure for everyone to go as fast as possible

maggiore è la pressione affinché tutti vadano il più velocemente possibile

and sacrifice other important stuff like safety testing.

e sacrifichino altre cose importanti, come i test di sicurezza.

This has all the hallmarks of a Moloch trap.

Questa ha tutte le caratteristiche di una trappola Moloch.

Perché immaginate per esempio di essere un amministratore delegato

Because, like, imagine you're a CEO who, you know, in your heart of hearts,

believes that your team is the best

che, nel profondo del suo cuore, crede che il suo team sia il migliore

to be able to safely build extremely powerful AI.

a creare in sicurezza un’IA estremamente potente.

Well, if you go too slowly, then you run the risk of other,

Ebbene, se procedete troppo lentamente, correte il rischio che altri team,

much less cautious teams getting there first

molto meno cauti, arrivino per primi

and deploying their systems before you can.

e distribuiscano i loro sistemi prima di voi.

So that in turn pushes you to be more reckless yourself.

Questo, a sua volta, vi spinge a essere più imprudenti.

And given how many different experts and researchers,

E visto che molti esperti e ricercatori,

both within these companies

sia all'interno di queste aziende

but also completely independent ones,

che in modo completamente indipendente,

have been warning us about the extreme risks of rushed AI,

ci hanno messo in guardia sui rischi enormi di un’IA creata con troppa fretta,

this approach is absolutely mad.

questo approccio è assolutamente folle.

Plus, almost all AI companies

Inoltre, quasi tutte le società che si occupano di intelligenza artificiale

are beholden to satisfying their investors,

sono tenute a soddisfare i propri investitori,

a short-term incentive which, over time, will inevitably start to conflict

un incentivo a breve termine che, col tempo,

inizierà inevitabilmente a entrare in conflitto

with any benevolent mission.

con qualsiasi intenzione benevola.

And this wouldn't be a big deal

Non sarebbe un grosso problema

if this was really just toasters we're talking about here.

se stessimo parlando solo di tostapane.

But AI, and especially AGI,

Ma l’intelligenza artificiale, e in particolare l’AGI,

is set to be a bigger paradigm shift

è destinata a rappresentare un cambiamento

than the agricultural or industrial revolutions.

più ampio della rivoluzione agricola o industriale.

A moment in time so pivotal,

Un momento storico così cruciale,

it's deserving of reverence and reflection,

che merita riverenza e riflessione,

not something to be reduced to a corporate rat race

non qualcosa da ridurre a una folle corsa aziendale

of who can score the most daily active users.

su chi riesce ad avere il maggior numero di utenti attivi al giorno.

I'm not saying I know

Non sto dicendo di sapere

what the right trade-off between acceleration and safety is,

quale sia il giusto compromesso tra accelerazione e sicurezza,

but I do know that we'll never find out what that right trade-off is

ma so che non scopriremo mai quale sia il giusto compromesso

if we let Moloch dictate it for us.

se lasciamo che sia Moloch a dettarcelo.

So what can we do?

Quindi cosa possiamo fare?

Well, the good news is we have managed to coordinate

Bene, la buona notizia è che siamo già riusciti a coordinarci

to escape some of Moloch's traps before.

per sfuggire ad alcune trappole di Moloch.

We managed to save the ozone layer from CFCs

Siamo riusciti a salvare lo strato di ozono dai CFC

with the help of the Montreal Protocol.

con l'aiuto del Protocollo di Montreal.

We managed to reduce the number of nuclear weapons on Earth

Siamo riusciti a ridurre il numero di armi nucleari sulla terra

by 80 percent,

dell′80%,

with the help of the Strategic Arms Reduction Treaty in 1991.

con l’aiuto del Trattato di Riduzione delle Armi Strategiche nel 1991.

So smart regulation may certainly help with AI too,

Quindi una regolamentazione intelligente può sicuramente aiutare anche con l’IA,

but ultimately,

ma alla fine

it's the players within the game who have the most influence on it.

sono i giocatori all’interno del gioco ad avere la maggiore influenza su di esso.

So we need AI leaders to show us

Abbiamo bisogno che i leader dell’IA ci dimostrino

that they're not only aware of the risks their technologies pose,

che non solo sono consapevoli dei rischi che le loro tecnologie comportano,

but also the destructive nature of the incentives

ma anche della natura distruttiva degli incentivi

that they're currently beholden to.

a cui sono attualmente legati.

As their technological capabilities reach towards the power of gods,

Man mano che le loro capacità tecnologiche raggiungono il potere degli dei,

they're going to need the godlike wisdom to know how to wield them.

avranno bisogno della saggezza divina per sapere come usarle.

So it doesn't fill me with encouragement

Quindi non mi conforta tanto

when I see a CEO of a very major company saying something like,

vedere l’amministratore delegato di un’azienda molto importante dire:

"I want people to know we made our competitor dance."

«Voglio che la gente sappia che abbiamo bruciato sul tempo la concorrenza».

That is not the type of mindset we need here.

Non è questo il tipo di mentalità di cui abbiamo bisogno.

We need leaders who are willing to flip Moloch's playbook,

Abbiamo bisogno di leader disposti a ribaltare le regole di Moloch,

who are willing to sacrifice their own individual chance of winning

disposti a sacrificare le proprie possibilità individuali di vittoria

for the good of the whole.

per il bene di tutti.

Now, fortunately, the three leading labs are showing some signs of doing this.

Fortunatamente, i tre laboratori principali

stanno mostrando alcuni segnali in tal senso.

Anthropic recently announced their responsible scaling policy,

Anthropic ha recentemente annunciato una politica di scalabilità responsabile,

which pledges to only increase capabilities

che si impegna ad aumentare le sue capacità

once certain security criteria have been met.

solo dopo aver soddisfatto determinati criteri di sicurezza.

OpenAI have recently pledged

OpenAI si è recentemente impegnata

to dedicate 20 percent of their compute purely to alignment research.

a dedicare il 20% delle proprie capacità di calcolo

soltanto per la ricerca sull’allineamento.

And DeepMind have shown a decade-long focus

Inoltre, DeepMind si concentra

of science ahead of commerce,

da un decennio sulla scienza più che sul commercio

like their development of AlphaFold,

con lo sviluppo di AlphaFold,

which they gave away to the science community for free.

che ha messo a disposizione gratuitamente per la comunità scientifica.

These are all steps in the right direction,

Sono tutti passi nella giusta direzione,

but they are still nowhere close to being enough.

ma non sono ancora lontanamente sufficienti.

I mean, most of these are currently just words,

Al momento queste sono per la maggior parte parole,

they're not even proven actions.

non sono azioni dimostrate.

So we need a clear way to turn the AI race into a definitive race to the top.

Quindi dobbiamo trovare un modo chiaro per trasformare la corsa all’IA

in una finale verso la vetta.

Perhaps companies can start competing over who can be within these metrics,

Forse le aziende possono iniziare a competere

su chi rientra in questi parametri

over who can develop the best security criteria.

e su chi saprà sviluppare i migliori criteri di sicurezza.

A race of who can dedicate the most compute to alignment.

Una corsa a chi sarà in grado di dedicare più risorse di calcolo all’allineamento.

Now that would truly flip the middle finger to Moloch.

Una cosa del genere mostrerebbe davvero il dito medio a Moloch.

Competition can be an amazing tool,

La concorrenza può essere uno strumento straordinario,

provided we wield it wisely.

a patto di usarla con saggezza.

And we're going to need to do that

E avremo bisogno di farlo

because the stakes we are playing for are astronomical.

perché la posta in gioco è astronomica.

If we get AI, and especially AGI, wrong,

Se sbagliamo l’IA, e soprattutto l’AGI,

it could lead to unimaginable catastrophe.

potremmo provocare una catastrofe inimmaginabile.

But if we get it right,

Ma se lo facciamo bene,

it could be our path out of many of these Moloch traps

potrebbe essere la nostra via d’uscita da molte di queste trappole Moloch

that I've mentioned today.

di cui ho parlato oggi.

And as things get crazier over the coming years,

E man mano che le cose peggioreranno nei prossimi anni,

which they're probably going to,

cosa che probabilmente accadrà,

it's going to be more important than ever

sarà più importante che mai

that we remember that it is the real enemy here, Moloch.

ricordare che è lui il vero nemico, Moloch.

Not any individual CEO or company, and certainly not one another.

Non un amministratore delegato o un’azienda, e certamente non noi stessi.

So don't hate the players,

Quindi non odiate i giocatori,

change the game.

cambiate il gioco.

(Applause)

(Applausi)