Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED

Traduttore: Francesca Molinari Revisore: Gabriella Patricola

Since 2001, I have been working on what we would now call

Dal 2011 mi occupo di quello che chiameremmo

the problem of aligning artificial general intelligence:

“il problema dell’allineamento dell’intelligenza artificiale generale”:

how to shape the preferences and behavior

come modellare gli orientamenti e il comportamento

of a powerful artificial mind such that it does not kill everyone.

di una mente artificiale potente in modo che non uccida tutti.

I more or less founded the field two decades ago,

Potrei dire di aver fondato questo campo 20 anni fa,

when nobody else considered it rewarding enough to work on.

quando nessuno pensava valesse la pena lavorarci.

I tried to get this very important project started early

Provai ad avviare subito questo progetto importantissimo

so we'd be in less of a drastic rush later.

così da non ritrovarci poi con l’acqua alla gola.

I consider myself to have failed.

Credo di aver fallito.

(Laughter)

(Risate)

Nobody understands how modern AI systems do what they do.

Nessuno sa come funzionano i moderni sistemi di IA.

They are giant, inscrutable matrices of floating point numbers

Sono enormi e imperscrutabili matrici di numeri in virgola mobile

that we nudge in the direction of better performance

delle quali miglioriamo le prestazioni

finché non iniziano inspiegabilmente a funzionare.

until they inexplicably start working.

At some point, the companies rushing headlong to scale AI

Prima o poi, le aziende che si sono buttate a capofitto sulla IA

will cough out something that's smarter than humanity.

produrranno qualcosa che è più intelligente dell’umanità.

Nobody knows how to calculate when that will happen.

Nessuno può prevedere quando accadrà.

My wild guess is that it will happen after zero to two more breakthroughs

Posso azzardare che avverrà tra zero e due svolte fondamentali

the size of transformers.

nella dimensione dei trasformatori.

What happens if we build something smarter than us

E se costruissimo qualcosa più intelligente di noi

that we understand that poorly?

e che a malapena capiamo?

Some people find it obvious that building something smarter than us

Per qualcuno è ovvio che non sia saggio creare qualcosa più intelligente di noi.

that we don't understand might go badly.

Others come in with a very wide range of hopeful thoughts

Altri invece propongono un’ampia gamma di prospettive ottimistiche

about how it might possibly go well.

su come potrebbe andare tutto liscio.

Even if I had 20 minutes for this talk and months to prepare it,

Anche se avessi avuto mesi per preparare questo discorso di 20 minuti,

I would not be able to refute all the ways people find to imagine

non potrei confutare ogni congettura ottimistica sugli eventi futuri.

that things might go well.

But I will say that there is no standard scientific consensus

Ma vi dico che non c’è alcun consenso scientifico

for how things will go well.

per come andranno le cose.

There is no hope that has been widely persuasive

Non esiste un pensiero ottimista comune

and stood up to skeptical examination.

che resista ad un’analisi critica.

There is nothing resembling a real engineering plan for us surviving

Non esiste la parvenza di un piano ingegneristico di sopravvivenza

that I could critique.

che io possa analizzare.

This is not a good place in which to find ourselves.

Non è un bello scenario.

If I had more time,

Se avessi più tempo, vi parlerei delle cause prevedibili

I'd try to tell you about the predictable reasons

per le quali l’attuale paradigma non produrrà

why the current paradigm will not work

to build a superintelligence that likes you

una superintelligenza a cui piacerete,

or is friends with you, or that just follows orders.

che vi sarà amica o che eseguirà gli ordini.

Why, if you press "thumbs up" when humans think that things went right

Se fate “pollice in su” quando gli umani pensano che vada tutto bene

or "thumbs down" when another AI system thinks that they went wrong,

o “pollice in giù” quando un’altra IA pensa che vada tutto male,

you do not get a mind that wants nice things

non ottenete una mente che vuole belle cose

in a way that generalizes well outside the training distribution

in un modo che generalizza ben al di fuori della distribuzione di formazione

to where the AI is smarter than the trainers.

dove l’IA è più intelligente degli addestratori.

You can search for "Yudkowsky list of lethalities" for more.

Potete cercare “liste di cose letali di Yudkowsky” per saperne di più.

(Laughter)

(Risate)

But to worry, you do not need to believe me

Ma per preoccuparvi,

non avete bisogno di credermi riguardo a previsioni esatte di disastri.

about exact predictions of exact disasters.

You just need to expect that things are not going to work great

Dovete solo aspettarvi che le cose non funzionino bene

on the first really serious, really critical try

al primo e veramente serio e veramente critico tentativo,

because an AI system smart enough to be truly dangerous

perché un sistema IA intelligente abbastanza da essere veramente pericoloso

was meaningfully different from AI systems stupider than that.

era significativamente diverso da sistemi di IA più stupidi di così.

My prediction is that this ends up with us facing down something smarter than us

La mia previsione è che dovremo affrontare qualcosa più intelligente di noi

that does not want what we want,

che non vuole ciò che noi vogliamo,

that does not want anything we recognize as valuable or meaningful.

che non vuole niente di ciò che per noi ha valore o significato.

I cannot predict exactly how a conflict between humanity and a smarter AI would go

Non posso prevedere esattamente come sarà un conflitto fra l’umanità e l’IA

for the same reason I can't predict exactly how you would lose a chess game

così come non posso prevedere come perdereste una partita di scacchi

to one of the current top AI chess programs, let's say Stockfish.

contro uno dei migliori programmi di scacchi del momento, come Stockfish.

If I could predict exactly where Stockfish could move,

Se potessi prevedere esattamente dove Stockfish farà la sua mossa,

I could play chess that well myself.

io stesso potrei giocare così bene a scacchi.

I can't predict exactly how you'll lose to Stockfish,

Non posso prevedere come perderete contro Stockfish,

but I can predict who wins the game.

ma posso prevedere chi vincerà la partita.

I do not expect something actually smart to attack us with marching robot armies

Non credo che un’intelligenza ci attaccherà con un esercito di robot

with glowing red eyes

con gli occhi rossi e luminosi,

where there could be a fun movie about us fighting them.

ma potrebbe esserci un film carino sul nostro scontro con loro.

I expect an actually smarter and uncaring entity

Mi aspetto un’entità davvero più intelligente e cinica

will figure out strategies and technologies

che troverà strategie e tecnologie

that can kill us quickly and reliably and then kill us.

che ci potranno uccidere velocemente.

I am not saying that the problem of aligning superintelligence

Non dico che il problema di allineare la superintelligenza

is unsolvable in principle.

sia irrisolvibile in principio.

I expect we could figure it out with unlimited time and unlimited retries,

Credo che potremmo scoprirlo con tempo illimitato e tentativi illimitati,

which the usual process of science assumes that we have.

cosa che il solito processo scientifico dà per scontato di avere.

The problem here is the part where we don't get to say,

Il problema qui è che non possiamo dire,

“Ha ha, whoops, that sure didn’t work.

“Ha ha, ops, questo di certo non ha funzionato.

That clever idea that used to work on earlier systems

Quella bella idea che una volta funzionava sui primi sistemi

sure broke down when the AI got smarter, smarter than us.”

ha smesso di funzionare quando l’IA è diventata più intelligente di noi.”

We do not get to learn from our mistakes and try again

Non possiamo imparare dai nostri sbagli e riprovare

because everyone is already dead.

perché saremmo già tutti morti.

It is a large ask

é davvero difficile

to get an unprecedented scientific and engineering challenge

azzeccare una sfida scientifica e di ingegneria senza precedenti

correct on the first critical try.

al primo, cruciale tentativo.

Humanity is not approaching this issue with remotely

L’umanità non sta affrontando il problema neanche lontanamente

the level of seriousness that would be required.

con il livello di serietà che dovrebbe avere.

Some of the people leading these efforts

Alcune delle persone impegnate in questo

have spent the last decade not denying

hanno passato l’ultimo decennio senza negare

that creating a superintelligence might kill everyone,

che creare una superintelligenza potrebbe uccidere tutti,

but joking about it.

ma ci hanno scherzato.

We are very far behind.

Siamo molto indietro.

This is not a gap we can overcome in six months,

Non è un divario che si può colmare in sei mesi,

given a six-month moratorium.

con una sospensione di sei mesi.

If we actually try to do this in real life,

Se provassimo a farlo nella vita reale,

we are all going to die.

moriremmo tutti.

People say to me at this point, what's your ask?

A questo punto la gente mi chiede, cosa proponi?

I do not have any realistic plan,

Non ho un piano realistico,

which is why I spent the last two decades

e infatti ho passato gli ultimi vent’anni

trying and failing to end up anywhere but here.

provando e fallendo per non arrivare a questo punto.

My best bad take is that we need an international coalition

La mia migliore interpretazione è che serve una coalizione internazionale

banning large AI training runs,

che vieti i grandi test di IA,

including extreme and extraordinary measures

includendo misure estreme e straordinarie,

to have that ban be actually and universally effective,

in modo che quel divieto sia veramente efficace e universale,

like tracking all GPU sales,

ad esempio, tracciare tutte le vendite di GPU,

monitoring all the data centers,

monitorare tutti i centri elaborazione dati,

being willing to risk a shooting conflict between nations

essere pronti a rischiare un conflitto armato fra nazioni

in order to destroy an unmonitored data center

per eliminare un centro elaborazione dati non monitorato

in a non-signatory country.

in un paese non firmatario.

I say this, not expecting that to actually happen.

Lo dico senza aspettative che questo accada.

I say this expecting that we all just die.

Lo dico aspettandomi che moriremo tutti.

But it is not my place to just decide on my own

Ma non sta a me a decidere da solo

that humanity will choose to die,

che l’umanità scelga di morire,

to the point of not bothering to warn anyone.

al punto da non preoccuparmi di avvertire nessuno.

I have heard that people outside the tech industry

So che persone esterne all’industria tecnologica

are getting this point faster than people inside it.

ci stanno arrivando prima di quelle del settore.

Maybe humanity wakes up one morning and decides to live.

Forse una mattina l’umanità si sveglierà e deciderà che vuole vivere.

Thank you for coming to my brief TED talk.

Grazie per essere al mio breve TED talk.

(Laughter)

(Risate)

(Applause and cheers)

(Applausi e acclamazioni)

Chris Anderson: So, Eliezer, thank you for coming and giving that.

Chris Anderson: Dunque, Eliezer, grazie a te per la presentazione.

It seems like what you're raising the alarm about is that like,

Sembra che quello che ti preoccupa,

for this to happen, for an AI to basically destroy humanity,

perché accada ciò, perché l’IA uccida l’umanità,

it has to break out, escape controls of the internet and, you know,

l’IA dovrebbe evadere, sfuggire ai controlli di internet e

start commanding actual real-world resources.

cominciare a controllare delle risorse del mondo reale.

You say you can't predict how that will happen,

Dici di non poter predire come accadrà,

but just paint one or two possibilities.

ma dacci una o due possibilità.

Eliezer Yudkowsky: OK, so why is this hard?

Eliezer Yudkowsky: Ok, perché è così difficile?

First, because you can't predict exactly where a smarter chess program will move.

Primo, non si può predire quando un programma di scacchi farà una mossa.

Maybe even more importantly than that,

Forse ancora più importante di ciò,

imagine sending the design for an air conditioner

immaginate di mandare il design di un condizionatore

back to the 11th century.

nell′XI secolo.

Even if they -- if it’s enough detail for them to build it,

Anche se avessero abbastanza dettagli per costruirlo,

they will be surprised when cold air comes out

sarebbero sorpresi dell’aria fredda che esce

because the air conditioner will use the temperature-pressure relation

perché il condizionatore usa la relazione temperatura-pressione

and they don't know about that law of nature.

e non conoscono questa legge della natura.

So if you want me to sketch what a superintelligence might do,

Così se volete che descriva cosa potrebbe fare una superintelligenza,

I can go deeper and deeper into places

posso andare più a fondo, in posti

where we think there are predictable technological advancements

dove pensiamo che ci siano avanzamenti tecnologici prevedibili

that we haven't figured out yet.

che non abbiamo ancora capito.

And as I go deeper, it will get harder and harder to follow.

E approfondendo, sarà sempre più difficile da seguire.

It could be super persuasive.

Potrebbe essere super persuasiva.

That's relatively easy to understand.

Ciò è relativamente facile da capire.

We do not understand exactly how the brain works,

Non capiamo esattamente come funziona il cervello,

so it's a great place to exploit laws of nature that we do not know about.

quindi è perfetto per sfruttare le leggi della natura che non conosciamo.

Rules of the environment,

Le leggi dell’ambiente,

invent new technologies beyond that.

vanno oltre e inventano nuove tecnologie.

Can you build a synthetic virus that gives humans a cold

È possibile costruire un virus sintetico che dia agli umani un raffreddore

and then a bit of neurological change and they're easier to persuade?

e un po’ di cambiamento neurologico, così che sia più facile persuaderli?

Can you build your own synthetic biology,

Si può costruire una propria biologia sintetica,

synthetic cyborgs?

dei cyborg sintetici?

Can you blow straight past that

Si può andare oltre,

to covalently bonded equivalents of biology,

fino a equivalenti della biologia uniti in modo covalente,

where instead of proteins that fold up and are held together by static cling,

dove invece di proteine ripiegate e tenute insieme da pellicola sintetica,

you've got things that go down much sharper potential energy gradients

ci sono cose che scendono da gradienti di energia, in teoria più netti

and are bonded together?

e che sono uniti insieme?

People have done advanced design work about this sort of thing

Sono stati fatti studi su questo tipo di cose

for artificial red blood cells that could hold 100 times as much oxygen

su cellule ematiche che potrebbero contenere ossigeno 100 volte di più

if they were using tiny sapphire vessels to store the oxygen.

se usassero piccoli vasi per immagazzinare l’ossigeno.

There's lots and lots of room above biology,

C’è molto spazio sulla biologia,

but it gets harder and harder to understand.

ma è sempre più difficile da capire.

CA: So what I hear you saying

CA: quindi quello che dici

is that these terrifying possibilities there

è che ci sono possibilità terrificanti,

but your real guess is that AIs will work out something more devious than that.

ma pensi che le intelligenze artificiali inventeranno qualcosa di peggiore.

Is that really a likely pathway in your mind?

È una possibilità che consideri?

EY: Which part?

EY: Quale parte?

That they're smarter than I am? Absolutely.

Che sono più intelligenti di me? Certo!

CA: Not that they're smarter,

CA: Non che siano più intelligenti

but why would they want to go in that direction?

ma perché vorrebbero andare in quella direzione?

Like, AIs don't have our feelings of sort of envy and jealousy and anger

Le IA non hanno i nostri sentimenti come invidia, gelosia e rabbia

and so forth.

eccetera.

So why might they go in that direction?

Quindi perché dovrebbero andare in quella direzione?

EY: Because it's convergently implied by almost any of the strange,

EY: Perché è reso sempre più implicito da quasi tutte le strane

inscrutable things that they might end up wanting

inscrutabili cose che potrebbero finire con il voler avere

as a result of gradient descent

come risultato di discesa graduale

on these "thumbs up" and "thumbs down" things internally.

su questi “pollici in su” e “pollici in giù” interni.

If all you want is to make tiny little molecular squiggles

Se tutto quello che volete fare sono piccoli scarabocchi molecolari

or that's like, one component of what you want,

o che sia un componente di ciò che volete,

but it's a component that never saturates, you just want more and more of it,

ma è un componente che non si satura mai, ne volete sempre di più,

the same way that we would want more and more galaxies filled with life

nello stesso modo in cui vorremmo sempre più galassie piene di vita

and people living happily ever after.

e gente che vive felice e contenta.

Anything that just keeps going,

Qualsiasi cosa che progredisce,

you just want to use more and more material for that,

volete usare solo sempre più materiale per quella cosa,

that could kill everyone on Earth as a side effect.

che può uccidere tutti come effetto collaterale.

It could kill us because it doesn't want us making other superintelligences

Ci potrebbe uccidere perché non vuole che creiamo altre super intelligenze

to compete with it.

con cui competere.

It could kill us because it's using up all the chemical energy on earth

Potrebbe ucciderci perché sta usando tutta l’energia chimica del pianeta

and we contain some chemical potential energy.

e noi conteniamo dell’energia potenziale chimica.

CA: So some people in the AI world worry that your views are strong enough

CA: Alcuni nel mondo dell’IA temono che tu abbia delle opinioni forti

and they would say extreme enough

e direbbero estreme abbastanza

that you're willing to advocate extreme responses to it.

che vuoi esortare delle reazioni estreme.

And therefore, they worry that you could be, you know,

E quindi, si preoccupano che potresti essere, diciamo,

in one sense, a very destructive figure.

in un certo senso, una figura distruttiva.

Do you draw the line yourself in terms of the measures

Tu hai definito un limite in termini di misure

that we should take to stop this happening?

che dovremmo adottare per evitare che ciò avvenga?

Or is actually anything justifiable to stop

Oppure tutto è giustificabile per evitare

the scenarios you're talking about happening?

gli scenari che hai descritto?

EY: I don't think that "anything" works.

EY: Non credo che “tutto” possa funzionare.

I think that this takes state actors

Credo che ci vogliano attori a livello statale

and international agreements

e accordi internazionali

and all international agreements by their nature,

e tutti gli accordi nazionali, per natura,

tend to ultimately be backed by force

tendono ad essere imposti con la forza

on the signatory countries and on the non-signatory countries,

sui paesi firmatari e non firmatari,

which is a more extreme measure.

il che è una misura ancora più estrema.

I have not proposed that individuals run out and use violence,

Non ho suggerito che la gente esca e usi la violenza,

and I think that the killer argument for that is that it would not work.

e il punto è che non funzionerebbe.

CA: Well, you are definitely not the only person to propose

CA: Beh, non sei l’unico a suggerire

that what we need is some kind of international reckoning here

che abbiamo bisogno di tener conto a livello internazionale

on how to manage this going forward.

di come la gestiremo in futuro.

Thank you so much for coming here to TED, Eliezer.

Grazie di aver partecipato a TED, Eliezer.

(Applause)

(Applausi)