Can we build AI without losing control over it? | Sam Harris

Traduttore: Giulia Claudi

Vi parlerò della mancanza d'intuito

I'm going to talk about a failure of intuition

that many of us suffer from.

di cui molti di noi soffrono

It's really a failure to detect a certain kind of danger.

è davvero un insuccesso non notare un certo tipo di pericolo

I'm going to describe a scenario

Vi descriverò uno scenario

che penso sia terrificante

that I think is both terrifying

and likely to occur,

e allo stesso tempo molto probabile che accada,

and that's not a good combination,

una combinazione poco felice,

as it turns out.

a quanto pare.

Ma invece di essere spaventati, molti di voi penseranno

And yet rather than be scared, most of you will feel

that what I'm talking about is kind of cool.

che quello di cui sto parlando è piuttosto figo.

I'm going to describe how the gains we make

Vi mostrerò che i progressi che stiamo facendo

in artificial intelligence

nell'intelligenza artificiale

potrebbero distruggerci.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

Penso sia difficile immaginare come non possano distruggerci

or inspire us to destroy ourselves.

o indurci a distruggerci tra noi.

And yet if you're anything like me,

E tuttavia, se siete come me,

you'll find that it's fun to think about these things.

penserete che sia divertente pensare a queste cose.

And that response is part of the problem.

Questa reazione è parte del problema.

OK? That response should worry you.

Ok? Questa reazione dovrebbe preoccuparvi.

And if I were to convince you in this talk

Se in questa conferenza vi dovessi convincere

that we were likely to suffer a global famine,

che è molto probabile che si verifichi una carestia globale,

o per i cambiamenti climatici o per altre catastrofi,

either because of climate change or some other catastrophe,

e che i vostri nipoti, o i loro nipoti,

and that your grandchildren, or their grandchildren,

are very likely to live like this,

vivranno in queste condizioni,

you wouldn't think,

non pensereste:

"Interesting.

"Interessante.

I like this TED Talk."

Bello questo TED Talk."

Famine isn't fun.

La carestia non è divertente.

Death by science fiction, on the other hand, is fun,

Una morte fantascientifica, d'altro canto, è divertente,

and one of the things that worries me most about the development of AI at this point

e una delle cose che mi preoccupano di più dello sviluppo dell'AI

is that we seem unable to marshal an appropriate emotional response

è che non sembriamo in grado di organizzare la giusta risposta emotiva

to the dangers that lie ahead.

rispetto al pericolo che corriamo.

Nemmeno io ne sono in grado, e sto facendo questo intervento.

I am unable to marshal this response, and I'm giving this talk.

È come se ci trovassimo davanti a due porte.

It's as though we stand before two doors.

Behind door number one,

Dietro la prima c'è questo:

smettiamo di fare progressi nel costruire macchine intelligenti.

we stop making progress in building intelligent machines.

Our computer hardware and software just stops getting better for some reason.

Per qualche motivo gli hardware e software dei nostri computer non migliorano più.

Now take a moment to consider why this might happen.

Pensate un attimo per quale motivo potrebbe succedere.

Insomma, visto quanto sono importanti l'intelligenza e l'automazione,

I mean, given how valuable intelligence and automation are,

we will continue to improve our technology if we are at all able to.

continueremo a migliorare la nostra tecnologia, se possiamo.

What could stop us from doing this?

Cosa potrebbe impedircelo?

A full-scale nuclear war?

Una guerra atomica su scala mondiale?

Una pandemia globale?

A global pandemic?

An asteroid impact?

L'impatto di un asteroide?

Justin Bieber becoming president of the United States?

Justin Bieber che diventa il primo presidente degli USA?

(Laughter)

(Risate)

The point is, something would have to destroy civilization as we know it.

Qualcosa dovrebbe distruggere la nostra civiltà, per come la conosciamo.

You have to imagine how bad it would have to be

Dovete immaginare quanto dovrebbe essere catastrofico

to prevent us from making improvements in our technology

per farci smettere di sviluppare la nostra tecnologia,

per sempre,

permanently,

generation after generation.

generazione dopo generazione.

Almost by definition, this is the worst thing

Sarebbe per definizione la cosa peggiore

that's ever happened in human history.

mai successa nella storia dell'uomo.

So the only alternative,

Perciò l'unica alternativa,

and this is what lies behind door number two,

ovvero ciò che c'è dietro la seconda porta,

is that we continue to improve our intelligent machines

è che continueremo a sviluppare l'intelligenza artificiale,

year after year after year.

anno dopo anno.

At a certain point, we will build machines that are smarter than we are,

Arriverà un momento in cui costruiremo macchine più intelligenti di noi,

e quando le macchine saranno più intelligenti di noi

and once we have machines that are smarter than we are,

they will begin to improve themselves.

inizieranno a migliorarsi da sole.

And then we risk what the mathematician IJ Good called

Allora rischieremo quello che il matematico IJ Good chiama

an "intelligence explosion,"

"esplosione dell'intelligenza",

that the process could get away from us.

ovvero che potremmo perdere il controllo.

Come vedete, spesso questo viene reso con una caricatura,

Now, this is often caricatured, as I have here,

as a fear that armies of malicious robots

ovvero la paura che un esercito di robot malvagi

will attack us.

ci attacchi.

But that isn't the most likely scenario.

Ma questo non è lo scenario più probabile.

It's not that our machines will become spontaneously malevolent.

Le nostre macchine non diventeranno malvagie spontaneamente.

Il problema è che costruiremo macchine

The concern is really that we will build machines

that are so much more competent than we are

che saranno tanto più capaci di noi

that the slightest divergence between their goals and our own

che la più piccola divergenza tra i loro obiettivi e i nostri

could destroy us.

ci potrebbe distruggere.

Just think about how we relate to ants.

Pensate a come ci comportiamo con le formiche.

We don't hate them.

Non le odiamo.

We don't go out of our way to harm them.

Non facciamo loro del male apposta.

In fact, sometimes we take pains not to harm them.

Alle volte facciamo attenzione a non danneggiarle.

We step over them on the sidewalk.

Le saltiamo, quando sono sul marciapiede.

But whenever their presence

Ma se la loro presenza

seriously conflicts with one of our goals,

ci intralcia,

let's say when constructing a building like this one,

ad esempio se dobbiamo costruire un edificio come questo,

we annihilate them without a qualm.

le distruggiamo senza battere ciglio.

The concern is that we will one day build machines

La mia preoccupazione è che un giorno costruiremo delle macchine

that, whether they're conscious or not,

che, consapevolmente o meno,

could treat us with similar disregard.

possano trattarci con la stessa noncuranza.

Now, I suspect this seems far-fetched to many of you.

Penserete che tutto questo sia inverosimile

I bet there are those of you who doubt that superintelligent AI is possible,

Scommetto che alcuni di voi dubitano che una IA del genere sia possibile,

much less inevitable.

e ancor meno, che sia inevitabile.

But then you must find something wrong with one of the following assumptions.

Ma per credere questo dovete trovare qualcosa di sbagliato in questi assunti.

Sono solo tre.

And there are only three of them.

Intelligence is a matter of information processing in physical systems.

L'intelligenza dipende dalle informazioni elaborate in un sistema fisico.

Actually, this is a little bit more than an assumption.

In realtà questo è più di un assunto.

We have already built narrow intelligence into our machines,

Abbiamo già inserito delle "IA deboli" nelle nostre macchine,

and many of these machines perform

e molte di queste hanno già dato risultati

at a level of superhuman intelligence already.

a livelli di una super intelligenza.

And we know that mere matter

Sappiamo che la sola materia

can give rise to what is called "general intelligence,"

può dar vita alla "intelligenza generale",

l'abilità di pensare in modo flessibile attraverso settori diversi,

an ability to think flexibly across multiple domains,

because our brains have managed it. Right?

perché il nostro cervello lo sa fare. Giusto?

I mean, there's just atoms in here,

Alla fine, ci sono solo atomi qua dentro,

and as long as we continue to build systems of atoms

e finché continuiamo a costruire dei sistemi fatti di atomi

that display more and more intelligent behavior,

che manifestano comportamenti sempre più intelligenti,

a meno che qualcosa non ce lo impedisca,

we will eventually, unless we are interrupted,

we will eventually build general intelligence

arriveremo a immettere l'intelligenza generale

nelle nostre macchine.

into our machines.

It's crucial to realize that the rate of progress doesn't matter,

È fondamentale capire che il tasso di progresso non conta,

perché ogni progresso basta ad avvicinarci al suo compimento.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

Non c'è bisogno della legge di Moore, o della crescita esponenziale.

Basta proseguire.

We just need to keep going.

The second assumption is that we will keep going.

Il secondo assunto è che proseguiremo.

Continueremo a migliorare le nostre macchine intelligenti.

We will continue to improve our intelligent machines.

E data l'importanza dell'intelligenza...

And given the value of intelligence --

I mean, intelligence is either the source of everything we value

O l'intelligenza è la fonte di tutto ciò che per noi ha valore,

or we need it to safeguard everything we value.

o ne abbiamo bisogno per preservare tutto ciò che ha valore.

It is our most valuable resource.

È la nostra risorsa più importante.

Per questo lo facciamo.

So we want to do this.

We have problems that we desperately need to solve.

Ci sono problemi che dobbiamo risolvere disperatamente.

We want to cure diseases like Alzheimer's and cancer.

Vogliamo curare malattie come l'Alzheimer e il cancro.

We want to understand economic systems. We want to improve our climate science.

Vogliamo comprendere i sistemi economici, migliorare le scienze del clima.

So we will do this, if we can.

Perciò lo faremo, se possiamo.

The train is already out of the station, and there's no brake to pull.

Il treno ha già lasciato la stazione e non c'è nessun freno da tirare.

Finally, we don't stand on a peak of intelligence,

Infine, non abbiamo ancora raggiunto il culmine della nostra intelligenza,

or anywhere near it, likely.

nemmeno lontanamente.

And this really is the crucial insight.

Questa è l'intuizione fondamentale,

This is what makes our situation so precarious,

ciò che rende la nostra situazione così precaria

e la nostra percezione del rischio così inaffidabile.

and this is what makes our intuitions about risk so unreliable.

Pensate alla persona più intelligente che sia mai vissuta.

Now, just consider the smartest person who has ever lived.

On almost everyone's shortlist here is John von Neumann.

Quasi tutti inserirebbero John von Neumann tra i primi posti.

L'ottima impressione che von Neumann fece sulle persone intorno a lui,

I mean, the impression that von Neumann made on the people around him,

and this included the greatest mathematicians and physicists of his time,

tra cui c'erano i più grandi fisici e matematici del suo tempo,

is fairly well-documented.

è ben documentata.

If only half the stories about him are half true,

Se solo metà delle storie su di lui sono vere a metà,

there's no question

non ci sono dubbi

he's one of the smartest people who has ever lived.

che sia una delle persone più intelligenti mai vissute.

Considerate una gamma di intelligenze.

So consider the spectrum of intelligence.

Here we have John von Neumann.

Qui abbiamo John von Neumann.

And then we have you and me.

Qui ci siamo io e voi.

E qui una gallina.

And then we have a chicken.

(Laughter)

(Risate)

Sorry, a chicken.

Scusate, una gallina.

(Laughter)

(Risate)

There's no reason for me to make this talk more depressing than it needs to be.

Non rendiamo questo incontro più deprimente di quanto non sia già.

(Laughter)

(Risate)

It seems overwhelmingly likely, however, that the spectrum of intelligence

È molto probabile, però, che la gamma delle intelligenze

extends much further than we currently conceive,

sia molto più estesa di quando si pensi,

and if we build machines that are more intelligent than we are,

e se costruiamo delle macchine molto più intelligenti di noi,

finiranno con l'esplorare questa gamma

they will very likely explore this spectrum

in ways that we can't imagine,

in modi che non possiamo prevedere,

and exceed us in ways that we can't imagine.

e ci supereranno in modi che non possiamo immaginare.

È importante riconoscere che questo sia vero anche in virtù della velocità.

And it's important to recognize that this is true by virtue of speed alone.

Right? So imagine if we just built a superintelligent AI

Giusto? Immaginate che sia stata inventata una IA super intelligente,

that was no smarter than your average team of researchers

che non sia più brillante di un normale gruppo di ricerca

at Stanford or MIT.

a Stanford o al MIT.

Well, electronic circuits function about a million times faster

I circuiti elettronici funzionano un milione di volte più veloci

than biochemical ones,

di quelli biochimici,

so this machine should think about a million times faster

perciò questa macchina funzionerà un milione di volte più velocemente

than the minds that built it.

delle menti che l'hanno costruita.

So you set it running for a week,

In una settimana

and it will perform 20,000 years of human-level intellectual work,

avrà fatto il lavoro di 20 mila anni di lavoro intellettuale umano,

week after week after week.

settimana, dopo settimana.

How could we even understand, much less constrain,

Come possiamo comprendere, e figuriamoci contenere,

a mind making this sort of progress?

una mente che progredisce così velocemente?

The other thing that's worrying, frankly,

C'è un altro aspetto preoccupante,

anche immaginando lo scenario più ottimista.

is that, imagine the best case scenario.

Mettiamo che abbiamo realizzato una IA super intelligente

So imagine we hit upon a design of superintelligent AI

that has no safety concerns.

senza problemi di sicurezza.

We have the perfect design the first time around.

Abbiamo trovato alla prima il design perfetto.

It's as though we've been handed an oracle

Come se ci avessero dato un oracolo

che si comporta proprio come dovrebbe.

that behaves exactly as intended.

Sarebbe lo strumento perfetto per risparmiare fatica.

Well, this machine would be the perfect labor-saving device.

It can design the machine that can build the machine

Può progettare la macchina che ne costruisce un'altra

che faccia qualsiasi lavoro fisico,

that can do any physical work,

powered by sunlight,

azionata dalla luce solare,

more or less for the cost of raw materials.

più o meno al costo della materia prima.

Per l'uomo, sarebbe la fine del lavoro duro,

So we're talking about the end of human drudgery.

We're also talking about the end of most intellectual work.

ma anche della maggior parte dei lavori intellettuali.

So what would apes like ourselves do in this circumstance?

Cosa farebbero degli scimmioni come siamo in queste circostanze?

Well, we'd be free to play Frisbee and give each other massages.

Saremmo liberi di giocare a frisbee e farci i massaggi a vicenda.

Add some LSD and some questionable wardrobe choices,

Aggiungete un po' di LSD, dei vestiti di dubbio gusto,

and the whole world could be like Burning Man.

e il mondo sarebbe come il Burning Man.

(Laughter)

(Risate)

Now, that might sound pretty good,

Tutto questo non suona male,

but ask yourself what would happen

ma pensate a come sarebbe se accadesse

under our current economic and political order?

in un ordine economico e politico come il nostro.

It seems likely that we would witness

Assisteremmo

a level of wealth inequality and unemployment

ad una disparità delle ricchezze e ad una disoccupazione

senza precedenti.

that we have never seen before.

Absent a willingness to immediately put this new wealth

Non ci sarebbe la volontà di mettere questo nuovo benessere

to the service of all humanity,

al servizio di tutti,

a few trillionaires could grace the covers of our business magazines

Pochi miliardari adornerebbero le copertine di riviste di business,

while the rest of the world would be free to starve.

mentre il resto del mondo morirebbe di fame.

And what would the Russians or the Chinese do

Cosa farebbero, allora, la Russia e la Cina

if they heard that some company in Silicon Valley

se sapessero che nella Silicon Valley delle compagnie

was about to deploy a superintelligent AI?

fossero sul punto di rilasciare una IA super intelligente?

Questa macchina potrebbe scatenare una guerra,

This machine would be capable of waging war,

whether terrestrial or cyber,

terrestre o cibernetica,

disponendo di un potere senza pari.

with unprecedented power.

Uno scenario di vittoria assoluta.

This is a winner-take-all scenario.

Essere in vantaggio sulla competizione anche solo di sei mesi

To be six months ahead of the competition here

è come essere avanti di 500 mila,

is to be 500,000 years ahead,

at a minimum.

almeno.

So it seems that even mere rumors of this kind of breakthrough

Perciò anche solo la voce di una svolta simile

could cause our species to go berserk.

potrebbe far impazzire la nostra specie.

Now, one of the most frightening things,

Tra gli aspetti più inquietanti,

in my view, at this moment,

a mio parere, che ci sono al momento,

are the kinds of things that AI researchers say

sono le risposte che danno i ricercatori di IA

when they want to be reassuring.

quando vogliono rassicurarci.

Una delle rassicurazioni più comuni è che abbiamo tempo.

And the most common reason we're told not to worry is time.

This is all a long way off, don't you know.

Siamo ancora molto lontani, sapete.

This is probably 50 or 100 years away.

Ci vorranno ancora 50 o 100 anni.

One researcher has said,

Un ricercatore ha detto:

"Preoccuparsi della sicurezza dell'IA

"Worrying about AI safety

is like worrying about overpopulation on Mars."

è come preoccuparsi della sovrappopolazione su Marte."

La versione della Silicon Valley di:

This is the Silicon Valley version

of "don't worry your pretty little head about it."

"non turbare la tua bella testolina con questi problemi".

(Laughter)

(Risate)

No one seems to notice

Nessuno sembra notare

that referencing the time horizon

che far riferimento all'orizzonte temporale

è del tutto illogico.

is a total non sequitur.

If intelligence is just a matter of information processing,

Se l'intelligenza è questione di processare le informazioni

and we continue to improve our machines,

e continueremo a migliorare le nostre macchine,

we will produce some form of superintelligence.

arriveremo a produrre una forma di intelligenza superiore.

And we have no idea how long it will take us

E non abbiamo idea di quanto ci voglia

per crearla in condizioni di sicurezza.

to create the conditions to do that safely.

Let me say that again.

Lo ripeto.

We have no idea how long it will take us

Non abbiamo idea di quanto ci voglia

to create the conditions to do that safely.

per crearla in condizioni di sicurezza.

And if you haven't noticed, 50 years is not what it used to be.

E 50 di progresso, oggi, non sono più come una volta.

This is 50 years in months.

Questi sono 50 anni riportati in mesi.

This is how long we've had the iPhone.

Questo è da quanto abbiamo l'iPhone.

This is how long "The Simpsons" has been on television.

Questo è da quanto "I Simpson" sono in tv.

Fifty years is not that much time

50 anni non sono poi così tanti

per affrontare una delle sfide maggiori che l'uomo abbia affrontato.

to meet one of the greatest challenges our species will ever face.

Once again, we seem to be failing to have an appropriate emotional response

Ancora una volta, sembra che ci manchi la giusta risposta emotiva

to what we have every reason to believe is coming.

a quello che, per vari motivi, sappiamo che accadrà.

The computer scientist Stuart Russell has a nice analogy here.

L'informatico Stuart Russel ha fatto una giusta analogia.

He said, imagine that we received a message from an alien civilization,

Ha detto di immaginare di ricevere un messaggio dagli alieni

which read:

che dice:

"Popolo della Terra,

"People of Earth,

we will arrive on your planet in 50 years.

arriveremo sul vostro pianeta fra 50 anni.

Get ready."

Preparatevi".

And now we're just counting down the months until the mothership lands?

Staremmo qui a fare il conto alla rovescia finché non atterri la nave ammiraglia?

We would feel a little more urgency than we do.

O forse sentiremmo un pochino più di urgenza?

Another reason we're told not to worry

In più, ci dicono di non preoccuparci

is that these machines can't help but share our values

perché queste macchine avrebbero i nostri stessi valori,

because they will be literally extensions of ourselves.

essendo una vera e propria estensione di noi stessi.

They'll be grafted onto our brains,

Ce le impianteremo nel cervello,

e diventeremo il loro sistema limbico.

and we'll essentially become their limbic systems.

Pensate un attimo

Now take a moment to consider

that the safest and only prudent path forward,

che la via più sicura e prudente,

recommended,

quella raccomandata,

è di impiantarci questa tecnologia direttamente nel cervello.

is to implant this technology directly into our brains.

Now, this may in fact be the safest and only prudent path forward,

Ora, questa potrebbe essere l'unica via più sicura e prudente,

ma di solito uno dovrebbe aver chiarito tutti i dubbi

but usually one's safety concerns about a technology

su una tecnologia prima di infilarsela in testa.

have to be pretty much worked out before you stick it inside your head.

(Laughter)

(Risate)

The deeper problem is that building superintelligent AI on its own

Il problema principale è che costruire una IA super intelligente, a parte,

sembra molto più semplice

seems likely to be easier

than building superintelligent AI

di costruirla

and having the completed neuroscience

ed avere le conoscenze neuroscientifiche

that allows us to seamlessly integrate our minds with it.

che consentano di integrarla completamente alla nostra mente.

And given that the companies and governments doing this work

Dato che le aziende e i governi che ci lavorano

sono in competizione gli uni con gli altri,

are likely to perceive themselves as being in a race against all others,

given that to win this race is to win the world,

e dato che vincere questa gara equivale a dominare il mondo,

provided you don't destroy it in the next moment,

sempre che non venga distrutto subito dopo,

then it seems likely that whatever is easier to do

è probabile che verrà intrapresa

la strada più facile.

will get done first.

Now, unfortunately, I don't have a solution to this problem,

Purtroppo non ho soluzione a questo problema,

apart from recommending that more of us think about it.

a parte raccomandare che più persone ci pensino.

Credo che ci servirebbe una specie di Progetto Manhattan

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

sull'intelligenza artificiale.

Not to build it, because I think we'll inevitably do that,

Non per costruirla, perché penso che ci arriveremo comunque,

but to understand how to avoid an arms race

ma per capire come evitare una corsa alle armi

and to build it in a way that is aligned with our interests.

e per svilupparla in modo che sia in linea con i nostri interessi.

Quando si parla di una IA super intelligente

When you're talking about superintelligent AI

that can make changes to itself,

che possa migliorarsi da sola,

it seems that we only have one chance to get the initial conditions right,

la nostra unica opzione è quella di darle le giuste impostazioni iniziali,

and even then we will need to absorb

e anche allora dovremo comprendere

the economic and political consequences of getting them right.

quali saranno le conseguenze economiche e politiche.

But the moment we admit

Ma se ammettiamo che

that information processing is the source of intelligence,

l'elaborazione delle informazioni è la fonte dell'intelligenza,

that some appropriate computational system is what the basis of intelligence is,

che un sistema computazionale idoneo è alla base dell'intelligenza,

and we admit that we will improve these systems continuously,

se ammettiamo che svilupperemo continuamente tali sistemi,

and we admit that the horizon of cognition very likely far exceeds

e che l'orizzonte cognitivo è di gran lunga maggiore

what we currently know,

di ciò che sappiamo ora,

allora dobbiamo ammettere

then we have to admit

that we are in the process of building some sort of god.

che stiamo costruendo una sorta di dio.

Now would be a good time

Ora sarebbe il momento giusto

per assicurarci che sia un dio con cui possiamo vivere.

to make sure it's a god we can live with.

Grazie mille.

Thank you very much.

(Applause)

(Applausi)