What happens when our computers get smarter than we are? | Nick Bostrom

Traduttore: Michele Gianella Revisore: Emanuele Francesco Pecora

I work with a bunch of mathematicians, philosophers and computer scientists,

Lavoro con molti matematici, filosofi e informatici.

and we sit around and think about the future of machine intelligence,

Ci sediamo e pensiamo al futuro dell'Intelligenza Artificiale,

among other things.

tra le altre cose.

Some people think that some of these things are sort of science fiction-y,

Alcuni pensano che alcune di queste cose siano roba di fantascienza,

far out there, crazy.

di là da venire, folli.

But I like to say,

Ma a me piace dire,

okay, let's look at the modern human condition.

okay, diamo un'occhiata alla condizione dell'uomo moderno.

(Laughter)

(Risate)

This is the normal way for things to be.

È così che vanno le cose, "normalmente".

But if we think about it,

Ma se ci pensiamo,

we are actually recently arrived guests on this planet,

in realtà noi umani non siamo ospiti di questo pianeta da molto tempo.

the human species.

Think about if Earth was created one year ago,

Pensate, se la Terra fosse stata creata un anno fa,

the human species, then, would be 10 minutes old.

la specie umana esisterebbe da soli 10 minuti.

The industrial era started two seconds ago.

L'era industriale sarebbe iniziata due secondi fa.

Another way to look at this is to think of world GDP over the last 10,000 years,

Un altro modo di vederlo è pensare al PIL mondiale negli ultimi 10.000 anni:

I've actually taken the trouble to plot this for you in a graph.

mi sono permesso di mostrarvelo in un grafico.

It looks like this.

L'andamento è questo.

(Laughter)

(Risate)

It's a curious shape for a normal condition.

Strana curva, per una condizione normale.

I sure wouldn't want to sit on it.

Certo non vorrei sedermi lì.

(Laughter)

(Risate)

Let's ask ourselves, what is the cause of this current anomaly?

Chiediamoci, qual è la causa di questa anomalia?

Some people would say it's technology.

Alcuni direbbero che è la tecnologia.

Now it's true, technology has accumulated through human history,

Ed è vero, la tecnologia si è accumulata nel corso della storia umana,

and right now, technology advances extremely rapidly --

e ora procede ad un ritmo estremamente rapido -

that is the proximate cause,

questa è la causa più immediata,

that's why we are currently so very productive.

il motivo per cui ora siamo così produttivi.

But I like to think back further to the ultimate cause.

Ma vorrei andare a ritroso fino alla causa fondamentale.

Look at these two highly distinguished gentlemen:

Guardate questi due signori, molto diversi tra loro:

We have Kanzi --

Abbiamo Kanzi --

he's mastered 200 lexical tokens, an incredible feat.

che padroneggia 200 elementi lessicali, una caratteristica incredibile.

And Ed Witten unleashed the second superstring revolution.

E lui è Ed Witten, che ha lanciato la 2° rivoluzione delle superstringhe.

If we look under the hood, this is what we find:

Guardando sotto la fronte, ecco cosa troviamo:

basically the same thing.

essenzialmente la stessa cosa.

One is a little larger,

Sì, una è un po' più larga,

it maybe also has a few tricks in the exact way it's wired.

forse è anche cablata un po' meglio.

These invisible differences cannot be too complicated, however,

Tuttavia, queste differenze invisibili non possono essere troppo complicate

because there have only been 250,000 generations

perché sono passate solo 250.000 generazioni

since our last common ancestor.

dall'ultimo progenitore comune.

We know that complicated mechanisms take a long time to evolve.

E sappiamo che i meccanismi complicati richiedono molto tempo per evolversi.

So a bunch of relatively minor changes

Una manciata di modifiche minori, quindi, è bastata

take us from Kanzi to Witten,

a portarci da Kanzi a Witten,

from broken-off tree branches to intercontinental ballistic missiles.

dai rami spezzati ai missili balistici intercontinentali.

So this then seems pretty obvious that everything we've achieved,

Sembra quindi abbastanza ovvio che tutto ciò che abbiamo conquistato,

and everything we care about,

e a cui diamo valore,

depends crucially on some relatively minor changes that made the human mind.

derivi sostanzialmente da alcuni ritocchi che hanno prodotto la mente umana.

And the corollary, of course, is that any further changes

E il corollario, ovviamente, è che ogni modifica ulteriore

that could significantly change the substrate of thinking

che possa cambiare sostanzialmente il substrato del pensiero

could have potentially enormous consequences.

potrebbe avere conseguenze potenzialmente enormi.

Some of my colleagues think we're on the verge

Alcuni dei miei colleghi ritengono che siamo alla vigilia

of something that could cause a profound change in that substrate,

di qualcosa che potrebbe causare un profondo cambiamento in quel substrato,

and that is machine superintelligence.

e quel qualcosa è la superintelligenza artificiale.

Artificial intelligence used to be about putting commands in a box.

L'Intelligenza Artificiale, un tempo, consisteva nel dare comandi a una scatola.

You would have human programmers

C'erano programmatori umani

that would painstakingly handcraft knowledge items.

che elaboravano "manualmente", con fatica, tasselli di conoscenza.

You build up these expert systems,

Si costruivano questi sistemi esperti

and they were kind of useful for some purposes,

che erano utili per qualche scopo,

but they were very brittle, you couldn't scale them.

ma erano molto "fragili", difficili da espandere.

Basically, you got out only what you put in.

Sostanzialmente ottenevi solo quello che inserivi.

But since then,

Ma da allora

a paradigm shift has taken place in the field of artificial intelligence.

c'è stata una rivoluzione nel settore dell'Intelligenza Artificiale.

Today, the action is really around machine learning.

Oggi, siamo concentrati sull'apprendimento macchina.

So rather than handcrafting knowledge representations and features,

Invece di inserire a mano rappresentazioni e caratteristiche della conoscenza,

we create algorithms that learn, often from raw perceptual data.

creiamo algoritmi che apprendono, spesso da dati percettivi grezzi.

Basically the same thing that the human infant does.

In pratica, la stessa cosa che fa un bambino.

The result is A.I. that is not limited to one domain --

Il risultato è un'intelligenza artificiale che non si limita a un solo settore:

the same system can learn to translate between any pairs of languages,

lo stesso sistema può imparare a tradurre tra ogni coppia di linguaggi,

or learn to play any computer game on the Atari console.

o imparare a giocare ogni gioco della consolle Atari.

Now of course,

Naturalmente,

A.I. is still nowhere near having the same powerful, cross-domain

L'IA non è ancora neanche vicina alla potente, interdisciplinare

ability to learn and plan as a human being has.

capacità di imparare e progettare di un essere umano.

The cortex still has some algorithmic tricks

La corteccia ha ancora vantaggi algoritmici

that we don't yet know how to match in machines.

che non sappiamo riprodurre nelle macchine.

So the question is,

Quindi la domanda è,

how far are we from being able to match those tricks?

quanto manca, prima che le macchine riescano a recuperare questi vantaggi?

Un paio di anni fa,

A couple of years ago,

we did a survey of some of the world's leading A.I. experts,

abbiamo fatto un sondaggio ad alcuni esperti mondiali di IA

to see what they think, and one of the questions we asked was,

per vedere cosa pensassero, e una delle domande fu:

"By which year do you think there is a 50 percent probability

"Entro quale anno pensate che vi sia una probabilità del 50%

that we will have achieved human-level machine intelligence?"

di ottenere un'intelligenza artificiale di livello umano?"

We defined human-level here as the ability to perform

Qui definiamo "di livello umano" l'abilità di eseguire

almost any job at least as well as an adult human,

quasi ogni lavoro almeno tanto bene quanto un umano,

so real human-level, not just within some limited domain.

quindi di livello veramente umano, non solo in qualche dominio limitato.

And the median answer was 2040 or 2050,

E la risposta mediana fu 2040 o 2050,

depending on precisely which group of experts we asked.

a seconda del gruppo di esperti a cui chiedevamo.

Now, it could happen much, much later, or sooner,

Potrebbe avvenire molto, molto più tardi, o prima,

the truth is nobody really knows.

la realtà è che nessuno lo sa davvero.

What we do know is that the ultimate limit to information processing

Quello che sappiamo è che il limite all'elaborazione di informazioni

in a machine substrate lies far outside the limits in biological tissue.

su un substrato artificale va molto al di là dei limiti dei tessuti biologici.

This comes down to physics.

Le ragioni si trovano nella fisica.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Un neurone biologico spara, forse, a 200 Hertz, 200 volte al secondo.

But even a present-day transistor operates at the Gigahertz.

Ma un transistor dei giorni nostri opera a GigaHertz.

Neurons propagate slowly in axons, 100 meters per second, tops.

I neuroni si propagano lentamente lungo gli assoni, a massimo 100 mt/s.

But in computers, signals can travel at the speed of light.

Ma un computer può instradare i segnali alla velocità della luce.

There are also size limitations,

Ci sono inoltre limiti dimensionali:

like a human brain has to fit inside a cranium,

un cervello umano deve stare all'interno di un cranio,

but a computer can be the size of a warehouse or larger.

mentre un computer può essere grande come un magazzino, o di più.

So the potential for superintelligence lies dormant in matter,

Il potenziale della superintelligenza, quindi, giace nella materia,

much like the power of the atom lay dormant throughout human history,

proprio come la forza dell'atomo si è nascosta nella storia umana,

patiently waiting there until 1945.

attendendo paziente il 1945.

In this century,

In questo secolo,

scientists may learn to awaken the power of artificial intelligence.

gli scienziati potrebbero imparare a scatenare l'intelligenza artificiale.

And I think we might then see an intelligence explosion.

E penso che a quel punto potremmo osservare un'esplosione di intelligenza.

Now most people, when they think about what is smart and what is dumb,

La maggior parte delle persone, quando pensano al genio e all'idiozia,

I think have in mind a picture roughly like this.

penso che abbiano in mente più o meno un'immagine come questa.

So at one end we have the village idiot,

Abbiamo lo scemo del villaggio ad un estremo,

and then far over at the other side

e in posizione diametralmente opposta

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

abbiamo Ed Witten, Albert Einstein o un altro vostro guru preferito.

But I think that from the point of view of artificial intelligence,

Ma penso che dal punto di vista dell'intelligenza artificiale,

the true picture is actually probably more like this:

la vera immagine somigli più probabilmente a questa:

AI starts out at this point here, at zero intelligence,

l'IA inizia qui, a zero intelligenza,

and then, after many, many years of really hard work,

e poi, dopo molti, molti anni di lavoro veramente duro,

maybe eventually we get to mouse-level artificial intelligence,

alla fine forse arriviamo al livello di intelligenza di un topo,

something that can navigate cluttered environments

qualcosa che possa navigare in ambienti complessi

as well as a mouse can.

bene quanto un topo.

And then, after many, many more years of really hard work, lots of investment,

E poi, dopo molti, molti anni di duro lavoro, e molti investimenti,

maybe eventually we get to chimpanzee-level artificial intelligence.

forse alla fine arriviamo a un'IA intelligente come uno scimpanzé.

And then, after even more years of really, really hard work,

E poi, dopo ancora molti, molti anni di lavoro massacrante,

we get to village idiot artificial intelligence.

arriviamo a un'IA al livello di uno scemo del villaggio.

And a few moments later, we are beyond Ed Witten.

E pochi istanti dopo, avremo sorpassato Ed Witten.

The train doesn't stop at Humanville Station.

Il treno non si fermerà a Umanopoli.

It's likely, rather, to swoosh right by.

È più probabile che sfrecci oltre, invece.

Now this has profound implications,

Questo ha implicazioni profonde,

particularly when it comes to questions of power.

soprattutto quando si parla di potere.

For example, chimpanzees are strong --

Gli scimpanzé, ad esempio, sono forti--

pound for pound, a chimpanzee is about twice as strong as a fit human male.

circa il doppio di un maschio umano in buona forma fisica.

And yet, the fate of Kanzi and his pals depends a lot more

E tuttavia, il destino di Kanzi e dei suoi pari dipende molto di più

on what we humans do than on what the chimpanzees do themselves.

dalle nostre azioni che dalle loro.

Once there is superintelligence,

Quando arriverà la superintelligenza,

the fate of humanity may depend on what the superintelligence does.

anche il nostro destino potrebbe dipenderne.

Think about it:

Pensateci:

Machine intelligence is the last invention that humanity will ever need to make.

L'IA è l'ultima invenzione che l'umanità dovrà mai creare.

Machines will then be better at inventing than we are,

Le macchine saranno inventori migliori di noi,

and they'll be doing so on digital timescales.

e agiranno in tempi "digitali".

What this means is basically a telescoping of the future.

Questo significa sostanzialmente un "avvicinamento" del futuro.

Think of all the crazy technologies that you could have imagined

Pensate a tutte le tecnologie folli che forse, a vostro avviso,

maybe humans could have developed in the fullness of time:

gli umani potrebbero sviluppare:

cures for aging, space colonization,

cure per l'invecchiamento, colonizzazione spaziale,

self-replicating nanobots or uploading of minds into computers,

nanobot auto-replicanti, caricare le proprie menti in un computer.

all kinds of science fiction-y stuff

Ogni sorta di roba fantascientifica

that's nevertheless consistent with the laws of physics.

e nondimeno permessa dalla fisica.

All of this superintelligence could develop, and possibly quite rapidly.

Una superintelligenza potrebbe sviluppare tutto questo, e forse molto rapidamente.

Now, a superintelligence with such technological maturity

Una superintelligenza con una tale maturità tecnologica

would be extremely powerful,

sarebbe estremamente potente,

and at least in some scenarios, it would be able to get what it wants.

e almeno in qualche scenario, potrebbe ottenere quel che vuole.

We would then have a future that would be shaped by the preferences of this A.I.

A quel punto avremmo un futuro modellato sulle preferenze dell'IA.

Now a good question is, what are those preferences?

Una buona domanda a quel punto è: quali sono queste preferenze?

Here it gets trickier.

Qui la cosa si fa intricata.

To make any headway with this,

Per trovare una via d'uscita,

we must first of all avoid anthropomorphizing.

dobbiamo prima di tutto evitare l'antropomorfizzazione.

And this is ironic because every newspaper article

Ed è ironico perché ogni articolo di giornale

about the future of A.I. has a picture of this:

sul futuro dell'IA ha un'immagine come questa.

So I think what we need to do is to conceive of the issue more abstractly,

Quindi penso che dovremmo concepire la questione in modo più astratto,

not in terms of vivid Hollywood scenarios.

non come un film di Hollywood.

We need to think of intelligence as an optimization process,

Dobbiamo pensare all'intelligenza come a un processo di ottimizzazione,

a process that steers the future into a particular set of configurations.

un processo che dirige il futuro verso un particolare set di configurazioni.

A superintelligence is a really strong optimization process.

Una superintelligenza è un processo di ottimizzazione davvero potente.

It's extremely good at using available means to achieve a state

È estremamente capace di usare i mezzi disponibili

per ottenere una condizione in cui i suoi scopi sono realizzati.

in which its goal is realized.

This means that there is no necessary connection between

Quindi non c'è necessariamente una connessione

being highly intelligent in this sense,

tra l'essere molto intelligenti in questo senso

and having an objective that we humans would find worthwhile or meaningful.

e avere un obiettivo che noi umani riterremmo degno o significativo.

Suppose we give an A.I. the goal to make humans smile.

Supponiamo di dare all'AI l'obiettivo di far sorridere gli umani.

Un'IA debole si limiterebbe a eseguire azioni utili o divertenti,

When the A.I. is weak, it performs useful or amusing actions

that cause its user to smile.

che fanno sorridere il suo utente.

When the A.I. becomes superintelligent,

Quando l'IA diventa superintelligente,

it realizes that there is a more effective way to achieve this goal:

capisce che c'è un modo più efficace di ottenere questo scopo:

take control of the world

prendere il controllo del mondo,

and stick electrodes into the facial muscles of humans

e infilare elettrodi nei muscoli facciali degli umani,

to cause constant, beaming grins.

causando una costante, accattivante smorfia.

Another example,

Un altro esempio: supponiamo di dare all'IA

suppose we give A.I. the goal to solve a difficult mathematical problem.

un problema matematico duro da risolvere.

When the A.I. becomes superintelligent,

Quando l'IA diventa superintelligente,

it realizes that the most effective way to get the solution to this problem

capisce che il modo più efficace di ottenere la soluzione al problema

is by transforming the planet into a giant computer,

è trasformare il pianeta in un computer gigantesco,

so as to increase its thinking capacity.

così da aumentare la sua capacità di pensiero.

And notice that this gives the A.I.s an instrumental reason

E notate: questo dà all'IA una ragione strumentale

to do things to us that we might not approve of.

per farci subire cose che potremmo non approvare.

Human beings in this model are threats,

Gli umani diventerebbero una minaccia,

we could prevent the mathematical problem from being solved.

perché potremmo impedire la scoperta della soluzione.

Of course, perceivably things won't go wrong in these particular ways;

Ovviamente, non è detto che le cose andranno male in questo preciso modo;

these are cartoon examples.

sono esempi da cartone animato.

But the general point here is important:

Ma è importante cogliere il punto:

if you create a really powerful optimization process

se create un processo di ottimizzazione davvero potente

to maximize for objective x,

che massimizzi l'obiettivo x,

you better make sure that your definition of x

sinceratevi che la vostra definizione di x

incorporates everything you care about.

includa tutto ciò a cui tenete.

This is a lesson that's also taught in many a myth.

È una lezione tramandata da molti miti, anche.

King Midas wishes that everything he touches be turned into gold.

Re Mida voleva trasformare in oro tutto ciò che toccava.

He touches his daughter, she turns into gold.

Tocca sua figlia, e la trasforma in oro.

He touches his food, it turns into gold.

Tocca il suo cibo, si trasforma in oro.

This could become practically relevant,

È un esempio che potremmo considerare pregnante:

not just as a metaphor for greed,

non solo come metafora dell'avidità,

but as an illustration of what happens

ma anche perché illustra cosa succede

if you create a powerful optimization process

se create un potente processo di ottimizzazione

and give it misconceived or poorly specified goals.

e gli affidate obiettivi indesiderabili, o male specificati.

Now you might say, if a computer starts sticking electrodes into people's faces,

Be', mi direte, se un computer inizia a infilare elettrodi in faccia alla gente,

we'd just shut it off.

basta spegnerlo.

[Le mie obiezioni sono due:]

A, this is not necessarily so easy to do if we've grown dependent on the system --

A, non è detto che sia così semplice, se diventiamo dipendenti dal sistema --

like, where is the off switch to the Internet?

per esempio, dov'è l'interuttore per spegnere Internet?

B, why haven't the chimpanzees flicked the off switch to humanity,

B, perché gli scimpanzé non hanno staccato l'interruttore dell'umanità,

or the Neanderthals?

o i Neanderthal?

They certainly had reasons.

Certamente avevano delle ragioni per farlo.

We have an off switch, for example, right here.

Noi abbiamo un interruttore, per esempio qui.

(Choking)

(Si strozza da solo)

The reason is that we are an intelligent adversary;

Il motivo è che siamo avversari intelligenti;

we can anticipate threats and plan around them.

possiamo anticipare le minacce e studiare come aggirarle.

But so could a superintelligent agent,

Ma anche un agente superintelligente potrebbe farlo,

and it would be much better at that than we are.

e ci riuscirebbe molto meglio di noi.

The point is, we should not be confident that we have this under control here.

Non dovremmo contare sul fatto di poterlo controllare.

And we could try to make our job a little bit easier by, say,

E potremmo provare a semplificarci un po' la vita, diciamo,

putting the A.I. in a box,

mettendo l'IA in una "scatola",

like a secure software environment,

come un ambiente virtuale sicuro,

a virtual reality simulation from which it cannot escape.

una ricostruzione della realtà da cui non può sfuggire.

But how confident can we be that the A.I. couldn't find a bug.

Ma quanto possiamo contare sul fatto che non trovi una falla nel codice?

Given that merely human hackers find bugs all the time,

Visto che molti hacker umani scoprono bug in continuazione,

I'd say, probably not very confident.

direi che non dovremmo contarci molto.

So we disconnect the ethernet cable to create an air gap,

Potremmo scollegare il cavo Ethernet, creando un gap fisico.

but again, like merely human hackers

Ma anche in questo caso, molti hacker umani

routinely transgress air gaps using social engineering.

aggirano continuamente il problema con l'ingegneria sociale.

Right now, as I speak,

Proprio ora, mentre parlo,

I'm sure there is some employee out there somewhere

sono sicuro che c'è qualche impiegato, là fuori,

who has been talked into handing out her account details

che sta dando i dettagli del suo account a qualcuno

by somebody claiming to be from the I.T. department.

che si spaccia per il dipartimento IT.

More creative scenarios are also possible,

E sono possibili anche scenari più creativi:

like if you're the A.I.,

se siete l'IA, ad esempio,

you can imagine wiggling electrodes around in your internal circuitry

potreste pensare a sguinzagliare degli elettrodi nei vostri circuiti

to create radio waves that you can use to communicate.

per creare onde radio che potete usare per comunicare.

Or maybe you could pretend to malfunction,

Oppure potreste fingere di guastarvi,

and then when the programmers open you up to see what went wrong with you,

e quando i programmatori vi ispezionano per capire cosa non va,

they look at the source code -- Bam! --

guardano al codice sorgente e BAM!

the manipulation can take place.

ecco che avviene una manipolazione.

Or it could output the blueprint to a really nifty technology,

Oppure potrebbe pubblicare il modello di una tecnologia affascinante,

and when we implement it,

che quando la implementiamo

it has some surreptitious side effect that the A.I. had planned.

produce dei sottili effetti collaterali, che l'IA aveva previsto.

The point here is that we should not be confident in our ability

Non dovremmo contare sulla nostra capacità

to keep a superintelligent genie locked up in its bottle forever.

di chiudere una superintelligenza nella sua bottiglia in eterno.

Sooner or later, it will out.

Prima o poi riuscirà ad uscire.

I believe that the answer here is to figure out

Credo che qui la risposta sia capire

how to create superintelligent A.I. such that even if -- when -- it escapes,

come creare un'IA superintelligente tale che se -- quando -- uscirà,

it is still safe because it is fundamentally on our side

resterà amichevole, fondamentalmente dalla nostra parte

because it shares our values.

perché condivide i nostri valori.

I see no way around this difficult problem.

Non vedo scorciatoie a questo difficile problema.

Now, I'm actually fairly optimistic that this problem can be solved.

Sono molto ottimista sulle nostre capacità di risolverlo.

We wouldn't have to write down a long list of everything we care about,

Non dovremmo scrivere una lunga lista di tutto ciò a cui diamo valore,

or worse yet, spell it out in some computer language

o peggio ancora codificarlo in qualche linguaggio

like C++ or Python,

come C++ o Python,

that would be a task beyond hopeless.

altrimenti sarebbe una sfida impossibile.

Instead, we would create an A.I. that uses its intelligence

Invece, dovremmo creare un'IA che usa la sua intelligenza

to learn what we value,

per imparare a cosa diamo valore,

and its motivation system is constructed in such a way that it is motivated

e con un sistema motivazionale concepito

to pursue our values or to perform actions that it predicts we would approve of.

per perseguire i nostri valori, o eseguire azioni che sa che approveremmo.

We would thus leverage its intelligence as much as possible

Potremmo così sfruttare la sua intelligenza al massimo

to solve the problem of value-loading.

nel risolvere il problema dell'attribuzione di valore.

This can happen,

Possiamo farlo,

and the outcome could be very good for humanity.

e il risultato sarebbe molto positivo per l'umanità.

But it doesn't happen automatically.

Ma non avviene automaticamente.

The initial conditions for the intelligence explosion

Le condizioni iniziali per questa esplosione di intelligenza

might need to be set up in just the right way

potrebbero dover essere definite perfettamente,

if we are to have a controlled detonation.

se quella che vogliamo è un'esplosione controllata.

The values that the A.I. has need to match ours,

I valori dell'IA devono coincidere con i nostri,

not just in the familiar context,

non solo nei contesti familiari,

like where we can easily check how the A.I. behaves,

dove puoi facilmente controllare come si comporta,

but also in all novel contexts that the A.I. might encounter

ma anche in tutti quei contesti nuovi che l'IA potrebbe incontrare

in the indefinite future.

in futuro.

And there are also some esoteric issues that would need to be solved, sorted out:

E restano anche alcune questioni esoteriche da risolvere e chiarire:

the exact details of its decision theory,

i dettagli su come prendere decisioni,

how to deal with logical uncertainty and so forth.

come gestire l'incertezza logica, e così via.

So the technical problems that need to be solved to make this work

Quindi i problemi tecnici da risolvere

look quite difficult --

sembrano molto difficili:

not as difficult as making a superintelligent A.I.,

non tanto quanto realizzare un'IA superintelligente,

but fairly difficult.

ma comunque molto difficili.

Here is the worry:

Questa è la mia paura:

Making superintelligent A.I. is a really hard challenge.

realizzare un'IA superintelligente è già una sfida veramente dura;

Making superintelligent A.I. that is safe

realizzare un'IA superintelligente e sicura

involves some additional challenge on top of that.

pone sfide aggiuntive.

The risk is that if somebody figures out how to crack the first challenge

Il rischio è che qualcuno capisca come vincere la prima sfida

without also having cracked the additional challenge

senza sapere ancora come vincere la sfida aggiuntiva

of ensuring perfect safety.

di assicurare una perfetta sicurezza.

So I think that we should work out a solution

Penso quindi che dovremmo prima lavorare a una soluzione

to the control problem in advance,

al problema del controllo,

so that we have it available by the time it is needed.

così da averla disponibile al momento del bisogno.

Now it might be that we cannot solve the entire control problem in advance

Magari non riusciremo a risolvere tutto a priori,

because maybe some elements can only be put in place

perché forse alcuni elementi possono essere messi a punto

once you know the details of the architecture where it will be implemented.

solo dopo aver conosciuto l'architettura che li implementa.

But the more of the control problem that we solve in advance,

Ma più problemi legati al controllo risolviamo in anticipo,

the better the odds that the transition to the machine intelligence era

più è probabile che la transizione all'era dell'intelligenza artificiale

will go well.

andrà a buon fine.

This to me looks like a thing that is well worth doing

Ritengo che questa sia una cosa assolutamente da fare,

and I can imagine that if things turn out okay,

e posso immaginare che se le cose andranno bene,

that people a million years from now look back at this century

tra un milione di anni la gente ripenserà a questo secolo

and it might well be that they say that the one thing we did that really mattered

e potrebbe ben dire che la sola cosa importante che abbiamo fatto

was to get this thing right.

fu risolvere questo problema.

Thank you.

Grazie.

(Applause)

(Applausi)