3 principles for creating safer AI | Stuart Russell

Traduttore: Denise Cosentino

This is Lee Sedol.

Questo è Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol è uno dei più grandi giocatori di Go al mondo,

and he's having what my friends in Silicon Valley call

e sta avendo quello che i miei amici a Silicon Valley dicono

a "Holy Cow" moment --

un momento "accidenti" --

(Laughter)

(Risate)

a moment where we realize

un momento in cui ci rendiamo conto

that AI is actually progressing a lot faster than we expected.

che l'IA sta progredendo molto più rapidamente del previsto.

So humans have lost on the Go board. What about the real world?

Gli umani hanno perso a Go. E nel mondo reale?

Well, the real world is much bigger,

Il mondo reale è molto più grande,

much more complicated than the Go board.

molto più complesso del gioco Go.

It's a lot less visible,

È molto meno evidente,

but it's still a decision problem.

ma è comunque un problema di decisione

And if we think about some of the technologies

E se pensiamo ad alcune delle tecnologie

that are coming down the pike ...

che stanno bollendo in pentola...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] ha detto che le macchine non sono ancora in grado di leggere,

at least with understanding.

o per lo meno di capire bene.

But that will happen,

Ma succederà,

and when that happens,

e quando succederà,

very soon afterwards,

a breve,

machines will have read everything that the human race has ever written.

le macchine dopo avranno letto tutto ciò che gli umani hanno scritto.

And that will enable machines,

E ciò permetterà alle macchine,

along with the ability to look further ahead than humans can,

insieme all'abilità di guardare molto più lontano degli umani,

as we've already seen in Go,

come abbiamo già visto nel Go,

if they also have access to more information,

se avranno anche accesso a più informazioni,

they'll be able to make better decisions in the real world than we can.

potranno prendere decisioni migliori nel mondo reale rispetto a noi.

So is that a good thing?

È una cosa buona?

Well, I hope so.

Speriamo.

Our entire civilization, everything that we value,

Tutta la nostra civiltà, tutto ciò a cui diamo valore,

is based on our intelligence.

è basato sulla nostra intelligenza.

And if we had access to a lot more intelligence,

E se avessimo accesso a molta più intelligenza,

then there's really no limit to what the human race can do.

allora non c'è davvero un limite a ciò che la razza umana può fare.

And I think this could be, as some people have described it,

E credo che ciò possa essere, come alcuni lo hanno descritto,

the biggest event in human history.

l'evento più grande nella storia umana.

So why are people saying things like this,

Quindi perché le persone dicono cose come

that AI might spell the end of the human race?

"L'IA potrebbe segnare la fine della razza umana"?

Is this a new thing?

È una cosa nuova?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Sono solo Elon Musk e Bill Gates e Stephen Hawking?

Actually, no. This idea has been around for a while.

In realtà no. Questa idea circola da un po'.

Here's a quotation:

C'è una citazione:

"Even if we could keep the machines in a subservient position,

"Anche se potessimo tenere le macchine in una posizione subordinata,

for instance, by turning off the power at strategic moments" --

ad esempio, staccando la corrente in momenti strategici" --

and I'll come back to that "turning off the power" idea later on --

e ritornerò più tardi su quell'idea di "staccare la corrente"

"we should, as a species, feel greatly humbled."

"dovremmo, come specie, sentirci fortemente umiliati."

So who said this? This is Alan Turing in 1951.

Chi l'ha detto? Questo è Alan Turing nel 1951.

Alan Turing, as you know, is the father of computer science

Alan Turing, come sapete, è il padre dell'informatica

and in many ways, the father of AI as well.

e per molti versi, anche il padre dell'IA.

So if we think about this problem,

Se pensiamo a questo problema,

the problem of creating something more intelligent than your own species,

il problema di creare qualcosa di più intelligente della nostra specie,

we might call this "the gorilla problem,"

potremmo chiamarlo il "problema del gorilla",

because gorillas' ancestors did this a few million years ago,

perché gli antenati dei gorilla lo hanno fatto milioni di anni fa,

and now we can ask the gorillas:

e adesso possiamo chiedere loro:

Was this a good idea?

è stata una buona idea?

So here they are having a meeting to discuss whether it was a good idea,

Qui si stanno incontrando per discutere se è stata una buona idea,

and after a little while, they conclude, no,

e dopo un po', arrivano alla conclusione: no,

this was a terrible idea.

è stata un'idea terribile.

Our species is in dire straits.

La nostra specie è in difficoltà.

In fact, you can see the existential sadness in their eyes.

In effetti, potete vedere la tristezza esistenziale nei loro occhi.

(Laughter)

(Risate)

So this queasy feeling that making something smarter than your own species

La sensazione nauseante che fare qualcosa di più intelligente della propria specie

is maybe not a good idea --

forse non è una buona idea --

what can we do about that?

cosa possiamo fare?

Well, really nothing, except stop doing AI,

Proprio nulla, se non smettere di produrre IA,

and because of all the benefits that I mentioned

e per tutti i benefici che ho citato,

and because I'm an AI researcher,

e siccome sono un ricercatore di IA,

I'm not having that.

non lo permetterò.

I actually want to be able to keep doing AI.

In realtà voglio riuscire a produrre ancora IA.

So we actually need to nail down the problem a bit more.

In realtà ci occorre definire un po' di più il problema.

What exactly is the problem?

Qual è il vero problema?

Why is better AI possibly a catastrophe?

Perché un'IA migliore è potenzialmente una catastrofe?

So here's another quotation:

Ecco un'altra citazione:

"We had better be quite sure that the purpose put into the machine

"Dovremmo esserne sicuri che l'obiettivo inserito nella macchina

is the purpose which we really desire."

sia l'obiettivo che desideriamo davvero."

This was said by Norbert Wiener in 1960,

È stato detto da Norbert Wiener nel 1960,

shortly after he watched one of the very early learning systems

subito dopo che aveva visto uno dei primi sistemi di apprendimento

learn to play checkers better than its creator.

imparare a giocare a scacchi meglio del proprio creatore.

But this could equally have been said

Ma potrebbe anche essere stato detto

by King Midas.

da Re Mida.

King Midas said, "I want everything I touch to turn to gold,"

Re Mida disse, "Voglio che tutto ciò che tocco diventi oro,"

and he got exactly what he asked for.

e ottenne proprio quello che chiese.

That was the purpose that he put into the machine,

Quello era l'obiettivo che aveva inserito nella macchina,

so to speak,

per così dire,

and then his food and his drink and his relatives turned to gold

e poi il suo cibo, le sue bevande e i suoi parenti diventarono oro

and he died in misery and starvation.

e morì in miseria e di fame.

So we'll call this "the King Midas problem"

Lo chiameremo "problema di Re Mida"

of stating an objective which is not, in fact,

dichiarare un obiettivo che non è, in realtà,

truly aligned with what we want.

proprio conforme a ciò che vogliamo.

In modern terms, we call this "the value alignment problem."

In termini moderni, lo chiamiamo "problema di conformità dei valori."

Putting in the wrong objective is not the only part of the problem.

Dichiarare l'obiettivo sbagliato non è l'unica parte del problema.

There's another part.

C'è un'altra parte.

If you put an objective into a machine,

Se inserite un obiettivo in una macchina

even something as simple as, "Fetch the coffee,"

anche qualcosa di semplice come "Porta il caffè,"

the machine says to itself,

la macchina dice a se stessa,

"Well, how might I fail to fetch the coffee?

"Be', come posso non riuscire a portare il caffè?

Someone might switch me off.

Qualcuno potrebbe spegnermi.

OK, I have to take steps to prevent that.

Ok, devo sapere come evitarlo.

I will disable my 'off' switch.

Disattiverò il tasto "off".

I will do anything to defend myself against interference

Farò di tutto per difendermi dalle interferenze

with this objective that I have been given."

con questo obiettivo che mi è stato dato."

So this single-minded pursuit

Quindi questa ricerca risoluta

in a very defensive mode of an objective that is, in fact,

in modo molto difensivo di un obiettivo che non è, in realtà,

not aligned with the true objectives of the human race --

conforme ai veri obiettivi della razza umana --

that's the problem that we face.

questo è il problema che affrontiamo.

And in fact, that's the high-value takeaway from this talk.

Infatti, è questo il succo di questa conferenza.

If you want to remember one thing,

Se volete ricordare una cosa,

it's that you can't fetch the coffee if you're dead.

è che voi non potrete portare il caffè se siete morti.

(Laughter)

(Risate)

It's very simple. Just remember that. Repeat it to yourself three times a day.

È molto semplice. Ricordate solo questo. Ripetetevelo tre volte al giorno.

(Laughter)

(Risate)

And in fact, this is exactly the plot

E in effetti, questa è esattamente la trama

of "2001: [A Space Odyssey]"

di "2001: Odissea nello spazio"

HAL has an objective, a mission,

HAL ha un obiettivo, una missione,

which is not aligned with the objectives of the humans,

che non è conforme all'obiettivo degli umani,

and that leads to this conflict.

e che porta a questo conflitto.

Now fortunately, HAL is not superintelligent.

Adesso per fortuna, HAL non è super intelligente.

He's pretty smart, but eventually Dave outwits him

È abbastanza astuto ma alla fine Dave lo batte

and manages to switch him off.

e riesce a spegnerlo.

But we might not be so lucky.

Ma possiamo non essere così fortunati.

So what are we going to do?

Quindi cosa faremo?

I'm trying to redefine AI

Sto cercando di ridefinire l'IA

to get away from this classical notion

per fuggire da questa nozione classica

of machines that intelligently pursue objectives.

di macchine che perseguono obiettivi in modo intelligente.

There are three principles involved.

Ci sono tre principi coinvolti.

The first one is a principle of altruism, if you like,

Il primo è un principio di altruismo, se volete,

that the robot's only objective

secondo cui l'unico obiettivo del robot

is to maximize the realization of human objectives,

è massimizzare la realizzazione degli obiettivi umani,

of human values.

dei valori umani.

And by values here I don't mean touchy-feely, goody-goody values.

E con valori qui non intendo valori sdolcinati, da santarellini.

I just mean whatever it is that the human would prefer

Intendo comunque vogliano gli esseri umani

their life to be like.

che sia la loro vita.

And so this actually violates Asimov's law

E in realtà ciò viola la legge di Asimov

that the robot has to protect its own existence.

secondo cui il robot deve tutelare la sua esistenza.

It has no interest in preserving its existence whatsoever.

Non c'è alcun interesse nel preservare la sua esistenza.

The second law is a law of humility, if you like.

La seconda legge è una legge di umiltà, se volete.

And this turns out to be really important to make robots safe.

E si rivela essere davvero importante per rendere sicuri i robot.

It says that the robot does not know

Dice che il robot non sa

what those human values are,

quali sono questi valori umani,

so it has to maximize them, but it doesn't know what they are.

quindi li deve massimizzare, ma non sa cosa sono.

And that avoids this problem of single-minded pursuit

E questo evita questo problema della caccia risoluta

of an objective.

di un obiettivo.

This uncertainty turns out to be crucial.

Questa incertezza si rivela cruciale.

Now, in order to be useful to us,

Per essere utile a noi,

it has to have some idea of what we want.

deve avere un'idea di quello che vogliamo.

It obtains that information primarily by observation of human choices,

Lui ottiene l'informazione in primo luogo dall'osservazione delle scelte umane,

so our own choices reveal information

quindi le nostre scelte rivelano delle informazioni

about what it is that we prefer our lives to be like.

su ciò che vogliamo che le nostre vite siano.

So those are the three principles.

Quindi questi sono i tre principi.

Let's see how that applies to this question of:

Vediamo come si applicano alla seguente domanda:

"Can you switch the machine off?" as Turing suggested.

"Riuscite a spegnere la macchina?" come suggeriva Turing.

So here's a PR2 robot.

Ecco un robot PR2.

This is one that we have in our lab,

È uno che abbiamo in laboratorio,

and it has a big red "off" switch right on the back.

e ha un gran pulsante "off" sul dorso.

The question is: Is it going to let you switch it off?

La domanda è: ti permetterà di spegnerlo?

If we do it the classical way,

Col metodo classico,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

gli diamo l'obiettivo, "Porta il caffè, devo portare il caffè,

I can't fetch the coffee if I'm dead,"

non posso portare il caffè se sono morto,"

so obviously the PR2 has been listening to my talk,

quindi ovviamente il PR2 ha ascoltato il mio discorso,

and so it says, therefore, "I must disable my 'off' switch,

e quindi dice, "Devo disabilitare il pulsante 'off'",

and probably taser all the other people in Starbucks

e forse stordire tutte le altre persone nello Starbucks

who might interfere with me."

che possono interferire con me."

(Laughter)

(Risate)

So this seems to be inevitable, right?

Sembra inevitabile, giusto?

This kind of failure mode seems to be inevitable,

Questa modalità di guasto sembra inevitabile,

and it follows from having a concrete, definite objective.

e deriva dall'avere un obiettivo concreto e definito.

So what happens if the machine is uncertain about the objective?

Quindi cosa succede se la macchina è incerta sull'obiettivo?

Well, it reasons in a different way.

Ragiona in modo diverso.

It says, "OK, the human might switch me off,

Dice, "Ok, l'essere umano può spegnermi,

but only if I'm doing something wrong.

ma soltanto se sbaglio qualcosa.

Well, I don't really know what wrong is,

Non so bene cos'è sbagliato,

but I know that I don't want to do it."

ma so che non voglio farlo."

So that's the first and second principles right there.

Quindi, questi sono il primo e il secondo principio.

"So I should let the human switch me off."

"Quindi devo lasciare che l'uomo mi spenga."

And in fact you can calculate the incentive that the robot has

E in effetti potete calcolare lo stimolo che riceve il robot

to allow the human to switch it off,

per permettere all'uomo di spegnerlo,

and it's directly tied to the degree

ed è direttamente legato al grado di incertezza

of uncertainty about the underlying objective.

dell'obiettivo di fondo.

And then when the machine is switched off,

Poi quando la macchina viene spenta,

that third principle comes into play.

entra in gioco il terzo principio.

It learns something about the objectives it should be pursuing,

Lui impara qualcosa sugli obiettivi che deve perseguire,

because it learns that what it did wasn't right.

perché impara che ciò che ha fatto non era corretto.

In fact, we can, with suitable use of Greek symbols,

In realtà possiamo, con un uso adeguato di simboli greci,

as mathematicians usually do,

come fanno solitamente i matematici,

we can actually prove a theorem

possiamo davvero dimostrare un teorema

that says that such a robot is provably beneficial to the human.

che dice che un robot del genere è certamente vantaggioso agli umani.

You are provably better off with a machine that's designed in this way

Voi siete certamente migliori con una macchina programmata in tale modo

than without it.

che senza.

So this is a very simple example, but this is the first step

È un esempio molto semplice, ma è il primo passo

in what we're trying to do with human-compatible AI.

che proviamo a fare con l'IA compatibile con gli umani.

Now, this third principle,

Questo terzo principio,

I think is the one that you're probably scratching your head over.

credo sia quello che fa grattare la testa.

You're probably thinking, "Well, you know, I behave badly.

Probabilmente starete pensando, "Mi comporto male.

I don't want my robot to behave like me.

Non voglio che il mio robot si comporti come me.

I sneak down in the middle of the night and take stuff from the fridge.

Io sgattaiolo nel cuore della notte e prendo roba dal frigo.

I do this and that."

Faccio questo e quello."

There's all kinds of things you don't want the robot doing.

Ci sono un sacco di cose che non volete il robot faccia.

But in fact, it doesn't quite work that way.

Ma in realtà, non funziona sempre così.

Just because you behave badly

Solo perché vi comportate male

doesn't mean the robot is going to copy your behavior.

non significa che il robot copierà il vostro comportamento.

It's going to understand your motivations and maybe help you resist them,

Capirà le vostre motivazioni e forse potrebbe aiutarvi a resistere,

if appropriate.

eventualmente.

But it's still difficult.

Ma è comunque difficile.

What we're trying to do, in fact,

Quello che proviamo a fare, in realtà,

is to allow machines to predict for any person and for any possible life

è permettere alle macchine di prevedere per chiunque e per ogni possibile vita

that they could live,

che potrebbe vivere,

and the lives of everybody else:

e le vite di tutti gli altri:

Which would they prefer?

quale preferirebbero?

And there are many, many difficulties involved in doing this;

E le difficoltà sono molte;

I don't expect that this is going to get solved very quickly.

non mi aspetto che si risolva velocemente.

The real difficulties, in fact, are us.

La vera difficoltà, in realtà, siamo noi.

As I have already mentioned, we behave badly.

Come ho già detto, noi ci comportiamo male.

In fact, some of us are downright nasty.

Anzi, alcuni di noi sono molto cattivi.

Now the robot, as I said, doesn't have to copy the behavior.

Il robot, come ho detto, non deve copiare il comportamento.

The robot does not have any objective of its own.

Il robot non ha obiettivi propri.

It's purely altruistic.

È puramente altruista.

And it's not designed just to satisfy the desires of one person, the user,

E non è programmato solo per soddisfare i desideri di una persona, l'utente,

but in fact it has to respect the preferences of everybody.

ma deve rispettare le preferenze di ognuno.

So it can deal with a certain amount of nastiness,

Quindi può avere a che fare con una certa cattiveria,

and it can even understand that your nastiness, for example,

e può anche capire la vostra cattiveria, per esempio,

you may take bribes as a passport official

potete farvi corrompere da agente doganale

because you need to feed your family and send your kids to school.

perché dovete sfamare la famiglia e mandare i bambini a scuola.

It can understand that; it doesn't mean it's going to steal.

Lui è in grado di capirlo; non significa che andrà a rubare.

In fact, it'll just help you send your kids to school.

Anzi, vi aiuterà a mandare i vostri bambini a scuola.

We are also computationally limited.

Noi siamo anche limitati nei calcoli.

Lee Sedol is a brilliant Go player,

Lee Sedol è un brillante giocatore di Go,

but he still lost.

ma ha comunque perso.

So if we look at his actions, he took an action that lost the game.

Osservando le sue mosse, ne ha fatta una che gli ha fatto perdere.

That doesn't mean he wanted to lose.

Non significa che voleva perdere.

So to understand his behavior,

Quindi per capire il suo comportamento,

we actually have to invert through a model of human cognition

dobbiamo invertire con un modello di cognizione umana

that includes our computational limitations -- a very complicated model.

che include i nostri limiti di calcolo -- un modello molto complicato.

But it's still something that we can work on understanding.

Ma possiamo comunque cercare di capirlo.

Probably the most difficult part, from my point of view as an AI researcher,

Forse la parte più complicata, dal punto di vista di ricercatore di IA,

is the fact that there are lots of us,

è il fatto che siamo molti,

and so the machine has to somehow trade off, weigh up the preferences

e quindi la macchina deve in qualche modo alternare, soppesare le preferenze

of many different people,

di tante persone diverse,

and there are different ways to do that.

e ci sono diversi modi per farlo.

Economists, sociologists, moral philosophers have understood that,

Economisti, sociologi, filosofi morali lo hanno capito,

and we are actively looking for collaboration.

e stiamo attivamente cercando collaborazione.

Let's have a look and see what happens when you get that wrong.

Diamo un'occhiata a quel che succede quando commettete uno sbaglio.

So you can have a conversation, for example,

Potete conversare, per esempio,

with your intelligent personal assistant

col vostro assistente personale intelligente

that might be available in a few years' time.

che potrebbe essere disponibile tra pochi anni.

Think of a Siri on steroids.

Pensate a Siri sotto steroidi.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri dice, "Tua moglie ha chiamato per ricordarti della cena stasera."

And of course, you've forgotten. "What? What dinner?

Ovviamente, l'avevate dimenticato. "Cosa? Quale cena?

What are you talking about?"

Di cosa stai parlando?"

"Uh, your 20th anniversary at 7pm."

"Ehm, il tuo 20° anniversario alle 7."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"Non posso farlo. Mi incontrerò col segretario generale alle 7:30.

How could this have happened?"

Come può essere successo?"

"Well, I did warn you, but you overrode my recommendation."

"Io ti ho avvertito, ma tu hai ignorato la mia raccomandazione."

"Well, what am I going to do? I can't just tell him I'm too busy."

"Cosa faccio? Non posso dirgli che sono impegnato."

"Don't worry. I arranged for his plane to be delayed."

"Non preoccuparti. Ho fatto ritardare il suo aereo."

(Laughter)

(Risate)

"Some kind of computer malfunction."

"Una specie di guasto al computer."

(Laughter)

(Risate)

"Really? You can do that?"

"Davvero? Puoi farlo?"

"He sends his profound apologies

"Si scusa tantissimo

and looks forward to meeting you for lunch tomorrow."

e non vede l'ora di incontrarti a pranzo domani."

(Laughter)

(Risate)

So the values here -- there's a slight mistake going on.

Quindi i valori qui -- si è verificato un piccolo errore.

This is clearly following my wife's values

Questo segue chiaramente i valori di mia moglie

which is "Happy wife, happy life."

cioè "Felice la moglie, felice la vita."

(Laughter)

(Risate)

It could go the other way.

Potrebbe andare diversamente.

You could come home after a hard day's work,

Potreste tornare a casa dopo una dura giornata di lavoro,

and the computer says, "Long day?"

e il computer dice, "Giornata lunga?"

"Yes, I didn't even have time for lunch."

"Sì, non ho avuto nemmeno il tempo di pranzare."

"You must be very hungry."

"Devi avere molta fame."

"Starving, yeah. Could you make some dinner?"

"Sto morendo di fame, sì. Puoi prepararmi la cena?"

"There's something I need to tell you."

"Devo dirti una cosa."

(Laughter)

(Risate)

"There are humans in South Sudan who are in more urgent need than you."

"Ci sono persone nel sud del Sudan che hanno un bisogno più urgente del tuo."

(Laughter)

(Risate)

"So I'm leaving. Make your own dinner."

"Quindi me ne vado. Preparati tu la cena."

(Laughter)

(Risate)

So we have to solve these problems,

Dobbiamo risolvere questi problemi,

and I'm looking forward to working on them.

e non vedo l'ora di lavorarci.

There are reasons for optimism.

Ci sono motivi per essere ottimisti.

One reason is,

Un motivo è,

there is a massive amount of data.

c'è una grande quantità di dati.

Because remember -- I said they're going to read everything

Perché ricordate -- ho detto che leggeranno tutto ciò

the human race has ever written.

che la razza umana ha scritto.

Most of what we write about is human beings doing things

Gran parte di ciò che scriviamo è su uomini che fanno cose

and other people getting upset about it.

e altri che se la prendono per questo.

So there's a massive amount of data to learn from.

Quindi c'è una grande mole di dati da cui imparare.

There's also a very strong economic incentive

C'è anche un incentivo economico molto forte

to get this right.

per farlo bene.

So imagine your domestic robot's at home.

Immaginate il vostro robot domestico a casa.

You're late from work again and the robot has to feed the kids,

Siete ancora in ritardo dal lavoro e il robot deve sfamare i bambini,

and the kids are hungry and there's nothing in the fridge.

e i bambini sono affamati e non c'è niente nel frigo.

And the robot sees the cat.

E il robot vede il gatto.

(Laughter)

(Risate)

And the robot hasn't quite learned the human value function properly,

E il robot non ha ancora imparato i valori umani in modo corretto,

so it doesn't understand

quindi non capisce

the sentimental value of the cat outweighs the nutritional value of the cat.

che il valore sentimentale del gatto supera il suo valore nutrizionale.

(Laughter)

(Risate)

So then what happens?

Quindi cosa succede?

Well, it happens like this:

Be', succede questo:

"Deranged robot cooks kitty for family dinner."

"Robot folle cucina il micio per la cena di famiglia."

That one incident would be the end of the domestic robot industry.

Quell'unico incidente sarebbe la fine dell'industria del robot domestico.

So there's a huge incentive to get this right

Quindi c'è un enorme incentivo per farlo bene

long before we reach superintelligent machines.

molto prima che arriviamo alle macchine super intelligenti.

So to summarize:

Quindi per riassumere:

I'm actually trying to change the definition of AI

sto cercando di cambiare la definizione di IA

so that we have provably beneficial machines.

così che probabilmente avremo macchine vantaggiose.

And the principles are:

E i principi sono:

machines that are altruistic,

macchine che siano altruiste,

that want to achieve only our objectives,

che vogliono raggiungere solo i nostri obiettivi,

but that are uncertain about what those objectives are,

ma che sono incerti sui loro obiettivi,

and will watch all of us

e che guarderanno tutti noi

to learn more about what it is that we really want.

per imparare di più su cosa vogliamo veramente.

And hopefully in the process, we will learn to be better people.

E se tutto va bene, in tutto ciò impareremo ad essere persone migliori.

Thank you very much.

Grazie tante.

(Applause)

(Applausi)

Chris Anderson: So interesting, Stuart.

C. Anderson: Molto interessante, Stuart.

We're going to stand here a bit because I think they're setting up

Staremo qui un po' perché credo che stiano preparando

for our next speaker.

per il prossimo relatore.

A couple of questions.

Un paio di domande.

So the idea of programming in ignorance seems intuitively really powerful.

L'idea di programmare nell'ignoranza sembra intuitivamente molto potente.

Quando giungi alla super intelligenza,

As you get to superintelligence,

what's going to stop a robot

cosa fermerà un robot

reading literature and discovering this idea that knowledge

dal leggere letteratura e scoprire l'idea che la conoscenza

is actually better than ignorance

sia migliore dell'ignoranza,

and still just shifting its own goals and rewriting that programming?

e lo indurrà a spostare le sue finalità e riscrivere la programmazione?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russell: Sì, vogliamo imparare meglio, come ho detto,

about our objectives.

sui nostri obiettivi.

It'll only become more certain as it becomes more correct,

Diventerà più sicuro solo quando diventerà più corretto,

so the evidence is there

quindi la prova è questa

and it's going to be designed to interpret it correctly.

e sarà progettata per interpretarla correttamente.

It will understand, for example, that books are very biased

Capirà, per esempio, che i libri sono molto prevenuti

in the evidence they contain.

in ciò che contengono.

They only talk about kings and princes

Parlano solo di re e principi

and elite white male people doing stuff.

e di élite di maschi bianchi che fanno cose.

So it's a complicated problem,

Quindi è un problema complicato,

but as it learns more about our objectives

ma siccome impara di più sui nostri obiettivi

it will become more and more useful to us.

diventerà ancora più utile per noi.

CA: And you couldn't just boil it down to one law,

CA: E non potresti soltanto limitarti a una legge,

you know, hardwired in:

sai, programmata così:

"if any human ever tries to switch me off,

"se un umano cerca di spegnermi,

I comply. I comply."

lo assecondo. Lo assecondo."

SR: Absolutely not.

SR: Assolutamente no.

That would be a terrible idea.

Sarebbe un'idea terribile.

So imagine that you have a self-driving car

Immaginate di avere una macchina che si guida da sola

and you want to send your five-year-old

e volete mandare vostro figlio di cinque anni

off to preschool.

all'asilo.

Do you want your five-year-old to be able to switch off the car

Volete che vostro figlio sia capace di spegnere la macchina

while it's driving along?

mentre va in giro?

Probably not.

Probabilmente no.

So it needs to understand how rational and sensible the person is.

Quindi deve capire quanto razionale e sensibile sia la persona.

The more rational the person,

Più razionale è la persona,

the more willing you are to be switched off.

più disponibile siete a essere spenti.

If the person is completely random or even malicious,

Se la persona è del tutto ignota o perfino malvagia,

then you're less willing to be switched off.

allora sarete meno disponibili a essere spenti.

CA: All right. Stuart, can I just say,

CA: Giusto. Stuart, posso dire solo,

I really, really hope you figure this out for us.

spero davvero, davvero che tu lo scopra per noi.

Thank you so much for that talk. That was amazing.

Grazie per questa conferenza. È stata fantastica.

SR: Thank you.

SR: Grazie.

(Applause)

(Applausi)