3 principles for creating safer AI | Stuart Russell

Traducteur: Antoine Combeau Relecteur: Mathieu Marthe

This is Lee Sedol.

Voici Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol est l'un des meilleurs joueurs de go au monde,

and he's having what my friends in Silicon Valley call

et il vient d'avoir ce que mes amis de Silicon Valley appellent

a "Holy Cow" moment --

un moment « Mince alors... »

(Laughter)

(Rires)

a moment where we realize

Ce moment où nous réalisons

that AI is actually progressing a lot faster than we expected.

que l'intelligence artificielle progresse plus rapidement que prévu.

So humans have lost on the Go board. What about the real world?

Les hommes ont donc perdu au jeu de go. Qu'en est-il du monde réel ?

Well, the real world is much bigger,

Eh bien, le monde réel est bien plus grand,

much more complicated than the Go board.

plus compliqué d'un plateau de go.

It's a lot less visible,

C'est beaucoup moins visible

but it's still a decision problem.

mais ça reste un problème de décision.

And if we think about some of the technologies

Si nous pensons à certaines technologies

that are coming down the pike ...

qui apparaissent...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] a dit que la lecture n'est pas encore au point pour les machines,

at least with understanding.

du moins avec compréhension.

But that will happen,

Mais cela se produira,

and when that happens,

et quand ça se produira,

very soon afterwards,

très peu de temps après,

machines will have read everything that the human race has ever written.

les machines liront tout ce que la race humaine a jamais écrit.

And that will enable machines,

Cela permettra aux machines,

along with the ability to look further ahead than humans can,

qui ont la capacité de voir plus loin que les hommes ne le peuvent,

as we've already seen in Go,

comme démontré avec le jeu de go,

if they also have access to more information,

si elles ont accès à plus d'informations,

they'll be able to make better decisions in the real world than we can.

de prendre de meilleures décisions dans le monde réel que nous.

So is that a good thing?

Est-ce donc une bonne chose ?

Well, I hope so.

Eh bien, je l'espère.

Our entire civilization, everything that we value,

Notre civilisation tout entière, tout ce que nous apprécions,

is based on our intelligence.

est basé sur notre intelligence.

And if we had access to a lot more intelligence,

Et si nous avions accès à une plus large intelligence,

then there's really no limit to what the human race can do.

alors il n'y aurait aucune limite à ce que la race humaine peut faire.

And I think this could be, as some people have described it,

Je pense que cela pourrait être, comme certains l'ont décrit,

the biggest event in human history.

le plus grand moment de l'histoire humaine.

So why are people saying things like this,

Alors, pourquoi les gens racontent-ils des choses comme :

that AI might spell the end of the human race?

« l'IA pourrait signifier la fin de la race humaine ? »

Is this a new thing?

Est-ce une chose nouvelle ?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Cela ne concerne-t-il qu' Elon Musk, Bill Gates et Stephen Hawking ?

Actually, no. This idea has been around for a while.

En fait, non. Cette idée existe depuis un moment.

Here's a quotation:

Voici une citation :

"Even if we could keep the machines in a subservient position,

« Même si nous pouvions garder les machines dans une position subalterne,

for instance, by turning off the power at strategic moments" --

par exemple, en coupant l'énergie à des moments stratégiques... »

and I'll come back to that "turning off the power" idea later on --

et je reviendrai sur cette idée de « couper l'énergie » plus tard...

"we should, as a species, feel greatly humbled."

« Nous devrions, en tant qu'espèce, faire preuve d'humilité. »

So who said this? This is Alan Turing in 1951.

Donc qui a dit ça ? C'est Alan Turing en 1951.

Alan Turing, as you know, is the father of computer science

Alan Turing, vous le savez, est le père de l'informatique

and in many ways, the father of AI as well.

et à bien des égards, le père de l'IA également.

So if we think about this problem,

Si nous pensons à ce problème,

the problem of creating something more intelligent than your own species,

celui de créer quelque chose de plus intelligent que notre propre espèce,

we might call this "the gorilla problem,"

appelons cela « le problème du gorille »,

because gorillas' ancestors did this a few million years ago,

parce que leurs ancêtres ont vécu cela il y a quelques millions d'années,

and now we can ask the gorillas:

nous pouvons donc leur demander :

Was this a good idea?

« Était-ce une bonne idée ? »

So here they are having a meeting to discuss whether it was a good idea,

Donc, ils ont eu une réunion pour savoir si c'était une bonne idée

and after a little while, they conclude, no,

et après un petit moment, ils conclurent que non,

this was a terrible idea.

c'était une mauvaise idée.

Our species is in dire straits.

« Notre espèce est en difficulté. »

In fact, you can see the existential sadness in their eyes.

En fait, vous pouvez voir de la tristesse existentielle dans leurs yeux.

(Laughter)

(Rires)

So this queasy feeling that making something smarter than your own species

Ce sentiment gênant d'avoir créé quelque chose de plus intelligent

que votre propre espèce alors que ce n'est peut-être pas une bonne idée...

is maybe not a good idea --

what can we do about that?

« Que pouvons-nous y faire ? »

Well, really nothing, except stop doing AI,

Eh bien, rien, sauf abandonner l'IA.

and because of all the benefits that I mentioned

Mais à cause de tous les avantages que j'ai mentionnés

and because I'm an AI researcher,

et parce que je suis chercheur en IA,

I'm not having that.

je ne peux m'y résoudre.

I actually want to be able to keep doing AI.

Je veux réellement continuer à travailler sur l'IA.

So we actually need to nail down the problem a bit more.

Nous avons besoin de définir un peu plus le problème.

What exactly is the problem?

Quel est donc le problème ?

Why is better AI possibly a catastrophe?

Pourquoi une meilleure IA pourrait être une catastrophe ?

So here's another quotation:

Voici une autre citation :

"We had better be quite sure that the purpose put into the machine

« Nous devrions être certains que l'objectif introduit dans la machine

is the purpose which we really desire."

est bien l'objectif que nous souhaitons. »

This was said by Norbert Wiener in 1960,

C'est une citation de Norbert Wienner en 1960,

shortly after he watched one of the very early learning systems

peu après qu'il a observé l'un des premiers systèmes d'apprentissage

learn to play checkers better than its creator.

apprendre à mieux jouer aux échecs que son créateur.

But this could equally have been said

Mais ça aurait aussi pu être

by King Midas.

le roi Midas, qui a dit :

King Midas said, "I want everything I touch to turn to gold,"

« Je souhaite que tout ce que je touche se transforme en or »

et qui a obtenu exactement ce qu'il avait demandé.

and he got exactly what he asked for.

That was the purpose that he put into the machine,

C'était l'objectif qu'il a introduit dans la machine,

so to speak,

pour ainsi dire.

and then his food and his drink and his relatives turned to gold

Sa nourriture, sa boisson et sa famille se sont alors changées en or.

and he died in misery and starvation.

Il est mort de faim dans la misère.

So we'll call this "the King Midas problem"

Nous appellerons ça « le problème du roi Midas »,

of stating an objective which is not, in fact,

le fait de déclarer un objectif qui n'est pas, en fait,

truly aligned with what we want.

en adéquation avec ce que nous voulons.

In modern terms, we call this "the value alignment problem."

Aujourd'hui, nous appelons cela « un problème d'alignement de valeur ».

Putting in the wrong objective is not the only part of the problem.

Établir le mauvais objectif n'est qu'une partie du problème.

There's another part.

Il en existe une autre.

If you put an objective into a machine,

Si vous introduisez un objectif dans une machine,

even something as simple as, "Fetch the coffee,"

même une chose simple comme « acheter du café »,

the machine says to itself,

la machine se dit :

"Well, how might I fail to fetch the coffee?

« Comment pourrais-je échouer à apporter du café ?

Someone might switch me off.

Quelqu'un pourrait m'éteindre.

OK, I have to take steps to prevent that.

Alors, je dois prendre des mesures pour éviter cela.

I will disable my 'off' switch.

Je vais désactiver mon interrupteur.

I will do anything to defend myself against interference

Je ferai tout pour me défendre contre les interférences

with this objective that I have been given."

contre l'objectif qu'on m'a donné. »

So this single-minded pursuit

Cette quête obsessionnelle,

avec une attitude très défensive envers un objectif qui n'est, en fait,

in a very defensive mode of an objective that is, in fact,

not aligned with the true objectives of the human race --

pas aligné sur les vrais objectifs de la race humaine...

that's the problem that we face.

C'est le problème auquel nous sommes confrontés.

And in fact, that's the high-value takeaway from this talk.

Et c'est aussi la notion importante à retenir de cette présentation.

Si vous ne devez retenir qu'une chose,

If you want to remember one thing,

it's that you can't fetch the coffee if you're dead.

c'est que vous ne pourrez pas aller chercher le café si vous êtes mort.

(Laughter)

(Rires)

It's very simple. Just remember that. Repeat it to yourself three times a day.

C'est très simple. Rappelez-vous de cela. Répétez-le-vous trois fois par jour.

(Laughter)

(Rires)

And in fact, this is exactly the plot

En fait, c'est exactement l'intrigue

of "2001: [A Space Odyssey]"

de « 2001, l'Odyssée de l'espace. »

HAL has an objective, a mission,

HAL a un objectif, une mission,

which is not aligned with the objectives of the humans,

qui n'est pas en adéquation avec les objectifs des êtres humains

and that leads to this conflict.

et cela conduit à ce conflit.

Now fortunately, HAL is not superintelligent.

Heureusement, HAL n'est pas super-intelligent.

He's pretty smart, but eventually Dave outwits him

Il est assez malin, mais finalement Dave le surpasse

and manages to switch him off.

et parvient à l'éteindre.

But we might not be so lucky.

Nous pourrions avoir moins de chance.

So what are we going to do?

Alors qu'allons-nous faire ?

I'm trying to redefine AI

J'essaie de redéfinir l'IA,

to get away from this classical notion

afin de nous éloigner de cette notion classique

of machines that intelligently pursue objectives.

de machines qui poursuivent leurs objectifs de manière intelligente.

There are three principles involved.

Cela repose sur trois principes.

The first one is a principle of altruism, if you like,

Le premier est un principe d'altruisme, si vous voulez.

that the robot's only objective

L'unique objectif du robot

is to maximize the realization of human objectives,

est de maximiser la réalisation des objectifs des êtres humains,

of human values.

des valeurs humaines.

And by values here I don't mean touchy-feely, goody-goody values.

Je ne parle pas de celles qui sont sentimentales ou sainte-nitouche.

I just mean whatever it is that the human would prefer

Je parle de la vie que les êtres humains voudraient

their life to be like.

par n'importe quels moyens.

And so this actually violates Asimov's law

Cela viole la loi d'Asimov, selon laquelle

that the robot has to protect its own existence.

le robot doit protéger sa propre existence.

It has no interest in preserving its existence whatsoever.

Il n'a aucun intérêt à préserver son existence.

The second law is a law of humility, if you like.

La deuxième loi est une loi d'humilité, si vous préférez.

And this turns out to be really important to make robots safe.

Elle s'avère très importante afin de rendre le robot inoffensif.

It says that the robot does not know

L'idée, c'est que le robot ne sait pas

what those human values are,

ce que sont les valeurs humaines.

so it has to maximize them, but it doesn't know what they are.

Il doit les maximiser, mais il ne sait pas ce qu'elles sont.

And that avoids this problem of single-minded pursuit

Pour éviter une quête obsessionnelle

of an objective.

d'un objectif,

This uncertainty turns out to be crucial.

cette incertitude s'avère cruciale.

Now, in order to be useful to us,

Mais pour nous être utiles,

it has to have some idea of what we want.

il doit avoir une idée de nos désirs.

It obtains that information primarily by observation of human choices,

Il obtient cette information surtout par l'observation des choix humains.

so our own choices reveal information

Ces choix révèlent donc des informations

about what it is that we prefer our lives to be like.

quant à ce que nous désirons pour notre vie.

So those are the three principles.

Ce sont donc les trois principes.

Let's see how that applies to this question of:

Voyons comment cela s'applique à la question

"Can you switch the machine off?" as Turing suggested.

de Turing : « Pouvez-vous éteindre la machine ? »

So here's a PR2 robot.

Voici un robot PR2.

This is one that we have in our lab,

C'est celui que nous avons au laboratoire

and it has a big red "off" switch right on the back.

Il possède un gros interrupteur rouge directement sur le dos.

The question is: Is it going to let you switch it off?

La question est : « Va-t-il nous laisser l'éteindre ? »

If we do it the classical way,

Selon la méthode classique,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

nous lui donnons pour objectif de « chercher du café,

I can't fetch the coffee if I'm dead,"

je dois aller chercher du café, je ne peux pas y aller si je suis mort. »

so obviously the PR2 has been listening to my talk,

Alors, évidemment, le PR2 a écouté ma présentation

and so it says, therefore, "I must disable my 'off' switch,

et il se dit : « Je dois désactiver mon interrupteur

and probably taser all the other people in Starbucks

et tirer sur toutes les autres personnes dans le Starbucks

who might interfere with me."

qui pourraient interférer avec moi. »

(Laughter)

(Rires)

So this seems to be inevitable, right?

Cela semble inévitable, n'est-ce pas ?

This kind of failure mode seems to be inevitable,

Ce genre d'échec semble être inévitable

and it follows from having a concrete, definite objective.

et résulte de l'objectif concret et défini.

So what happens if the machine is uncertain about the objective?

Qu'arrive-t-il si la machine ne connaît pas l'objectif ?

Well, it reasons in a different way.

Eh bien, elle raisonne différemment.

It says, "OK, the human might switch me off,

Elle se dit : « OK, l'humain pourrait m'éteindre,

but only if I'm doing something wrong.

si je fais ce qui ne va pas.

Well, I don't really know what wrong is,

Eh bien, je ne sais pas vraiment ce qui est mal,

but I know that I don't want to do it."

mais je sais que je ne veux pas le faire. »

So that's the first and second principles right there.

Voilà le premier et le deuxième principes.

"So I should let the human switch me off."

« Je devrais donc laisser l'humain m'éteindre. »

And in fact you can calculate the incentive that the robot has

En fait, vous pouvez calculer l'incitation que le robot a

to allow the human to switch it off,

à se laisser éteindre.

and it's directly tied to the degree

C'est directement lié au degré

of uncertainty about the underlying objective.

d'incertitude de l'objectif sous-jacent.

And then when the machine is switched off,

Et c'est lorsque la machine est éteinte

that third principle comes into play.

que ce troisième principe entre en jeu.

It learns something about the objectives it should be pursuing,

Elle apprend des choses sur les objectifs qu'elle doit poursuivre

because it learns that what it did wasn't right.

en constatant que ce qu'elle a fait n'était pas bien.

In fact, we can, with suitable use of Greek symbols,

En fait, avec une utilisation appropriée des symboles grecs,

as mathematicians usually do,

comme le font souvent les mathématiciens,

we can actually prove a theorem

nous pouvons prouver un théorème

that says that such a robot is provably beneficial to the human.

qui dit qu'un tel robot est manifestement bénéfique pour l'humain.

You are provably better off with a machine that's designed in this way

Vous êtes probablement mieux avec une machine conçue de cette façon

than without it.

que sans.

So this is a very simple example, but this is the first step

C'est donc un exemple très simple, mais c'est la première étape

in what we're trying to do with human-compatible AI.

dans ce que nous essayons de faire avec l'IA compatible avec les êtres humains.

Now, this third principle,

Quant au troisième principe,

je pense que vous êtes en train de vous gratter la tête à ce sujet.

I think is the one that you're probably scratching your head over.

You're probably thinking, "Well, you know, I behave badly.

Vous pensez probablement : « Eh bien, vous savez, je me comporte mal.

I don't want my robot to behave like me.

Je ne veux pas que mon robot se comporte comme moi.

I sneak down in the middle of the night and take stuff from the fridge.

Je me faufile au milieu de la nuit et je picore dans le frigo.

I do this and that."

Je fais ceci et cela. »

There's all kinds of things you don't want the robot doing.

Il y a plein de choses que vous ne voulez pas qu'un robot fasse.

But in fact, it doesn't quite work that way.

Mais cela ne fonctionne pas ainsi.

Just because you behave badly

Votre mauvais comportement

doesn't mean the robot is going to copy your behavior.

ne va pas inciter le robot à vous copier.

It's going to understand your motivations and maybe help you resist them,

Il va comprendre vos motivations et peut-être vous aider à résister,

if appropriate.

le cas échéant.

But it's still difficult.

Mais ça restera difficile.

What we're trying to do, in fact,

Ce que nous essayons de faire, en fait, c'est de permettre

is to allow machines to predict for any person and for any possible life

aux machines de se demander, pour toute personne et

pour toute vie qu'ils pourraient vivre

that they could live,

and the lives of everybody else:

et les vies de tous les autres :

Which would they prefer?

« Laquelle préfèreraient-ils ? »

And there are many, many difficulties involved in doing this;

Et cela engendre beaucoup, beaucoup de difficultés.

I don't expect that this is going to get solved very quickly.

Je ne m'attends pas à ce que nous résolvions cela très rapidement.

The real difficulties, in fact, are us.

Le vrai problème, en fait, c'est nous.

As I have already mentioned, we behave badly.

Comme je l'ai déjà mentionné, nous nous comportons mal.

In fact, some of us are downright nasty.

Certains d'entre nous sont même foncièrement méchants.

Now the robot, as I said, doesn't have to copy the behavior.

Le robot, comme je l'ai dit, n'est pas obligé de copier ce comportement.

The robot does not have any objective of its own.

Il n'a aucun objectif propre.

It's purely altruistic.

Il est purement altruiste.

And it's not designed just to satisfy the desires of one person, the user,

Il ne doit pas uniquement satisfaire les désirs d'une personne, l'utilisateur,

but in fact it has to respect the preferences of everybody.

mais, en fait, il doit respecter les préférences de tous.

So it can deal with a certain amount of nastiness,

Il peut donc faire face à une certaine négligence.

and it can even understand that your nastiness, for example,

Il peut même comprendre votre malveillance, par exemple,

you may take bribes as a passport official

si vous acceptez des pots-de-vin en tant que préposé aux passeports

because you need to feed your family and send your kids to school.

afin de nourrir votre famille et envoyer vos enfants à l'école.

It can understand that; it doesn't mean it's going to steal.

Il peut comprendre cela, ce qui ne signifie pas qu'il va se mettre à voler.

In fact, it'll just help you send your kids to school.

En fait, il vous aidera à envoyer vos enfants à l'école.

We are also computationally limited.

Nous sommes limités par la puissance de calcul.

Lee Sedol is a brilliant Go player,

Lee Sedol est un brillant joueur de go,

but he still lost.

mais il a quand même perdu.

So if we look at his actions, he took an action that lost the game.

Si on regarde ses actions, il a pris une décision qui lui a coûté le match.

That doesn't mean he wanted to lose.

Ça ne veut pas dire qu'il voulait perdre.

So to understand his behavior,

Pour comprendre son comportement,

we actually have to invert through a model of human cognition

nous devons l'observer à travers un modèle de cognition humaine

that includes our computational limitations -- a very complicated model.

qui inclut nos limites en calcul. Un modèle très compliqué.

But it's still something that we can work on understanding.

Ça demande un effort, mais nous pouvons le comprendre.

Probably the most difficult part, from my point of view as an AI researcher,

Ce qui est le plus difficile, de mon point de vue de chercheur en IA,

is the fact that there are lots of us,

c'est le fait que nous sommes si nombreux.

and so the machine has to somehow trade off, weigh up the preferences

La machine doit faire des choix, évaluer les préférences

of many different people,

d'un grand nombre de personnes différentes

and there are different ways to do that.

et il existe différentes façons de le faire.

Economists, sociologists, moral philosophers have understood that,

Les économistes, les sociologues, les philosophes l'ont bien compris

and we are actively looking for collaboration.

et nous cherchons activement leur collaboration.

Let's have a look and see what happens when you get that wrong.

Voyons ce qui se passe lorsque vous avez un problème.

So you can have a conversation, for example,

Vous pouvez discuter, par exemple,

with your intelligent personal assistant

avec votre assistant personnel intelligent

that might be available in a few years' time.

qui pourrait être disponible dans quelques années.

Think of a Siri on steroids.

Pensez à un Siri sous stéroïdes.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri dit : « Votre femme a appelé pour vous rappeler le dîner de ce soir. »

And of course, you've forgotten. "What? What dinner?

Bien sûr, vous aviez oublié. « Quoi ? Quel dîner ?

What are you talking about?"

De quoi me parles-tu ? »

"Uh, your 20th anniversary at 7pm."

« Euh, votre 20ème anniversaire à 19h00. »

"I can't do that. I'm meeting with the secretary-general at 7:30.

« Je ne peux pas. J'ai une réunion avec le secrétaire général à 19h30.

How could this have happened?"

Comment cela a-t-il pu arriver ? »

"Well, I did warn you, but you overrode my recommendation."

« Eh bien, je vous ai prévenu, mais vous avez ignoré mon avertissement. »

"Well, what am I going to do? I can't just tell him I'm too busy."

« Qu'est-ce que je vais faire ? Je ne peux pas lui dire que je suis occupé. »

"Don't worry. I arranged for his plane to be delayed."

« Ne vous inquiétez pas. J'ai fait en sorte que son avion ait du retard. »

(Laughter)

(Rires)

"Some kind of computer malfunction."

« Une sorte de bug de l'ordinateur. »

(Laughter)

(Rires)

"Really? You can do that?"

« Vraiment ? Tu peux faire ça ? »

"He sends his profound apologies

« Il vous présente ses excuses

and looks forward to meeting you for lunch tomorrow."

et voudrait vous rencontrer demain pour le déjeuner. »

(Laughter)

(Rires)

So the values here -- there's a slight mistake going on.

Donc là... Il y a une légère erreur.

This is clearly following my wife's values

Ce scénario suit clairement la philosophie de ma femme.

which is "Happy wife, happy life."

qui est : « femme heureuse, vie heureuse. »

(Laughter)

(Rires)

It could go the other way.

Mais ça pourrait aussi aller autrement.

You could come home after a hard day's work,

Vous pourriez rentrer après une dure journée

and the computer says, "Long day?"

et l'ordinateur vous dit : « Dure journée ? »

"Yes, I didn't even have time for lunch."

« Oui, je n'ai même pas eu le temps de manger. »

"You must be very hungry."

« Tu dois avoir faim. »

"Starving, yeah. Could you make some dinner?"

« Oui, très faim. Tu peux me faire à dîner ? »

"There's something I need to tell you."

« Je dois te dire quelque chose. »

(Laughter)

(Rires)

"There are humans in South Sudan who are in more urgent need than you."

« Il y a des gens au Soudan du Sud qui ont bien plus besoin de nourriture que toi. »

(Laughter)

(Rires)

"So I'm leaving. Make your own dinner."

« Je te quitte. Fais-toi à dîner toi-même. »

(Laughter)

(Rires)

So we have to solve these problems,

Nous devons résoudre ces problèmes

and I'm looking forward to working on them.

et je suis impatient de travailler là-dessus.

There are reasons for optimism.

Nous avons des raisons d'être optimistes.

One reason is,

La première, c'est que

there is a massive amount of data.

nous disposons d'une masse de données.

Because remember -- I said they're going to read everything

Parce que, souvenez-vous, j'ai dit que l'IA va lire tout

the human race has ever written.

ce que l'homme a jamais écrit.

Most of what we write about is human beings doing things

La plupart du temps, nous écrivons sur ce que les humains font

and other people getting upset about it.

et sur les gens que ça contrarie.

So there's a massive amount of data to learn from.

Alors il y a une masse de données dans laquelle puiser.

There's also a very strong economic incentive

Il y a également une très forte incitation économique à cela.

to get this right.

Donc,

So imagine your domestic robot's at home.

imaginez votre robot domestique.

You're late from work again and the robot has to feed the kids,

Vous êtes en retard au travail et le robot doit nourrir les enfants,

and the kids are hungry and there's nothing in the fridge.

les enfants ont faim et il n'y a rien dans le réfrigérateur.

And the robot sees the cat.

Le robot voit le chat.

(Laughter)

(Rires)

And the robot hasn't quite learned the human value function properly,

Le robot n'a pas bien appris les valeurs humaines,

so it doesn't understand

donc il ne comprend pas

the sentimental value of the cat outweighs the nutritional value of the cat.

que la valeur sentimentale du chat l'emporte sur sa valeur nutritionnelle.

(Laughter)

(Rires)

So then what happens?

Que se passe-t-il ?

Well, it happens like this:

Eh bien, que se passe-t-il ?

"Deranged robot cooks kitty for family dinner."

« Le robot fou cuisine le chat de la famille pour le dîner. »

That one incident would be the end of the domestic robot industry.

Cet incident sonnerait la fin de l'industrie du robot domestique.

So there's a huge incentive to get this right

Il y a donc une incitation énorme à régler cela

long before we reach superintelligent machines.

bien avant que nous n'arrivions aux machines supra-intelligentes.

So to summarize:

Pour résumer.

I'm actually trying to change the definition of AI

J'essaie de modifier la définition de l'IA

so that we have provably beneficial machines.

afin que nous ayons des machines irréfutablement bénéfiques.

And the principles are:

Les principes sont :

machines that are altruistic,

des machines altruistes,

that want to achieve only our objectives,

ne cherchant qu'à atteindre nos objectifs,

but that are uncertain about what those objectives are,

mais ayant une incertitude quant à ces objectifs

and will watch all of us

et qui nous observerons

to learn more about what it is that we really want.

afin d'en savoir plus sur ce que nous voulons vraiment.

And hopefully in the process, we will learn to be better people.

J'espère que dans le processus, nous apprendrons aussi à devenir meilleurs.

Thank you very much.

Merci beaucoup.

(Applause)

(Applaudissements)

Chris Anderson: So interesting, Stuart.

Chris Anderson : Très intéressant, Stuart.

We're going to stand here a bit because I think they're setting up

Nous allons rester un peu ici, car je crois qu'ils préparent

for our next speaker.

la prochaine intervention.

A couple of questions.

Plusieurs questions.

So the idea of programming in ignorance seems intuitively really powerful.

L'idée d'une programmation limitée semble intuitivement très puissante.

As you get to superintelligence,

En se rapprochant de la supra-intelligence,

what's going to stop a robot

qu'est-ce qui empêchera un robot

reading literature and discovering this idea that knowledge

de lire la littérature et de découvrir cette notion que la connaissance

is actually better than ignorance

est en fait supérieure à l'ignorance

and still just shifting its own goals and rewriting that programming?

et de changer ses propres objectifs en réécrivant cette programmation ?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russell : Oui, nous voulons qu'il en apprenne davantage, comme je l'ai dit,

about our objectives.

à propos de nos objectifs.

It'll only become more certain as it becomes more correct,

Il gagnera en confiance avec l'expérience,

so the evidence is there

la preuve est là,

and it's going to be designed to interpret it correctly.

et il sera conçu pour interpréter correctement nos objectifs.

It will understand, for example, that books are very biased

Il comprendra, par exemple, que les livres sont très biaisés

in the evidence they contain.

en fonction de leur contenu.

They only talk about kings and princes

Ils ne parlent que de rois et de princes

and elite white male people doing stuff.

et des choses que fait l'élite blanche.

So it's a complicated problem,

C'est donc un problème complexe,

but as it learns more about our objectives

mais comme il en apprend plus sur nos objectifs,

it will become more and more useful to us.

il nous sera de plus en plus utile.

CA: And you couldn't just boil it down to one law,

CA : Et vous ne pourriez pas résumer cela en une seule loi,

you know, hardwired in:

vous savez, une ligne de code :

"if any human ever tries to switch me off,

« Si un humain essaie de me débrancher,

I comply. I comply."

je coopère, je coopère. »

SR: Absolutely not.

SR : Impossible.

That would be a terrible idea.

Ce serait une mauvaise idée.

So imagine that you have a self-driving car

Imaginez que vous ayez une voiture sans chauffeur

and you want to send your five-year-old

et vous souhaitez envoyer votre enfant de cinq ans

off to preschool.

à la maternelle.

Do you want your five-year-old to be able to switch off the car

Voulez-vous que votre enfant de cinq ans puisse éteindre la voiture

while it's driving along?

alors qu'elle roule ?

Probably not.

Probablement pas.

So it needs to understand how rational and sensible the person is.

Alors l'IA doit pouvoir évaluer si la personne est rationnelle et raisonnable.

The more rational the person,

Plus la personne est rationnelle,

the more willing you are to be switched off.

plus elle devrait avoir de contrôle.

If the person is completely random or even malicious,

Si la personne est incohérente ou même malveillante,

then you're less willing to be switched off.

alors elle devrait avoir un contrôle plus limité.

CA: All right. Stuart, can I just say,

CA : Très bien. Stuart,

I really, really hope you figure this out for us.

j'espère que vous allez régler cela pour nous.

Thank you so much for that talk. That was amazing.

Merci beaucoup pour cette présentation. C'était incroyable.

SR: Thank you.

(Applause)

SR : Merci.

(Applaudissements)