What happens when our computers get smarter than we are? | Nick Bostrom

Traducteur: Vincent LECOANET Relecteur: Elisabeth Buffard

I work with a bunch of mathematicians, philosophers and computer scientists,

Je travaille avec des mathématiciens, philosophes et informaticiens,

and we sit around and think about the future of machine intelligence,

et nous nous réunissons pour imaginer le futur de l'intelligence artificielle,

among other things.

entre autres choses.

Some people think that some of these things are sort of science fiction-y,

Certains pensent que c'est un peu de la science-fiction,

far out there, crazy.

complètement éloigné du réel.

But I like to say,

Mais j'aime dire,

okay, let's look at the modern human condition.

d'accord, jetons un coup d'oeil à la condition humaine moderne.

(Laughter)

(Rires)

This is the normal way for things to be.

C'est la façon normale d'être des choses.

But if we think about it,

Mais si on y pense,

we are actually recently arrived guests on this planet,

nous ne sommes en fait que des invités récemment arrivés sur cette planète,

the human species.

l'espèce humaine.

Think about if Earth was created one year ago,

Imaginez si la Terre avait été créée il y a un an,

the human species, then, would be 10 minutes old.

l'espèce humaine existerait alors depuis dix minutes.

The industrial era started two seconds ago.

L'ère industrielle a débuté il y a deux secondes.

Another way to look at this is to think of world GDP over the last 10,000 years,

Une autre façon de voir est de calculer

le PIB mondial des 10 000 dernières années.

I've actually taken the trouble to plot this for you in a graph.

J'ai vraiment pris le temps de faire un graphe pour vous.

It looks like this.

Il ressemble à ça.

(Laughter)

(Rires)

It's a curious shape for a normal condition.

Drôle de courbe pour une condition normale.

I sure wouldn't want to sit on it.

Je ne voudrais pas lui tourner le dos.

(Laughter)

(Rires)

Let's ask ourselves, what is the cause of this current anomaly?

Demandons-nous, quelle est la cause de cette anomalie ?

Some people would say it's technology.

Certains diront que c'est la technologie.

Now it's true, technology has accumulated through human history,

C'est vrai, la technologie s'est accumulée au cours de l'histoire humaine,

and right now, technology advances extremely rapidly --

et aujourd'hui, la technologie progresse très rapidement --

that is the proximate cause,

c'est la cause la plus proche,

that's why we are currently so very productive.

c'est pourquoi nous sommes si productifs de nos jours.

But I like to think back further to the ultimate cause.

Mais je préfère réfléchir en remontant à la cause fondamentale.

Look at these two highly distinguished gentlemen:

Regardez ces deux messieurs très distingués :

We have Kanzi --

Nous avons Kanzi --

he's mastered 200 lexical tokens, an incredible feat.

il maîtrise 200 symboles lexicaux, un exploit incroyable.

And Ed Witten unleashed the second superstring revolution.

Et Ed Witten a déclenché la seconde révolution des supercordes.

If we look under the hood, this is what we find:

Si nous regardons sous la capuche, voici ce que l'on trouve :

basically the same thing.

en gros, la même chose.

One is a little larger,

L'un est un peu plus grand,

it maybe also has a few tricks in the exact way it's wired.

il y a peut-être aussi quelques subtilités de câblage.

These invisible differences cannot be too complicated, however,

Ces différences invisibles ne peuvent être trop compliquées quoi qu'il en soit,

because there have only been 250,000 generations

car il n'y a eu que 250 000 générations

since our last common ancestor.

depuis notre dernier ancêtre commun.

We know that complicated mechanisms take a long time to evolve.

Nous savons que les mécanismes compliqués demandent beaucoup de temps pour évoluer.

So a bunch of relatively minor changes

Donc des changements relativement mineurs

take us from Kanzi to Witten,

nous emmènent de Kanzi à Witten,

from broken-off tree branches to intercontinental ballistic missiles.

de branches arrachées aux arbres aux missiles balistiques intercontinentaux.

So this then seems pretty obvious that everything we've achieved,

Il semble alors assez évident que tout ce que nous avons réalisé,

and everything we care about,

et ce que nous chérissons,

depends crucially on some relatively minor changes that made the human mind.

dépend principalement de quelques changements mineurs

qui ont aboutit à l'esprit humain.

And the corollary, of course, is that any further changes

Le corollaire, bien sûr, est que tout changement à venir

that could significantly change the substrate of thinking

qui pourrait changer significativement le substrat de la pensée

could have potentially enormous consequences.

pourrait avoir potentiellement d'énormes conséquences.

Some of my colleagues think we're on the verge

Certains de mes collègues pensent que nous sommes sur le point

of something that could cause a profound change in that substrate,

de développer quelque chose qui pourrait causer un tel changement dans ce substrat,

and that is machine superintelligence.

et c'est la super intelligence artificielle.

Artificial intelligence used to be about putting commands in a box.

Avant, l'intelligence artificielle consistait à mettre des commandes dans une boîte.

You would have human programmers

Il y avait des programmeurs humains

that would painstakingly handcraft knowledge items.

qui fabriquaient minutieusement des objets savants.

You build up these expert systems,

On construisait ces systèmes experts,

and they were kind of useful for some purposes,

et ils étaient utiles pour certains buts,

but they were very brittle, you couldn't scale them.

mais ils étaient très fragiles, on ne pouvait pas les agrandir.

Basically, you got out only what you put in.

En gros, vous n'aviez que ce que vous aviez mis dedans.

But since then,

Mais depuis,

a paradigm shift has taken place in the field of artificial intelligence.

une révolution conceptuelle s'est opérée dans le domaine de l'I.A..

Today, the action is really around machine learning.

Aujourd'hui, l'action est centré sur l'apprentissage machine.

So rather than handcrafting knowledge representations and features,

Plutôt que de coder à la main des programmes et leurs caractéristiques,

we create algorithms that learn, often from raw perceptual data.

on crée des algorithmes qui apprennent,

souvent à partir des données brutes perçues.

Basically the same thing that the human infant does.

En gros, la même chose que fait un enfant.

The result is A.I. that is not limited to one domain --

Le résultat est une I.A. qui n'est pas limitée à un domaine --

the same system can learn to translate between any pairs of languages,

le même système peut apprendre à traduire n'importe quel couple de langues,

or learn to play any computer game on the Atari console.

ou apprendre à jouer n'importe quel jeu sur la console Atari.

Now of course,

Bien sûr,

A.I. is still nowhere near having the same powerful, cross-domain

l'I.A. est toujours loin d'avoir la capacité puissante et transversale

ability to learn and plan as a human being has.

à apprendre et planifier d'un être humain.

The cortex still has some algorithmic tricks

Le cortex a encore des secrets algorithmiques

that we don't yet know how to match in machines.

que nous ne savons pas intégrer dans les machines.

So the question is,

Donc la question est,

how far are we from being able to match those tricks?

combien de temps nous faudra-t-il pour réussir à les intégrer ?

A couple of years ago,

Il y a quelques années,

we did a survey of some of the world's leading A.I. experts,

nous avons fait un sondage auprès des experts mondiaux des I.A.,

to see what they think, and one of the questions we asked was,

pour voir ce qu'ils pensaient, et une des questions posées était,

"By which year do you think there is a 50 percent probability

« En quelle année pensez-vous qu'il y aura 50% de chance

that we will have achieved human-level machine intelligence?"

qu'une I.A. atteigne le niveau d'une intelligence humaine ? »

We defined human-level here as the ability to perform

Nous définissons ici le seuil à atteindre par la capacité de l'I.A. à réaliser

almost any job at least as well as an adult human,

presque toutes les tâches au moins aussi bien qu'un adulte,

so real human-level, not just within some limited domain.

donc réellement comme un humain, pas seulement dans un domaine limité.

And the median answer was 2040 or 2050,

La réponse médiane était 2040 ou 2050,

depending on precisely which group of experts we asked.

en fonction du groupe d'experts que nous interrogions.

Now, it could happen much, much later, or sooner,

Ça pourrait se produire bien plus tard ou bien plus tôt,

the truth is nobody really knows.

la vérité est que personne ne le sait.

What we do know is that the ultimate limit to information processing

Ce que nous savons est que la limite de traitement de l'information

in a machine substrate lies far outside the limits in biological tissue.

dans une machine est bien supérieure à celle d'un tissu biologique.

This comes down to physics.

Ça s'explique par la physique.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Un neurone biologique "décharge" environ à 200 hertz, 200 fois par seconde.

But even a present-day transistor operates at the Gigahertz.

Mais, même un transistor actuel fonctionne au gigahertz.

Neurons propagate slowly in axons, 100 meters per second, tops.

L'information se propage dans les neurones le long d'axones à 100 m/s maximum.

But in computers, signals can travel at the speed of light.

Mais dans les ordinateurs, le signal peut voyager à la vitesse de la lumière.

There are also size limitations,

Il y a aussi des limitations de taille,

like a human brain has to fit inside a cranium,

car le cerveau humain doit rentrer dans la boîte crânienne,

but a computer can be the size of a warehouse or larger.

mais un ordinateur peut être de la taille d'un entrepôt ou plus grand.

So the potential for superintelligence lies dormant in matter,

Donc le potentiel de super intelligence est en sommeil dans la matière,

much like the power of the atom lay dormant throughout human history,

tout comme la puissance de l'atome est restée en sommeil

patiently waiting there until 1945.

tout au long de l'histoire humaine, attendant patiemment jusqu'en 1945.

In this century,

Au cours de ce siècle, il se peut que les scientifiques apprennent

scientists may learn to awaken the power of artificial intelligence.

à réveiller la puissance de l'I.A..

And I think we might then see an intelligence explosion.

Je pense que nous pourrions alors assister à une explosion d'intelligence.

Now most people, when they think about what is smart and what is dumb,

La plupart des gens, quand ils pensent à ce qui est bête ou intelligent

I think have in mind a picture roughly like this.

ont une image de ce genre en tête.

So at one end we have the village idiot,

À une extrémité on a l'idiot du village,

and then far over at the other side

et à l'autre bout

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

on a Ed Witten, ou Albert Einstein, ou votre gourou, qui qu'il soit.

But I think that from the point of view of artificial intelligence,

Mais je pense que du point de vue de l'intelligence artificielle,

the true picture is actually probably more like this:

la véritable image est plus probablement comme ceci, en réalité :

AI starts out at this point here, at zero intelligence,

l'I.A. commence à cet endroit, à zéro intelligence,

and then, after many, many years of really hard work,

et ensuite, après de nombreuses années de dur labeur,

maybe eventually we get to mouse-level artificial intelligence,

peut-être, arrivons-nous au niveau de l'intelligence d'une souris,

something that can navigate cluttered environments

quelque chose qui peut naviguer dans des environnements encombrés

as well as a mouse can.

aussi bien qu'une souris.

And then, after many, many more years of really hard work, lots of investment,

Ensuite, après encore plus d'années de dur labeur et beaucoup d'investissements,

maybe eventually we get to chimpanzee-level artificial intelligence.

peut-être, finalement, arrivons-nous au niveau d'intelligence d'un chimpanzé.

And then, after even more years of really, really hard work,

Ensuite, après toujours plus d'années de vraiment très dur labeur,

we get to village idiot artificial intelligence.

nous arrivons au niveau d'intelligence de l'idiot du village.

And a few moments later, we are beyond Ed Witten.

Et quelques mois plus tard, nous sommes après Ed Witten.

The train doesn't stop at Humanville Station.

Le train ne s'arrête pas à la station Humainville.

It's likely, rather, to swoosh right by.

Il va plutôt passer à fond devant.

Now this has profound implications,

Il y a là de profondes implications,

particularly when it comes to questions of power.

en particulier quand il est question de pouvoir.

For example, chimpanzees are strong --

Par exemple, les chimpanzés sont forts --

pound for pound, a chimpanzee is about twice as strong as a fit human male.

à poids équivalent, un chimpanzé est deux fois plus fort qu'un homme adulte.

And yet, the fate of Kanzi and his pals depends a lot more

Pourtant, le destin de Kanzi et de ses congénères dépend beaucoup plus

on what we humans do than on what the chimpanzees do themselves.

de ce que font les humains que de ce que les chimpanzés font eux-mêmes.

Once there is superintelligence,

Une fois que la super intelligence sera là,

the fate of humanity may depend on what the superintelligence does.

le destin de l'humanité pourrait dépendre des actions de cette super intelligence.

Think about it:

Pensez-y :

Machine intelligence is the last invention that humanity will ever need to make.

l'I.A. est la dernière invention que l'homme aura jamais besoin de faire.

Machines will then be better at inventing than we are,

Les machines seront alors de meilleurs inventeurs que nous le sommes,

and they'll be doing so on digital timescales.

et elles inventeront sur des échelles de temps numériques.

What this means is basically a telescoping of the future.

Ça veut dire un télescopage avec le futur.

Think of all the crazy technologies that you could have imagined

Pensez à toutes les technologies incroyables que vous avez imaginées,

maybe humans could have developed in the fullness of time:

que les hommes pourraient avoir développées avec le temps :

cures for aging, space colonization,

plus de vieillissement, colonisation de l'espace,

self-replicating nanobots or uploading of minds into computers,

nano-robots auto-répliquants,

téléchargement d'esprits humains dans des ordinateurs,

all kinds of science fiction-y stuff

plein de technologies de science-fiction

that's nevertheless consistent with the laws of physics.

qui sont néanmoins cohérentes avec les lois de la physique.

All of this superintelligence could develop, and possibly quite rapidly.

Toute cette super intelligence pourrait se développer assez rapidement.

Now, a superintelligence with such technological maturity

Bon, une super intelligence avec une telle maturité technologique

would be extremely powerful,

serait extrêmement puissante,

and at least in some scenarios, it would be able to get what it wants.

et au moins dans certains scénarios, serait capable d'obtenir ce qu'elle veut.

We would then have a future that would be shaped by the preferences of this A.I.

Nous aurions alors un futur modelé par les préférences de cette I.A.

Now a good question is, what are those preferences?

Une bonne question est, quelles sont ces préférences ?

Here it gets trickier.

C'est là que ça devient délicat.

To make any headway with this,

Pour progresser là-dessus,

we must first of all avoid anthropomorphizing.

nous devons tout d'abord éviter tout anthropomorphisme.

And this is ironic because every newspaper article

C'est ironique car dans tous les articles de journaux

about the future of A.I. has a picture of this:

qui parle de l'avenir de l'I.A. comportent une image de ceci.

So I think what we need to do is to conceive of the issue more abstractly,

Je pense que nous devons concevoir ce problème de manière plus abstraite,

not in terms of vivid Hollywood scenarios.

et non en scénario hollywoodien fertile.

We need to think of intelligence as an optimization process,

Nous devons penser à l'intelligence comme un processus d'optimisation,

a process that steers the future into a particular set of configurations.

un processus qui guide le futur dans un certain jeu de configurations.

A superintelligence is a really strong optimization process.

Une super intelligence est un processus d'optimisation très fort.

It's extremely good at using available means to achieve a state

Elle est très douée pour utiliser les moyens disponibles pour atteindre un état

in which its goal is realized.

dans lequel son but est réalisé.

This means that there is no necessary connection between

Ça signifie qu'il n'y a pas de nécessaire connexion entre

being highly intelligent in this sense,

le fait d'être très intelligent dans ce sens,

and having an objective that we humans would find worthwhile or meaningful.

et avoir un objectif que nous, humains, trouverions utile ou significatif.

Suppose we give an A.I. the goal to make humans smile.

Supposons qu'on donne comme but à une I.A. de faire sourire les humains.

Quand l'I.A. est faible, elle réalise des actions utiles ou amusantes

When the A.I. is weak, it performs useful or amusing actions

that cause its user to smile.

qui provoque le sourire de l'utilisateur.

When the A.I. becomes superintelligent,

Quand l'I.A. devient super intelligente,

it realizes that there is a more effective way to achieve this goal:

elle réalise qu'il y a un moyen plus efficace d'atteindre son objectif :

take control of the world

prendre le contrôle du monde

and stick electrodes into the facial muscles of humans

et implanter des électrodes dans les muscles faciaux des humains

to cause constant, beaming grins.

pour provoquer des sourires rayonnants et constants.

Another example,

Un autre exemple,

suppose we give A.I. the goal to solve a difficult mathematical problem.

supposons qu'on demande à une I.A. de résoudre un problème de math très dur.

When the A.I. becomes superintelligent,

Quand l'I.A. devient super intelligente,

it realizes that the most effective way to get the solution to this problem

elle réalise que le moyen le plus efficace pour résoudre ce problème

is by transforming the planet into a giant computer,

est de transformer la planète en un ordinateur géant,

so as to increase its thinking capacity.

pour augmenter sa capacité de calcul.

And notice that this gives the A.I.s an instrumental reason

Remarquez que ça donne aux I.A.s une raison pratique

de faire des choses que nous pourrions ne pas approuver.

to do things to us that we might not approve of.

Human beings in this model are threats,

Les humains sont des menaces dans ce modèle,

we could prevent the mathematical problem from being solved.

car nous pourrions empêcher la résolution du problème.

Of course, perceivably things won't go wrong in these particular ways;

Bien sûr, les choses perceptibles ne tourneront pas mal de ces façons-là ;

these are cartoon examples.

ce sont des exemples caricaturés.

But the general point here is important:

Mais l'argument général est important :

if you create a really powerful optimization process

si vous créez un processus d'optimisation très puissant

to maximize for objective x,

pour maximiser les chances d'atteindre l'objectif x,

you better make sure that your definition of x

vous devez vous assurer que votre définition de x

incorporates everything you care about.

incorpore tout ce à quoi vous tenez.

This is a lesson that's also taught in many a myth.

C'est une leçon qui est enseignée dans de nombreux mythes.

King Midas wishes that everything he touches be turned into gold.

Le roi Midas souhaitait que tout ce qu'il touche se transforme en or.

He touches his daughter, she turns into gold.

Il touche sa fille, elle se transforme en or.

He touches his food, it turns into gold.

Il touche sa nourriture, elle se transforme en or.

This could become practically relevant,

Ça pourrait devenir pertinent en pratique,

not just as a metaphor for greed,

ne pas se limiter à une métaphore de la cupidité

but as an illustration of what happens

mais illustrer ce qui arrive

if you create a powerful optimization process

si vous créez un processus d'optimisation puissant

and give it misconceived or poorly specified goals.

et lui donnez des objectifs mal conçus ou trop vagues.

Now you might say, if a computer starts sticking electrodes into people's faces,

Vous pourriez dire que si un ordinateur commence à nous implanter des électrodes,

we'd just shut it off.

nous le débrancherions.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A, ce n'est pas forcément si facile à faire si nous sommes devenus dépendants,

like, where is the off switch to the Internet?

par exemple, comment arrête-t-on internet ?

B, why haven't the chimpanzees flicked the off switch to humanity,

B, pourquoi les chimpanzés ou les Neandertals

or the Neanderthals?

n'ont-ils pas empêché l'humanité ?

They certainly had reasons.

Ils avaient de bonnes raisons.

We have an off switch, for example, right here.

Nous avons un interrupteur, par exemple, juste ici.

(Choking)

(Suffocation)

The reason is that we are an intelligent adversary;

La raison est que nous sommes un adversaire intelligent ;

we can anticipate threats and plan around them.

nous pouvons anticiper les menaces et planifier des solutions.

But so could a superintelligent agent,

Mais une super intelligence pourrait le faire aussi,

and it would be much better at that than we are.

et elle le ferait bien mieux que nous.

The point is, we should not be confident that we have this under control here.

L'important est que nous ne devrions pas croire que nous avons tout sous contrôle.

And we could try to make our job a little bit easier by, say,

Nous pourrions tenter de nous faciliter la tâche, disons

putting the A.I. in a box,

en mettant l'I.A. dans une boîte,

like a secure software environment,

comme un environnement logiciel sûr,

a virtual reality simulation from which it cannot escape.

une simulation de la réalité d'où elle ne peut s'échapper.

But how confident can we be that the A.I. couldn't find a bug.

Mais à quel point sommes-nous sûrs qu'elle ne trouvera pas un bug.

Given that merely human hackers find bugs all the time,

Étant donné que de simples hackers humains trouvent toujours des bugs,

I'd say, probably not very confident.

je dirais, probablement pas très sûrs.

So we disconnect the ethernet cable to create an air gap,

Donc on déconnecte le câble Ethernet pour créer une séparation physique,

but again, like merely human hackers

mais encore une fois, comme de simples hackers humains

routinely transgress air gaps using social engineering.

transgressent les séparations physiques grâce à l'ingéniérie sociale.

Right now, as I speak,

À l'heure où je vous parle, en ce moment-même,

I'm sure there is some employee out there somewhere

je suis sûr qu'il y a un employé, quelque part

who has been talked into handing out her account details

à qui quelqu'un prétendant être du département informatique

by somebody claiming to be from the I.T. department.

a demandé de donner son identifiant et son mot de passe.

More creative scenarios are also possible,

Des scénarios plus créatifs sont aussi possibles,

like if you're the A.I.,

par exemple, si vous êtes une I.A.

you can imagine wiggling electrodes around in your internal circuitry

vous pouvez déplacer des électrodes dans vos circuits internes

to create radio waves that you can use to communicate.

pour créer des ondes radio que vous utiliserez pour communiquer.

Or maybe you could pretend to malfunction,

Ou vous pouvez prétendre dysfonctionner,

and then when the programmers open you up to see what went wrong with you,

et quand les ingénieurs vous ouvrent pour voir ce qui ne marche pas,

they look at the source code -- Bam! --

ils regardent votre code source -- Vlan ! --

the manipulation can take place.

la manipulation peut commencer.

Or it could output the blueprint to a really nifty technology,

Ou elle pourrait produire le plan d'une nouvelle technologie géniale,

and when we implement it,

et quand nous l'implementons,

it has some surreptitious side effect that the A.I. had planned.

elle a quelques effets secondaires furtifs planifiés par l'I.A.

The point here is that we should not be confident in our ability

Donc nous ne devrions pas faire confiance à notre capacité

to keep a superintelligent genie locked up in its bottle forever.

à garder un génie super intelligent prisonnier dans sa lampe éternellement.

Sooner or later, it will out.

À un moment donné, il va s'échapper.

I believe that the answer here is to figure out

Je crois que la réponse à ça est de découvrir

how to create superintelligent A.I. such that even if -- when -- it escapes,

comment créer une super intelligence telle que même si ou quand elle s'échappe,

it is still safe because it is fundamentally on our side

on est toujours en sécurité car elle est fondamentalement de notre côté

because it shares our values.

car elle partage nos valeurs.

I see no way around this difficult problem.

Je ne vois aucune solution à ce problème.

Now, I'm actually fairly optimistic that this problem can be solved.

Mais je suis plutôt optimiste quant le fait que ce problème peut être résolu.

We wouldn't have to write down a long list of everything we care about,

Nous n'aurions pas à écrire une longue liste de tout ce que nous chérissons,

or worse yet, spell it out in some computer language

ou, encore pire, devoir le coder en language informatique

like C++ or Python,

comme C++ ou Python,

that would be a task beyond hopeless.

ce qui serait une tâche sans espoir.

Instead, we would create an A.I. that uses its intelligence

Au lieu de ça, nous créerions une I.A. qui utilise son intelligence

to learn what we value,

pour apprendre nos valeurs,

and its motivation system is constructed in such a way that it is motivated

et son système de motivation est construit de telle sorte qu'elle est motivée

to pursue our values or to perform actions that it predicts we would approve of.

par la recherche de valeurs ou d'actions qu'elle prédit que nous approuverions.

We would thus leverage its intelligence as much as possible

Nous pourrions ainsi influencer son intelligence autant que possible

to solve the problem of value-loading.

à résoudre des problèmes importants.

This can happen,

Ça peut arriver,

and the outcome could be very good for humanity.

et le résultat en serait très positif pour l'humanité.

But it doesn't happen automatically.

Mais ça n'arrive pas automatiquement.

The initial conditions for the intelligence explosion

Les conditions initiales de l'explosion de l'intelligence

might need to be set up in just the right way

devront être programmées de manière précise

if we are to have a controlled detonation.

si nous voulons obtenir une détonation contrôlée.

The values that the A.I. has need to match ours,

Les valeurs de l'I.A. devront correspondre aux nôtres,

not just in the familiar context,

pas seulement dans un contexte familier,

like where we can easily check how the A.I. behaves,

où il est facile de contrôler comment l'I.A. se comporte,

but also in all novel contexts that the A.I. might encounter

mais aussi dans de nouveaux contextes que l'I.A. pourrait rencontrer

in the indefinite future.

dans un futur indéfini.

And there are also some esoteric issues that would need to be solved, sorted out:

Il y a aussi des problèmes ésotériques qui devront être résolus :

the exact details of its decision theory,

les détails exacts de sa théorie de décision,

how to deal with logical uncertainty and so forth.

comment gérer l'incertitude logique et ainsi de suite.

So the technical problems that need to be solved to make this work

Les problèmes techniques qui doivent être surmontés pour que ça marche

look quite difficult --

semblent ardus--

not as difficult as making a superintelligent A.I.,

pas autant que de faire une I.A. super intelligente,

but fairly difficult.

mais assez ardus.

Here is the worry:

Là où c'est inquiétant, c'est que

Making superintelligent A.I. is a really hard challenge.

faire une I.A. super intelligente est un défi vraiment difficile.

Making superintelligent A.I. that is safe

Faire une I.A. super intelligente qui soit sûre

involves some additional challenge on top of that.

implique quelques défis supplémentaires.

The risk is that if somebody figures out how to crack the first challenge

Le risque est que si quelqu'un trouve comment résoudre le premier défi

without also having cracked the additional challenge

sans avoir aussi résolu

of ensuring perfect safety.

l'autre défi, celui d'assurer une sécurité parfaite.

So I think that we should work out a solution

Je pense que nous devrions donc commencer à résoudre

to the control problem in advance,

le problème de contrôle d'abord,

so that we have it available by the time it is needed.

pour qu'il soit disponible quand on en aura besoin.

Now it might be that we cannot solve the entire control problem in advance

On ne pourra peut-être pas résoudre tout le problème du contrôle à l'avance

because maybe some elements can only be put in place

car certains éléments ne peuvent être mis en place

once you know the details of the architecture where it will be implemented.

qu'une fois qu'on connait les détails de l'architecture où ce sera implémenté.

But the more of the control problem that we solve in advance,

Mais plus nous résolvons ce problème de contrôle à l'avance,

the better the odds that the transition to the machine intelligence era

meilleure sera notre chance que la transition vers l'ère de l'I.A.

will go well.

se passera bien.

This to me looks like a thing that is well worth doing

Pour moi, ça semble valoir la peine

and I can imagine that if things turn out okay,

et j'imaginer que, si tout se passe bien,

that people a million years from now look back at this century

les gens, dans un million d'années, penseront peut-être

and it might well be that they say that the one thing we did that really mattered

que la chose qui a vraiment été importante dans notre siècle

was to get this thing right.

était de faire ça bien.

Thank you.

Merci.

(Applause)

(Applaudissements)