What happens when our computers get smarter than we are? | Nick Bostrom

Translator: Florence Marcotte Reviewer: Serge Brosseau

I work with a bunch of mathematicians, philosophers and computer scientists,

Je travaille avec des mathématiciens, des philosophes et des informaticiens,

and we sit around and think about the future of machine intelligence,

et, ensemble, nous réfléchissons sur le futur des machines intelligentes,

among other things.

entre autres.

Some people think that some of these things are sort of science fiction-y,

Certains pensent que ces sujets sont de la pure science-fiction,

far out there, crazy.

irréels et fous.

But I like to say,

Mais j'aime leur répondre:

okay, let's look at the modern human condition.

« Ok, regardons un instant les conditions humaines modernes. »

(Laughter)

(Rire)

This is the normal way for things to be.

Ceci est ce qu'on considère comme normal.

But if we think about it,

Mais quand on y pense,

we are actually recently arrived guests on this planet,

nous, l'espèce humaine, ne sommes apparus sur cette planète

the human species.

que très récemment.

Think about if Earth was created one year ago,

Si la Terre avait été créée il y un an,

the human species, then, would be 10 minutes old.

les humains ne seraient âgés que de 10 minutes.

The industrial era started two seconds ago.

L'ère industrielle n'aurait commencé qu'il y a deux secondes.

Another way to look at this is to think of world GDP over the last 10,000 years,

Un autre point de vue consiste à regarder le PIB des 10 000 dernières années.

I've actually taken the trouble to plot this for you in a graph.

J'ai fait l'effort de synthétiser ces données en un tableau.

It looks like this.

Ça ressemble à ça.

(Laughter)

(Rire)

It's a curious shape for a normal condition.

Drôle de forme pour une condition « normale ».

I sure wouldn't want to sit on it.

Je ne voudrais pas m'asseoir dessus.

(Laughter)

(Rire)

Let's ask ourselves, what is the cause of this current anomaly?

Demandons-nous: quelle est la cause de cette anomalie?

Some people would say it's technology.

Certains disent que c'est la technologie.

Now it's true, technology has accumulated through human history,

Il est vrai que les technologies se sont accumulées au cours de l'histoire humaine

and right now, technology advances extremely rapidly --

et qu'en ce moment, elles se développent extrêmement rapidement.

that is the proximate cause,

C'est relié à la vraie cause,

that's why we are currently so very productive.

car c'est ce qui nous permet d'être si productifs.

But I like to think back further to the ultimate cause.

Mais j'aime à penser que la cause ultime réside plus loin dans le temps.

Look at these two highly distinguished gentlemen:

Regardez ces deux messieurs hautement distingués.

We have Kanzi --

Il y a Kanzi:

he's mastered 200 lexical tokens, an incredible feat.

il maîtrise 200 unités lexicales, un exploit incroyable.

And Ed Witten unleashed the second superstring revolution.

Et Ed Witten, qui a mené à la 2e révolution de la théorie des supercordes.

If we look under the hood, this is what we find:

Si l'on regarde sous le capot, voici ce que l'on voit:

basically the same thing.

pratiquement la même chose.

One is a little larger,

Un est un peu plus gros

it maybe also has a few tricks in the exact way it's wired.

et a peut-être quelques différences dans sa connexion.

These invisible differences cannot be too complicated, however,

Mais ces différences invisibles ne peuvent pas être si compliquées,

because there have only been 250,000 generations

car il y a seulement 250 000 générations,

since our last common ancestor.

nous avions le même ancêtre.

We know that complicated mechanisms take a long time to evolve.

Nous savons que les mécanisme complexes prennent longtemps à évoluer.

So a bunch of relatively minor changes

Donc, une série de petits changements

take us from Kanzi to Witten,

nous amène de Kanzi à Witten,

from broken-off tree branches to intercontinental ballistic missiles.

de branches cassés à des missiles balistiques intercontinentaux.

So this then seems pretty obvious that everything we've achieved,

Il semble donc évident que tout ce que l'on a créé,

and everything we care about,

et tout ce à quoi l'on tient,

depends crucially on some relatively minor changes that made the human mind.

dépend à la base de quelques relativement petits changements dans le cerveau humain.

And the corollary, of course, is that any further changes

Et, corolairement, bien sûr, n'importe quel changement

that could significantly change the substrate of thinking

qui pourrait affecter l'essence de la pensée

could have potentially enormous consequences.

pourrait potentiellement avoir d'énormes conséquences.

Some of my colleagues think we're on the verge

Certains de mes collègues pensent que nous sommes

of something that could cause a profound change in that substrate,

près de quelque chose qui pourrait créer un profond changement dans cette essence:

and that is machine superintelligence.

les machines à intelligence artificielle.

Artificial intelligence used to be about putting commands in a box.

Avant, l'intelligence artificielle (IA) consistait à créer des commandes.

You would have human programmers

Des programmeurs humains inséraient avec difficultés

that would painstakingly handcraft knowledge items.

des éléments d'information dans une boîte.

You build up these expert systems,

On construisait des machines expertes qui

and they were kind of useful for some purposes,

étaient utiles pour certaines choses, mais qui étaient très restreintes.

but they were very brittle, you couldn't scale them.

On ne pouvait les faire à grande échelle.

Basically, you got out only what you put in.

On en retirait que ce que l'on avait mis.

But since then,

Mais depuis,

a paradigm shift has taken place in the field of artificial intelligence.

un changement de paradigme à eu lieu dans le domaine de l'intelligence artificielle.

Today, the action is really around machine learning.

Aujourd'hui, on se concentre sur les machines qui apprennent.

So rather than handcrafting knowledge representations and features,

Donc, au lieu d'insérer manuellement de l'information,

we create algorithms that learn, often from raw perceptual data.

on crée des algorithmes qui apprennent, souvent à partir de donnés perceptives.

Basically the same thing that the human infant does.

Essentiellement, ils font la même chose que des enfants humains.

The result is A.I. that is not limited to one domain --

Il en résulte des IA qui ne sont pas limitées à un seul domaine;

the same system can learn to translate between any pairs of languages,

le même système peut apprendre à traduire n'importe quelle langue

or learn to play any computer game on the Atari console.

et à jouer tous les jeux sur la console Atari.

Now of course,

Bien sûr,

A.I. is still nowhere near having the same powerful, cross-domain

l'IA est loin d'avoir la même puissance universelle

ability to learn and plan as a human being has.

d'apprentissage et de planification que l'être humain.

The cortex still has some algorithmic tricks

Le cortex a encore quelques ruses algorithmiques

that we don't yet know how to match in machines.

que l'on arrive pas à créer dans des machines.

So the question is,

La question est donc:

how far are we from being able to match those tricks?

dans combien de temps réussirons-nous à les créer?

A couple of years ago,

Il y a quelques années,

we did a survey of some of the world's leading A.I. experts,

nous avons fait un sondage auprès d'experts de l'IA mondialement reconnus

to see what they think, and one of the questions we asked was,

pour avoir leur opinion.

Une des questions posées était: « À quand, selon vous, un 50% de chance

"By which year do you think there is a 50 percent probability

that we will have achieved human-level machine intelligence?"

d’avoir créé une intelligence artificielle équivalente à celle de l’humain? »

We defined human-level here as the ability to perform

Nous avons définis cette dernière comme l'habileté de faire n'importe quel travail

almost any job at least as well as an adult human,

aussi bien, voire mieux, qu'un humain adulte,

so real human-level, not just within some limited domain.

au niveau d’une intelligence humaine, qui n'est pas restreinte à un seul domaine.

And the median answer was 2040 or 2050,

Et la réponse médiane a été 2040 ou 2050,

depending on precisely which group of experts we asked.

selon les groupes d'experts questionnés.

Now, it could happen much, much later, or sooner,

Bien sûr, cela pourrait se produire bien plus tard, ou plus tôt;

the truth is nobody really knows.

la vérité, c'est que personne ne le sait.

What we do know is that the ultimate limit to information processing

Ce que l'on sait, par contre, c'est que la capacité de traitement de l'information

in a machine substrate lies far outside the limits in biological tissue.

est beaucoup plus grande pour une machine que pour un humain.

This comes down to physics.

C'est simplement de la physique.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Un neurone biologique décharge, environ, à 200 Hertz, 200 fois/sec,

But even a present-day transistor operates at the Gigahertz.

alors qu'un transistor, de nos jours, fonctionne en Gigahertz.

Neurons propagate slowly in axons, 100 meters per second, tops.

Les neurones se propagent en axons à une vitesse de 100 m/sec, max,

But in computers, signals can travel at the speed of light.

alors que les signaux des ordinateurs peuvent voyager à la vitesse de la lumière

There are also size limitations,

Il y a aussi des différences de grandeur:

like a human brain has to fit inside a cranium,

un cerveau humain doit entrer à l’intérieur d'un crâne,

but a computer can be the size of a warehouse or larger.

alors qu'un ordinateur peut avoir la taille d'un entrepôt, et même plus.

So the potential for superintelligence lies dormant in matter,

Donc, le potentiel de la super-intelligence est en attente,

much like the power of the atom lay dormant throughout human history,

tout comme celui du pouvoir de l'atome l'était au cours de l'histoire,

patiently waiting there until 1945.

attendant patiemment jusqu'en 1945.

In this century,

Au cours de notre siècle,

scientists may learn to awaken the power of artificial intelligence.

les scientifiques réussiront peut-être à exploiter le pouvoir de l'I.A.

And I think we might then see an intelligence explosion.

Et alors, selon moi, nous verrons une explosion de l'intelligence.

Now most people, when they think about what is smart and what is dumb,

Je crois que lorsque quelqu'un s'imagine ce qu'est être intelligent ou idiot,

I think have in mind a picture roughly like this.

il a en tête une image comme celle-ci.

So at one end we have the village idiot,

À un bout, il y a l’idiot du village,

and then far over at the other side

et très loin à l'autre bout,

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

il y a Ed Witten, ou Albert Einstein, ou peu importe qui est votre génie préféré.

But I think that from the point of view of artificial intelligence,

Mais du point de vue de l'intelligence artificielle,

the true picture is actually probably more like this:

la vraie image ressemble plutôt à ceci.

AI starts out at this point here, at zero intelligence,

L'IA a commencé au bout, avec zéro intelligence,

and then, after many, many years of really hard work,

puis, après plusieurs années de travail,

maybe eventually we get to mouse-level artificial intelligence,

nous arriverons peut-être à la rendre au niveau de la souris,

something that can navigate cluttered environments

c'.-à-d. qu'elle pourra naviguer dans des environnements encombrés,

as well as a mouse can.

tout comme une souris.

And then, after many, many more years of really hard work, lots of investment,

Puis, après plusieurs autres années de travail, beaucoup d'investissements,

maybe eventually we get to chimpanzee-level artificial intelligence.

nous arriverons peut-être au niveau d'intelligence des chimpanzés.

And then, after even more years of really, really hard work,

Puis, après encore plusieurs autres années de travail très acharné,

we get to village idiot artificial intelligence.

nous arriverons au niveau de l’idiot du village.

And a few moments later, we are beyond Ed Witten.

Puis, à peine un moment plus tard, nous serons au-delà d'Ed Witten,

The train doesn't stop at Humanville Station.

car le train ne s'arrête pas à la station Humain.

It's likely, rather, to swoosh right by.

Il y a de bonne chance qu'il passe tout droit.

Now this has profound implications,

Cela aura des conséquences importantes,

particularly when it comes to questions of power.

en particulier lorsqu'il est question du pouvoir.

For example, chimpanzees are strong --

Par exemple, les chimpanzés sont forts,

pound for pound, a chimpanzee is about twice as strong as a fit human male.

— livre pour livre, ils sont environ 2 fois plus fort qu'un humain bien bâti —

And yet, the fate of Kanzi and his pals depends a lot more

Pourtant, le destin de Kanzi et de ses amis dépend bien plus

on what we humans do than on what the chimpanzees do themselves.

des activités des humains que de leurs propres activités.

Once there is superintelligence,

Une fois qu'il y aura une super-intelligence,

the fate of humanity may depend on what the superintelligence does.

le destin des humains dépendra peut-être uniquement des activités de celle-ci.

Think about it:

Pensez-y:

Machine intelligence is the last invention that humanity will ever need to make.

L'IA est la dernière invention que les humains auront jamais à créer.

Machines will then be better at inventing than we are,

Les machines seront de meilleurs créateurs que nous,

and they'll be doing so on digital timescales.

et ils le feront à une vitesse à l'échelle numérique.

What this means is basically a telescoping of the future.

Cela signifie que le futur va arriver avant son temps.

Think of all the crazy technologies that you could have imagined

Pensez à toutes les technologies audacieuses possibles

maybe humans could have developed in the fullness of time:

que les humains auraient peut-être réussi à créer avec le temps:

cures for aging, space colonization,

la fontaine de jouvence, la colonisation de l'espace,

self-replicating nanobots or uploading of minds into computers,

des nanorobots autoréplicatifs, des esprits intégrés à des ordinateurs,

all kinds of science fiction-y stuff

toutes sortes de choses de science-fiction

that's nevertheless consistent with the laws of physics.

qui sont tout de même compatibles avec les lois de la physique.

All of this superintelligence could develop, and possibly quite rapidly.

Tout cela pourrait être créé par la super-intelligence, sans doute rapidement.

Now, a superintelligence with such technological maturity

Une super-intelligence à un niveau aussi élevé

would be extremely powerful,

serait extrêmement puissante,

and at least in some scenarios, it would be able to get what it wants.

et, dans certains scénarios, elle aurait tout ce qu'elle veut.

We would then have a future that would be shaped by the preferences of this A.I.

Notre futur serait donc construit selon ses préférences.

Now a good question is, what are those preferences?

Une bonne question à se poser est: mais quelles sont ces préférences?

C'est là que ça devient plus compliqué.

Here it gets trickier.

To make any headway with this,

Pour avancer sur ce sujet,

we must first of all avoid anthropomorphizing.

il faut avant tout éviter l'anthropomorphisme.

And this is ironic because every newspaper article

C'est ironique, car chaque article de journal à ce propos offre cette image.

about the future of A.I. has a picture of this:

So I think what we need to do is to conceive of the issue more abstractly,

Donc, ce que je pense qu'on doit faire, c'est penser de façon plus abstraite,

not in terms of vivid Hollywood scenarios.

et non pas selon les scénarios hollywoodiens.

We need to think of intelligence as an optimization process,

Nous devons penser à l'intelligence comme un processus d'amélioration

a process that steers the future into a particular set of configurations.

qui dirige le futur selon certaines configurations précises.

A superintelligence is a really strong optimization process.

Une super-intelligence est un processus d'amélioration excellent.

It's extremely good at using available means to achieve a state

Il est très bon pour utiliser tous les moyens disponibles

in which its goal is realized.

pour arriver à son but.

This means that there is no necessary connection between

Cela signifie qu'il n'y a pas nécessairement de lien

being highly intelligent in this sense,

entre avoir une haute intelligence

and having an objective that we humans would find worthwhile or meaningful.

et avoir un objectif que les humains trouvent digne d'intérêt ou significatif.

Suppose we give an A.I. the goal to make humans smile.

Par exemple, l'IA pourrait avoir comme objectif de faire sourire les humains.

When the A.I. is weak, it performs useful or amusing actions

Au début, l'IA n'étant pas encore très développée, elle fera sans doute

that cause its user to smile.

des actions qui feront sourire l'utilisateur.

When the A.I. becomes superintelligent,

Puis, quand elle deviendra super-intelligente,

it realizes that there is a more effective way to achieve this goal:

elle découvrira qu'il y a une autre façon plus efficace d'arriver à son but:

take control of the world

prendre contrôle de la planète

and stick electrodes into the facial muscles of humans

et coller des électrodes aux muscles faciaux des humains

to cause constant, beaming grins.

afin que, constamment, ils aient un large sourire.

Another example,

Un autre exemple.

suppose we give A.I. the goal to solve a difficult mathematical problem.

Nous donnons à l'IA un problème mathématique complexe à résoudre.

When the A.I. becomes superintelligent,

Lorsque l'IA devient super-intelligent,

it realizes that the most effective way to get the solution to this problem

il découvre que la façon la plus efficace pour le résoudre

is by transforming the planet into a giant computer,

est de transformer la planète en un immense ordinateur

so as to increase its thinking capacity.

afin d'augmenter sa capacité de penser.

And notice that this gives the A.I.s an instrumental reason

L'IA se retrouve donc avec une raison instrumentale

de nous faire subir des choses que nous n'approuvons pas.

to do things to us that we might not approve of.

Human beings in this model are threats,

Dans cet exemple, les humains sont des menaces;

we could prevent the mathematical problem from being solved.

nous pourrions empêcher que le problème soit résolu.

Of course, perceivably things won't go wrong in these particular ways;

Bien sûr, les choses ne se passeront pas nécessairement de cette façon là:

these are cartoon examples.

ce sont des caricatures.

But the general point here is important:

Mais ce qui est important à retenir est ceci:

if you create a really powerful optimization process

si l'on crée une machine très puissante

to maximize for objective x,

afin d'atteindre l'objectif X,

you better make sure that your definition of x

on est mieux de s'assurer que la définition de X

incorporates everything you care about.

comprend tout ce à quoi l'on tient.

This is a lesson that's also taught in many a myth.

C'est une morale qui est aussi racontée à travers plusieurs mythes.

King Midas wishes that everything he touches be turned into gold.

Le Roi Midas souhaite que tout ce qu'il touche devienne de l'or.

He touches his daughter, she turns into gold.

Il touche sa fille, elle se transforme en or.

He touches his food, it turns into gold.

Il touche sa nourriture, elle se transforme en or.

This could become practically relevant,

Ceci est pertinent non seulement pour créer une métaphore sur l'envie,

not just as a metaphor for greed,

but as an illustration of what happens

mais aussi pour illustrer ce qui arrive si l'on crée une super-machine

if you create a powerful optimization process

and give it misconceived or poorly specified goals.

et qu'on lui donne des buts inadaptés ou mal spécifiés.

Now you might say, if a computer starts sticking electrodes into people's faces,

On peut penser: « Si l'ordinateur commence à coller des électrodes sur les gens,

we'd just shut it off.

on n'aura qu'à l'éteindre. »

A, this is not necessarily so easy to do if we've grown dependent on the system --

1. Ce n'est pas nécessairement facile si nous sommes dépendants du système

like, where is the off switch to the Internet?

— Où est le bouton off d'Internet? —

B, why haven't the chimpanzees flicked the off switch to humanity,

2. Pourquoi les chimpanzés n'ont pas « éteint » les humains

or the Neanderthals?

ou les Néandertaliens?

They certainly had reasons.

Ils avaient sans doute des raisons,

We have an off switch, for example, right here.

car nous pouvons être éteints, par exemple, par ici.

(Choking)

— Étouffant —

The reason is that we are an intelligent adversary;

La raison est que nous sommes des adversaires intelligents.

Nous pouvons anticiper les menaces et planifier en conséquence.

we can anticipate threats and plan around them.

But so could a superintelligent agent,

Et c'est ce que ferait un ordinateur super-intelligent,

and it would be much better at that than we are.

et bien mieux que nous en plus.

The point is, we should not be confident that we have this under control here.

Le fait est que nous ne devrions pas penser que nous maîtrisons la situation.

And we could try to make our job a little bit easier by, say,

Nous pourrions essayer de faciliter notre travail

putting the A.I. in a box,

en mettant l'IA dans une boîte,

like a secure software environment,

tel un environnement numérique sécuritaire,

a virtual reality simulation from which it cannot escape.

une réalité virtuelle de laquelle il ne pourrait s'échapper.

But how confident can we be that the A.I. couldn't find a bug.

Mais pouvons-nous vraiment être sûr que l'IA ne trouvera pas de bogues,

Given that merely human hackers find bugs all the time,

surtout considérant que les hackers humains y arrivent sans arrêt?

I'd say, probably not very confident.

Je ne crois pas.

So we disconnect the ethernet cable to create an air gap,

Donc nous débranchons les câbles ethernets afin de créer un manque d'air,

but again, like merely human hackers

mais là encore, les hackers humains

routinely transgress air gaps using social engineering.

passent de manière routinière par-dessus ces problèmes grâce à l’ingénierie.

Right now, as I speak,

Au moment où je vous parle,

I'm sure there is some employee out there somewhere

je suis sûr qu'il y a un employé, quelque part,

who has been talked into handing out her account details

que l'on a convaincu de divulguer les détails de son compte

by somebody claiming to be from the I.T. department.

en prétendant être du département de soutien informatique.

More creative scenarios are also possible,

Des scénarios plus créatifs sont aussi possibles.

like if you're the A.I.,

Par exemple, si vous êtes l'IA,

you can imagine wiggling electrodes around in your internal circuitry

vous pouvez vous imaginer remuant des électrodes dans votre circuit interne

to create radio waves that you can use to communicate.

afin de créer des ondes radios pour communiquer.

Or maybe you could pretend to malfunction,

Ou, vous pourriez prétendre ne plus fonctionner,

and then when the programmers open you up to see what went wrong with you,

et, lorsque les programmeurs vous ouvrent afin de voir quel est le problème,

they look at the source code -- Bam! --

il regarde le code source, et BAM!,

the manipulation can take place.

la manipulation peut commencer.

Or it could output the blueprint to a really nifty technology,

Ou il pourrait changer les plans avec une technologie astucieuse

and when we implement it,

de tel sorte que lorsqu'on les implante,

it has some surreptitious side effect that the A.I. had planned.

un effet secondaire prévu par l'IA se produit.

The point here is that we should not be confident in our ability

Ce qu'il faut retenir, c'est qu'on ne devrait pas avoir trop confiance

to keep a superintelligent genie locked up in its bottle forever.

en notre capacité à maintenir un génie dans une lampe pour toujours.

Sooner or later, it will out.

Tôt ou tard, il en sortira.

I believe that the answer here is to figure out

Je crois que la solution est de trouver une façon

how to create superintelligent A.I. such that even if -- when -- it escapes,

de créer une IA qui, même si elle s'échappe, sera toujours sécuritaire:

it is still safe because it is fundamentally on our side

une IA qui sera toujours de notre bord, car elle partagera nos valeurs.

because it shares our values.

I see no way around this difficult problem.

Je ne vois aucun moyen de contourner ce problème.

Now, I'm actually fairly optimistic that this problem can be solved.

Mais je suis plutôt optimiste et je crois qu'on peut trouver la solution.

We wouldn't have to write down a long list of everything we care about,

Nous n'aurions pas à faire une longue liste de tout ce à quoi l'on tient,

or worse yet, spell it out in some computer language

ou, pire encore, transformer celle-ci en langage informatique

like C++ or Python,

tel C++ ou Python;

that would be a task beyond hopeless.

ce serait une tâche désespérée.

Instead, we would create an A.I. that uses its intelligence

Il faudrait plutôt créer une IA qui utilise son intelligence

to learn what we value,

pour apprendre ce à quoi l'on tient

and its motivation system is constructed in such a way that it is motivated

et qui est construit de tel sorte que sa motivation consiste à défendre

to pursue our values or to perform actions that it predicts we would approve of.

nos valeurs ou à faire des actions seulement s'il pense qu'on les approuve.

We would thus leverage its intelligence as much as possible

Nous utiliserions donc son intelligence autant que possible

to solve the problem of value-loading.

afin qu'elle résolve le problème d’implantation de la liste de valeurs.

This can happen,

Cela est possible

and the outcome could be very good for humanity.

et le résultat pourrait être incroyable pour l'humanité.

But it doesn't happen automatically.

Mais ça ne se passera pas comme ça obligatoirement.

The initial conditions for the intelligence explosion

Il faut que les conditions initiales, lors de l'explosion de l'intelligence,

might need to be set up in just the right way

soient créées d'une façon spécifique afin que nous ayons un détonation contrôlée.

if we are to have a controlled detonation.

Les valeurs de l'IA doivent être les mêmes que les nôtres

The values that the A.I. has need to match ours,

not just in the familiar context,

non seulement dans le contexte que l'on connaît

like where we can easily check how the A.I. behaves,

où l'on peut contrôler son comportement,

but also in all novel contexts that the A.I. might encounter

mais aussi dans des contextes nouveaux que l'IA peut rencontrer

in the indefinite future.

dans un futur indéfini.

And there are also some esoteric issues that would need to be solved, sorted out:

Il y a aussi quelques problèmes ésotériques qui devraient être réglés:

the exact details of its decision theory,

le détail de sa méthode pour prendre des décisions,

how to deal with logical uncertainty and so forth.

sa façon de gérer les incertitudes logiques, etc.

So the technical problems that need to be solved to make this work

Donc, les problèmes techniques qui doivent être résolus semblent difficiles,

look quite difficult --

not as difficult as making a superintelligent A.I.,

pas autant que créer une IA super-intelligente,

but fairly difficult.

mais assez difficiles quand même.

Here is the worry:

Voici ce qui est inquiétant:

Making superintelligent A.I. is a really hard challenge.

Créer une IA super-intelligente est un défi colossal.

Making superintelligent A.I. that is safe

Créer une IA super-intelligente qui, en plus, est sécuritaire

involves some additional challenge on top of that.

rajoute un niveau de difficulté.

The risk is that if somebody figures out how to crack the first challenge

Le risque réside dans la possibilité que quelqu'un surmonte le premier défi,

without also having cracked the additional challenge

sans avoir surmonté le deuxième, celui de la sécurité.

of ensuring perfect safety.

So I think that we should work out a solution

Donc, je crois qu'on devrait surmonter le deuxième défi en avance

to the control problem in advance,

so that we have it available by the time it is needed.

afin qu'il soit prêt lorsqu'on en a besoin.

Now it might be that we cannot solve the entire control problem in advance

Peut-être ne pourrons-nous pas le surmonter entièrement en avance,

because maybe some elements can only be put in place

car certains éléments ne peuvent être créés

once you know the details of the architecture where it will be implemented.

seulement lorsque l'on connaîtra les détails techniques de l'IA en question.

Mais plus nous commencerons à travailler sur ce problème de contrôle en avance,

But the more of the control problem that we solve in advance,

the better the odds that the transition to the machine intelligence era

plus nous augmenterons nos chances de passer dans cette nouvelle ère

will go well.

en tout sécurité.

This to me looks like a thing that is well worth doing

Selon moi, ceci est la chose la plus importante à faire.

and I can imagine that if things turn out okay,

Je suis sûr que si on y parvient,

that people a million years from now look back at this century

les humains dans des millions d'années qui se pencheront sur notre siècle

and it might well be that they say that the one thing we did that really mattered

diront que la seule chose que nous avons fait qui avait vraiment de l'importance

was to get this thing right.

était de réussir à surmonter ce défi.

Thank you.

Merci

(Applause)

(Applaudissements)