Can we build AI without losing control over it? | Sam Harris

Traducteur: MACQUERON CORENTIN Relecteur: Morgane Quilfen

Je vais vous parler d'une erreur de jugement

I'm going to talk about a failure of intuition

that many of us suffer from.

que beaucoup d'entre nous font.

It's really a failure to detect a certain kind of danger.

Il s'agit de l'incapacité à détecter un certain type de danger.

I'm going to describe a scenario

Je vais décrire un scénario

that I think is both terrifying

que je pense à la fois terrifiant

and likely to occur,

et pourtant susceptible d'arriver,

and that's not a good combination,

et ce genre de combinaison

as it turns out.

n'est pas une bonne chose.

And yet rather than be scared, most of you will feel

Pourtant, au lieu d'avoir peur, la plupart d'entre vous penseront

that what I'm talking about is kind of cool.

que c'est plutôt cool.

I'm going to describe how the gains we make

Je vais décrire comment les avancées que nous faisons

in artificial intelligence

dans l'intelligence artificielle

could ultimately destroy us.

pourraient finir par nous détruire.

And in fact, I think it's very difficult to see how they won't destroy us

Il semble difficile de voir comment cela pourrait ne pas nous détruire

or inspire us to destroy ourselves.

ou nous aider à nous détruire.

And yet if you're anything like me,

Pourtant, si vous me ressemblez un peu,

you'll find that it's fun to think about these things.

vous allez trouver amusant de réfléchir à ces choses-là.

And that response is part of the problem.

Et cette façon de voir les choses est une partie du problème.

OK? That response should worry you.

Ce sentiment devrait vous inquiéter.

And if I were to convince you in this talk

Et si je devais vous convaincre, avec cette présentation,

that we were likely to suffer a global famine,

que nous allons probablement souffrir d'une famine généralisée,

either because of climate change or some other catastrophe,

soit à cause du climat ou de toute autre catastrophe,

and that your grandchildren, or their grandchildren,

et que vos petits-enfants, ou leurs petits-enfants,

are very likely to live like this,

ont de grandes chances de vivre ainsi,

you wouldn't think,

vous ne penseriez pas :

"Interesting.

« Intéressant.

I like this TED Talk."

Cool, ce TED. »

Famine isn't fun.

La famine, ce n'est pas amusant.

Death by science fiction, on the other hand, is fun,

La mort en science-fiction, en revanche, est un concept amusant

and one of the things that worries me most about the development of AI at this point

et ce qui m'inquiète le plus à propos du développement de l'IA en ce moment

is that we seem unable to marshal an appropriate emotional response

est le fait que nous semblons incapables de nous faire une idée

to the dangers that lie ahead.

des dangers qui nous attendent.

I am unable to marshal this response, and I'm giving this talk.

Je n'ai pas de réponse, alors que je suis ici, à vous en parler.

It's as though we stand before two doors.

C'est comme si nous étions face à deux portes.

Behind door number one,

Derrière la porte n°1,

we stop making progress in building intelligent machines.

nous arrêtons nos progrès dans le développement de nos machines.

Our computer hardware and software just stops getting better for some reason.

Hardware et software stagnent, pour une raison ou pour une autre.

Now take a moment to consider why this might happen.

Essayez d'imaginer ce qui pourrait arrêter ce développement.

Étant donnée l'importance de l'intelligence

I mean, given how valuable intelligence and automation are,

et de l'automatisation

we will continue to improve our technology if we are at all able to.

nous allons continuer à améliorer notre technologie si nous le pouvons.

What could stop us from doing this?

Qu'est-ce qui nous en empêcherait ?

A full-scale nuclear war?

Une guerre nucléaire mondiale ?

A global pandemic?

Une pandémie globale ?

An asteroid impact?

Un impact d'astéroïde ?

Justin Bieber becoming president of the United States?

Justin Bieber président des États-Unis ?

(Laughter)

(Rires)

The point is, something would have to destroy civilization as we know it.

Il faudrait que la civilisation telle que nous la connaissons

soit détruite.

You have to imagine how bad it would have to be

Il faudrait vraiment imaginer quelque chose de terrible

to prevent us from making improvements in our technology

pour que nous arrêtions de développer notre technologie

permanently,

totalement,

generation after generation.

génération après génération.

Almost by definition, this is the worst thing

Par définition, ce serait la pire chose

that's ever happened in human history.

qui serait jamais arrivée à l'humanité.

So the only alternative,

Donc la seule alternative,

and this is what lies behind door number two,

et c'est ce qui se trouve derrière la porte n°2,

is that we continue to improve our intelligent machines

est que nous continuions d'améliorer l'intelligence de nos machines

year after year after year.

année après année.

At a certain point, we will build machines that are smarter than we are,

À un moment, nous allons construire des machines plus intelligentes que nous,

and once we have machines that are smarter than we are,

et ces machines plus intelligentes que nous

they will begin to improve themselves.

vont commencer à s'améliorer elles-mêmes.

And then we risk what the mathematician IJ Good called

Il y a le risque, théorisé par le mathématicien I.J. Good,

an "intelligence explosion,"

d'une « explosion d'intelligence »,

that the process could get away from us.

un processus qui pourrait nous échapper.

Now, this is often caricatured, as I have here,

Ce phénomène est souvent caricaturé, comme ici,

as a fear that armies of malicious robots

avec des armées de robots malveillants

will attack us.

qui nous attaqueraient.

But that isn't the most likely scenario.

Mais ce n'est pas le scénario le plus probable.

It's not that our machines will become spontaneously malevolent.

Nos machines ne vont probablement pas devenir spontanément malveillantes.

The concern is really that we will build machines

Le risque est que nous construisions des machines

that are so much more competent than we are

tellement plus compétentes que nous

that the slightest divergence between their goals and our own

que la moindre divergence d'intérêt entre elles et nous

could destroy us.

pourrait nous détruire.

Just think about how we relate to ants.

Pensez aux fourmis.

We don't hate them.

Nous ne les haïssons pas.

We don't go out of our way to harm them.

Nous ne cherchons pas à les écraser.

In fact, sometimes we take pains not to harm them.

Nous faisons même parfois l'effort de les éviter.

We step over them on the sidewalk.

Nous les enjambons.

But whenever their presence

Mais dès que leur présence

seriously conflicts with one of our goals,

nous gêne vraiment,

let's say when constructing a building like this one,

par exemple si nous voulons construire un bâtiment,

we annihilate them without a qualm.

nous les exterminons sans scrupule.

The concern is that we will one day build machines

Le risque est que nous construisions un jour des machines

that, whether they're conscious or not,

qui, conscientes ou non,

could treat us with similar disregard.

nous traiteraient avec la même indifférence.

Now, I suspect this seems far-fetched to many of you.

Cela peut vous sembler capillotracté.

I bet there are those of you who doubt that superintelligent AI is possible,

Je parie que certains d'entre vous doutent qu'une super IA soit possible,

much less inevitable.

et encore moins inévitable.

But then you must find something wrong with one of the following assumptions.

Mais dans ce cas vous devez réfuter une des hypothèses suivantes.

And there are only three of them.

Et il n'y en a que trois.

Intelligence is a matter of information processing in physical systems.

L'intelligence est le traitement de l'information dans un système physique.

Actually, this is a little bit more than an assumption.

En fait, c'est un peu plus qu'une simple hypothèse.

We have already built narrow intelligence into our machines,

Nous avons déjà construit des machines vaguement intelligentes,

and many of these machines perform

et nombre d'entre elles font déjà preuve

at a level of superhuman intelligence already.

d'une intelligence surhumaine.

And we know that mere matter

Et nous savons que la matière

can give rise to what is called "general intelligence,"

peut produire « l'intelligence générale »,

an ability to think flexibly across multiple domains,

la capacité de réfléchir de manière croisée,

because our brains have managed it. Right?

parce que nos cerveaux y sont parvenus, n'est-ce pas ?

I mean, there's just atoms in here,

Après tout, il n'y a que des atomes là-dedans,

and as long as we continue to build systems of atoms

et tant que nous continuerons à construire des systèmes d'atomes

that display more and more intelligent behavior,

qui feront montre de plus en plus d'intelligence,

we will eventually, unless we are interrupted,

nous parviendrons, à moins d'être interrompus,

we will eventually build general intelligence

nous parviendrons à implanter une « intelligence générale »

into our machines.

au cœur de nos machines.

It's crucial to realize that the rate of progress doesn't matter,

Il est crucial de comprendre que la vitesse n'est pas le problème,

because any progress is enough to get us into the end zone.

car n'importe quelle vitesse est suffisante pour aller au bout.

We don't need Moore's law to continue. We don't need exponential progress.

Nous n'avons pas besoin de la loi de Moore

ni d'un progrès exponentiel.

We just need to keep going.

Il suffit de continuer à avancer.

The second assumption is that we will keep going.

La deuxième hypothèse est que nous allons continuer.

We will continue to improve our intelligent machines.

Nous continuerons d'améliorer nos machines intelligentes.

And given the value of intelligence --

Et, vue la valeur de l'intelligence --

I mean, intelligence is either the source of everything we value

l'intelligence est la source de tout ce qui compte

or we need it to safeguard everything we value.

ou alors elle doit protéger tout ce qui compte.

It is our most valuable resource.

C'est notre plus importante ressource.

So we want to do this.

Donc nous allons continuer.

We have problems that we desperately need to solve.

Nous avons des problèmes que nous devons absolument résoudre.

We want to cure diseases like Alzheimer's and cancer.

Nous voulons vaincre les maladies comme Alzheimer ou le cancer.

We want to understand economic systems. We want to improve our climate science.

Nous voulons comprendre l'économie.

Nous voulons améliorer le climat.

So we will do this, if we can.

Donc nous allons continuer, si nous le pouvons.

The train is already out of the station, and there's no brake to pull.

Le train a déjà quitté la gare et il n'y a pas de frein.

Finally, we don't stand on a peak of intelligence,

Et enfin, l'humain ne se trouve pas au sommet de l'intelligence,

or anywhere near it, likely.

nous en sommes même très loin.

And this really is the crucial insight.

Et c'est vraiment le point crucial.

This is what makes our situation so precarious,

C'est ce qui rend notre situation si précaire

and this is what makes our intuitions about risk so unreliable.

et ce qui fait que notre compréhension des risques n'est pas fiable.

Now, just consider the smartest person who has ever lived.

Prenons l'humain le plus intelligent qui ait jamais vécu.

On almost everyone's shortlist here is John von Neumann.

Beaucoup de gens penseraient à John von Neumann.

I mean, the impression that von Neumann made on the people around him,

L'impression que von Neumann laissait aux gens,

and this included the greatest mathematicians and physicists of his time,

y compris les plus brillants mathématiciens et physiciens de son temps,

is fairly well-documented.

est plutôt bien documentée.

If only half the stories about him are half true,

Si ne serait-ce que la moitié de ce que l'on dit sur lui

est à moitié vraie,

there's no question

il n'y a aucun doute qu'il soit

he's one of the smartest people who has ever lived.

l'un des plus brillants esprits qui aient existé.

So consider the spectrum of intelligence.

Considérons le spectre de l'intelligence.

Here we have John von Neumann.

Voici John von Neumann.

And then we have you and me.

Et nous, nous sommes ici.

And then we have a chicken.

Et là nous avons un poulet.

(Laughter)

(Rires)

Sorry, a chicken.

Pardon, un poulet.

(Laughter)

(Rires)

There's no reason for me to make this talk more depressing than it needs to be.

Pas besoin de rendre cette présentation plus déprimante qu'elle ne l'est déjà.

(Laughter)

(Rires)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Il semble néanmoins plus que probable que le spectre de l'intelligence

extends much further than we currently conceive,

s'étende beaucoup plus loin que nous ne pouvons le concevoir,

and if we build machines that are more intelligent than we are,

Si nous construisons des machines plus intelligentes que nous,

they will very likely explore this spectrum

elles vont très probablement explorer ce spectre,

in ways that we can't imagine,

plus que nous ne pouvons l'imaginer,

and exceed us in ways that we can't imagine.

et elles nous surpasseront, plus que nous ne pouvons l'imaginer.

And it's important to recognize that this is true by virtue of speed alone.

Il est important de noter que c'est vrai par la seule vertu de la vitesse.

Right? So imagine if we just built a superintelligent AI

Imaginez que nous construisions une IA super intelligente

that was no smarter than your average team of researchers

qui ne soit pas plus intelligente qu'une équipe moyenne de chercheurs

at Stanford or MIT.

de Stanford ou du MIT.

Well, electronic circuits function about a million times faster

L'électronique va environ un million de fois plus vite

than biochemical ones,

que la biochimie,

so this machine should think about a million times faster

de sorte que cette machine penserait un million de fois plus vite

than the minds that built it.

que les humains qui l'auraient créée.

So you set it running for a week,

En une semaine,

and it will perform 20,000 years of human-level intellectual work,

cette machine réaliserait le même travail qu'une équipe d'humains en 20 000 ans,

week after week after week.

semaine après semaine.

How could we even understand, much less constrain,

Comment pourrions-nous comprendre, et encore moins limiter,

a mind making this sort of progress?

un esprit qui irait à une telle vitesse ?

The other thing that's worrying, frankly,

L'autre chose inquiétante, franchement,

is that, imagine the best case scenario.

est la suivante : imaginez le meilleur des cas.

So imagine we hit upon a design of superintelligent AI

Imaginez que nous concevions une IA super intelligente

that has no safety concerns.

qui ne soit pas dangereuse.

We have the perfect design the first time around.

Nous trouvons la parfaite solution du premier coup.

It's as though we've been handed an oracle

Comme si nous avions un oracle à disposition

that behaves exactly as intended.

se comportant exactement comme prévu.

Well, this machine would be the perfect labor-saving device.

Cette machine nous éviterait toute forme de travail.

It can design the machine that can build the machine

Elle concevrait la machine qui ferait la machine

that can do any physical work,

qui pourrait faire n'importe quoi,

powered by sunlight,

alimentée par le soleil,

more or less for the cost of raw materials.

plus ou moins pour le seul coût des matières premières.

So we're talking about the end of human drudgery.

On parle là de la fin de la pénibilité humaine.

We're also talking about the end of most intellectual work.

Nous parlons aussi de la fin du travail intellectuel.

So what would apes like ourselves do in this circumstance?

Que feraient des singes comme nous dans une pareille situation ?

Well, we'd be free to play Frisbee and give each other massages.

Nous serions libres de jouer au frisbee et de nous faire des massages.

Add some LSD and some questionable wardrobe choices,

Avec un peu de LSD et quelques fringues douteuses,

and the whole world could be like Burning Man.

le monde entier serait comme le Burning Man.

(Laughter)

(Rires)

Now, that might sound pretty good,

Bon, tout ça peut sembler plutôt sympa,

but ask yourself what would happen

mais demandez-vous ce qui arriverait

under our current economic and political order?

avec notre système politique et économique actuel ?

It seems likely that we would witness

Nous serions les témoins

a level of wealth inequality and unemployment

d'une inégalité des richesses et d'un taux de chômage

that we have never seen before.

encore jamais vus.

Absent a willingness to immediately put this new wealth

Sans la volonté de mettre ces nouvelles richesses

to the service of all humanity,

au service de toute l'humanité,

a few trillionaires could grace the covers of our business magazines

quelques milliardaires feraient les couvertures des revues commerciales

while the rest of the world would be free to starve.

alors que le reste du monde mourrait de faim.

And what would the Russians or the Chinese do

Et que feraient les Russes ou les Chinois

if they heard that some company in Silicon Valley

s'ils apprenaient qu'une société de la Silicon Valley

was about to deploy a superintelligent AI?

était sur le point de créer une IA super intelligente ?

This machine would be capable of waging war,

Cette machine serait capable de faire la guerre,

whether terrestrial or cyber,

qu'elle soit physique ou numérique,

with unprecedented power.

avec une puissance jamais vue.

This is a winner-take-all scenario.

Le vainqueur emporterait toute la mise.

To be six months ahead of the competition here

Avoir six mois d'avance dans une telle compétition

is to be 500,000 years ahead,

revient à avoir 500 000 ans d'avance,

at a minimum.

au minimum.

So it seems that even mere rumors of this kind of breakthrough

Il est donc possible que la moindre rumeur de ce type de percée

could cause our species to go berserk.

pourrait tous nous rendre totalement dingues.

Now, one of the most frightening things,

L'une des choses les plus effrayantes,

in my view, at this moment,

de mon point de vue,

are the kinds of things that AI researchers say

sont les choses que les chercheurs en IA disent

when they want to be reassuring.

quand ils veulent nous rassurer.

And the most common reason we're told not to worry is time.

On nous dit généralement que nous avons encore le temps.

This is all a long way off, don't you know.

C'est pour plus tard, vous pensez bien.

This is probably 50 or 100 years away.

C'est probablement pour dans 50 ou 100 ans.

One researcher has said,

Un chercheur a dit :

"Worrying about AI safety

« S'inquiéter de l'IA, c'est comme s'inquiéter

is like worrying about overpopulation on Mars."

de la surpopulation sur Mars. »

This is the Silicon Valley version

La Silicon Valley sait parfois

of "don't worry your pretty little head about it."

se montrer condescendante.

(Laughter)

(Rires)

No one seems to notice

Personne ne semble se rendre compte

that referencing the time horizon

que dire qu'on a le temps

is a total non sequitur.

est totalement fallacieux dans ce contexte.

If intelligence is just a matter of information processing,

Si l'intelligence n'est que le traitement de l'information

and we continue to improve our machines,

et si l'on continue d'améliorer nos machines,

we will produce some form of superintelligence.

alors nous produirons une forme de super intelligence.

And we have no idea how long it will take us

Et nous n'avons pas la moindre idée du temps qu'il nous faudra

to create the conditions to do that safely.

pour trouver comment le faire sans risques.

Let me say that again.

Je vais me répéter.

We have no idea how long it will take us

Nous n'avons pas la moindre idée du temps qu'il nous faudra

to create the conditions to do that safely.

pour trouver comment le faire sans risques.

And if you haven't noticed, 50 years is not what it used to be.

Au cas où vous n'auriez pas remarqué, 50 ans, ce n'est pas grand chose.

This is 50 years in months.

Voici 50 ans, en mois.

This is how long we've had the iPhone.

Voici l'existence de l'iPhone.

This is how long "The Simpsons" has been on television.

Voici la durée couverte par « Les Simpsons ».

Fifty years is not that much time

Cinquante ans, cela ne laisse guère de temps

to meet one of the greatest challenges our species will ever face.

pour se préparer à l'un des plus grands défis de tous les temps.

Once again, we seem to be failing to have an appropriate emotional response

Une fois encore, nous semblons incapables de nous préparer

to what we have every reason to believe is coming.

à ce qui, selon toute probabilité, va arriver.

The computer scientist Stuart Russell has a nice analogy here.

L'informaticien Stuart Russel propose une belle analogie à ce sujet.

He said, imagine that we received a message from an alien civilization,

Il dit : « Imaginez que nous recevions un message des aliens

which read:

qui dirait :

"People of Earth,

' Habitants de la Terre,

we will arrive on your planet in 50 years.

nous arriverons chez vous dans 50 ans.

Get ready."

Soyez prêts. '

And now we're just counting down the months until the mothership lands?

Et on ne ferait que regarder le compte à rebours ?

We would feel a little more urgency than we do.

Non, nous nous sentirions un peu plus concernés que ça. »

Another reason we're told not to worry

Une autre raison de ne pas s'inquiéter

is that these machines can't help but share our values

serait que ces machines partageraient notre sens des valeurs

because they will be literally extensions of ourselves.

parce qu'elles seraient des extensions de nous-mêmes.

They'll be grafted onto our brains,

Elles seraient greffées sur nos cerveaux,

and we'll essentially become their limbic systems.

nous serions leur système limbique.

Now take a moment to consider

Réfléchissez un peu

that the safest and only prudent path forward,

que le moyen le plus sûr,

recommended,

recommandé,

is to implant this technology directly into our brains.

serait de brancher cette technologie directement sur nos cerveaux.

Now, this may in fact be the safest and only prudent path forward,

Cela peut sembler être la meilleure option,

but usually one's safety concerns about a technology

mais généralement, on essaie d'être sûr de son coup

have to be pretty much worked out before you stick it inside your head.

avant de s'enfoncer quelque chose dans le cerveau.

(Laughter)

(Rires)

The deeper problem is that building superintelligent AI on its own

Le vrai problème est que simplement concevoir

une IA super intelligente

seems likely to be easier

semble plus facile

than building superintelligent AI

que de concevoir une IA super intelligente

and having the completed neuroscience

tout en maîtrisant les neurosciences

that allows us to seamlessly integrate our minds with it.

pour connecter cette IA à nos cerveaux.

And given that the companies and governments doing this work

Si l'on tient compte du fait que les entreprises et gouvernements

are likely to perceive themselves as being in a race against all others,

se sentent probablement en concurrence,

given that to win this race is to win the world,

et, puisque remporter cette course revient à conquérir le monde,

provided you don't destroy it in the next moment,

pourvu que vous ne le détruisiez pas juste après,

then it seems likely that whatever is easier to do

il semble probable que l'on commence

will get done first.

par le plus facile.

Now, unfortunately, I don't have a solution to this problem,

Malheureusement, je n'ai pas la solution de ce problème,

apart from recommending that more of us think about it.

à part recommander que nous soyons plus nombreux à y réfléchir.

I think we need something like a Manhattan Project

Il nous faudrait une sorte de Projet Manhattan

on the topic of artificial intelligence.

à propos de l'intelligence artificielle.

Not to build it, because I think we'll inevitably do that,

Pas pour la concevoir, car nous y parviendrons,

but to understand how to avoid an arms race

mais pour réfléchir à comment éviter une course aux armements

and to build it in a way that is aligned with our interests.

et pour la concevoir d'une façon en accord avec nos intérêts.

When you're talking about superintelligent AI

Quand vous parlez d'une IA super intelligente

that can make changes to itself,

qui pourrait se modifier elle-même,

it seems that we only have one chance to get the initial conditions right,

il semblerait que nous n'ayons qu'une seule chance de faire les choses bien

and even then we will need to absorb

et encore, il nous faudra gérer

the economic and political consequences of getting them right.

les conséquences politiques et économiques.

But the moment we admit

Mais à partir du moment où nous admettons

that information processing is the source of intelligence,

que le traitement de l'information est la source de l'intelligence,

that some appropriate computational system is what the basis of intelligence is,

qu'un système de calcul est la base de l'intelligence,

and we admit that we will improve these systems continuously,

et que nous admettons que nous allons continuer d'améliorer ce type de système

and we admit that the horizon of cognition very likely far exceeds

et que nous admettons que l'horizon

de l'intelligence dépasse totalement

what we currently know,

ce que nous savons aujourd'hui,

then we have to admit

nous devons admettre

that we are in the process of building some sort of god.

que nous sommes engagés dans la conception d'un pseudo-dieu.

Now would be a good time

Il nous faut donc vérifier

to make sure it's a god we can live with.

que c'est un dieu compatible avec notre survie.

Thank you very much.

Merci beaucoup.

(Applause)

(Applaudissements)