Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED

Traducteur: Claire Ghyselen Relecteur: eric vautier

Since 2001, I have been working on what we would now call

Depuis 2001, je travaille sur ce que l’on pourrait appeler

the problem of aligning artificial general intelligence:

le problème d’alignement de l’intelligence générale artificielle :

how to shape the preferences and behavior

comment former les préférences et les comportements

of a powerful artificial mind such that it does not kill everyone.

d’esprits artificiels puissants sans qu’ils ne tuent tout le monde.

I more or less founded the field two decades ago,

J’ai plus ou moins fondé la discipline il y a 20 ans,

when nobody else considered it rewarding enough to work on.

quand personne ne trouvait cela suffisamment valorisant.

I tried to get this very important project started early

J’ai voulu démarrer ce projet tôt

so we'd be in less of a drastic rush later.

pour ne pas devoir agir dans l’urgence plus tard.

I consider myself to have failed.

Je crains avoir échoué.

(Laughter)

(Rires)

Nobody understands how modern AI systems do what they do.

Personne ne comprend comment les IA actuelles font ce qu’elles font.

They are giant, inscrutable matrices of floating point numbers

Ce sont des matrices de géantes et impénétrables de nombres flottants

that we nudge in the direction of better performance

que l’on pousse vers de meilleures performances

until they inexplicably start working.

jusqu’à ce que ça marche.

At some point, the companies rushing headlong to scale AI

Les entreprises se précipitent pour les démultiplier

will cough out something that's smarter than humanity.

et finiront par sortir une IA plus intelligente que nous.

Nobody knows how to calculate when that will happen.

Personne ne sait comment estimer quand ça arrivera.

My wild guess is that it will happen after zero to two more breakthroughs

Je parie que cela arrivera dans zéro ou deux nouvelles avancées

the size of transformers.

équivalentes aux transformers.

What happens if we build something smarter than us

Que se passera-t-il si nous développons quelque chose de plus intelligent

that we understand that poorly?

sans bien le comprendre.

Some people find it obvious that building something smarter than us

Pour certains, c’est évident qu’une chose plus intelligente que nous

that we don't understand might go badly.

mais que l’on ne comprend pas pourrait mal tourner.

Others come in with a very wide range of hopeful thoughts

D’autres imaginent avec optimisme une grande variété de scénarios

about how it might possibly go well.

sur comment cela pourrait bien tourner.

Even if I had 20 minutes for this talk and months to prepare it,

Même avec 20 minutes de talk et des mois de préparation,

I would not be able to refute all the ways people find to imagine

ce serait impossible de réfuter tous les scénarios positifs

that things might go well.

imaginés par les gens.

But I will say that there is no standard scientific consensus

Mais je dis qu’il n’y a aucun consensus scientifique harmonisé

for how things will go well.

sur des perspectives positives.

There is no hope that has been widely persuasive

Il n’y a aucun espoir vraiment convaincant

and stood up to skeptical examination.

qui ait résisté au scepticisme.

There is nothing resembling a real engineering plan for us surviving

Il n’y a quoi que ce soit qui ressemble de près à un plan de survie

that I could critique.

sur lequel donner un avis.

This is not a good place in which to find ourselves.

Ce n’est pas une situation idéale.

If I had more time,

Avec plus de temps,

I'd try to tell you about the predictable reasons

je vous expliquerais les raisons prévisibles

qui font que le paradigme actuel ne marchera pas

why the current paradigm will not work

to build a superintelligence that likes you

pour construire une super IA qui nous aimera,

or is friends with you, or that just follows orders.

qui sera amicale ou qui sera soumise.

Why, if you press "thumbs up" when humans think that things went right

Quand on clique sur le pouce relevé quand les humains pensent que c’est bien,

or "thumbs down" when another AI system thinks that they went wrong,

mais le pouce vers le bas quand un autre système d’IA pense que ce n’est pas bon,

you do not get a mind that wants nice things

pourquoi n’obtient-on pas un esprit qui souhaite des choses bonnes

in a way that generalizes well outside the training distribution

de façon à se généraliser avec fluidité hors de la distribution d’apprentissage

to where the AI is smarter than the trainers.

où une IA est plus intelligente que ses formateurs ?

You can search for "Yudkowsky list of lethalities" for more.

Faites une recherche sur « Liste létale de Yudkowsky », pour en savoir plus.

(Laughter)

(Rires)

But to worry, you do not need to believe me

Mais il n’est pas indispensable de me croire pour être inquiet

about exact predictions of exact disasters.

des catastrophes prévisibles.

You just need to expect that things are not going to work great

Il suffit de penser que les choses ne se passeront pas super bien

on the first really serious, really critical try

dès la première tentative critique et vraiment sérieuse

because an AI system smart enough to be truly dangerous

car un système d’IA suffisamment intelligent pour être vraiment dangereux

was meaningfully different from AI systems stupider than that.

sera fondamentalement différent d’une IA plus stupide.

My prediction is that this ends up with us facing down something smarter than us

Mes prévisions sont que cela finira avec une chose plus intelligente que nous

that does not want what we want,

qui ne veut pas ce que nous voulons,

that does not want anything we recognize as valuable or meaningful.

qui ne veut rien de ce qui a de la valeur ou du sens à nos yeux.

I cannot predict exactly how a conflict between humanity and a smarter AI would go

J’ignore quel serait le déroulement d’un conflit entre l’humanité

et une IA plus intelligente qu’elle,

for the same reason I can't predict exactly how you would lose a chess game

pour la même raison qu’il est impossible de prédire comment perdre aux échecs

to one of the current top AI chess programs, let's say Stockfish.

contre un des meilleurs programmes IA de jeu d’échecs, par exemple Stockfish.

If I could predict exactly where Stockfish could move,

Si je pouvais prédire exactement quels mouvements Stockfish va faire,

I could play chess that well myself.

je jouerais aussi bien aux échecs que lui.

I can't predict exactly how you'll lose to Stockfish,

Donc, j’ignore comment on va perdre contre Stockfish,

but I can predict who wins the game.

mais je peux néanmoins prédire l’issue du jeu.

I do not expect something actually smart to attack us with marching robot armies

Je ne pense pas qu’une machine intelligente va nous attaquer

avec une armée de robots aux yeux rouges,

with glowing red eyes

where there could be a fun movie about us fighting them.

ce qui ferait un très bon film sur notre combat contre eux.

I expect an actually smarter and uncaring entity

Je pense qu’une entité plus intelligente et insensible

will figure out strategies and technologies

trouvera des stratégies et des technologies

that can kill us quickly and reliably and then kill us.

pour nous tuer rapidement et efficacement avant de nous exterminer.

I am not saying that the problem of aligning superintelligence

Je ne dis pas que le problème d’aligner une super-intelligence

is unsolvable in principle.

est insoluble en théorie.

I expect we could figure it out with unlimited time and unlimited retries,

Avec un temps et des essais infinis, on pourrait certes trouver une solution,

which the usual process of science assumes that we have.

ce que le processus scientifique assume que nous avons aujourd’hui.

The problem here is the part where we don't get to say,

Le problème est en partie dû au fait qu’on ne pourra pas dire :

“Ha ha, whoops, that sure didn’t work.

« Ho, flûte ! Ça n’a pas marché.

That clever idea that used to work on earlier systems

Cette idée géniale fonctionnait pourtant sur des systèmes plus anciens,

sure broke down when the AI got smarter, smarter than us.”

mais a failli quand l’IA est devenue plus beaucoup intelligente que nous. »

We do not get to learn from our mistakes and try again

On n’aura plus l’occasion d’apprendre de nos erreurs et de réessayer

because everyone is already dead.

car on sera tous morts.

It is a large ask

C’est une tâche gigantesque

to get an unprecedented scientific and engineering challenge

d’obtenir un résultat correct au premier essai

d’un défi scientifiquement et technologiquement aussi complexe.

correct on the first critical try.

Humanity is not approaching this issue with remotely

L’humanité n’aborde pas ce problème

the level of seriousness that would be required.

avec le niveau de sérieux requis, et de loin.

Some of the people leading these efforts

Certains de ceux à la tête de ces efforts

have spent the last decade not denying

n’ont pas nié ces 10 dernières années

that creating a superintelligence might kill everyone,

que créer une super-intelligence pourrait nous tuer tous,

but joking about it.

mais ils ont tourné ça en dérision.

We are very far behind.

On est très en retard.

This is not a gap we can overcome in six months,

Ce n’est pas un écart que l’on pourra rattraper en six mois, les eussions-nous.

given a six-month moratorium.

If we actually try to do this in real life,

Si on tente vraiment cela dans la vraie vie,

we are all going to die.

on va tous mourir.

People say to me at this point, what's your ask?

À ce stade, on me demande souvent ce que je souhaite.

I do not have any realistic plan,

Je n’ai pas de plan réaliste,

which is why I spent the last two decades

c’est pour ça que j’ai consacré ces 20 dernières années

trying and failing to end up anywhere but here.

toujours en vain, à essayer d’être entendu, sauf ici.

My best bad take is that we need an international coalition

Mon pire scénario est que nous avons besoin d’une coalition internationale

banning large AI training runs,

pour bannir de grands projets d’apprentissage des IA,

including extreme and extraordinary measures

dont des mesures extrêmes et extraordinaires

to have that ban be actually and universally effective,

pour que ce moratoire soit réellement et universellement efficace,

like tracking all GPU sales,

comme un système de traçage des ventes des GPU,

monitoring all the data centers,

la surveillance de tous les centres de données,

being willing to risk a shooting conflict between nations

la détermination à risquer un conflit armé entre des nations

in order to destroy an unmonitored data center

pour détruire un centre de données non surveillé,

in a non-signatory country.

dans un pays non-signataire.

I say this, not expecting that to actually happen.

Je dis cela sans trop d’espoir.

I say this expecting that we all just die.

Je dis cela en m’attendant à ce que nous mourrions tous.

But it is not my place to just decide on my own

Mais qui serais-je devant le choix de l’humanité de mourir,

that humanity will choose to die,

to the point of not bothering to warn anyone.

si je ne faisais pas tout pour l’avertir ?

I have heard that people outside the tech industry

Des gens extérieurs à l’industrie technologique

are getting this point faster than people inside it.

aboutiraient à la conclusion plus rapidement que ceux du domaine.

Maybe humanity wakes up one morning and decides to live.

L’humanité se réveillera peut-être un matin en décidant de vivre.

Thank you for coming to my brief TED talk.

Merci d’avoir écouté mon mini talk.

(Laughter)

(Rires)

(Applause and cheers)

(Applaudissements et acclamations)

Chris Anderson: So, Eliezer, thank you for coming and giving that.

Chris Anderson : Eliezer, merci d’être venu et pour votre message.

It seems like what you're raising the alarm about is that like,

On dirait que vous sonnez l’alarme sur le fait

for this to happen, for an AI to basically destroy humanity,

que pour que ça arrive, pour qu’une IA détruise l’humanité,

it has to break out, escape controls of the internet and, you know,

elle doit se libérer, échapper à tout contrôle de l’Internet

start commanding actual real-world resources.

et commencer à contrôler les ressources du vrai monde.

You say you can't predict how that will happen,

Vous ne pouvez pas prédire quand cela surviendra,

but just paint one or two possibilities.

mais vous esquissez deux possibles.

Eliezer Yudkowsky: OK, so why is this hard?

Eliezer Yudkowsky : Pourquoi est-ce si difficile ?

First, because you can't predict exactly where a smarter chess program will move.

Parce qu’on ne peut pas savoir quel mouvement un programme d’échecs va faire.

Maybe even more importantly than that,

Mais plus important encore,

imagine sending the design for an air conditioner

imaginez envoyer le plan d’un climatiseur au 11e siècle.

back to the 11th century.

Even if they -- if it’s enough detail for them to build it,

Même si le plan est suffisamment détaillé pour le fabriquer,

they will be surprised when cold air comes out

les gens seront surpris de sentir l’air frais sortir de la machine

because the air conditioner will use the temperature-pressure relation

car elle est fondée sur la relation entre la température et la pression

and they don't know about that law of nature.

et ils ignorent tout de cette loi de la nature.

So if you want me to sketch what a superintelligence might do,

Pour esquisser ce qu’une super-intelligence pourrait faire,

I can go deeper and deeper into places

je dois creuser toujours plus loin dans des domaines

where we think there are predictable technological advancements

où l’on pense qu’il y aura des avancées technologiques prévisibles,

that we haven't figured out yet.

mais dont on ignore tout.

And as I go deeper, it will get harder and harder to follow.

Et plus je creuserai, plus ce sera difficile de me suivre.

It could be super persuasive.

Ça pourrait être super convaincant.

That's relatively easy to understand.

C’est assez simple de comprendre.

We do not understand exactly how the brain works,

On ne comprend pas bien le fonctionnement du cerveau.

so it's a great place to exploit laws of nature that we do not know about.

C’est un bel endroit pour explorer les lois de la nature

qu’il nous reste à découvrir.

Rules of the environment,

L’environnement : inventer des nouvelles technologies qui vont plus loin.

invent new technologies beyond that.

Can you build a synthetic virus that gives humans a cold

Est-il possible de créer un virus synthétique de la grippe pour l’homme

and then a bit of neurological change and they're easier to persuade?

et qui apporte un peu de changement neurologique facilitant la persuasion ?

Can you build your own synthetic biology,

Pourra-t-on synthétiser sa propre biologie,

synthetic cyborgs?

des cyborgs synthétiques ?

Can you blow straight past that

Peut-on dépasser cela rapidement

to covalently bonded equivalents of biology,

pour atteindre des équivalents biologiques par liaison covalente ?

where instead of proteins that fold up and are held together by static cling,

Au lieu de protéines qui se structurent et tiennent ensemble statiquement,

you've got things that go down much sharper potential energy gradients

on obtiendrait des choses avec un potentiel énergétique plus grand

and are bonded together?

et qui sont liées ?

People have done advanced design work about this sort of thing

On a fait des avancées dans la conception de ce genre de choses,

for artificial red blood cells that could hold 100 times as much oxygen

par exemple, des globules rouges artificiels

capables d’absorber 100 fois plus d’oxygène

if they were using tiny sapphire vessels to store the oxygen.

s’ils utilisent un petit vaisseau en saphir pour emmagasiner l’oxygène.

There's lots and lots of room above biology,

La biologie est un terreau hyper fertile,

but it gets harder and harder to understand.

mais de plus en plus compliqué à comprendre.

CA: So what I hear you saying

CA : Ce que vous dites, en fait,

is that these terrifying possibilities there

c’est qu’il y a des possibles terrifiants

but your real guess is that AIs will work out something more devious than that.

mais que l’IA, selon vous, trouvera quelque chose d’encore plus tordu.

Is that really a likely pathway in your mind?

Est-ce votre fil de pensées ?

EY: Which part?

EY : Quelle partie ? Que l’IA est plus intelligente que moi ? Absolument.

That they're smarter than I am? Absolutely.

CA: Not that they're smarter,

CA : Non, le fait qu’elle voudrait aller dans une autre direction.

but why would they want to go in that direction?

Like, AIs don't have our feelings of sort of envy and jealousy and anger

Les IA ne partagent pas nos sentiments d’envie, de jalousie et de colère,

and so forth.

par exemple.

So why might they go in that direction?

Alors, pourquoi iraient-elles dans cette direction-là ?

EY: Because it's convergently implied by almost any of the strange,

EY : L’implication convergente par presque toutes les choses étranges

inscrutable things that they might end up wanting

et impénétrables qu’elles pourraient vouloir,

as a result of gradient descent

fruits de leur évolution graduelle interne

on these "thumbs up" and "thumbs down" things internally.

suscitée par les pouces vers le haut ou vers le bas.

If all you want is to make tiny little molecular squiggles

Si on se limite à vouloir fabriquer des petits gribouillis moléculaires,

or that's like, one component of what you want,

ou un seul composant de ce que l’on veut,

but it's a component that never saturates, you just want more and more of it,

mais qui ne saturerait jamais et dont on voudrait toujours davantage,

the same way that we would want more and more galaxies filled with life

à l’image de notre vœu de voir toujours plus de galaxies avec la vie

and people living happily ever after.

et des gens heureux à jamais.

Anything that just keeps going,

Tout ce qui se perpétue sans fin

you just want to use more and more material for that,

et pour lequel on voudrait utiliser toujours plus de matériau pour ça,

that could kill everyone on Earth as a side effect.

et qui pourrait tuer l’humanité par effet secondaire

It could kill us because it doesn't want us making other superintelligences

car elle ne veut pas que nous créions d’autres super-intelligences

to compete with it.

qui la détrôneraient.

It could kill us because it's using up all the chemical energy on earth

Ou parce qu’elle consommerait toute l’énergie chimique de la Terre

and we contain some chemical potential energy.

et nous faisons partie de ce réservoir chimique énergétique.

CA: So some people in the AI world worry that your views are strong enough

CA : Des personnes du monde de l’IA craignent

que votre point de vue soit suffisamment puissant,

ou extrême, affirmeront-elles,

and they would say extreme enough

that you're willing to advocate extreme responses to it.

pour que vous défendiez des réactions tout aussi extrêmes.

And therefore, they worry that you could be, you know,

Et donc, ils craignent que vous puissiez devenir,

in one sense, a very destructive figure.

d’une certaine manière, un personnage destructeur.

Do you draw the line yourself in terms of the measures

Avez-vous défini une limite en termes de mesures

that we should take to stop this happening?

que nous devrions prendre pour empêcher un tel avenir sombre ?

Or is actually anything justifiable to stop

Ou bien n’importe quoi est-il permis pour empêcher

the scenarios you're talking about happening?

les scénarios que vous envisagez ?

EY: I don't think that "anything" works.

EY : Je ne pense pas que « n’importe quoi » fonctionnera.

I think that this takes state actors

Je pense que cela nécessitera des États

and international agreements

et des accords internationaux.

and all international agreements by their nature,

Or tout accord international, par définition,

tend to ultimately be backed by force

a tendance à être soutenu par une force

on the signatory countries and on the non-signatory countries,

des pays signataires et non-signataires qui est elle-même une mesure plus extrême.

which is a more extreme measure.

I have not proposed that individuals run out and use violence,

Je ne suggère pas de sortir dans la rue et d’avoir recours à la violence

and I think that the killer argument for that is that it would not work.

et la bonne raison pour ça est que ce serait inadapté.

CA: Well, you are definitely not the only person to propose

CA : Vous n’êtes certainement pas le seul à suggérer

that what we need is some kind of international reckoning here

que nous ayons besoin d’une prise de conscience internationale

on how to manage this going forward.

sur la gestion de l’évolution de ces technologies.

Thank you so much for coming here to TED, Eliezer.

Merci de nous avoir rejoints, Eliezer.

(Applause)

(Applaudissements)