How to Keep AI Under Control | Max Tegmark | TED

Traducteur: Elisabeth Buffard Relecteur: Claire Ghyselen

Five years ago,

Il y a cinq ans,

I stood on the TED stage

j’étais sur la scène de TED

and warned about the dangers of superintelligence.

et j’ai mis en garde contre les dangers de la superintelligence.

I was wrong.

J'ai eu tort.

It went even worse than I thought.

Ce fut pire que je ne le pensais.

(Laughter)

(Rires)

I never thought governments would let AI companies get this far

Je n’ai jamais pensé que les gouvernements

laisseraient les entreprises d’IA aller aussi loin

without any meaningful regulation.

sans aucune réglementation significative.

And the progress of AI went even faster than I predicted.

Et les progrès de l'IA ont été encore plus rapides que je ne l'avais prévu.

Look, I showed this abstract landscape of tasks

J’ai montré ce paysage abstrait de tâches

where the elevation represented how hard it was for AI

où l’altitude représentait à quel point il était difficile pour l’IA

to do each task at human level.

d’accomplir chaque tâche au niveau humain.

And the sea level represented what AI could be back then.

Et le niveau de la mer représentait ce que pouvait être l'IA à l'époque.

And boy or boy, has the sea been rising fast ever since.

Et bon sang, la mer n’a cessé de monter rapidement depuis.

But a lot of these tasks have already gone blub blub blub blub blub blub.

Mais bon nombre de ces tâches ont déjà coulé.

And the water is on track to submerge all land,

Et l’eau est en passe de submerger toutes les terres,

matching human intelligence at all cognitive tasks.

égalant l’intelligence humaine pour toutes les tâches cognitives.

This is a definition of artificial general intelligence, AGI,

Voilà une définition de l’intelligence générale artificielle, ou IAG,

which is the stated goal of companies like OpenAI,

qui est l'objectif déclaré de sociétés comme OpenAI,

Google DeepMind and Anthropic.

Google DeepMind et Anthropic.

And these companies are also trying to build superintelligence,

Ces entreprises essaient également de développer une superintelligence,

leaving human intelligence far behind.

laissant loin derrière l’intelligence humaine.

And many think it'll only be a few years, maybe, from AGI to superintelligence.

Beaucoup pensent qu’il ne faudra que quelques années

pour passer de l’IAG à la superintelligence.

So when are we going to get AGI?

Alors, quand allons-nous avoir l’IAG ?

Well, until recently, most AI researchers thought it was at least decades away.

Jusqu’à récemment,

la plupart des chercheurs en IA pensaient que ça prendrait au moins des décennies.

And now Microsoft is saying, "Oh, it's almost here."

Et maintenant, Microsoft dit : « Oh, on y est presque ».

We're seeing sparks of AGI in ChatGPT-4,

On voit des éclairs d’IAG dans ChatGPT-4,

and the Metaculus betting site is showing the time left to AGI

et le site de paris Metaculus montre que le temps restant avant d’avoir l’IAG

plummeting from 20 years away to three years away

s’est radicalement réduit de vingt ans à trois ans

in the last 18 months.

au cours des 18 derniers mois.

And leading industry people are now predicting

Et les principaux acteurs de l'industrie prédisent aujourd'hui

that we have maybe two or three years left until we get outsmarted.

qu'il nous reste peut-être deux ou trois ans avant d'être dépassés.

So you better stop talking about AGI as a long-term risk,

Vous feriez donc mieux d’arrêter de parler de l’IAG comme d’un risque à long terme,

or someone might call you a dinosaur stuck in the past.

sinon quelqu'un pourrait vous traiter de dinosaure coincé dans le passé.

It's really remarkable how AI has progressed recently.

Les progrès récents de l’IA sont vraiment remarquables.

Not long ago, robots moved like this.

Il n’y a pas si longtemps, les robots se déplaçaient ainsi.

(Music)

(Musique)

Now they can dance.

Maintenant, ils savent danser.

(Music)

(Musique)

Just last year, Midjourney produced this image.

L’année dernière, Midjourney a produit cette image.

This year, the exact same prompt produces this.

Cette année, c’est exactement la même consigne qui produit ce résultat.

Deepfakes are getting really convincing.

Les deepfakes sont de plus en plus convaincants.

(Video) Deepfake Tom Cruise: I’m going to show you some magic.

(Vidéo) Deepfake de Tom Cruise : Voilà un tour de magie.

It's the real thing.

C’est une vraie.

(Laughs)

(Rire)

I mean ...

Je veux dire...

It's all ...

Tout ça…

the real ...

est…

thing.

vrai.

Max Tegmark: Or is it?

Max Tegmark : Vraiment ?

And Yoshua Bengio now argues

Yoshua Bengio soutient aujourd’hui

that large language models have mastered language

que les grands modèles de langue maîtrisent le langage

and knowledge to the point that they pass the Turing test.

et les connaissances au point de réussir le test de Turing.

I know some skeptics are saying,

Certains sceptiques disent :

"Nah, they're just overhyped stochastic parrots

« Non, ce ne sont que des perroquets stochastiques surestimés

that lack a model of the world,"

sans modèle du monde »,

but they clearly have a representation of the world.

mais ils ont clairement une représentation du monde.

In fact, we recently found that Llama-2 even has a literal map of the world in it.

En fait, on a découvert récemment

que Llama-2 a même une carte littérale du monde.

And AI also builds

L’IA crée aussi des représentations géométriques de concepts plus abstraits

geometric representations of more abstract concepts

like what it thinks is true and false.

tels que ce qu’elle pense être vrai et faux.

So what's going to happen if we get AGI and superintelligence?

Alors, que se passera-t-il si on obtient l’IAG et la superintelligence ?

If you only remember one thing from my talk, let it be this.

Si vous ne retenez qu’une chose de mon exposé, c’est celle-ci :

AI godfather, Alan Turing predicted

le parrain de l’IA, Alan Turing, a prédit

that the default outcome is the machines take control.

que le résultat par défaut serait que les machines prennent le contrôle.

The machines take control.

Les machines prennent le contrôle.

I know this sounds like science fiction,

Je sais que ça ressemble à de la science-fiction,

but, you know, having AI as smart as GPT-4

mais avoir une IA aussi intelligente que le GPT-4

ressemblait aussi à de la science-fiction il n’y a pas si longtemps.

also sounded like science fiction not long ago.

And if you think of AI,

Et si pour vous, l’IA,

if you think of superintelligence in particular, as just another technology,

la superintelligence en particulier, n’est qu’une technologie parmi d’autres,

like electricity,

comme l'électricité,

you're probably not very worried.

vous n'êtes probablement pas très inquiet.

But you see,

Mais vous voyez,

Turing thinks of superintelligence more like a new species.

Turing pense que la superintelligence ressemble davantage à une nouvelle espèce.

Think of it,

Réfléchissez-y,

we are building creepy, super capable,

nous sommes en train de construire des psychopathes effrayants,

amoral psychopaths

super capables et amoraux

that don't sleep and think much faster than us,

qui ne dorment pas et pensent bien plus vite que nous,

can make copies of themselves

peuvent faire des copies d’eux-mêmes et qui n’ont rien d’humain.

and have nothing human about them at all.

So what could possibly go wrong?

Qu’est-ce qui pourrait mal tourner ?

(Laughter)

(Rires)

And it's not just Turing.

Et il n'y a pas que Turing.

OpenAI CEO Sam Altman, who gave us ChatGPT,

Le PDG d’OpenAI, Sam Altman, qui nous a donné ChatGPT,

recently warned that it could be "lights out for all of us."

a récemment averti que ce pourrait être « l’extinction des feux pour nous tous ».

Anthropic CEO, Dario Amodei, even put a number on this risk:

Le PDG d'Anthropic, Dario Amodei, a même chiffré ce risque :

10-25 percent.

10 à 25 %.

And it's not just them.

Et il n'y a pas qu'eux.

Human extinction from AI went mainstream in May

L’extinction de l’humanité due à l’IA s’est généralisée en mai

when all the AGI CEOs and who's who of AI researchers

lorsque tous les PDG de l’IAG et les principaux chercheurs en IA

came on and warned about it.

sont venus nous mettre en garde.

And last month, even the number one of the European Union

Le mois dernier, même le numéro un de l’Union européenne

warned about human extinction by AI.

a mis en garde contre l’extinction de l’homme par l’IA.

So let me summarize everything I've said so far

Je vais résumer tout ce que j’ai dit jusqu’à présent

in just one slide of cat memes.

en une seule diapositive de mèmes sur les chats.

Three years ago,

Il y a trois ans,

people were saying it's inevitable, superintelligence,

les gens disaient que c’est inévitable,

que tout irait bien avec la superintelligence,

it'll be fine,

it's decades away.

pas avant dans des décennies.

Last year it was more like,

L’an dernier, ils disaient plutôt

It's inevitable, it'll be fine.

que c’était inévitable, tout irait bien.

Now it's more like,

Maintenant, ils disent plutôt

It's inevitable.

que c’est inévitable.

(Laughter)

(Rires)

But let's take a deep breath and try to raise our spirits

Mais prenons une profonde respiration

et essayons de nous remonter le moral,

and cheer ourselves up,

because the rest of my talk is going to be about the good news,

car le reste de mon exposé portera sur la bonne nouvelle,

that it's not inevitable, and we can absolutely do better,

que ce n’est pas inévitable et qu’on peut absolument faire mieux, d’accord ?

alright?

(Applause)

(Applaudissements)

So ...

Alors...

The real problem is that we lack a convincing plan for AI safety.

Le vrai problème est

que nous n’avons pas de plan convaincant pour la sécurité de l’IA.

People are working hard on evals

Les gens travaillent dur sur les évaluations

looking for risky AI behavior, and that's good,

pour identifier les comportements risqués de l’IA, et c’est une bonne chose,

but clearly not good enough.

mais ce n'est clairement pas suffisant.

They're basically training AI to not say bad things

Ils entraînent essentiellement l’IA à ne pas dire de mauvaises choses

rather than not do bad things.

plutôt qu’à ne pas faire de mauvaises choses.

Moreover, evals and debugging are really just necessary,

De plus, les évaluations et le débogage ne sont en fait

que des conditions de sécurité nécessaires et non suffisantes.

not sufficient, conditions for safety.

In other words,

En d'autres termes,

they can prove the presence of risk,

elles peuvent prouver la présence d’un risque,

not the absence of risk.

et non l’absence de risque.

So let's up our game, alright?

Alors passons au niveau supérieur.

Try to see how we can make provably safe AI that we can control.

Essayons de voir comment on peut créer une IA dont la sécurité est prouvée

et que nous pouvons contrôler.

Guardrails try to physically limit harm.

Les garde-fous tentent de limiter physiquement les dégâts.

But if your adversary is superintelligence

Mais si votre adversaire est une superintelligence

or a human using superintelligence against you, right,

ou un humain qui utilise une superintelligence contre vous,

trying is just not enough.

il ne suffit pas d’essayer.

You need to succeed.

Il faut réussir.

Harm needs to be impossible.

Il faut qu’il soit impossible de faire du mal.

So we need provably safe systems.

Il faut donc des systèmes à la sécurité prouvée.

Provable, not in the weak sense of convincing some judge,

Prouvée, non pas dans le sens faible de convaincre un juge,

but in the strong sense of there being something that's impossible

mais dans le sens fort qu'il existe quelque chose d'impossible

according to the laws of physics.

selon les lois de la physique.

Because no matter how smart an AI is,

Car quelle que soit l’intelligence d’une IA,

it can't violate the laws of physics and do what's provably impossible.

elle ne peut pas violer les lois de la physique

et faire ce qui est manifestement impossible.

Steve Omohundro and I wrote a paper about this,

Steve Omohundro et moi avons écrit un article à ce sujet,

and we're optimistic that this vision can really work.

et nous croyons fermement que cette vision peut réellement fonctionner.

So let me tell you a little bit about how.

Je vais vous expliquer un peu comment.

There's a venerable field called formal verification,

Il existe un domaine vénérable appelé vérification formelle,

which proves stuff about code.

qui prouve des choses sur le code.

And I'm optimistic that AI will revolutionize automatic proving business

J’ai bon espoir que l’IA révolutionnera le secteur des preuves automatiques

and also revolutionize program synthesis,

et révolutionnera aussi la synthèse de programmes, c’est-à-dire

the ability to automatically write really good code.

la capacité à écrire automatiquement du très bon code.

So here is how our vision works.

Voici comment fonctionne notre vision : vous, humain,

You, the human, write a specification

rédigez une spécification

that your AI tool must obey,

à laquelle votre outil d’IA doit se conformer,

that it's impossible to log in to your laptop

pour empêcher l’accès à votre ordinateur sans le bon mot de passe

without the correct password,

or that a DNA printer cannot synthesize dangerous viruses.

ou empêcher une imprimante à ADN de synthétiser des virus dangereux.

Then a very powerful AI creates both your AI tool

Ensuite, une IA très puissante crée à la fois votre outil d’IA

and a proof that your tool meets your spec.

et la preuve que votre outil répond à vos spécifications.

Machine learning is uniquely good at learning algorithms,

L’apprentissage automatique est le seul bon moyen d’apprendre des algorithmes,

but once the algorithm has been learned,

mais une fois l’algorithme appris,

you can re-implement it in a different computational architecture

on peut le réimplémenter dans une autre architecture informatique,

that's easier to verify.

plus facile à vérifier.

Now you might worry,

Maintenant, vous vous demandez peut-être comment comprendre cette puissante IA

how on earth am I going to understand this powerful AI

and the powerful AI tool it built

et le puissant outil d’IA qu’elle a créé et les preuves,

and the proof,

if they're all too complicated for any human to grasp?

s’ils sont trop compliqués à comprendre pour un humain ?

Here is the really great news.

Voici la très bonne nouvelle.

You don't have to understand any of that stuff,

Pas besoin de comprendre tout ça,

because it's much easier to verify a proof than to discover it.

car il est beaucoup plus facile de vérifier une preuve que de la découvrir.

So you only have to understand or trust your proof-checking code,

Il vous suffit de comprendre ou de se fier à votre code de vérification des preuves,

which could be just a few hundred lines long.

qui peut n’être que quelques centaines de lignes.

And Steve and I envision

Steve et moi pensons

that such proof checkers get built into all our compute hardware,

que de tels vérificateurs de preuves

seront intégrés à tout notre matériel informatique,

so it just becomes impossible to run very unsafe code.

ce qui rendra tout simplement impossible d’exécuter du code très dangereux.

What if the AI, though, isn't able to write that AI tool for you?

Et si l’IA n’était pas capable de créer cet outil d’IA pour vous ?

Then there's another possibility.

Il y a alors une autre possibilité.

You train an AI to first just learn to do what you want

On entraîne une IA pour qu’elle apprenne d’abord à faire ce qu’on veut,

and then you use a different AI

puis on utilise une autre IA

to extract out the learned algorithm and knowledge for you,

pour extraire l’algorithme et les connaissances appris à votre place,

like an AI neuroscientist.

comme un neuroscientifique spécialisé dans l’IA.

This is in the spirit of the field of mechanistic interpretability,

C’est dans l’esprit du domaine de l’interprétabilité mécanistique,

which is making really impressive rapid progress.

qui connaît des progrès rapides vraiment impressionnants.

Provably safe systems are clearly not impossible.

Des systèmes à sécurité prouvée ne sont clairement pas impossibles.

Let's look at a simple example

Prenons un exemple simple :

of where we first machine-learn an algorithm from data

on apprend d’abord à la machine un algorithme à partir de données,

and then distill it out in the form of code

puis on le distille sous forme de code

that provably meets spec, OK?

qui répond de manière prouvable aux spécifications.

Let’s do it with an algorithm that you probably learned in first grade,

Faisons-le avec un algorithme

que vous avez probablement appris en CP, l’addition,

addition,

où on passe en boucle les chiffres de droite à gauche,

where you loop over the digits from right to left,

and sometimes you do a carry.

et parfois vous posez une retenue.

We'll do it in binary,

Nous allons le faire en binaire,

as if you were counting on two fingers instead of ten.

comme si vous comptiez sur deux doigts au lieu de dix.

And we first train a recurrent neural network,

Et nous entraînons d’abord un réseau neuronal récurrent,

never mind the details,

peu importe les détails,

to nail the task.

pour réussir la tâche.

So now you have this algorithm that you don't understand how it works

Vous avez cet algorithme et vous ne comprenez pas

in a black box

comment il fonctionne dans une boîte noire

defined by a bunch of tables of numbers that we, in nerd speak,

définie par un tas de tableaux de chiffres que nous, en langage nerd,

call parameters.

appelons des paramètres.

Then we use an AI tool we built to automatically distill out from this

Ensuite, on utilise un outil d’IA qu’on a créé pour en extraire automatiquement

the learned algorithm in the form of a Python program.

l’algorithme appris sous la forme d’un programme Python.

And then we use the formal verification tool known as Daphne

Ensuite, on utilise l’outil de vérification formel appelé Daphne

to prove that this program correctly adds up any numbers,

pour prouver que ce programme additionne correctement tous les chiffres

not just the numbers that were in your training data.

et pas que ceux des données d’entraînement.

So in summary,

Donc, en résumé,

provably safe AI, I'm convinced is possible,

je suis convaincu qu’une IA à sécurité prouvée est possible,

but it's going to take time and work.

mais ça prendra du temps et du travail.

And in the meantime,

En attendant,

let's remember that all the AI benefits

rappelons-nous que tous les avantages de l’IA

that most people are excited about

qui enthousiasment la plupart des gens

actually don't require superintelligence.

ne nécessitent en fait pas une superintelligence.

We can have a long and amazing future with AI.

Nous pouvons avoir un avenir long et prometteur grâce à l'IA.

So let's not pause AI.

Ne suspendons donc pas l'IA.

Let's just pause the reckless race to superintelligence.

Arrêtons la course effrénée vers la superintelligence.

Let's stop obsessively training ever-larger models

Arrêtons cette obsession d’entrainer des modèles de plus en plus grands

that we don't understand.

que nous ne comprenons pas.

Let's heed the warning from ancient Greece

Suivons l’avertissement de la Grèce antique

and not get hubris, like in the story of Icarus.

et ne faisons pas preuve d’orgueil, comme dans l’histoire d’Icare.

Because artificial intelligence

Parce que l’intelligence artificielle

is giving us incredible intellectual wings

nous donne des ailes intellectuelles incroyables

with which we can do things beyond our wildest dreams

avec lesquelles on peut faire des choses au-delà de nos rêves les plus fous

if we stop obsessively trying to fly to the sun.

si on cesse d’e s’obstiner à essayer de voler vers le Soleil.

Thank you.

Merci.

(Applause)

(Applaudissements)