The danger of AI is weirder than you think | Janelle Shane

Traducteur: Morgane Quilfen Relecteur: Claire Ghyselen

So, artificial intelligence

L'intelligence artificielle

is known for disrupting all kinds of industries.

est réputée pour chambouler tous genres d'industries.

What about ice cream?

Qu'en est-il des glaces ?

What kind of mind-blowing new flavors could we generate

Quels genres de parfums hallucinants pourrions-nous créer

with the power of an advanced artificial intelligence?

avec les capacités d'une intelligence artificielle avancée ?

So I teamed up with a group of coders from Kealing Middle School

J'ai fait équipe avec un groupe de programmeurs d'un collège du Texas

to find out the answer to this question.

pour trouver la réponse à cette question.

They collected over 1,600 existing ice cream flavors,

Ils ont collecté plus de 1 600 parfums de glace existants

and together, we fed them to an algorithm to see what it would generate.

et ensemble, nous les avons présentées à un algorithme

pour voir ce qu'il générerait.

And here are some of the flavors that the AI came up with.

Voici certains des parfums que l'IA a inventés.

[Pumpkin Trash Break]

[Pause poubelle au potiron]

(Laughter)

(Rires)

[Peanut Butter Slime]

[Boue de beurre de cacahuètes]

[Strawberry Cream Disease]

[Maladie de crème à la fraise]

(Laughter)

(Rires)

These flavors are not delicious, as we might have hoped they would be.

Ces parfums ne sont pas délicieux,

comme nous aurions pu espérer qu'ils soient.

So the question is: What happened?

La question est : que s'est-il passé ?

What went wrong?

Qu'est-ce qui a mal tourné ?

Is the AI trying to kill us?

L'IA essaye-t-elle de nous tuer ?

Or is it trying to do what we asked, and there was a problem?

Ou essaye-t-elle de faire ce que nous avons demandé

et il y a un problème ?

In movies, when something goes wrong with AI,

Dans les films, quand cela tourne mal avec l'IA,

it's usually because the AI has decided

c'est généralement que l'IA a décidé

that it doesn't want to obey the humans anymore,

qu'elle ne voulait plus obéir aux humains

and it's got its own goals, thank you very much.

et qu'elle a ses propres objectifs,

merci bien.

In real life, though, the AI that we actually have

Dans la vraie vie, cependant, l'IA que nous avons

is not nearly smart enough for that.

n'est pas assez intelligente pour cela.

It has the approximate computing power

Elle a à peu près la puissance de calcul d'un ver de terre

of an earthworm,

or maybe at most a single honeybee,

ou peut-être, au mieux, d'une seule abeille

and actually, probably maybe less.

et probablement moins que cela.

Like, we're constantly learning new things about brains

Nous apprenons constamment de nouvelles choses sur le cerveau

that make it clear how much our AIs don't measure up to real brains.

qui établissent clairement

à quel point nos IA ne sont pas à la hauteur de vrais cerveaux.

So today's AI can do a task like identify a pedestrian in a picture,

L'IA actuelle peut réaliser une tâche comme identifier un piéton sur une photo

but it doesn't have a concept of what the pedestrian is

mais n'a pas de concept expliquant ce qu'est un piéton

beyond that it's a collection of lines and textures and things.

au-delà d'un ensemble de lignes, de textures et de choses.

It doesn't know what a human actually is.

Elle ne sait pas ce qu'est vraiment un humain.

So will today's AI do what we ask it to do?

L'IA actuelle fera-t-elle ce que nous lui demandons de faire ?

It will if it can,

Oui, si elle le peut,

but it might not do what we actually want.

mais elle pourrait ne pas faire ce que nous voulons.

So let's say that you were trying to get an AI

Disons que vous essayiez de faire qu'une IA

to take this collection of robot parts

prenne cet ensemble de pièces d'un robot

and assemble them into some kind of robot to get from Point A to Point B.

et les assemblent en une sorte de robot pour aller du point A au point B.

Now, if you were going to try and solve this problem

Si vous essayiez de résoudre ce problème

by writing a traditional-style computer program,

en écrivant un programme informatique traditionnel,

you would give the program step-by-step instructions

vous lui donneriez des instructions par étapes

on how to take these parts,

sur comment prendre ces pièces,

how to assemble them into a robot with legs

les assembler en un robot ayant des jambes

and then how to use those legs to walk to Point B.

puis comment utiliser ces jambes pour marcher jusqu'au point B.

But when you're using AI to solve the problem,

Si vous utilisez une IA pour résoudre le problème,

it goes differently.

cela est différent.

You don't tell it how to solve the problem,

Vous ne lui dites pas comment résoudre le problème,

you just give it the goal,

vous lui donnez juste l'objectif

and it has to figure out for itself via trial and error

et elle doit trouver par tâtonnements comment atteindre cet objectif.

how to reach that goal.

And it turns out that the way AI tends to solve this particular problem

Il s'avère que l'IA a tendance à résoudre ce problème en particulier

is by doing this:

en faisant ceci :

it assembles itself into a tower and then falls over

elle s'assemble pour former une tour puis se laisse tomber

and lands at Point B.

et atterrit au point B.

And technically, this solves the problem.

Techniquement, cela résout le problème.

Technically, it got to Point B.

Techniquement, elle est arrivée au point B.

The danger of AI is not that it's going to rebel against us,

Le danger lié à l'IA n'est pas qu'elle va se rebeller contre nous,

it's that it's going to do exactly what we ask it to do.

c'est qu'elle va faire exactement ce que nous lui demandons.

So then the trick of working with AI becomes:

L'astuce pour travailler avec une IA devient :

How do we set up the problem so that it actually does what we want?

comment poser le problème pour qu'elle fasse ce que l'on veut ?

So this little robot here is being controlled by an AI.

Ce petit robot est contrôlé par une IA.

The AI came up with a design for the robot legs

L'IA a conçu un design pour les jambes du robot

and then figured out how to use them to get past all these obstacles.

puis elle a déterminé comment les utiliser pour passer tous ces obstacles.

But when David Ha set up this experiment,

Mais quand David Ha a présenté cette expérience,

he had to set it up with very, very strict limits

il a dû établir des limites très, très strictes

on how big the AI was allowed to make the legs,

sur la taille autorisée des jambes que l'IA pouvait créer,

because otherwise ...

car sinon...

(Laughter)

(Rires)

And technically, it got to the end of that obstacle course.

Techniquement, elle est arrivée à la fin de cette course d'obstacles.

So you see how hard it is to get AI to do something as simple as just walk.

Vous voyez à quel point il est difficile

de faire faire une chose aussi simple que marcher à une IA.

So seeing the AI do this, you may say, OK, no fair,

En voyant l'IA faire ceci, vous pourriez dire que cela ne fonctionne pas,

you can't just be a tall tower and fall over,

qu'elle ne peut pas juste être une haute tour et tomber,

you have to actually, like, use legs to walk.

qu'elle doit utiliser des jambes pour marcher.

And it turns out, that doesn't always work, either.

Il s'avère que cela non plus ne fonctionne pas toujours.

This AI's job was to move fast.

L'objectif de l'IA était de se déplacer rapidement.

They didn't tell it that it had to run facing forward

On ne lui a pas dit qu'elle devait courir vers l'avant

or that it couldn't use its arms.

ou qu'elle ne pouvait pas utiliser ses bras.

So this is what you get when you train AI to move fast,

Voilà ce qui arrive quand vous entraînez une IA à se déplacer rapidement,

you get things like somersaulting and silly walks.

vous obtenez des sauts périlleux et des démarches ridicules.

It's really common.

C'est très courant.

So is twitching along the floor in a heap.

Tout comme tressauter sous forme d'amas informe.

(Laughter)

(Rires)

So in my opinion, you know what should have been a whole lot weirder

A mon avis, ce qui aurait dû être bien plus étrange,

is the "Terminator" robots.

ce sont les robots de « Terminator ».

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Pirater la « Matrice » est une autre chose que l'IA fera si elle en a l'occasion.

So if you train an AI in a simulation,

Si vous entraînez votre IA dans une simulation,

it will learn how to do things like hack into the simulation's math errors

elle apprendra à faire des choses

comme exploiter les erreurs de maths de la simulation

and harvest them for energy.

pour en tirer de l'énergie.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Ou elle trouvera comment se déplacer plus vite

en exploitant à répétition un bug pour avancer sur le sol.

When you're working with AI,

Travailler avec une IA,

it's less like working with another human

c'est moins comme travailler avec un autre humain

and a lot more like working with some kind of weird force of nature.

et plutôt comme travailler avec une étrange force de la nature.

And it's really easy to accidentally give AI the wrong problem to solve,

Il est très facile de donner accidentellement à l'IA

le mauvais problème à résoudre

and often we don't realize that until something has actually gone wrong.

et nous ne nous en rendons souvent pas compte

avant que quelque chose n'ait très mal tourné.

So here's an experiment I did,

Voici une expérience que j'ai réalisée

where I wanted the AI to copy paint colors,

où je voulais que l'IA copie des couleurs de peinture

to invent new paint colors,

pour en inventer de nouvelles

given the list like the ones here on the left.

en ayant la liste de celles qui sont sur la gauche.

And here's what the AI actually came up with.

Et voici ce que l'IA a inventé.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Caca de Sindis, Merdouille, Souffrance, Pubis gris]

(Laughter)

(Rires)

So technically,

Techniquement,

it did what I asked it to.

elle a fait ce que je lui avais demandé.

I thought I was asking it for, like, nice paint color names,

Je pensais lui demander des noms de couleur sympa,

but what I was actually asking it to do

mais ce que je lui demandais de faire,

was just imitate the kinds of letter combinations

c'était d'imaginer le genre de combinaisons de lettres

that it had seen in the original.

qu'elle avait vues dans la liste initiale.

And I didn't tell it anything about what words mean,

Je ne lui ai rien dit sur le sens des mots

or that there are maybe some words

ni sur le fait qu'il y a peut-être des mots

that it should avoid using in these paint colors.

qu'elle devrait éviter d'utiliser dans ces couleurs de peinture.

So its entire world is the data that I gave it.

Son monde se limite aux données que je lui ai données.

Like with the ice cream flavors, it doesn't know about anything else.

Comme pour les parfums de glace, elle ne sait rien d'autre.

So it is through the data

C'est à travers les données

that we often accidentally tell AI to do the wrong thing.

que nous disons souvent accidentellement à l'IA de faire la mauvaise chose.

This is a fish called a tench.

Ceci est un poisson appelé une tanche.

And there was a group of researchers

Un groupe de chercheurs

who trained an AI to identify this tench in pictures.

a entraîné l'IA à identifier cette tanche sur les photos.

But then when they asked it

Mais quand ils lui ont demandé

what part of the picture it was actually using to identify the fish,

quelle partie de la photo elle utilisait pour identifier le poisson,

here's what it highlighted.

voici ce qui a été sélectionné.

Yes, those are human fingers.

Oui, ce sont des doigts humains.

Why would it be looking for human fingers

Pourquoi chercherait-elle des doigts humains

if it's trying to identify a fish?

si elle essaye d'identifier un poisson ?

Well, it turns out that the tench is a trophy fish,

Il s'avère que la tanche est un poisson trophée

and so in a lot of pictures that the AI had seen of this fish

et donc sur de nombreuses photos que l'IA avait vues de ce poisson

during training,

durant son entraînement,

the fish looked like this.

le poisson ressemblait à ceci.

(Laughter)

(Rires)

And it didn't know that the fingers aren't part of the fish.

Et elle ne savait pas que les doigts ne faisaient pas partie du poisson.

So you see why it is so hard to design an AI

Vous voyez pourquoi il est si dur de concevoir une IA

that actually can understand what it's looking at.

qui comprend vraiment ce qu'elle considère.

And this is why designing the image recognition

C'est pourquoi concevoir la reconnaissance d'images

in self-driving cars is so hard,

dans les voitures autonomes est si difficile

and why so many self-driving car failures

et pourquoi tant de défaillances de ces voitures

are because the AI got confused.

sont dues au fait que l'IA ait confondu des choses.

I want to talk about an example from 2016.

Je veux parler d'un exemple de 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Il y a eu un accident mortel

où quelqu'un utilisait l'IA de pilote automatique de Tesla,

but instead of using it on the highway like it was designed for,

mais au lieu de l'utiliser sur l'autoroute,

ce pour quoi elle était conçue,

they used it on city streets.

il l'a utilisé dans les rues de la ville.

And what happened was,

Ce qu'il s'est passé,

a truck drove out in front of the car and the car failed to brake.

c'est qu'un camion est passé devant la voiture

et la voiture n'a pas freiné.

Now, the AI definitely was trained to recognize trucks in pictures.

L'IA avait été entraînée à reconnaître les camions sur des photos.

But what it looks like happened is

Mais il semble que ce qu'il s'est passé,

the AI was trained to recognize trucks on highway driving,

c'est qu'elle reconnaissait les camions sur l'autoroute,

where you would expect to see trucks from behind.

où vous vous attendez à les voir de derrière.

Trucks on the side is not supposed to happen on a highway,

Les camions ne sont pas censés être vus de côté sur l'autoroute

and so when the AI saw this truck,

et donc quand l'IA a vu ce camion,

it looks like the AI recognized it as most likely to be a road sign

il semblerait que l'IA l'ait reconnu comme étant un panneau de signalisation,

and therefore, safe to drive underneath.

il était donc sans danger de passer en dessous.

Here's an AI misstep from a different field.

Voici une bévue de l'IA dans un autre domaine.

Amazon recently had to give up on a résumé-sorting algorithm

Amazon a récemment dû abandonner un algorithme de tri de CV

that they were working on

sur lequel ils travaillaient

when they discovered that the algorithm had learned to discriminate against women.

quand ils ont découvert

que l'algorithme avait appris à discriminer contre les femmes.

What happened is they had trained it on example résumés

Ils l'avaient entraîné avec des exemples de CV

of people who they had hired in the past.

de gens qu'ils avaient embauchés dans le passé.

And from these examples, the AI learned to avoid the résumés of people

D'après ces exemples, l'IA a appris à éviter les CV les gens

who had gone to women's colleges

ayant été dans des universités de femmes

or who had the word "women" somewhere in their resume,

ou ayant le mot « femmes » quelque part sur leur CV

as in, "women's soccer team" or "Society of Women Engineers."

comme dans « équipe de sport de femmes »

ou « Société des femmes ingénieures ».

The AI didn't know that it wasn't supposed to copy this particular thing

L'IA ne savait pas qu'elle n'était pas censée

copier cette chose en particulier

that it had seen the humans do.

qu'elle avait vu les humains faire.

And technically, it did what they asked it to do.

Techniquement, elle a fait ce qu'ils lui ont demandé.

They just accidentally asked it to do the wrong thing.

Ils lui ont juste accidentellement demandé de faire la mauvaise chose.

And this happens all the time with AI.

Cela arrive constamment avec l'IA.

AI can be really destructive and not know it.

L'IA peut être destructrice et ne pas le savoir.

So the AIs that recommend new content in Facebook, in YouTube,

Les IA qui recommandent de nouveaux contenus

sur Facebook, sur YouTube,

they're optimized to increase the number of clicks and views.

elles sont optimisées pour augmenter le nombre de clics et de vues.

And unfortunately, one way that they have found of doing this

Malheureusement, une des façons trouvées pour faire cela

is to recommend the content of conspiracy theories or bigotry.

est de recommander du contenu de théories conspirationnistes

ou relevant du fanatisme religieux.

The AIs themselves don't have any concept of what this content actually is,

Les IA n'ont aucune idée de ce qu'est ce contenu

and they don't have any concept of what the consequences might be

et elles n'ont aucune idée des conséquences possibles

of recommending this content.

de la recommandation de ce contenu.

So, when we're working with AI,

Quand nous travaillons avec une IA,

it's up to us to avoid problems.

c'est à nous d'éviter les problèmes.

And avoiding things going wrong,

Éviter que les choses tournent mal,

that may come down to the age-old problem of communication,

cela pourrait se résumer au sempiternel problème de communication

where we as humans have to learn how to communicate with AI.

où, en tant qu'humains, nous devons apprendre

à communiquer avec l'IA.

We have to learn what AI is capable of doing and what it's not,

Nous devons apprendre ce dont l'IA est capable et ce dont elle est incapable,

and to understand that, with its tiny little worm brain,

et comprendre qu'avec son petit cerveau de ver,

AI doesn't really understand what we're trying to ask it to do.

l'IA ne comprend pas vraiment ce que nous lui demandons de faire.

So in other words, we have to be prepared to work with AI

En d'autres mots, nous devons être prêts à travailler avec une IA

that's not the super-competent, all-knowing AI of science fiction.

qui n'est pas l'IA super compétente, omnisciente de la science-fiction.

We have to be prepared to work with an AI

Nous devons être prêts à travailler avec une IA

that's the one that we actually have in the present day.

qui est celle que nous avons actuellement.

And present-day AI is plenty weird enough.

Et l'IA actuellement est très étrange.

Thank you.

Merci.

(Applause)

(Applaudissements)