How to get better at video games, according to babies - Brian Christian

Traducteur: Alia Lassal Relecteur: eric vautier

In 2013, a group of researchers at DeepMind in London

En 2013, un groupe de chercheurs chez DeepMind,

à Londres, s’est fixé un grand défi.

had set their sights on a grand challenge.

They wanted to create an AI system that could beat,

Ils voulaient créer un système d’IA qui pourrait battre,

not just a single Atari game, but every Atari game.

non pas un jeu d’Atari, mais tous les jeux d’Atari.

They developed a system they called Deep Q Networks, or DQN,

Ils ont développé un système qu’ils ont appelé Deep Q Networks, ou DQN,

and less than two years later, it was superhuman.

et moins de deux ans plus tard, il était un surhumain.

DQN was getting scores 13 times better

DQN obtenait des scores 13 fois meilleurs

than professional human games testers at “Breakout,”

que ceux de testeurs de jeux humains professionnels à « Breakout »,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 fois meilleurs à « Boxing », et 25 fois meilleurs à « Video Pinball ».

But there was one notable, and glaring, exception.

Mais il y avait une exception notable.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Quand il jouait à « Montezuma’s Revenge », DQN n’arrivait pas à marquer un point,

even after playing for weeks.

même après avoir joué durant des semaines.

What was it that made this particular game so vexingly difficult for AI?

Qu’est-ce qui a fait que ce jeu soit si difficile pour l’IA ?

And what would it take to solve it?

Et que faudrait-il pour résoudre cela ?

Spoiler alert: babies.

Alerte spoiler : des bébés.

We’ll come back to that in a minute.

Nous reviendrons à cela dans une minute.

Playing Atari games with AI involves what’s called reinforcement learning,

Jouer à des jeux Atari avec l’IA implique l’apprentissage par renforcement,

where the system is designed to maximize some kind of numerical rewards.

où le système est conçu pour maximiser des récompenses numériques.

In this case, those rewards were simply the game's points.

Dans ce cas, ces récompenses étaient simplement les points du jeu.

This underlying goal drives the system to learn which buttons to press

Cet objectif sous-jacent conduit le système

à apprendre sur quels boutons appuyer et quand, pour obtenir le plus de points.

and when to press them to get the most points.

Some systems use model-based approaches, where they have a model of the environment

Certains systèmes utilisent des approches basées sur des modèles,

ils ont un modèle de l’environnement

that they can use to predict what will happen next

qu’ils peuvent utiliser pour prédire ce qui va se passer

once they take a certain action.

une fois qu’ils ont fait une action.

DQN, however, is model free.

Cependant, DQN n’a pas de modèle.

Instead of explicitly modeling its environment,

Au lieu de modéliser son environnement,

it just learns to predict, based on the images on screen,

il apprend juste à prédire, basé sur les images sur l’écran,

how many future points it can expect to earn by pressing different buttons.

combien de points il peut s’attendre à gagner

en appuyant sur différents boutons.

For instance, “if the ball is here and I move left, more points,

Par exemple, « si la balle est ici et que je bouge à gauche, plus de points

but if I move right, no more points.”

mais si je me déplace à droite, aucun point. »

But learning these connections requires a lot of trial and error.

Mais apprendre ces connexions requiert beaucoup d’essais et d’erreurs.

The DQN system would start by mashing buttons randomly,

Le système DQN commencerait par appuyer sur des boutons au hasard,

and then slowly piece together which buttons to mash when

puis doucement il se mettrait d’accord sur quels boutons appuyer

in order to maximize its score.

dans le but de maximiser son score.

But in playing “Montezuma’s Revenge,”

Mais en jouant à « Montezuma’s Revenge »,

this approach of random button-mashing fell flat on its face.

cette approche, appuyer sur des boutons au hasard, a échoué

A player would have to perform this entire sequence

Un joueur doit exécuter une séquence entière

just to score their first points at the very end.

seulement pour marquer les points à la toute fin.

A mistake? Game over.

Une erreur ? Fin de partie.

So how could DQN even know it was on the right track?

Alors comment DQN pouvait même savoir s’il était sur la bonne voie ?

This is where babies come in.

C’est là où les bébés entrent en jeu.

In studies, infants consistently look longer at pictures

Selon des études, les nourrissons regardent plus longtemps

they haven’t seen before than ones they have.

des images inconnues que des images qu’ils ont déjà vues.

There just seems to be something intrinsically rewarding about novelty.

Il semble y avoir quelque chose de gratifiant dans la nouveauté.

This behavior has been essential in understanding the infant mind.

Ce comportement a été essentiel pour comprendre l’esprit du nourrisson.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Il s’est aussi avéré que c’était le secret pour gagner à « Montezuma’s Revenge ».

The DeepMind researchers worked out an ingenious way

Les chercheurs de DeepMind ont trouvé un moyen ingénieux d’intégrer

to plug this preference for novelty into reinforcement learning.

cette préférence pour la nouveauté dans l’apprentissage par renforcement.

They made it so that unusual or new images appearing on the screen

Ils ont fait en sorte de faire apparaître les nouvelles images sur l’écran

were every bit as rewarding as real in-game points.

étaient tout aussi gratifiantes que les points réels du jeu.

Suddenly, DQN was behaving totally differently from before.

Soudainement, DQN s’est comporté totalement différemment.

It wanted to explore the room it was in,

Il voulait explorer la pièce où il était,

to grab the key and escape through the locked door—

pour attraper la clé et s’échapper par la porte verrouillée,

not because it was worth 100 points,

non pas parce que cela valait 100 points,

but for the same reason we would: to see what was on the other side.

mais pour la même raison que nous : pour voir ce qu’il y a de l’autre côté.

With this new drive, DQN not only managed to grab that first key—

Avec ce changement, DQN n’a pas seulement réussi à attraper cette première clé,

it explored all the way through 15 of the temple’s 24 chambers.

il a exploré tous les chemins à travers 15 des 24 chambres du temple.

But emphasizing novelty-based rewards can sometimes create more problems

Mais prioriser les récompenses basées sur la nouveauté

peut parfois créer plus de problèmes

than it solves.

que ça n’en résout.

A novelty-seeking system that’s played a game too long

Un système de recherche de nouveauté qui a joué à un jeu trop longtemps

will eventually lose motivation.

perdra éventuellement sa motivation.

If it’s seen it all before, why go anywhere?

S’il a vu tout ça avant, pourquoi aller partout ?

Alternately, if it encounters, say, a television, it will freeze.

Alternativement, s’il rencontre, disons, une télévision, il se fige.

The constant novel images are essentially paralyzing.

Les nouvelles images constantes sont essentiellement paralysantes.

The ideas and inspiration here go in both directions.

Les idées et l’inspiration ici vont dans les deux sens.

AI researchers stuck on a practical problem,

Les chercheurs en IA bloquent sur un problème pratique,

like how to get DQN to beat a difficult game,

comme comment faire pour que DQN batte un jeu difficile.

are turning increasingly to experts in human intelligence for ideas.

Alors ils se tournent de plus en plus vers des experts en intelligence humaine

pour trouver des idées.

At the same time,

Dans le même temps,

AI is giving us new insights into the ways we get stuck and unstuck:

l’IA nous donne de nouvelles perspectives sur la façon dont nous sommes bloqués

into boredom, depression, and addiction,

dans l’ennui, la dépression et l’addiction

along with curiosity, creativity, and play.

ainsi que dans la curiosité, la créativité et le jeu.