How to get better at video games, according to babies - Brian Christian

Traduttore: Elisabetta Biolzi Revisore: Samridh Aggarwal

In 2013, a group of researchers at DeepMind in London

Nel 2013, un gruppo di ricercatori alla DeepMind di Londra

had set their sights on a grand challenge.

avevano messo gli occhi su una grande sfida.

They wanted to create an AI system that could beat,

Volevano creare un sistema di IA che potesse battere,

not just a single Atari game, but every Atari game.

non solo un singolo gioco Atari, ma ogni gioco Atari.

They developed a system they called Deep Q Networks, or DQN,

Hanno sviluppato un sistema che hanno chiamato Deep Q Networks, o DQN,

and less than two years later, it was superhuman.

e meno di due anni dopo, è diventato sovrumano.

DQN was getting scores 13 times better

Il DQN totalizzava punteggi 13 volte migliori

than professional human games testers at “Breakout,”

dei tester di giochi professionisti in “Breakout”.

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 volte migliori a “Boxe”. e 25 volte migliori a “Video Pinball”.

But there was one notable, and glaring, exception.

Ma si è verificata una notevole, e clamorosa eccezione.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Durante il gioco “Montezuma’s Revenge” DQN non è riuscito a fare un solo punto,

even after playing for weeks.

anche dopo averci giocato per settimane.

What was it that made this particular game so vexingly difficult for AI?

Cos’è che ha reso questo particolare gioco così fastidiosamente difficile per l’IA?

And what would it take to solve it?

E cosa ci vorrebbe per risolverlo?

Spoiler alert: babies.

Spoiler: i neonati.

We’ll come back to that in a minute.

Ci torneremo tra un attimo.

Playing Atari games with AI involves what’s called reinforcement learning,

Giocare ai giochi Atari con l’IA comporta un apprendimento per rinforzo,

where the system is designed to maximize some kind of numerical rewards.

in cui il sistema è progettato per massimizzare certe ricompense numeriche.

In this case, those rewards were simply the game's points.

In questo caso, le ricompense erano i punteggi del gioco.

This underlying goal drives the system to learn which buttons to press

Questo obiettivo di fondo spinge il sistema a imparare quali pulsanti premere

and when to press them to get the most points.

e quando premerli per ottenere il maggior numero di punti.

Some systems use model-based approaches, where they have a model of the environment

Alcuni sistemi usano approcci basati su modelli, dove un modello dell’ambiente

that they can use to predict what will happen next

permette di prevedere cosa accadrà

once they take a certain action.

una volta intrapresa una certa azione.

DQN, however, is model free.

Il DQN, tuttavia, è privo di modelli.

Instead of explicitly modeling its environment,

Invece di modellare esplicitamente il suo ambiente,

it just learns to predict, based on the images on screen,

impara a prevedere, in base alle immagini sullo schermo,

how many future points it can expect to earn by pressing different buttons.

quanti punti futuri può sperare di accumulare premendo diversi pulsanti.

For instance, “if the ball is here and I move left, more points,

Per esempio, “se la palla è qui e mi sposto a sinistra, si fanno più punti,

but if I move right, no more points.”

ma se mi muovo a destra, niente punti”.

But learning these connections requires a lot of trial and error.

Ma imparare queste correlazioni richiede un sacco di tentativi ed errori.

The DQN system would start by mashing buttons randomly,

Il sistema DQN inizierebbe schiacciando pulsanti a caso,

and then slowly piece together which buttons to mash when

e poi lentamente mettendo insieme quali pulsanti schiacciare

in order to maximize its score.

per massimizzare il suo punteggio.

But in playing “Montezuma’s Revenge,”

Ma nel giocare a “Montezuma’s Revenge,”

this approach of random button-mashing fell flat on its face.

questo metodo di schiacciare i tasti a caso ha fallito.

A player would have to perform this entire sequence

Un giocatore dovrebbe eseguire questa intera sequenza

just to score their first points at the very end.

solo per fare i primissimi punti proprio alla fine.

A mistake? Game over.

Un errore? Game over.

So how could DQN even know it was on the right track?

Quindi come poteva sapere il DQN di essere sulla strada giusta?

This is where babies come in.

È qui che entrano in gioco i bambini.

In studies, infants consistently look longer at pictures

In alcuni studi si afferma che i bambini guardano più a lungo le immagini

they haven’t seen before than ones they have.

che non hanno mai visto prima rispetto alle già viste.

There just seems to be something intrinsically rewarding about novelty.

Sembra che ci sia qualcosa di gratificante nella novità.

This behavior has been essential in understanding the infant mind.

Questo comportamento è stato essenziale nella comprensione della mente infantile.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Ed è anche il segreto per battere “Montezuma’s Revenge”.

The DeepMind researchers worked out an ingenious way

I ricercatori di DeepMind hanno elaborato un modo ingegnoso

to plug this preference for novelty into reinforcement learning.

per inserire questa preferenza per la novità nell’apprendimento per rinforzo.

They made it so that unusual or new images appearing on the screen

Hanno fatto sì che le immagini insolite o nuove che appaiono sullo schermo

were every bit as rewarding as real in-game points.

fossero tanto gratificanti quanto i veri punti del gioco.

Suddenly, DQN was behaving totally differently from before.

Improvvisamente, il DQN si comportava in modo totalmente diverso da prima.

It wanted to explore the room it was in,

Voleva esplorare la stanza in cui si trovava,

to grab the key and escape through the locked door—

prendere la chiave e scappare dalla porta chiusa,

not because it was worth 100 points,

non perché valesse 100 punti,

but for the same reason we would: to see what was on the other side.

ma per la stessa ragione per cui noi lo faremmo: vedere cosa c’è dall’altra parte.

With this new drive, DQN not only managed to grab that first key—

Con questa nuova spinta, il DQN non solo è riuscito ad afferrare la prima chiave

it explored all the way through 15 of the temple’s 24 chambers.

ha esplorato tutto il percorso in 15 delle 24 camere del tempio.

But emphasizing novelty-based rewards can sometimes create more problems

Ma enfatizzare le ricompense basate sulla novità può a volte creare più problemi

than it solves.

di quelli che risolve.

A novelty-seeking system that’s played a game too long

Un sistema alla ricerca di novità che ha giocato troppo a lungo

will eventually lose motivation.

alla fine perderà la motivazione.

If it’s seen it all before, why go anywhere?

Se si è già visto tutto, perché andare da qualche parte?

Alternately, if it encounters, say, a television, it will freeze.

In alternativa, se incontra, per esempio, una televisione, si blocca.

The constant novel images are essentially paralyzing.

Immagini costanti e nuove sono paralizzanti.

The ideas and inspiration here go in both directions.

Le idee e l’ispirazione qui vanno in entrambe le direzioni.

AI researchers stuck on a practical problem,

I ricercatori di IA bloccati su un problema pratico,

like how to get DQN to beat a difficult game,

come far battere al DQN un gioco difficile,

are turning increasingly to experts in human intelligence for ideas.

si rivolgono sempre più agli esperti dell’intelligenza umana per trovare idee.

At the same time,

Allo stesso tempo,

AI is giving us new insights into the ways we get stuck and unstuck:

L’AI ci mostra i modi in cui ci blocchiamo e ci disincastriamo:

into boredom, depression, and addiction,

nella noia, nella depressione e nella dipendenza,

along with curiosity, creativity, and play.

insieme alla curiosità, alla creatività, e al gioco.