How to get better at video games, according to babies - Brian Christian

Tradutor: Margarida Ferreira Revisora: Ana Sofia Ferreira

In 2013, a group of researchers at DeepMind in London

Em 2013, um grupo de investigadores da DeepMind em Londres

had set their sights on a grand challenge.

dedicou-se a um enorme desafio.

They wanted to create an AI system that could beat,

Queriam criar um sistema de IA que pudesse vencer

not just a single Atari game, but every Atari game.

não apenas um jogo de Atari, mas todos os jogos de Atari.

They developed a system they called Deep Q Networks, or DQN,

Desenvolveram um sistema a que chamaram Deep Q Networks, ou DQN,

and less than two years later, it was superhuman.

e em menos de dois anos tornou-se super-humano.

DQN was getting scores 13 times better

O DQN obtinha pontuações 13 vezes melhores

than professional human games testers at “Breakout,”

do que os testadores humanos de jogos em “Breakout”,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 vezes melhores em “Boxing”

e 25 vezes melhores em “Video Pinball”.

But there was one notable, and glaring, exception.

Mas havia uma exceção notável e evidente.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Quando jogavam “Montezuma’s Revenge”, o DQN não marcava nem um ponto

even after playing for weeks.

mesmo depois de jogar há semanas.

What was it that made this particular game so vexingly difficult for AI?

O que é que aquele jogo tinha de especial para ser tão difícil para a IA?

And what would it take to solve it?

E o que seria preciso para resolver isso?

Spoiler alert: babies.

Vamos revelar: bebés.

We’ll come back to that in a minute.

Já volto a falar disto.

Playing Atari games with AI involves what’s called reinforcement learning,

Jogar jogos de Atari com IA

envolve aquilo a que chamamos aprendizagem reforçada,

where the system is designed to maximize some kind of numerical rewards.

em que o sistema está concebido

para maximizar algumas recompensas numéricas.

In this case, those rewards were simply the game's points.

Neste caso, essas recompensas eram simplesmente a pontuação do jogo.

This underlying goal drives the system to learn which buttons to press

Este objetivo subjacente leva o sistema a aprender quais os botões a premir

and when to press them to get the most points.

e quando os premir para obter mais pontos.

Some systems use model-based approaches, where they have a model of the environment

Alguns sistemas usam abordagens baseadas em modelos

em que têm um modelo do ambiente

that they can use to predict what will happen next

que podem usar para prever o que vai acontecer a seguir,

once they take a certain action.

depois de se realizar uma determinada ação.

DQN, however, is model free.

Mas o DQN não segue nenhum modelo.

Instead of explicitly modeling its environment,

Em vez de modelar explicitamente o seu ambiente,

it just learns to predict, based on the images on screen,

simplesmente aprende a prever, com base nas imagens do ecrã,

how many future points it can expect to earn by pressing different buttons.

quantos pontos pode esperar obter se premir diferentes botões.

For instance, “if the ball is here and I move left, more points,

Por exemplo, “se a bola está aqui e a atirar para a esquerda, mais pontos,

but if I move right, no more points.”

“mas, se atirar para a direita, zero pontos.”

But learning these connections requires a lot of trial and error.

Mas aprender estas ligações exige muita tentativa-erro.

The DQN system would start by mashing buttons randomly,

O sistema DQN começará por premir botões ao acaso,

and then slowly piece together which buttons to mash when

e depois percebe lentamente quais os botões a premir e quando

in order to maximize its score.

a fim de maximizar a pontuação.

But in playing “Montezuma’s Revenge,”

Mas, ao jogar ”Montezuma’s Revenge,”

this approach of random button-mashing fell flat on its face.

esta abordagem de premir botões ao acaso não adianta.

A player would have to perform this entire sequence

Um jogador tem de executar toda esta sequência

just to score their first points at the very end.

só para no fim conseguir os primeiros pontos.

A mistake? Game over.

Um erro? Fim do jogo.

So how could DQN even know it was on the right track?

Como é que o DQN pode saber se estava no caminho certo?

This is where babies come in.

É aqui que entram os bebés.

In studies, infants consistently look longer at pictures

Em estudos, os bebés olham durante mais tempo

they haven’t seen before than ones they have.

para imagens que nunca viram, do que para as que já viram.

There just seems to be something intrinsically rewarding about novelty.

Parece haver qualquer coisa de gratificante na novidade.

This behavior has been essential in understanding the infant mind.

Este comportamento tem sido essencial para entender a mente das crianças.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Ao que parece, também é o segredo para vencer “Montezuma’s Revenge”.

The DeepMind researchers worked out an ingenious way

Os investigadores da DeepMind trabalharam de forma engenhosa

to plug this preference for novelty into reinforcement learning.

para transformarem esta preferência pela novidade em aprendizagem reforçada.

They made it so that unusual or new images appearing on the screen

Fizeram com que as imagens invulgares ou novas que apareciam no ecrã

were every bit as rewarding as real in-game points.

fossem tão gratificantes como pontos dos jogos na realidade.

Suddenly, DQN was behaving totally differently from before.

De repente, o DQN estava comportar-se de forma totalmente diferente.

It wanted to explore the room it was in,

Queria explorar a divisão em que estava,

to grab the key and escape through the locked door—

apanhar a chave e escapar pela porta trancada;

not because it was worth 100 points,

não porque valesse 100 pontos,

but for the same reason we would: to see what was on the other side.

mas pela mesma razão que nós queríamos: para ver o que estava do outro lado.

With this new drive, DQN not only managed to grab that first key—

Com esta nova motivação, o DQN não só conseguiu agarrar a primeira chave,

it explored all the way through 15 of the temple’s 24 chambers.

como explorou 15 das 24 câmaras do templo.

But emphasizing novelty-based rewards can sometimes create more problems

Mas realçar as recompensas com base na novidade

pode, por vezes, criar mais problemas do que os que resolve.

than it solves.

A novelty-seeking system that’s played a game too long

Um sistema que procure a novidade e que jogue demasiado um jogo

will eventually lose motivation.

vai acabar por perder a motivação.

If it’s seen it all before, why go anywhere?

Se já se viu tudo antes, porquê continuar?

Alternately, if it encounters, say, a television, it will freeze.

Em alternativa, se encontrar, digamos, uma televisão, vai paralisar.

The constant novel images are essentially paralyzing.

As imagens novas constantes são paralisantes.

The ideas and inspiration here go in both directions.

As ideias e a inspiração vão nas duas direções.

AI researchers stuck on a practical problem,

Os investigadores de IA, encalhados num problema prático

like how to get DQN to beat a difficult game,

como como levar o DQN a vencer um jogo difícil,

are turning increasingly to experts in human intelligence for ideas.

estão a recorrer cada vez mais a especialistas de inteligência humana

em busca de ideias.

At the same time,

Ao mesmo tempo,

AI is giving us new insights into the ways we get stuck and unstuck:

a IA está a dar-nos novas ideias

sobre a forma como ficamos encalhados e como nos libertamos:

into boredom, depression, and addiction,

no aborrecimento, na depressão e na dependência,

along with curiosity, creativity, and play.

a par da curiosidade, da criatividade e de jogar.