How to get better at video games, according to babies - Brian Christian

Tradutor: Maurício Kakuei Tanaka Revisor: Jorge Santos

In 2013, a group of researchers at DeepMind in London

Em 2013, um grupo de pesquisadores da DeepMind em Londres

had set their sights on a grand challenge.

dedicou-se a um desafio grandioso.

They wanted to create an AI system that could beat,

Eles queriam criar um sistema de IA que pudesse vencer

not just a single Atari game, but every Atari game.

não apenas um jogo de Atari, mas todos os jogos de Atari.

They developed a system they called Deep Q Networks, or DQN,

Eles desenvolveram um sistema que chamaram de Deep Q Networks, ou DQN,

and less than two years later, it was superhuman.

que, em menos de dois anos, tornou-se super-humano.

DQN was getting scores 13 times better

O DQN obtinha pontuações 13 vezes melhores

than professional human games testers at “Breakout,”

do que testadores humanos profissionais de jogos em “Breakout”,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 vezes melhores em “Boxing”

e 25 vezes melhores em “Video Pinball”.

But there was one notable, and glaring, exception.

Mas havia uma exceção notável e evidente.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Quando jogava “Montezuma’s Revenge”, o DQN não conseguia marcar um único ponto

even after playing for weeks.

mesmo depois de jogar por semanas.

What was it that made this particular game so vexingly difficult for AI?

O que aquele jogo tinha de especial para ser tão difícil para a IA?

And what would it take to solve it?

E o que seria preciso para resolvê-lo?

Spoiler alert: babies.

A revelação:

bebês.

We’ll come back to that in a minute.

Voltaremos em breve a esse assunto.

Playing Atari games with AI involves what’s called reinforcement learning,

Disputar jogos de Atari com IA

envolve o que chamamos de aprendizagem por reforço,

where the system is designed to maximize some kind of numerical rewards.

em que o sistema é projetado para maximizar recompensas numéricas.

In this case, those rewards were simply the game's points.

Nesse caso, essas recompensas eram simplesmente a pontuação do jogo.

This underlying goal drives the system to learn which buttons to press

Esse objetivo básico leva o sistema a aprender quais botões pressionar

and when to press them to get the most points.

e quando pressioná-los para ganhar mais pontos.

Some systems use model-based approaches, where they have a model of the environment

Alguns sistemas usam abordagens baseadas em modelos

em que têm um modelo do ambiente

that they can use to predict what will happen next

que podem usar para prever o que vai acontecer a seguir,

once they take a certain action.

depois de realizar uma determinada ação.

DQN, however, is model free.

O DQN, no entanto, não segue modelo algum.

Instead of explicitly modeling its environment,

Em vez de modelar o ambiente de forma explícita,

it just learns to predict, based on the images on screen,

ele só aprende a prever, com base nas imagens da tela,

how many future points it can expect to earn by pressing different buttons.

quantos pontos pode esperar ganhar pressionando botões diferentes.

For instance, “if the ball is here and I move left, more points,

Por exemplo, “se a bola estiver aqui, e eu mover para a esquerda, mais pontos,

but if I move right, no more points.”

mas, se eu mover para a direita, nenhum ponto”.

But learning these connections requires a lot of trial and error.

Mas aprender essas relações exige muita tentativa e erro.

The DQN system would start by mashing buttons randomly,

O sistema DQN começará pressionando botões ao acaso,

and then slowly piece together which buttons to mash when

e depois percebe lentamente quais botões pressionar e quando

in order to maximize its score.

a fim de maximizar a pontuação.

But in playing “Montezuma’s Revenge,”

Mas, ao jogar ”Montezuma’s Revenge”,

this approach of random button-mashing fell flat on its face.

essa abordagem de pressionar botões ao acaso não adianta.

A player would have to perform this entire sequence

Um jogador precisa executar toda esta sequência

just to score their first points at the very end.

só para marcar os primeiros pontos no fim.

A mistake? Game over.

Um erro? Fim de jogo.

So how could DQN even know it was on the right track?

Como o DQN pode saber se estava no caminho certo?

This is where babies come in.

É aqui que entram os bebês.

In studies, infants consistently look longer at pictures

Em estudos, os bebês olham durante mais tempo

they haven’t seen before than ones they have.

para imagens que nunca viram do que para as que já viram.

There just seems to be something intrinsically rewarding about novelty.

Parece haver qualquer coisa de gratificante na novidade.

This behavior has been essential in understanding the infant mind.

Esse comportamento tem sido fundamental para entender a mente dos bebês.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Também se revelou ser o segredo para vencer “Montezuma’s Revenge”.

The DeepMind researchers worked out an ingenious way

Os pesquisadores da DeepMind desenvolveram um modo engenhoso

to plug this preference for novelty into reinforcement learning.

de vincular a preferência pela novidade à aprendizagem por reforço.

They made it so that unusual or new images appearing on the screen

Eles fizeram com que imagens incomuns ou novas que apareciam na tela

were every bit as rewarding as real in-game points.

fossem tão gratificantes como pontos de jogos na realidade.

Suddenly, DQN was behaving totally differently from before.

De repente, o DQN estava se comportando de modo totalmente diferente.

It wanted to explore the room it was in,

Ele queria explorar o lugar em que estava,

to grab the key and escape through the locked door—

pegar a chave e fugir pela porta trancada,

not because it was worth 100 points,

não porque valia 100 pontos,

but for the same reason we would: to see what was on the other side.

mas pela mesma razão que nós:

ver o que estava do outro lado.

With this new drive, DQN not only managed to grab that first key—

Com essa nova motivação, o DQN não só conseguiu pegar a primeira chave,

it explored all the way through 15 of the temple’s 24 chambers.

como explorou 15 das 24 câmaras do templo.

But emphasizing novelty-based rewards can sometimes create more problems

Mas realçar recompensas com base na novidade

pode, às vezes, criar mais problemas

than it solves.

do que resolver.

A novelty-seeking system that’s played a game too long

Um sistema que procure a novidade e dispute demais um jogo

will eventually lose motivation.

vai acabar perdendo a motivação.

If it’s seen it all before, why go anywhere?

Se já viu tudo antes, por que continuar?

Alternately, if it encounters, say, a television, it will freeze.

Alternadamente, se encontrar, digamos, uma televisão, ele vai paralisar.

The constant novel images are essentially paralyzing.

As imagens novas e constantes são paralisantes.

The ideas and inspiration here go in both directions.

As ideias e a inspiração vão em ambas as direções.

AI researchers stuck on a practical problem,

Pesquisadores de IA presos em um problema prático,

like how to get DQN to beat a difficult game,

como o modo de levar o DQN a vencer um jogo difícil,

are turning increasingly to experts in human intelligence for ideas.

recorrem cada vez mais a especialistas de inteligência humana em busca de ideias.

At the same time,

Ao mesmo tempo,

AI is giving us new insights into the ways we get stuck and unstuck:

a IA nos dá novas percepções sobre a forma como ficamos presos e nos soltamos:

into boredom, depression, and addiction,

no tédio, na depressão e no vício,

along with curiosity, creativity, and play.

com curiosidade, criatividade e jogo.