How to get better at video games, according to babies - Brian Christian

Traductor: Tomás Sosa Revisor: Sebastian Betti

In 2013, a group of researchers at DeepMind in London

En 2013, un grupo de investigadores en DeepMind en Londres

had set their sights on a grand challenge.

había puesto su mirada en un gran desafío.

They wanted to create an AI system that could beat,

Quería crear un sistema de IA que pudiera vencer,

not just a single Atari game, but every Atari game.

no solo a un juego Atari, sino a todos.

They developed a system they called Deep Q Networks, or DQN,

Desarrollaron un sistema que llamaron Deep Q Networks o DQN,

and less than two years later, it was superhuman.

y menos de dos años después, ya era un superhumano.

DQN was getting scores 13 times better

DQN obtenía puntajes 13 veces mejor

than professional human games testers at “Breakout,”

que evaluadores profesionales de juegos en “Breakout”,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 veces mejor en “Boxing”, y 25 veces mejor en “Video Pinball”.

But there was one notable, and glaring, exception.

Pero había una excepción destacada y evidente.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Cuando jugaba a “Montezuma’s Revenge” DQN no podía anotar ni un solo punto,

even after playing for weeks.

incluso después de jugar durante semanas.

What was it that made this particular game so vexingly difficult for AI?

¿Qué fue lo que hizo que este juego fuera tan difícil para la IA?

And what would it take to solve it?

Y ¿qué haría falta para resolverlo?

Spoiler alert: babies.

Alerta de spoiler: bebés.

We’ll come back to that in a minute.

Volveremos a eso en un minuto.

Playing Atari games with AI involves what’s called reinforcement learning,

Jugar juegos Atari con IA involucra lo que se llama aprendizaje por refuerzo,

where the system is designed to maximize some kind of numerical rewards.

donde el sistema es diseñado para aumentar algún tipo de recompensa numérica.

In this case, those rewards were simply the game's points.

En este caso, esas recompensas eran simplemente los puntos del juego.

This underlying goal drives the system to learn which buttons to press

Este objetivo básico guía al sistema para aprender qué botones presionar

and when to press them to get the most points.

y cuándo apretarlos para obtener la mayor cantidad de puntos.

Some systems use model-based approaches, where they have a model of the environment

Algunos sistemas utilizan enfoques basados en modelos,

donde tienen un modelo del entorno

that they can use to predict what will happen next

que pueden utilizar para predecir lo que sucederá a continuación

once they take a certain action.

cuando realicen una acción determinada.

DQN, however, is model free.

Sin embargo, DQN es un modelo libre.

Instead of explicitly modeling its environment,

En lugar de modelar explícitamente su entorno,

it just learns to predict, based on the images on screen,

solo aprende a predecir, basado en las imágenes en pantalla,

how many future points it can expect to earn by pressing different buttons.

cuántos puntos puede esperar ganar pulsando diferentes botones.

For instance, “if the ball is here and I move left, more points,

Por ejemplo, “si la bola está aquí y se mueve hacia la izquierda, más puntos,

but if I move right, no more points.”

pero si se mueve hacia la derecha, no más puntos”.

But learning these connections requires a lot of trial and error.

Pero aprender estas conexiones requiere mucho de prueba y error.

The DQN system would start by mashing buttons randomly,

El sistema DQN empezó pulsando botones al azar,

and then slowly piece together which buttons to mash when

y luego lentamente fue resolviendo qué botones pulsar y cuándo

in order to maximize its score.

para aumentar su puntuación.

But in playing “Montezuma’s Revenge,”

Pero jugando “Montezuma’s Revenge”,

this approach of random button-mashing fell flat on its face.

este enfoque de presionar botones al azar quedó en la nada.

A player would have to perform this entire sequence

Un jugador tuvo que realizar toda esta secuencia

just to score their first points at the very end.

solo para anotar sus primeros puntos al final.

A mistake? Game over.

¿Un error? Se acabó el juego.

So how could DQN even know it was on the right track?

Entonces, ¿cómo pudo saber DQN que estaba en el camino correcto?

This is where babies come in.

Aquí es donde aparecen los bebés.

In studies, infants consistently look longer at pictures

En estudios, los niños miran

sistemáticamente durante más tiempo las imágenes

they haven’t seen before than ones they have.

que no han visto antes que las que sí han visto.

There just seems to be something intrinsically rewarding about novelty.

Parece que hay algo intrínsecamente gratificante en la novedad.

This behavior has been essential in understanding the infant mind.

Este comportamiento ha sido esencial en la comprensión de la mente infantil.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

También resultó ser el secreto para derrotar a “Montezuma’s Revenge”.

The DeepMind researchers worked out an ingenious way

Los investigadores de DeepMind elaboraron una ingeniosa manera

to plug this preference for novelty into reinforcement learning.

de incorporar esta preferencia por la novedad en el aprendizaje por refuerzo.

They made it so that unusual or new images appearing on the screen

Hicieron que las imágenes inusuales o nuevas que aparecían en pantalla

were every bit as rewarding as real in-game points.

fueran tan gratificantes como los puntos reales del juego.

Suddenly, DQN was behaving totally differently from before.

De repente, DQN se estaba comportando totalmente diferente que antes.

It wanted to explore the room it was in,

Quería explorar la habitación en la que estaba,

to grab the key and escape through the locked door—

para agarrar la llave y escapar a través de la puerta cerrada...

not because it was worth 100 points,

no porque valiera 100 puntos,

but for the same reason we would: to see what was on the other side.

sino por la misma razón por la que lo haríamos nosotros:

para ver qué hay del otro lado.

With this new drive, DQN not only managed to grab that first key—

Con este nuevo accionar, DQN no solo lograba agarrar la primera llave...

it explored all the way through 15 of the temple’s 24 chambers.

también exploraba todo el camino a través de 15 de las 24 cámaras del templo.

But emphasizing novelty-based rewards can sometimes create more problems

Pero enfatizar en las recompensas con base en la novedad

a veces puede crear más problemas de los que resuelve.

than it solves.

A novelty-seeking system that’s played a game too long

Un sistema que busca la novedad que ha jugado un juego demasiado largo

will eventually lose motivation.

acabará perdiendo la motivación.

If it’s seen it all before, why go anywhere?

Si lo ha visto todo antes, ¿por qué ir a cualquier parte?

Alternately, if it encounters, say, a television, it will freeze.

En cambio, si se encuentra, por ejemplo, con un televisor, se congelará.

The constant novel images are essentially paralyzing.

Las imágenes constantes y novedosas son esencialmente paralizantes.

The ideas and inspiration here go in both directions.

Las ideas e inspiraciones aquí van en ambas direcciones.

AI researchers stuck on a practical problem,

Los investigadores de IA atascados en un problema práctico,

like how to get DQN to beat a difficult game,

como hacer que DQN derrote a un juego complicado,

are turning increasingly to experts in human intelligence for ideas.

recurren cada vez más a expertos en inteligencia humana en busca de ideas.

At the same time,

Al mismo tiempo,

AI is giving us new insights into the ways we get stuck and unstuck:

la IA nos ofrece nuevos datos sobre las formas en que nos atascamos y desatascamos

into boredom, depression, and addiction,

en el aburrimiento, la depresión y la adicción,

along with curiosity, creativity, and play.

junto con la curiosidad, la creatividad y el juego.