How to get better at video games, according to babies - Brian Christian

Traducător: Krisztina Flora Antal Corector: Cristina Nicolae

In 2013, a group of researchers at DeepMind in London

În 2013, un grup de cercetători de la DeepMind, Londra,

had set their sights on a grand challenge.

puseseră ochii pe o mare provocare.

They wanted to create an AI system that could beat,

Au vrut să creeze un sistem de IA care să poată învinge

not just a single Atari game, but every Atari game.

nu doar un singur joc Atari, ci fiecare joc Atari.

They developed a system they called Deep Q Networks, or DQN,

Au dezvoltat un sistem pe care l-au numit Deep Q Networks, sau DQN,

and less than two years later, it was superhuman.

iar în mai puțin de doi ani a devenit supraomenesc.

DQN was getting scores 13 times better

DQN a obținut scoruri de 13 ori mai bune

than professional human games testers at “Breakout,”

decât testerii profesioniști de jocuri la „Breakout”,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

de 17 ori mai bune la „Boxing”, și de 25 de ori la „Video Pinball.”

But there was one notable, and glaring, exception.

Dar a existat o excepție notabilă și flagrantă.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Când juca „Montezuma’s Revenge”, DQN nu a putut înscrie niciun punct,

even after playing for weeks.

chiar dacă a jucat săptămâni întregi.

What was it that made this particular game so vexingly difficult for AI?

Ce anume a făcut ca acest joc să fie atât de dificil pentru IA?

And what would it take to solve it?

Și de ce ar fi nevoie pentru a-l rezolva?

Spoiler alert: babies.

Fiți atenți: bebeluși.

We’ll come back to that in a minute.

Vom reveni la asta într-un minut.

Playing Atari games with AI involves what’s called reinforcement learning,

A juca jocuri Atari cu IA implică ceea ce numim consolidarea învățării,

where the system is designed to maximize some kind of numerical rewards.

unde sistemul este proiectat să maximizeze niște recompense numerice.

In this case, those rewards were simply the game's points.

În acest caz, acele recompense erau pur și simplu punctele din joc.

This underlying goal drives the system to learn which buttons to press

Acest obiectiv de bază determină sistemul să învețe ce butoane să apese

and when to press them to get the most points.

și când să le apese pentru a obține cele mai multe puncte.

Some systems use model-based approaches, where they have a model of the environment

Unele sisteme utilizează abordări bazate pe modele,

în care au un model al mediului

that they can use to predict what will happen next

care se poate folosi pentru a prezice ce se va întâmpla

once they take a certain action.

odată ce vor întreprinde anumite acțiuni.

DQN, however, is model free.

DQN, însă, nu are modele.

Instead of explicitly modeling its environment,

În loc să-și modeleze în mod explicit mediul,

it just learns to predict, based on the images on screen,

doar învață să prezică, pe baza imaginilor de pe ecran,

how many future points it can expect to earn by pressing different buttons.

la câte puncte să se aștepte în viitor, prin apăsarea diferitelor butoane.

For instance, “if the ball is here and I move left, more points,

De exemplu: „dacă mingea este aici și mă mișc la stânga, mai multe puncte,

but if I move right, no more points.”

dar dacă mă mișc la dreapta, fără puncte.”

But learning these connections requires a lot of trial and error.

Dar învățarea acestor conexiuni implică multe încercări și greșeli.

The DQN system would start by mashing buttons randomly,

Sistemul DQN ar începe prin a apăsa butoanele la întâmplare,

and then slowly piece together which buttons to mash when

iar apoi ar înțelege ce butoane să apese și când

in order to maximize its score.

pentru a-și maximiza scorul.

But in playing “Montezuma’s Revenge,”

Dar în jocul „Montezuma’s Revenge,”

this approach of random button-mashing fell flat on its face.

această abordare a apăsării butoanelor la întâmplare a dat greș.

A player would have to perform this entire sequence

Un jucător ar trebui să execute toată această secvență

just to score their first points at the very end.

doar pentru a înscrie primele puncte chiar la sfârșit.

A mistake? Game over.

O singură greșeală? Se termină jocul.

So how could DQN even know it was on the right track?

Deci, cum a putut DQN să știe că este pe drumul cel bun?

This is where babies come in.

Aici intervin bebelușii.

In studies, infants consistently look longer at pictures

În studii se spune că bebelușii se uită mai mult la fotografiile

they haven’t seen before than ones they have.

pe care nu le-au mai văzut înainte decât la cele văzute.

There just seems to be something intrinsically rewarding about novelty.

Pare să existe ceva intrinsec satisfăcător în ceea ce privește noutatea.

This behavior has been essential in understanding the infant mind.

Acest comportament a fost esențial în înțelegerea minții copilului.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

De asemenea, s-a dovedit a fi secretul pentru a învinge „Montezuma’s Revenge.”

The DeepMind researchers worked out an ingenious way

Cercetătorii DeepMind au găsit o modalitate ingenioasă

to plug this preference for novelty into reinforcement learning.

de a lega preferința pentru noutate de învățarea prin consolidare.

They made it so that unusual or new images appearing on the screen

Au făcut ca imaginile neobișnuite sau noi care apăreau pe ecran

were every bit as rewarding as real in-game points.

să fie la fel de satisfăcătoare ca și punctele reale din joc.

Suddenly, DQN was behaving totally differently from before.

Dintr-o dată, DQN se comporta complet diferit.

It wanted to explore the room it was in,

Vroia să exploreze camera în care se afla,

to grab the key and escape through the locked door—

să apuce cheia și să scape prin ușa încuiată -

not because it was worth 100 points,

nu pentru că ar fi valorat 100 de puncte,

but for the same reason we would: to see what was on the other side.

ci din același motiv pentru care am face-o și noi: să vadă ce era de cealaltă parte.

With this new drive, DQN not only managed to grab that first key—

Cu această nouă unitate, DQN nu doar a reușit să ia prima cheie -

it explored all the way through 15 of the temple’s 24 chambers.

ci a explorat 15 dintre cele 24 de camere ale templului.

But emphasizing novelty-based rewards can sometimes create more problems

Dar accentuarea recompenselor inedite poate crea uneori mai multe probleme

than it solves.

decât ar rezolva.

A novelty-seeking system that’s played a game too long

Un sistem de căutare a noutăților care a jucat un joc prea mult timp

will eventually lose motivation.

își va pierde în cele din urmă motivația.

If it’s seen it all before, why go anywhere?

Dacă ai văzut totul înainte, de ce să mai mergi undeva?

Alternately, if it encounters, say, a television, it will freeze.

Alternativ, dacă întâlnește, să zicem, un televizor, va îngheța.

The constant novel images are essentially paralyzing.

Imaginile noi constante sunt în esență paralizante.

The ideas and inspiration here go in both directions.

Ideile și inspirația de aici merg în ambele direcții.

AI researchers stuck on a practical problem,

Cercetătorii IA blocați la o problemă practică,

like how to get DQN to beat a difficult game,

cum ar fi să faci DQN să învingă un joc dificil,

are turning increasingly to experts in human intelligence for ideas.

tot mai mult apelează pentru idei la experți în inteligența umană.

At the same time,

În același timp,

AI is giving us new insights into the ways we get stuck and unstuck:

IA ne dă noi perspective asupra modurilor în care ne blocăm și ne deblocăm:

into boredom, depression, and addiction,

în plictiseală, depresie și dependență,

along with curiosity, creativity, and play.

împreună cu curiozitate, creativitate și joc.