How to get better at video games, according to babies - Brian Christian

Tłumaczenie: Katarzyna Bohowicz Korekta: Ola Królikowska

In 2013, a group of researchers at DeepMind in London

W 2013 roku grupa programistów z DeepMind w Londynie

had set their sights on a grand challenge.

wzięła na siebie potężne wyzwanie.

They wanted to create an AI system that could beat,

Chcieli stworzyć sztuczną inteligencję,

która przeszłaby nie jedną, a wszystkie gry Atari.

not just a single Atari game, but every Atari game.

They developed a system they called Deep Q Networks, or DQN,

Stworzyli system Deep Q Networks, czyli DQN,

and less than two years later, it was superhuman.

który w mniej niż dwa lata stałby się nadczłowiekiem.

DQN was getting scores 13 times better

DQN zdobywał wyniki 13 razy lepsze

than professional human games testers at “Breakout,”

niż profesjonali ludzcy testerzy gier w “Breakout”,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 razy lepsze w “Boxing” i 25 razy lepsze “Video Pinball”.

But there was one notable, and glaring, exception.

Ale był jeden rażący wyjątek.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Grając w “Zemstę Montezumy”, DQN nie zdobył ani jednego punktu,

even after playing for weeks.

nawet po całych tygodniach gry.

What was it that made this particular game so vexingly difficult for AI?

Co sprawiło, że ta konkretna gra stała się dla programu tak trudna?

And what would it take to solve it?

Jak to naprawić?

Spoiler alert: babies.

Uwaga, spoiler: dzieci.

We’ll come back to that in a minute.

Za moment do tego wrócimy.

Playing Atari games with AI involves what’s called reinforcement learning,

Grając w gry Atari, AI wymaga tak zwanego “uczenia przez wzmacnianie”,

where the system is designed to maximize some kind of numerical rewards.

gdzie system zaprojektowany jest do maksymalizowania liczby nagród.

In this case, those rewards were simply the game's points.

W tym przypadku te nagrody to punkty w grze.

This underlying goal drives the system to learn which buttons to press

Cel zmusza program do nauczenia, jakie przyciski wciskać

and when to press them to get the most points.

i kiedy je wciskać, żeby zdobyć jak najwięcej punktów.

Some systems use model-based approaches, where they have a model of the environment

Niektóre systemy używają modeli, gdzie mając model środowiska

that they can use to predict what will happen next

są w stanie przewidzieć, co się stanie,

once they take a certain action.

kiedy podejmą dane działanie.

DQN, however, is model free.

DQN jednak nie opiera się na modelach.

Instead of explicitly modeling its environment,

Bez dokładnego modelowania środowiska

it just learns to predict, based on the images on screen,

po prostu uczy się przewidywania na podstawie tego, co widzi na ekranie.

how many future points it can expect to earn by pressing different buttons.

Ilu punktów może się spodziewać, wciskając różne przyciski.

For instance, “if the ball is here and I move left, more points,

Na przykład “jeśli piłeczka jest tutaj, a ja ruszę w lewo - więcej punktów,

but if I move right, no more points.”

jeśli ruszę w prawo - zero punktów”.

But learning these connections requires a lot of trial and error.

Ale uczenie się tych zależności wymaga sporej ilości powtórzeń.

The DQN system would start by mashing buttons randomly,

DQN najpierw wciska przyciski przypadkowo,

and then slowly piece together which buttons to mash when

a potem powoli uczy się, kiedy wcisnąć jakie przyciski,

in order to maximize its score.

żeby zmaksymalizować wynik.

But in playing “Montezuma’s Revenge,”

Ale grając w “Zemstę Montezumy”,

this approach of random button-mashing fell flat on its face.

metoda wciskania przypadkowych przycisków na nic się nie zda.

A player would have to perform this entire sequence

Gracz musi wykonać całą sekwencję,

just to score their first points at the very end.

żeby na samym końcu zdobyć pierwszy punkt.

A mistake? Game over.

Jeden błąd? Koniec gry.

So how could DQN even know it was on the right track?

Skąd DQN miał wiedzieć, że jest na dobrej drodze?

This is where babies come in.

I tutaj wchodzą dzieci.

In studies, infants consistently look longer at pictures

Według badań noworodki patrzą dłużej na obrazy,

they haven’t seen before than ones they have.

których nie znają, niż na te, które już widziały.

There just seems to be something intrinsically rewarding about novelty.

Najwyraźniej jest coś urzekającego w patrzeniu na nowości.

This behavior has been essential in understanding the infant mind.

To zachowanie było kluczowe w rozumieniu umysłu noworodka.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Okazało się również kluczem do pokonania “Zemsty Montezumy”.

The DeepMind researchers worked out an ingenious way

Programiści DeepMind wypracowali sprytny sposób

to plug this preference for novelty into reinforcement learning.

na wprowadzenie chęci szukania nowości do metody “uczenia przez wzmacnianie”.

They made it so that unusual or new images appearing on the screen

Zrobili to tak, żeby nowe i nietypowe obrazy pojawiające się na ekranie

were every bit as rewarding as real in-game points.

były równie satysfakcjonujące, jak prawdziwe punkty w grze.

Suddenly, DQN was behaving totally differently from before.

Nagle DQN zaczął się zachowywać zupełnie inaczej niż wcześniej.

It wanted to explore the room it was in,

Chciał przeszukać pokój, w którym był,

to grab the key and escape through the locked door—

zgarnąć klucz i uciec przez zamknięte drzwi,

not because it was worth 100 points,

nie dlatego, że było to warte 100 punktów,

but for the same reason we would: to see what was on the other side.

ale z tego samego powodu co my, żeby zobaczyć, co jest po drugiej stronie.

With this new drive, DQN not only managed to grab that first key—

Z tym nowym celem DQN nie tylko zebrał pierwszy klucz,

it explored all the way through 15 of the temple’s 24 chambers.

ale przeszedł przez 15 z 24 komnat świątyni.

But emphasizing novelty-based rewards can sometimes create more problems

Jednak szukanie jedynie nowości może spowodować więcej problemów

than it solves.

niż rozwiązać.

A novelty-seeking system that’s played a game too long

Program szukający nowości, który gra w grę za długo,

will eventually lose motivation.

w końcu straci motywację.

If it’s seen it all before, why go anywhere?

Jeśli już wszystko widział wcześniej, po co gdziekolwiek iść?

Alternately, if it encounters, say, a television, it will freeze.

A jeśli napotka na przykład telewizor, to stanie w miejscu.

The constant novel images are essentially paralyzing.

Ciągłe nowe obrazy są właściwie paraliżujące.

The ideas and inspiration here go in both directions.

Pomysły i inspiracje działają tu w obie strony.

AI researchers stuck on a practical problem,

Programiści zajmujący się praktycznym problemem

like how to get DQN to beat a difficult game,

jak sprawienie, żeby DQN wygrał trudną grę,

are turning increasingly to experts in human intelligence for ideas.

coraz częściej zwracają się do ekspertów z dziedziny ludzkiej inteligencji.

At the same time,

W tym samym czasie

AI is giving us new insights into the ways we get stuck and unstuck:

AI daje nam nowy wgląd w to, jak wpadamy i wychodzimy

into boredom, depression, and addiction,

z nudy, depresji i uzależnienia,

along with curiosity, creativity, and play.

a także ciekawości, kreatywności i zabawy.