How to get better at video games, according to babies - Brian Christian

Переводчик: Olga Lazareva Редактор: Rostislav Golod

In 2013, a group of researchers at DeepMind in London

В 2013 году в Лондоне группа учёных DeepMind

had set their sights on a grand challenge.

поставила перед собой серьёзную задачу.

They wanted to create an AI system that could beat,

Они хотели создать искусственный интеллект (ИИ), способный победить

not just a single Atari game, but every Atari game.

не просто в одной игре Atari, а во всех таких играх.

They developed a system they called Deep Q Networks, or DQN,

Они разработали систему под названием Deep Q Networks (DQN),

and less than two years later, it was superhuman.

и менее чем через 2 года этот ИИ превзошёл человека.

DQN was getting scores 13 times better

DQN играл в аркадную игру «Breakout» в 13 раз лучше,

than professional human games testers at “Breakout,”

чем профессиональные тестировщики,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

в 17 раз превосходил их в «Boxing» и в 25 раз — в «Video Pinball».

But there was one notable, and glaring, exception.

Но было одно серьёзное и явное исключение.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Играя в платформер «Montezuma’s Revenge», DQN не мог заработать ни очка,

even after playing for weeks.

даже в течение нескольких недель.

What was it that made this particular game so vexingly difficult for AI?

Но почему именно эта игра оказалась настолько сложной для ИИ?

And what would it take to solve it?

И как ситуацию можно было исправить?

Spoiler alert: babies.

Спойлер — младенцы.

We’ll come back to that in a minute.

О них речь ещё впереди.

Playing Atari games with AI involves what’s called reinforcement learning,

Для прохождения игр Atari в ИИ применяется метод обучения с подкреплением,

where the system is designed to maximize some kind of numerical rewards.

когда система настроена на максимальное численное вознаграждение.

In this case, those rewards were simply the game's points.

В данном случае это игровые очки.

This underlying goal drives the system to learn which buttons to press

И ради этой цели система обучается «нажимать» на правильные кнопки

and when to press them to get the most points.

в нужное время для получения наибольшего количества очков.

Some systems use model-based approaches, where they have a model of the environment

Есть системы с модельным мышлением, составляющие модель среды,

that they can use to predict what will happen next

в которой они прогнозируют дальнейшие события

once they take a certain action.

после совершения конкретного действия.

DQN, however, is model free.

Но DQN не использует модели.

Instead of explicitly modeling its environment,

Вместо детального моделирования среды

it just learns to predict, based on the images on screen,

он учится предсказывать по изображениям на экране

how many future points it can expect to earn by pressing different buttons.

количество возможных очков при нажатии разных кнопок.

For instance, “if the ball is here and I move left, more points,

Например, «если шарик подвинуть влево, я получу больше очков,

but if I move right, no more points.”

а если вправо — ни одного».

But learning these connections requires a lot of trial and error.

Но такое обучение предполагает множество проб и ошибок.

The DQN system would start by mashing buttons randomly,

DQN начинает с нажатия случайной комбинации кнопок

and then slowly piece together which buttons to mash when

и потом сопоставляет, какие комбинации и когда именно

in order to maximize its score.

дают максимальный счёт.

But in playing “Montezuma’s Revenge,”

А вот в игре «Montezuma’s Revenge»

this approach of random button-mashing fell flat on its face.

такой поход перебора случайных комбинаций не сработал.

A player would have to perform this entire sequence

Игроку нужно было пройти весь путь,

just to score their first points at the very end.

чтобы в самом конце заработать какие-то очки.

A mistake? Game over.

Ошибся? Игра окончена.

So how could DQN even know it was on the right track?

Как же DQN мог понять, что он двигается в верном направлении?

This is where babies come in.

Здесь-то и пригодились маленькие дети.

In studies, infants consistently look longer at pictures

Согласно исследованиям, младенцы всегда смотрят дольше

they haven’t seen before than ones they have.

на незнакомые им изображения, чем на те, что уже видели раньше.

There just seems to be something intrinsically rewarding about novelty.

Как будто они получают вознаграждение от всего нового.

This behavior has been essential in understanding the infant mind.

Такое поведение легло в основу понимания того, как мыслят младенцы.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Оказалось, что в этом и заключался секрет прохождения «Montezuma’s Revenge».

The DeepMind researchers worked out an ingenious way

Исследователи из DeepMind придумали хитрый способ

to plug this preference for novelty into reinforcement learning.

добавить стремление к новизне в подкреплённое обучение.

They made it so that unusual or new images appearing on the screen

Они сделали так, что вывод на экран необычных или новых изображений

were every bit as rewarding as real in-game points.

также позволял зарабатывать игровые очки.

Suddenly, DQN was behaving totally differently from before.

Внезапно DQN стал вести себя иначе.

It wanted to explore the room it was in,

Он захотел исследовать комнату,

to grab the key and escape through the locked door—

взять ключ и пройти через закрытую дверь,

not because it was worth 100 points,

но не из-за награды в 100 очков,

but for the same reason we would: to see what was on the other side.

а по причине, близкой всем нам: узнать, что же будет дальше.

With this new drive, DQN not only managed to grab that first key—

В таком режиме DQN не только нашёл первый ключ,

it explored all the way through 15 of the temple’s 24 chambers.

а полностью исследовал 15 из 24 комнат пирамиды.

But emphasizing novelty-based rewards can sometimes create more problems

Но акцент на поощрении нового опыта может иногда создавать больше проблем,

than it solves.

чем решений.

A novelty-seeking system that’s played a game too long

Стремление к новому настолько увеличивает время игры,

will eventually lose motivation.

что теряется мотивация.

If it’s seen it all before, why go anywhere?

Если уже всё видел, зачем ещё куда-то идти?

Alternately, if it encounters, say, a television, it will freeze.

Или если он обнаружит, скажем, телевизор, то застынет на месте.

The constant novel images are essentially paralyzing.

Новые изображения фактически парализуют.

The ideas and inspiration here go in both directions.

Так что идеи и вдохновение могут давать разные результаты.

AI researchers stuck on a practical problem,

Исследователи ИИ не могли решить,

like how to get DQN to beat a difficult game,

как заставить DQN выиграть в сложной игре,

are turning increasingly to experts in human intelligence for ideas.

и постоянно обращались к специалистам по человеческому мышлению за идеями.

At the same time,

В то же время

AI is giving us new insights into the ways we get stuck and unstuck:

ИИ дал новое понимание, как мы попадаем в тупик и выходим из него:

into boredom, depression, and addiction,

почему возникают скука, депрессия и зависимость

along with curiosity, creativity, and play.

наравне с любознательностью, творчеством и игрой.