How to get better at video games, according to babies - Brian Christian

翻訳: sola watanabe 校正: Tomoyuki Suzuki

In 2013, a group of researchers at DeepMind in London

2013年 ロンドンにある DeepMind社の研究グループは

had set their sights on a grand challenge.

ある壮大な挑戦をしました

They wanted to create an AI system that could beat,

アタリ社のゲーム１本のみならず

not just a single Atari game, but every Atari game.

アタリ社のゲームすべてをクリアできる AIシステムを作りたいと考えました

They developed a system they called Deep Q Networks, or DQN,

Deep Q Networks(DQN)という システムを開発し

and less than two years later, it was superhuman.

２年も経たないうちに 超人的な性能になりました

DQN was getting scores 13 times better

DQNは人間のプロゲームテスターよりも よいスコアを出したのです

than professional human games testers at “Breakout,”

『ブレイクアウト』は プロゲームテスターの13倍

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

『ボクシング』は17倍 『ビデオピンボール』は25倍 上回りました

But there was one notable, and glaring, exception.

しかし１つだけ注目すべき かつ 目立った例外がありました

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

『モンテスマの復讐』をプレイしたDQNは

even after playing for weeks.

何週間プレイしても １点も取れなかったのです

What was it that made this particular game so vexingly difficult for AI?

AIにとってこのゲームが とても難しい理由は何だったのでしょう?

And what would it take to solve it?

そして それを解決するために 何が必要なのでしょうか?

Spoiler alert: babies.

ネタバレ注意 それは「赤ちゃん」です

We’ll come back to that in a minute.

この話は後ほど

Playing Atari games with AI involves what’s called reinforcement learning,

AIがアタリのゲームをプレイするのに 「強化学習」が使われています

where the system is designed to maximize some kind of numerical rewards.

数値で表される種の報酬を最大化するように システムが設計されています

In this case, those rewards were simply the game's points.

この場合の報酬は単純に ゲームの得点のことです

This underlying goal drives the system to learn which buttons to press

この背後にある目的によって より高い点数を得るために

and when to press them to get the most points.

どのボタンをいつ押すべきかという 学習が促進されます

Some systems use model-based approaches, where they have a model of the environment

一部のシステムでは モデルベースのアプローチを用いており

that they can use to predict what will happen next

環境のモデルがあり これを用いると ある行動をとった時に

once they take a certain action.

次に何が起きるかを 予測することができます

DQN, however, is model free.

しかしDQNはモデルフリーです

Instead of explicitly modeling its environment,

環境を明示的にモデル化するのではなく

it just learns to predict, based on the images on screen,

異なるボタンを押すと

how many future points it can expect to earn by pressing different buttons.

画面上の画像を元にした予測を 学習するに過ぎません

For instance, “if the ball is here and I move left, more points,

例えば「ボールがここにあって 左に動けばポイントがとれるが

but if I move right, no more points.”

右に動けばこれ以上ポイントがとれない」 といった具合です

But learning these connections requires a lot of trial and error.

しかし この一連の関連性を学ぶには 試行錯誤を繰り返す必要があります

The DQN system would start by mashing buttons randomly,

DQNシステムは まず無作為にボタンを ガンガンと押してゆき

and then slowly piece together which buttons to mash when

どのボタンをどのタイミングで押せば スコアが最大になるかという情報の断片を

in order to maximize its score.

少しづつ繋ぎ合わせていきます

But in playing “Montezuma’s Revenge,”

しかし『モンテスマの復讐』を プレイしたときは

this approach of random button-mashing fell flat on its face.

無作為にボタンを押すという方法は 通用しませんでした

A player would have to perform this entire sequence

プレイヤーが最後の最後に やっと得られる得点を得るためだけに

just to score their first points at the very end.

このような一連の動作を 行わなければなりません

A mistake? Game over.

ミスをしたら？ ゲームオーバーです

So how could DQN even know it was on the right track?

ではDQNはどうしたら自分が正しい方向に 進んでいるかを理解できたのでしょうか

This is where babies come in.

ここで赤ちゃんの出番です

In studies, infants consistently look longer at pictures

研究で 赤ちゃんは いつも 以前見た絵より ―

they haven’t seen before than ones they have.

見たことのない絵を 長く見ることが分かりました

There just seems to be something intrinsically rewarding about novelty.

どうやら新しさには 何か本質的な価値があるようです

This behavior has been essential in understanding the infant mind.

この行動は 乳幼児の心を理解する上で 欠かせないものです

It also turned out to be the secret to beating “Montezuma’s Revenge.”

また これこそが『モンテスマの復讐』を クリアする秘訣であることも判明しました

The DeepMind researchers worked out an ingenious way

DeepMind社の研究者たちは この目新しさへの嗜好を

to plug this preference for novelty into reinforcement learning.

強化学習に組み込む 巧妙な方法を開発しました

They made it so that unusual or new images appearing on the screen

画面に表示される珍しい画像や 新しい画像が

were every bit as rewarding as real in-game points.

実際のゲーム内のスコアと同じぐらい 価値があるようにしたのです

Suddenly, DQN was behaving totally differently from before.

するとDQNはそれまでとは まったく違う行動をとるようになりました

It wanted to explore the room it was in,

DQNは自分がいる部屋を探索し

to grab the key and escape through the locked door—

鍵を手に入れて鍵のかかったドアから 脱出しようとしました

not because it was worth 100 points,

それは100ポイントの 価値があるからではなく

but for the same reason we would: to see what was on the other side.

私たちと同じ理由で 「向こう側に何があるか見てみたい」からです

With this new drive, DQN not only managed to grab that first key—

DQNはこの新たな原動力によって 最初の鍵を手に入れることができただけでなく

it explored all the way through 15 of the temple’s 24 chambers.

神殿の24ある部屋のうち 15部屋まで探索しました

But emphasizing novelty-based rewards can sometimes create more problems

しかし目新しさを重視した報酬は 時に解決する問題よりも多くの問題を

than it solves.

引き起こすことがあります

A novelty-seeking system that’s played a game too long

目新しさを求めるシステムは 一つのゲームを長くプレイしていると

will eventually lose motivation.

やがて改善の動機づけを失っていきます

If it’s seen it all before, why go anywhere?

見たことがある場面だけになったら どこへ行けばよいのでしょうか？

Alternately, if it encounters, say, a television, it will freeze.

あるいは 例えばテレビのようなものに 遭遇するとフリーズしてしまいます

The constant novel images are essentially paralyzing.

常に目新しい映像が流れるため どうしても麻痺してしまうのです

The ideas and inspiration here go in both directions.

ここでのアイデアや着想は 良くも悪くもなり得ます

AI researchers stuck on a practical problem,

AI研究者が現実的な問題に 行き詰ったとき

like how to get DQN to beat a difficult game,

例えばDQNに難しいゲームをクリア させるにはどうしたらいいかなど

are turning increasingly to experts in human intelligence for ideas.

高い知性をもった専門家に アイデアを求めることが増えています

At the same time,

それと同時に

AI is giving us new insights into the ways we get stuck and unstuck:

AIは 人間がどのようにして

into boredom, depression, and addiction,

退屈 うつ 依存症に陥ったり

along with curiosity, creativity, and play.

好奇心 創造力 遊びによって解放されるかの 新たな洞察を与えているのです