How to get better at video games, according to babies - Brian Christian

Translator: Sanntint Tint Reviewer: Myo Aung

In 2013, a group of researchers at DeepMind in London

၂၀၁၃ ခုနှစ်မှာ လန်ဒန်မှာရှိတဲ့ DeepMind က သုတေသီတစ်စုဟာ

had set their sights on a grand challenge.

စိန်ခေါ်မှုကြီးတစ်ခုမှာ မရမနေ အားထုတ်ခဲ့တယ်။

They wanted to create an AI system that could beat,

သူတို့ဟာ Atari ဂိမ်းတစ်ခုတည်းကို သာမက Atari ဂိမ်းတိုင်းကို

not just a single Atari game, but every Atari game.

အနိုင်တိုက်နိုင်တဲ့ AI စနစ်တစ်ခုကို ဖန်တီးချင်ခဲ့တယ်။

They developed a system they called Deep Q Networks, or DQN,

Deep Q Networks (သို့) DQN လို့ ခေါ်တဲ့ စနစ်တစ်ခုကို တီထွင်ခဲ့ပြီး

and less than two years later, it was superhuman.

နောက် နှစ်နှစ် မရှိတရှိအချိန်မှာ ဒါက မဟာလူသားဖြစ်ခဲ့တယ်။

DQN was getting scores 13 times better

DQN က ကျွမ်းကျင် လူသား ဂိမ်း စမ်းသပ်သူတွေ ထက် Breakout မှာ ၁၃ ဆ၊

than professional human games testers at “Breakout,”

“Boxing”မှာ ၁၇ ဆ၊

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

“Video Pinball”မှာ ၂၅ ဆ ပိုပြီး အမှတ်ကောင်းလာနေတယ်။

But there was one notable, and glaring, exception.

ဒါပေမဲ့ သတိပြုမိလောက်ပြီး ထင်ရှားနေတဲ့ ခြွင်းချက်တစ်ခုတော့ ရှိတယ်။

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

“Montezuma’s Revenge” ကို ကစားတဲ့အခါ DQN ဟာ အမှတ်တစ်မှတ်တောင် မရနိုင်ခဲ့ဘူး။

even after playing for weeks.

သီတင်းပတ်ချီကာ ကစားပြီးနောက်မှာတောင်ပါ။

What was it that made this particular game so vexingly difficult for AI?

AI အတွက် ဒီဂိမ်းကို ဦးနှောက်ခြောက်စရာ ခက်ခဲအောင် ဘာက ဖြစ်စေခဲ့တာလဲ။

And what would it take to solve it?

ဒါကို ဖြေရှင်းဖို့ လိုအပ်တာက ဘာဖြစ်မလဲ။

Spoiler alert: babies.

ကြိုတင် သတိပေးချက်။ ကလေးငယ်တွေပါ။

We’ll come back to that in a minute.

ဒီအကြောင်းကို ခဏနေရင် ပြန်လာမှာပါ။

Playing Atari games with AI involves what’s called reinforcement learning,

Atari ဂိမ်းတွေကို AI နဲ့အတူ ကစားခြင်းမှာ အားပေး သင်ယူခြင်းလို့ခေါ်တာပါဝင်တယ်။

where the system is designed to maximize some kind of numerical rewards.

ကိန်းဂဏန်းဆိုင်ရာ ဆုလာဘ်မျိုးတွေကို များ နိုင်သမျှ များအောင် ပုံစံထုတ်ထားတဲ့စနစ်ပါ။

In this case, those rewards were simply the game's points.

ဒီဖြစ်ရပ်မှာတော့ ဒီဆုလာဘ်တွေက ဂိမ်း ရမှတ်တွေပါ။

This underlying goal drives the system to learn which buttons to press

ဒီငုပ်နေတဲ့ ရည်ရွယ်ချက်က ဘယ်ခလုတ်တွေကို နှိပ်ပြီး အများဆုံး အမှတ်တွေရဖို့

and when to press them to get the most points.

ဘယ်အချိန် ဆိုတာကို သင်ယူဖို့ စနစ်ကို မောင်းနှင်တာပါ။

Some systems use model-based approaches, where they have a model of the environment

တချို့စနစ်တွေက ပုံစံအခြေပြု နည်းလမ်းတွေကို အသုံးပြုပြီး လုပ်ဆောင်မှုတစ်ခု

that they can use to predict what will happen next

လုပ်ပြီဆိုတာနဲ့ နောက်ဘာဖြစ်မယ်ဆိုတာကို ကြိုခန့်မှန်းဖို့

once they take a certain action.

သုံးနိုင်တဲ့ ပတ်ဝန်းကျင် ပုံစံတစ်ခုရှိတယ်။

DQN, however, is model free.

DQN ကတော့ ပုံစံ ကင်းတယ်။

Instead of explicitly modeling its environment,

၎င်းရဲ့ဝန်းကျင်ကို ပြတ်သားစွာ ပုံစံချတာအစား

it just learns to predict, based on the images on screen,

စခရင်ပေါ်က ရုပ်ပုံတွေကို အခြေခံကာ မတူတဲ့ ခလုတ်တွေကို နှိပ်ခြင်းအားဖြင့်

how many future points it can expect to earn by pressing different buttons.

ရရှိဖို့ အနာဂတ် အမှတ် ဘယ်နှမှတ် မျှော်လင့် နိုင်တာကို ခန့်မှန်းဖို့ သင်ယူရုံပါ။

For instance, “if the ball is here and I move left, more points,

ဥပမာ “ဘောလုံးက ဒီမှာရှိပြီး ဘယ်ဘက်ကို ရွှေ့ရင် အမှတ်ပိုများပေမဲ့

but if I move right, no more points.”

ညာဘက်ကို ရွှေ့လိုက်ရင် အမှတ်ပိုမများတော့ဘူး။”

But learning these connections requires a lot of trial and error.

ဒါပေမဲ့ ဒီဆက်သွယ်မှုတွေကို သင်ယူခြင်းက စမ်းလိုက်၊ပြုပြင်လိုက် အများကြီးလိုအပ်တယ်။

The DQN system would start by mashing buttons randomly,

DQN စနစ်က ခလုတ်တွေကို ကျပန်း ဖိညှစ်ရင်း စတင်မှာဖြစ်ပြီး

and then slowly piece together which buttons to mash when

ဒီနောက် ၎င်းရဲ့အမှတ်ကို များနိုင်သမျှ များဖို့ ဘယ်အချိန် ဘယ်ခလုတ်ကို

in order to maximize its score.

ဖိညှစ်ဖို့ ဖြည်းဖြည်းချင်း အတူတူ ဆက်စပ်မှာပါ။

But in playing “Montezuma’s Revenge,”

ဒါပေမဲ့ “Montezuma’s Revenge” ကစားရာမှာတော့

this approach of random button-mashing fell flat on its face.

ဒီကျပန်း ခလုတ် ဖိညှစ်တဲ့ နည်းလမ်းက လုံးဝကို ကျရှုံးသွားတယ်။

A player would have to perform this entire sequence

ကစားသမားတစ်ဦးဟာ အဆုံးနားက ပထမ အမှတ်တွေကို ရဖို့ကိုပဲ

just to score their first points at the very end.

အစဉ်တစ်ခုလုံးကို လုပ်ဆောင်ဖို့ လိုလိမ့်မယ်။

A mistake? Game over.

အမှားတစ်ခုလား။ ပွဲက ပြီးသွားပြီ။

So how could DQN even know it was on the right track?

ဒီတော့ လမ်းကြောင်းမှန် ရှိနေတယ်ဆိုတာကို DQN က ဘယ်လို သိနိုင်တာလဲ။

This is where babies come in.

ဒါက ကလေးတွေ ပါဝင်လာတဲ့ နေရာပါ။

In studies, infants consistently look longer at pictures

လေ့လာမှုတွေမှာ မွေးကင်းစ ကလေးတွေဟာ သူတို့ မြင်ဖူးတဲ့ ပုံတွေထက် အရင်က

they haven’t seen before than ones they have.

မမြင်ဖူးတာတွေကို တစ်သမတ်တည်း ပိုကြာကြာ ကြည့်ကြတယ်။

There just seems to be something intrinsically rewarding about novelty.

သစ်ဆန်းမှုနဲ့ ပတ်သက်ပြီး ပင်ကိုအားဖြင့် အကျိုးပြုတာ တစ်ခုခုရှိပုံရတယ်။

This behavior has been essential in understanding the infant mind.

ဒီအပြုအမူက ကလေး စိတ်ကို နားလည်ရာမှာ မုချလိုအပ်ပါတယ်။

It also turned out to be the secret to beating “Montezuma’s Revenge.”

ဒါက “Montezuma’s Revenge” ကို နိုင်တာမှာ လျှို့ဝှက်ချက်တစ်ခုလည်းဖြစ်သွားတယ်။

The DeepMind researchers worked out an ingenious way

DeepMind သုတေသီတွေက ဆန်းသစ်မှုကို လိုလားမှုကို အားပေးတဲ့ သင်ယူခြင်းထဲမှာ

to plug this preference for novelty into reinforcement learning.

ထည့်ဖို့ ထွင်ဉာဏ်ရှိတဲ့ နည်းလမ်းတစ်ခုနဲ့ တွက်ထုတ်တယ်။

They made it so that unusual or new images appearing on the screen

ဒါတွေက စခရင်မှာ ပေါ်နေတဲ့ ထူးခြားတဲ့ (သို့)ပုံရိပ်သစ်တွေဟာ ဂိမ်း အမှတ်တွေလိုပဲ

were every bit as rewarding as real in-game points.

ဆုလာဘ်လိုဖြစ်အောင် အပိုင်းအစတိုင်းကို လုပ်ပေးတယ်။

Suddenly, DQN was behaving totally differently from before.

ရုတ်တရက် DQN အရင်တုန်းကနဲ့ ခြားနားစွာ ပြမူနေခဲ့တယ်။

It wanted to explore the room it was in,

င်းရှိခဲ့တဲ့ နေရာကို စူးမ်းချင်ခဲ့တယ်။

to grab the key and escape through the locked door—

သော့ကို ဆုပ်ကိုင်ပြီး ပိတ်ထားတဲ့ တံခါးကနေ လွတ်ချင်တာက

not because it was worth 100 points,

အမှတ် ၁၀၀ တန်တာကြောင့်မဟုတ်ဘဲ

but for the same reason we would: to see what was on the other side.

အခြားတစ်ဘက်မှာရှိတာကို မြင်ချင်တဲ့ လူတွေ မှာရှိမယ့် တူညီတဲ့အကြောင်းပြချက်ကြောင့်ပါ။

With this new drive, DQN not only managed to grab that first key—

ဒီတွန်းအား အသစ်နဲ့အတူ DQN ဟာ ပထမဆုံး သော့ကို ဆုပ်ကိုင်နိုင်ရုံသာမက

it explored all the way through 15 of the temple’s 24 chambers.

ကျောင်းတော်ရဲ့ ခန်းမဆောင် ၂၄ ခုအနက် ၁၅ ခုကို တောက်လျှောက် စူးစမ်းခဲ့တယ်။

But emphasizing novelty-based rewards can sometimes create more problems

ဒါပေမဲ့ ဆန်းသစ်မှု အခြေခံ ဆုလာဘ်တွေကို အသားပေးတာက ပြဿနာတွေ ဖြေရှင်းတာထက် တစ်ခါတလေ

than it solves.

ပိုဖန်တီးနိုင်တယ်။

A novelty-seeking system that’s played a game too long

ဂိမ်းတစ်ခုကို အကြာကြီး ကစားတဲ့ ဆန်းသစ်မှု ရှာဖွေတဲ့ စနစ်တစ်ခုဟာ

will eventually lose motivation.

နောက်ဆုံးမှာ စိတ်ပါဝင်စားမှု ပျောက်ဆုံးမှာပါ။

If it’s seen it all before, why go anywhere?

အားလုံးကို မြင်ဖူးပြီဆိုရင် ဘာကြောင့် တစ်နေရာရာကို သွားတာလဲ။

Alternately, if it encounters, say, a television, it will freeze.

အပြောင်းအလဲအနေနဲ့ ဆိုပါတော့ ရုပ်သံတစ်ခုက ဒါကို ကြုံတွေ့ရရင် ရပ်သွားမယ်။

The constant novel images are essentially paralyzing.

တရစပ် ပုံရိပ်သစ်တွေဟာ အခြေခံအားဖြင့် တုံ့ဆိုင်းနေတာပါ။

The ideas and inspiration here go in both directions.

စိတ်ကူးတွေနဲ့ စေ့ဆော်မှု နှစ်ခုစလုံး ဒီမှာ ဦးတည်ရာ နှစ်ခုစလုံးကို သွားတယ်။

AI researchers stuck on a practical problem,

DQN ကို ခက်ခဲတဲ့ ဂိမ်းတစ်ခုကို အနိုင်တိုက်ခိုင်းတာမျိုးလို

like how to get DQN to beat a difficult game,

AI သုတေသီတွေဟာ လက်တွေ့ ပြဿနာတစ်ခုမှာ တစ်နေတယ်

are turning increasingly to experts in human intelligence for ideas.

စိတ်ကူးတွေတွက် လူသား ဉာဏ်ရည်မှာ ကျွမ်းကျင်သူတွေကို တိုးကာ ပြောင်းနေတာပါ။

At the same time,

တစ်ချိန်တည်းမှာ

AI is giving us new insights into the ways we get stuck and unstuck:

AI က ကျွန်တော်တို့ တစ်နေပြီး လွတ်သွားပုံ တွေမှာ ထိုးထွင်းအမြင် အသစ်တွေကို ပေးနေတယ်။

into boredom, depression, and addiction,

သိလိုမှု၊ဖန်တီးမှု၊ ကစားမှုနဲ့အတူပါတဲ့

along with curiosity, creativity, and play.

ငြီးငွေ့မှု၊စိတ်ဓာတ်ကျမှု၊ စွဲလန်းမှုပါ။