How to get better at video games, according to babies - Brian Christian

Translator: avesta masoud Reviewer: Daban Q. Jaff

In 2013, a group of researchers at DeepMind in London

ساڵی ٢٠١٣، کۆمەڵێک توێژەر لە دیپ میند لە لەندەن

had set their sights on a grand challenge.

دیمەنی خۆیان لەسەر تەحەدایەکی گەورە دانابوو.

They wanted to create an AI system that could beat,

ویستیان سیستمێکی AI دروست بکەن کە دەتوانێ لێی بدات،

not just a single Atari game, but every Atari game.

تەنها یاری ئاتاری نییە ،بەڵام هەموو یاریەکی ئاتاری.

They developed a system they called Deep Q Networks, or DQN,

سیستەمێکیان پێشخست کە پێی دەڵێن تۆڕی قوڵی کیو، یان DQN.

and less than two years later, it was superhuman.

وە کەمتر لە دوو ساڵ دواتر ،ئەوە زۆر مرۆڤانە بوو.

DQN was getting scores 13 times better

DQN 13 جار باشتر نمرەی وەرگرت

than professional human games testers at “Breakout,”

لە تاقیکردنەوەی یاریە مرۆییە پیشەییەکان لە “برێکاوت“دا

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 جار باشترە لە “بۆکسینگ“. وە 25 جار باشتر لە “ڤیدیۆ پینباڵ”

But there was one notable, and glaring, exception.

بەڵام یەکێکی دیارو بەرچاوو بەرچاو بوو. زۆر بەدەرە.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

لەکاتی یاریکردنی “تۆڵەی مۆنتیزوما” DQN نەیتوانی یەک خاڵ تۆمار بکات،

even after playing for weeks.

تەنانەت دوای چەند هەفتەیەک یاری کردن.

What was it that made this particular game so vexingly difficult for AI?

چی بوو کە ئەم یارییە تایبەتەی کرد زۆر قورسە بۆ ئای ئەی؟

And what would it take to solve it?

وە چی دەوێت بۆ چارەسەرکردنی؟

Spoiler alert: babies.

ئاگادارکردنەوەی تێکدەر: منداڵ.

We’ll come back to that in a minute.

ئێمە لە خولەکێکدا دەگەڕێینەوە بۆ ئەوە.

Playing Atari games with AI involves what’s called reinforcement learning,

یارییەکانی ئاتاری لەگەڵ ئای ئای تێدەگلێت ئەوەی پێی دەوترێت فێربوونی بەهێزکردن.

where the system is designed to maximize some kind of numerical rewards.

شوێنە سیستەمەکە دیزاین کراوە بۆ زیاترکردنی هەندێک پاداشتی ژمارەیی

In this case, those rewards were simply the game's points.

لەم حاڵەتەدا ئەو خەڵاتانە بوون بە سادەیی خاڵەکانی یاریەکە.

This underlying goal drives the system to learn which buttons to press

ئەم ئامانجە بنچینەییە سیستەمەکە لێخوڕیوە بۆ فێربوونی کام دوگمە بۆ فشار

and when to press them to get the most points.

وە کەی فشاریان بۆ بهێن بۆ بەدەستهێنانی زۆرترین خاڵ.

Some systems use model-based approaches, where they have a model of the environment

سیستەم شێوازی مۆدێل-بنچینە بەکاردەهێنن مۆدێلێکی ژینگەییان هەیە

that they can use to predict what will happen next

کە دەتوانن بەکاری بهێنن بۆ پێشبینیکردن لە دوایدا چی ڕوودەدات

once they take a certain action.

کاتێک ئەوان کردارێکی دیاریکراو دەگرنە بەر.

DQN, however, is model free.

دی کیو ئێن، لەگەڵ ئەوەشدا، مۆدێلێکی ئازادە.

Instead of explicitly modeling its environment,

لەجیاتی ئەوەی بە ڕاشکاوی مۆدێل بکات کەش و هەواکەی،

it just learns to predict, based on the images on screen,

ئەوە تەنها فێر دەبێت پێشبینی بکات لەسەر بنەمای وێنەکانی سەر شاشەکە،

how many future points it can expect to earn by pressing different buttons.

چەند خاڵی داهاتوو دەتوانێت پێشبینی بکات بەدەستهێنانی بە فشارخستنە سەر دوگمە جیاواز

For instance, “if the ball is here and I move left, more points,

بۆ نمونە،“ئەگەر تۆپەکە لێرە بێت وە من بە چەپ دەجوڵێمەوە، خاڵی زیاتر،

but if I move right, no more points.”

بەڵام ئەگەر بە ڕاست بڕۆم، چیتر خاڵێک نیە”

But learning these connections requires a lot of trial and error.

بەڵام فێربوونی ئەم پەیوەندیانە پێویستی بە زۆر لە تاقیکردنەوە و هەڵە.

The DQN system would start by mashing buttons randomly,

سیستەمی DQN دەستپێدەکات بە شێواندنی دوگمەکان بە شێوەیەکی هەڕەمەکی.

and then slowly piece together which buttons to mash when

وە دواتر بە هێواشی پێکەوە پارچە کە دوگمەکان بۆ ماش کاتێک

in order to maximize its score.

بۆ ئەوەی نمرەی خۆی زیاتر بکات.

But in playing “Montezuma’s Revenge,”

بەڵام لە یاریکردنی “تۆڵەی مۆنتیزوما“دا

this approach of random button-mashing fell flat on its face.

ئەم ڕێگایە لە دوگمەی هەڕەمەکی لە سەر دەموچاوی تەخت کەوت.

A player would have to perform this entire sequence

یاریزانێک دەبێت نمایش بکات هەموو ئەم زنجیرەیە

just to score their first points at the very end.

تەنها بۆ تۆمارکردنی یەکەم خاڵەکانیان لە کۆتایدا.

A mistake? Game over.

ئەوە چیە؟ یاری کۆتایی پێهات.

So how could DQN even know it was on the right track?

کەواتە چۆن دەکرێت DQN بزانیت ئەوە لەسەر ڕێڕەوی ڕاست بوو؟

This is where babies come in.

ئەمە ئەو شوێنەیە کە منداڵان دێنە ژوورەوە.

In studies, infants consistently look longer at pictures

لەخوێندنەکان،ساواکان بەبەردەوامی دەڕوانن درێژتر لە وێنەکان

they haven’t seen before than ones they have.

ئەوان پێشتر نەبینیوە لە ئەو کەسانەی کە هەیانە.

There just seems to be something intrinsically rewarding about novelty.

وادیارە شتێک هەبێت شێوەیەکی ناوازە خەڵاتکردن دەربارەی تازەکار

This behavior has been essential in understanding the infant mind.

ئەم ڕەفتارە زۆر گرنگ بووە لە تێگەیشتنی مێشکی ساوادا.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

هەروەها دەرکەوت کە نهێنییەکە بۆ لێدانی “تۆڵەی مۆنتیزوما”

The DeepMind researchers worked out an ingenious way

توێژەرانی دیپ میند کاریان کرد ڕێگایەکی نەزێن

to plug this preference for novelty into reinforcement learning.

بۆ پێوەکردنی ئەم پەسەندییە بۆ نوێکاری بۆ فێربوونی بەهێزکردن.

They made it so that unusual or new images appearing on the screen

وایان کردووە کە وێنەی نائاسایی یان نوێ دەرکەوتن لەسەر شاشەکە

were every bit as rewarding as real in-game points.

هەموو بیتێک وەک خەڵات بوون وەک خاڵی راستەقینە لە یاریدا.

Suddenly, DQN was behaving totally differently from before.

لەناکاو، DQN بەتەواوی ڕەفتاری دەکرد بە جیاواز لە پێشووەوە.

It wanted to explore the room it was in,

دەیویست ئەو ژوورە بپشکنە کە تێیدا بوو.

to grab the key and escape through the locked door—

بۆ گرتنی کلیلەکە و هەڵاتن لە ڕێگەی دەرگا داخراوەکەوە—

not because it was worth 100 points,

نەک لەبەر ئەوەی نرخی ١٠٠ خاڵ بوو،

but for the same reason we would: to see what was on the other side.

بەڵام بۆ هەمان هۆکار ئێمە دەیکەین: بۆ بینینی ئەوەی کە لە لایەکی ترەوە بوو.

With this new drive, DQN not only managed to grab that first key—

بەم درایڤە نوێیە، DQN نەک تەنها توانی ئەو یەکەم کلیلە بگرێت

it explored all the way through 15 of the temple’s 24 chambers.

هەموو ڕێگاکەی گەڕاندەوە لە ١٥ لە ٢٤ ژووری پەرستگاکە.

But emphasizing novelty-based rewards can sometimes create more problems

جەختکردنەوە لەسەر پاداشتە تازەناسییەکان هەندێک جار دەتوانێت کێشەی زیاتر دروست بکات

than it solves.

وەک ئەوەی چارەسەر بکات.

A novelty-seeking system that’s played a game too long

سیستمێکی تازەگەرانەی کە ژەنراوە- یاریەکە زۆر درێژە

will eventually lose motivation.

لە کۆتاییدا هاندان لە دەست دەدات.

If it’s seen it all before, why go anywhere?

ئەگەر پێشتر هەمووی بینرابێت بۆچی بڕۆ بۆ هەر شوێنێک؟

Alternately, if it encounters, say, a television, it will freeze.

شێوەیەکی جێگرەوە،ئەگەر ڕوبەڕوی دەبێت، بڵێ تەلەفیزیۆنێک، بەست دەبێت.

The constant novel images are essentially paralyzing.

وێنەی ڕۆمانە بەردەوامەکان لە بنەڕەتدا ئیفلیج دەکەن.

The ideas and inspiration here go in both directions.

بیرۆکە و ئیلهامەکانی ئێرە لە هەردوو ئاڕاستەدا بڕۆ.

AI researchers stuck on a practical problem,

توێژەرانی ئای ئای گیران لەسەر کێشەیەکی کرداری،

like how to get DQN to beat a difficult game,

وەک چۆن DQN بۆ لێدان یارییەکی سەخت،

are turning increasingly to experts in human intelligence for ideas.

بە شێوەیەکی زۆر بەرەو شارەزایان دەگەڕێن لە زیرەکی مرۆڤدا بۆ بیرۆکەکان.

At the same time,

لە ھەمەن کاتدا،

AI is giving us new insights into the ways we get stuck and unstuck:

ئای ئای تێڕوانینی نوێمان پێدەبەخشێت بۆ ئەو ڕێگایەی گیرمان خوارد لە دەست نادە:

into boredom, depression, and addiction,

بۆ بێزاری، و خەمۆکی و ئالوودەبوون.

along with curiosity, creativity, and play.

لەگەڵ شێتی ،و داهێناندا وە یاری بکەن.