How to get better at video games, according to babies - Brian Christian

Translator: Atrina Abbasi Reviewer: sadegh vn

In 2013, a group of researchers at DeepMind in London

در سال ۲۰۱۳، گروهی از پژوهشگران شرکت ذهن عمیق در لندن

had set their sights on a grand challenge.

توجهشان را بر روی یک چالش بزرگ گذاشتند.

They wanted to create an AI system that could beat,

آنها می‌خواستند یک سیستم هوش مصنوعی بسازند

not just a single Atari game, but every Atari game.

که نه فقط یک بازی بلکه از پس تمام بازی‌های آتاری بر‌آید.

They developed a system they called Deep Q Networks, or DQN,

آنها سیستمی به نام شبکه‌های ارتباطی عمیق کیو، یا دی‌.کیو‌.ان توسعه دادند،

and less than two years later, it was superhuman.

و در کمتر از دو سال بعد، به یک ابر‌انسان تبدیل شده بود.

DQN was getting scores 13 times better

دی‌.کیو‌.ان داشت ۱۳‌برابر بهتر از

than professional human games testers at “Breakout,”

آن امتحان‌کننده‌های انسان‌ حرفه‌ای در بازی “Breakout” عمل می‌کرد.

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

۱۷‌برابر بهتر در “بوکس،” و ۲۵‌برابر بهتر در “پینبال.”

But there was one notable, and glaring, exception.

ولی‌ یک استثنا قابل‌توجه و چشمگیر وجود داشت.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

وقتی دی.کیو.ان“انتقام مونتزوما”بازی می‌کرد نمی‌توانست یک امتیاز هم بگیرد،

even after playing for weeks.

حتی بعد از بازی کردن بعد از هفته‌ها:

What was it that made this particular game so vexingly difficult for AI?

چرا انجام این بازی خاص برای هوش مصنوعی بسیار سخت بود؟

And what would it take to solve it?

و چه چیزی باعث حل شدنش شد؟

Spoiler alert: babies.

آلارم اسپویل: نوزادان.

We’ll come back to that in a minute.

چند دقیقه دیگر به آن می‌پردازیم.

Playing Atari games with AI involves what’s called reinforcement learning,

بازی کردن با هوش مصنوعی موجب چیزی به نام یادگیری تقویتی می‌شود،

where the system is designed to maximize some kind of numerical rewards.

که سیستم طراحی شده تا حداکثر بعضی از انواع پاداش عددی را مشخص کند.

In this case, those rewards were simply the game's points.

در این مورد،آن پاداش‌ها در واقع امتیاز‌های بازی هستند.

This underlying goal drives the system to learn which buttons to press

این هدف اساسی به سیستم نشان می‌دهد که کدام دکمه را فشار دهد

and when to press them to get the most points.

و چه زمانی آنها را فشار دهد تا بیشترین امتیاز را بگیرد.

Some systems use model-based approaches, where they have a model of the environment

بعضی از سیستم‌ها از رویکرد‌های مبتنی بر مدل با توجه به محیط استفاده می‌کنند

that they can use to predict what will happen next

که آنها پیش‌بینی می‌کنند چه اتفاقاتی بعداً می‌افتد

once they take a certain action.

زمانی که آنها ‌یک حرکت انجام می‌دهند.

DQN, however, is model free.

با اینکه دی‌.کیو‌.ان نیازی به مدل ندارد.

Instead of explicitly modeling its environment,

بلکه به‌جای مدل‌سازی سریع محیط،

it just learns to predict, based on the images on screen,

فقط می‌آموزد تا بر طبق عکس‌های روی صفحه، پیش‌بینی کند

how many future points it can expect to earn by pressing different buttons.

که با فشار دادن دکمه‌های متفاوت چه مقدار امتیاز می‌تواند کسب کند.

For instance, “if the ball is here and I move left, more points,

به عنوان مثال، “اگر توپ اینجا باشد و من به سمت چپ حرکت کنم، امتیاز بیشتری دارد

but if I move right, no more points.”

ولی اگر به طرف راست حرکت کنم، امتیازی نمی‌گیرم.”

But learning these connections requires a lot of trial and error.

ولی برای یادگیری این ارتباط‌ها نیاز به آزمایش‌ها و خطا‌های بسیاری است.

The DQN system would start by mashing buttons randomly,

سیستم دی‌.کیو‌.ان با فشار دادن دکمه‌ها به صورت تصادفی شروع می‌کند،

and then slowly piece together which buttons to mash when

و بعد به آرامی نتیجه‌گیری می‌کند که کدام دکمه‌ها را فشار دهد

in order to maximize its score.

تا حداکثر امتیاز را به دست آورد.

But in playing “Montezuma’s Revenge,”

ولی در بازی “انتقام مونتزوما”،

this approach of random button-mashing fell flat on its face.

فشار دادن دکمه‌ها به صورت تصادفی یک اشتباه بود.

A player would have to perform this entire sequence

بازیکن باید این توالی کلی را اجرا کند

just to score their first points at the very end.

فقط برای اینکه در نهایت اولین امتیاز‌ها را بگیرد.

A mistake? Game over.

یک خطا؟ بازی به اتمام می‌رسد.

So how could DQN even know it was on the right track?

پس دی‌.کیو‌.ان چگونه باید می‌فهمید کدام راه درست است؟

This is where babies come in.

اینجاست که نوزادان وارد می‌شوند.

In studies, infants consistently look longer at pictures

در پژوهش‌ها نوزادان به طور مداوم و طولانی‌تر به تصاویری نگاه می‌کنند

they haven’t seen before than ones they have.

که تا‌به‌حال آن‌ها را ندیده‌اند.

There just seems to be something intrinsically rewarding about novelty.

فقط به نظر می‌رسد چیز‌های جدید به خودی خود پاداش هستند.

This behavior has been essential in understanding the infant mind.

این رفتار گزینه مهمی برای شناختن ذهن نوزاد بوده است.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

و معلوم شد که روشی برای برنده شدن در بازی “انتقام مونتزوما” هم هست.

The DeepMind researchers worked out an ingenious way

پژوهشگران ذهن عمیق به روشی مبتکرانه کار کردند

to plug this preference for novelty into reinforcement learning.

تا اولویت داشتن چیز‌های جدید را به یادگیری تقویتی مرتبط سازند.

They made it so that unusual or new images appearing on the screen

آنها شرایط را غیر معمول کردند یا اشکال جدیدی بر روی صفحه ظاهر کردند

were every bit as rewarding as real in-game points.

که هر کدام امتیازی داشت مثل امتیاز‌های واقعی بازی.

Suddenly, DQN was behaving totally differently from before.

ناگهان، دی‌.کیو‌.ان کاملا متفاوت از قبل رفتار کرد.

It wanted to explore the room it was in,

می‌خواست اتاقی که درونش بود را بررسی کند،

to grab the key and escape through the locked door—

تا کلید را به دست آورده و از در قفل شده فرار کند-

not because it was worth 100 points,

نه برای اینکه ۱۰۰ امتیاز به دست می‌آورد،

but for the same reason we would: to see what was on the other side.

بلکه به همان دلیلی که ما داشتیم: تا ببیند چه چیزی در آن سمت دیگر است.

With this new drive, DQN not only managed to grab that first key—

با این سیستم جدید، دی‌.کیو‌.ان نه‌تنها توانست اولین کلید را بگیرد-

it explored all the way through 15 of the temple’s 24 chambers.

بلکه تمام ۱۵‌ تا از ۲۴ اتاق پلکان‌ها را بررسی کرد.

But emphasizing novelty-based rewards can sometimes create more problems

اما گاهی تاکید بر پاداش‌های جدید باعث مشکلاتی می‌شود

than it solves.

که باید حل شوند.

A novelty-seeking system that’s played a game too long

این سیستم نو‌جویی است که انجام یک بازی با آن خیلی طولانی می‌شود

will eventually lose motivation.

که در نهایت انگیزه‌ از دست خواهد رفت.

If it’s seen it all before, why go anywhere?

اگر قبلا همه را حل کرده چرا باید دوباره انجامش دهد؟

Alternately, if it encounters, say, a television, it will freeze.

اگر پشت سر هم با آن مواجه شده باشد،می‌داند که مثلاً به تلویزیون بخورد یخ خواهد زد.

The constant novel images are essentially paralyzing.

اشکال جدید تکراری اساساً فلج کننده هستند.

The ideas and inspiration here go in both directions.

ایده و الهامات در اینجا به دو سمت می‌روند.

AI researchers stuck on a practical problem,

پژوهشگران هوش مصنوعی درگیر این مسئله‌ شده بودند که

like how to get DQN to beat a difficult game,

چگونه دی‌.کیو‌.ان می‌تواند از عهده یک بازی سخت برآید،

are turning increasingly to experts in human intelligence for ideas.

که همین به متخصصان درباره هوش انسانی ایده‌های روز افزونی ‌‌‌‌‌‌‌‌‌‌‌‌‌‌داد.

At the same time,

در همین موقع،

AI is giving us new insights into the ways we get stuck and unstuck:

هوش مصنوعی به ما آگاهی‌های جدیدی در مورد درگیر شدن یا نشدن ما در زمینه‌های مختلفی

into boredom, depression, and addiction,

مثل بی‌حوصلگی، افسردگی و اعتیاد،

along with curiosity, creativity, and play.

به علاوه کنجکاوی، خلاقیت و بازی کردن می‌دهد.