How to get better at video games, according to babies - Brian Christian

المترجم: GIS WITH US المدقّق: Shimaa Nabil

In 2013, a group of researchers at DeepMind in London

في عام 2013، مجموعة من الباحثين في العقل العميق في لندن

had set their sights on a grand challenge.

وضعوا أمامهم تحدٍ كبير.

They wanted to create an AI system that could beat,

يرغبون في خلق نظام ذكاء اصطناعي والذي يمكنه هزيمة،

not just a single Atari game, but every Atari game.

ليس فقط لعبة أتاري واحدة، وإنما جميع ألعاب الأتاري.

They developed a system they called Deep Q Networks, or DQN,

فقد طوروا نظام أسموه كيو العميق أو دي كيو إن،

and less than two years later, it was superhuman.

وفي أقل من عامين أصبح نظامًا خارقًا.

DQN was getting scores 13 times better

كان دي كيو إن يحصل على نتائج أفضل بـ 13 مرة

than professional human games testers at “Breakout,”

من مختبر بشري محترف بالألعاب في لعبة “الانطلاق”،

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

وأفضل 17 مرة في لعبة “الملاكمة”، وب 25 مرة في لعبة “فيديو كرة الدبوس”.

But there was one notable, and glaring, exception.

ولكن كان هناك شيئًا واحدًا بارزًا وواضحًا، استثناء.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

عند لعب لعبة “انتقام مونتيزوما” فإن دي كيو إن لا يمكنه الحصول على نقطة واحدة،

even after playing for weeks.

حتى بعد لعبه لأسابيع.

What was it that made this particular game so vexingly difficult for AI?

فما الذي جعل اللعبة بهذه الصعوبة على الذكاء الاصطناعي؟

And what would it take to solve it?

وما الذي تحتاجه لحلها؟

Spoiler alert: babies.

تنبيه: الأطفال.

We’ll come back to that in a minute.

سنعود لهذا بعد دقيقة.

Playing Atari games with AI involves what’s called reinforcement learning,

لعب لعبة الأتاري يشتمل على ما يسمى بالتعلم الموجه،

where the system is designed to maximize some kind of numerical rewards.

يكون فيه النظام مصمم على الإكثار من المكافآت العددية.

In this case, those rewards were simply the game's points.

في هذه الحالة، هذه الجوائز ببساطة هي نقاط اللعبة.

This underlying goal drives the system to learn which buttons to press

هذا الهدف المحدد يقود النظام لتعلم أي الأزرار يجب ضغطها

and when to press them to get the most points.

ومتى يجب ضغطها للحصول على أكبد عدد من النقاط.

Some systems use model-based approaches, where they have a model of the environment

بعض الأنظمة تستخدم مناهج مبنية على النماذج والتي يكون لها نموذج من البيئة

that they can use to predict what will happen next

والذي يمكن استخدامه للتنبؤ بما سيحدث لاحقًا

once they take a certain action.

عند القيام بردة فعل معينة.

DQN, however, is model free.

دي كيو إن هو نموذج حر.

Instead of explicitly modeling its environment,

بدلاً من النمذجة الصريحة في بيئته،

it just learns to predict, based on the images on screen,

فقط يتعلم ليتنبأ بناء على الصور الموجودة على الشاشة،

how many future points it can expect to earn by pressing different buttons.

عدد النقاط المستقبلية التي يمكن أن يتوقعها ليكسب بالضغط على مختلف الأزرار.

For instance, “if the ball is here and I move left, more points,

للتوضيح: “إذا كانت الكرة هنا و تحركت يسارًا سأحصل على نقاط أكثر،

but if I move right, no more points.”

لكن إن تحركت لليمين، فلن أحصل على النقاط.”

But learning these connections requires a lot of trial and error.

لكن تعلم هذه العلاقات تحتاج للعديد من محاولات التجربة والخطأ.

The DQN system would start by mashing buttons randomly,

نظام دي كيو إن سيبدأ من خلال ضغط الأزار عشوائيًا،

and then slowly piece together which buttons to mash when

وبعدها سيعرف ببطئ أي زر يجب ضغطه

in order to maximize its score.

للحصول على قدر من النقاط.

But in playing “Montezuma’s Revenge,”

لكن في لعبة “انتقام مونتيزوما،”

this approach of random button-mashing fell flat on its face.

هذا النهج العشوائي من ضغط الأزرار يسقط على وجهه.

A player would have to perform this entire sequence

يجب على اللاعب أداء كل هذه السلسلة

just to score their first points at the very end.

فقط للحصول على أول النقاط في النهاية.

A mistake? Game over.

في حال الخطأ؟ تنتهي اللعبة.

So how could DQN even know it was on the right track?

إذًا كيف يمكن لدي كيو إن أن يعلم بأنه على الطريق الصحيح؟

This is where babies come in.

هنا يأتي دور الأطفال.

In studies, infants consistently look longer at pictures

وجدت الدراسات أن الرضع ينظرون بشكل أطول للصور

they haven’t seen before than ones they have.

التي لم يشاهدوها قط مقارنة بأخرى شاهدوها.

There just seems to be something intrinsically rewarding about novelty.

يبدو أن هناك شيئًا ما مجزيًا.

This behavior has been essential in understanding the infant mind.

هذا السلوك أصبح أساسيًا في فهم عقلية الرضيع.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

كذلك أصبح السر المستخدم لهزيمة لعبة “انتقام مونتيزوما.”

The DeepMind researchers worked out an ingenious way

عمل الباحثون القائمون على العقل العميق بطريقة بارعة

to plug this preference for novelty into reinforcement learning.

لتوصيل هذا التفضيل المبدع في التعلم الموجه.

They made it so that unusual or new images appearing on the screen

هم من صنعوه لذلك ظهرت صور جديدة وغير مألوفة على الشاشة

were every bit as rewarding as real in-game points.

كانت كل قطعة مجزية كنقاط حقيقية داخل اللعبة.

Suddenly, DQN was behaving totally differently from before.

فجأة، دي كيو إن سلك سلوكًا مختلفًا عما كان عليه.

It wanted to explore the room it was in,

يرغب في استكشاف الغرفة الواقع بها،

to grab the key and escape through the locked door—

للاستيلاء على المفتاح والهروب من خلال الباب المغلق

not because it was worth 100 points,

ليس للحصول على 100 نقطة فحسب،

but for the same reason we would: to see what was on the other side.

ولكن لنفس السبب الذي سنفعله من أجله، وهو لنعرف ما يوجد في الجانب الآخر.

With this new drive, DQN not only managed to grab that first key—

من خلال هذه النتيجة الجديدة، دي كيو إن لا يدار للحصول على أول مفتاح فقط

it explored all the way through 15 of the temple’s 24 chambers.

وإنما اكتشف كل الطرق خلال 15 من ال 24 غرفة للمعبد.

But emphasizing novelty-based rewards can sometimes create more problems

لكن التشديد على المكافآت المبنية على الإبداع يمكن أحيانًا أن يخلق مشاكل أكثر

than it solves.

من المحلولة.

A novelty-seeking system that’s played a game too long

نظام البحث عن الإبداع الذي يلعب بشكل طويل

will eventually lose motivation.

سيفقد الحافز بالنهاية.

If it’s seen it all before, why go anywhere?

إذا قام برؤيتها مسبقًا فلماذا يذهب لأي مكان؟

Alternately, if it encounters, say, a television, it will freeze.

بالتناوب، إذا واجهت تلفزيون، سوف يتجمد.

The constant novel images are essentially paralyzing.

الصور الثابتة عاجزة بشكل أساسي.

The ideas and inspiration here go in both directions.

الأفكار والإلهام هنا ذهبا في كلا الاتجاهين.

AI researchers stuck on a practical problem,

علق باحثي الذكاء الاصطناعي في مشكلة عملية،

like how to get DQN to beat a difficult game,

مثل كيف يمكن لدي كيو إن أن يهزم لعبة صعبة،

are turning increasingly to experts in human intelligence for ideas.

فتوجهوا بشكل متزايد إلى الخبراء في ذكاء الإنسان لإيجاد الأفكار.

At the same time,

في الوقت ذاته،

AI is giving us new insights into the ways we get stuck and unstuck:

يمنحنا الذكاء الاصطناعي رؤى جديدة في الطرق الملتصقة بنا والمفككة:

into boredom, depression, and addiction,

في الملل والاكتئاب والإدمان،

along with curiosity, creativity, and play.

جنبًا إلى جنب مع الفضول والإبداع واللعب.