How to get better at video games, according to babies - Brian Christian

תרגום: Ido Dekkers עריכה: zeeva livshitz

In 2013, a group of researchers at DeepMind in London

ב 2013, קבוצה של חוקרים בדיפמיינד בלונדון

had set their sights on a grand challenge.

שמה את עינייה על אתגר גדול.

They wanted to create an AI system that could beat,

הם רצו ליצור מערכת בינה מלאכותית שתוכל להביס,

not just a single Atari game, but every Atari game.

לא רק משחק אטארי בודד אלא כל משחק אטארי.

They developed a system they called Deep Q Networks, or DQN,

הם פיתחו מערכת שנקראה רשתות Q עמוקות, או DQN,

and less than two years later, it was superhuman.

ופחות משנתיים לאחר מכן, היא היתה על אנושית.

DQN was getting scores 13 times better

DQN קיבלה תוצאות טובות פי 13

than professional human games testers at “Breakout,”

משחקנים אנושיים מקצוענים ב“ברייקאאוט,”

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

טובה פי 17 ב“בוקסינג,” וטובה פי 25 ב“פינבול ווידאו.”

But there was one notable, and glaring, exception.

אבל היתה חריגה אחת בוהקת ונתונה לציון.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

כשמשחקים “נקמת מונטזומה” DQN לא הצליחה לקבל נקודה אחת,

even after playing for weeks.

אפילו אחרי ששיחקה במשך שבועות.

What was it that made this particular game so vexingly difficult for AI?

מה זה היה שהפך את המשחק המסויים הזה לכל כך מבלבל למערכת הבינה המלאכותית?

And what would it take to solve it?

ומה היה דרוש כדי לפתור את זה?

Spoiler alert: babies.

אזהרת ספויילר: תינוקות.

We’ll come back to that in a minute.

נחזור לזה עוד דקה.

Playing Atari games with AI involves what’s called reinforcement learning,

משחק במשחקי אטארי עם בינה מלאכותית כולל מה שנקרא למידה מחזקת,

where the system is designed to maximize some kind of numerical rewards.

שם המערכת מתוכננת למקסם סוגים מסויימים של פרסים מספריים.

In this case, those rewards were simply the game's points.

במקרה הזה, הפרסים האלה היו פשוט נקודות של השחקן.

This underlying goal drives the system to learn which buttons to press

המטרה הזו מניעה את המערכת ללמוד על איזה כפתורים ללחוץ

and when to press them to get the most points.

ומתי ללחוץ עליהם כדי לקבל את מירב הנקודות.

Some systems use model-based approaches, where they have a model of the environment

כמה מערכות מתבססות על גישה מבוססת מודל, בה יש להן מודל של הסביבה

that they can use to predict what will happen next

בו הן יכולות להשתמש כדי לחזות מה יקרה עכשיו

once they take a certain action.

ברגע שהן ינקטו בפעולה מסויימת.

DQN, however, is model free.

DQN, עם זאת, נטולת מודל.

Instead of explicitly modeling its environment,

במקום למדל מפורשות את הסביבה,

it just learns to predict, based on the images on screen,

היא פשוט לומדת לחזות, בהתבסס על התמונות על המסך,

how many future points it can expect to earn by pressing different buttons.

כמה נקודות עתידיות היא יכולה לצפות להרוויח על ידי לחיצה על כפתורים שונים.

For instance, “if the ball is here and I move left, more points,

לדוגמה, “אם הכדור פה ואני זזה שמאלה, יותר נקודות,

but if I move right, no more points.”

אבל אם אני זזה שמאלה, אין יותר נקודות.”

But learning these connections requires a lot of trial and error.

אבל למידת הקישורים האלה דורשת הרבה ניסוי וטעייה.

The DQN system would start by mashing buttons randomly,

מערכת DQN היתה מתחילה על ידי לחיצה אקראית על כפתורים,

and then slowly piece together which buttons to mash when

ואז לאט לאט מבינה על איזה כפתורים ללחוץ ומתי

in order to maximize its score.

כדי למקסם את התוצאה.

But in playing “Montezuma’s Revenge,”

אבל במשחק “נקמת מונטזומה,”

this approach of random button-mashing fell flat on its face.

הגישה הזו של לחיצה אקראית על כפתורים התרסקה.

A player would have to perform this entire sequence

שחקן היה צריך לבצע את כל הרצף

just to score their first points at the very end.

רק כדי לזכות בנקודה הראשונה ממש בסוף.

A mistake? Game over.

טעות? המשחק נגמר.

So how could DQN even know it was on the right track?

אז איך DQN אפילו תדע שזה המסלול הנכון?

This is where babies come in.

פה נכנסים תינוקות לתמונה.

In studies, infants consistently look longer at pictures

במחקרים, תינוקות מביטים בעקביות יותר זמן על תמונות

they haven’t seen before than ones they have.

שהם לא ראו לפני כן מאשר על אלו שראו.

There just seems to be something intrinsically rewarding about novelty.

פשוט נראה שיש משהו מספק באופן מהותי בנוגע לחדשנות.

This behavior has been essential in understanding the infant mind.

ההתנהגות הזו היתה חיונית להבנת מוח התינוקות.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

מסתבר גם שזה הסוד להבסת “נקמת מונטזומה.”

The DeepMind researchers worked out an ingenious way

חוקרי דיפ מיינד העלו דרך גאונית

to plug this preference for novelty into reinforcement learning.

להכניס את ההעדפה הזו לחדשנות לתוך למידה מחזקת.

They made it so that unusual or new images appearing on the screen

הם גרמו לכך שתמונות חדשות או שונות שהופיעו על המסך

were every bit as rewarding as real in-game points.

היו מתגמלות כמו נקודות במשחק האמיתי.

Suddenly, DQN was behaving totally differently from before.

פתאום, DQN התנהגה שונה לגמרי מלפני כן.

It wanted to explore the room it was in,

היא רצתה לחקור את החדר בו היתה,

to grab the key and escape through the locked door—

כדי לתפוס את המפתח ולברוח דרך הדלת הנעולה --

not because it was worth 100 points,

לא בגלל שזה היה שווה 100 נקודות,

but for the same reason we would: to see what was on the other side.

אלא מאותה סיבה שאנחנו היינו עושים: כדי לראות מה יש בצד השני.

With this new drive, DQN not only managed to grab that first key—

עם המניע החדש הזה, DQN לא רק הצליחה לתפוס את המפתח הראשון --

it explored all the way through 15 of the temple’s 24 chambers.

היא חקרה כל הדרך עד 15 מ 24 החדרים של המקדש.

But emphasizing novelty-based rewards can sometimes create more problems

אבל הדגשת פרסים מבוססי חדשנות יכולה לפעמים ליצור יותר בעיות

than it solves.

משהיא פותרת.

A novelty-seeking system that’s played a game too long

מערכת מחפשת חדשנות שמשחקת משחק יותר מדי זמן

will eventually lose motivation.

תאבד בסוף את המוטיבציה.

If it’s seen it all before, why go anywhere?

אם היא ראתה את הכל לפני כן, למה ללכת למקום כלשהו?

Alternately, if it encounters, say, a television, it will freeze.

באופן חלופי, אם היה היתה נתקלת, נגיד, בטלוויזיה, היא היתה קופאת.

The constant novel images are essentially paralyzing.

התמונות החדשות המתמשכות פשוט משתקות.

The ideas and inspiration here go in both directions.

הרעיונות וההשראה פה מנוגדים.

AI researchers stuck on a practical problem,

חוקרי בינה מלאכותית שתקועים על בעיה פרקטית,

like how to get DQN to beat a difficult game,

כמו איך לגרום ל DQN לנצח משחק קשה,

are turning increasingly to experts in human intelligence for ideas.

פונים יותר ויותר למומחים בבינה אנושית לרעיונות.

At the same time,

באותו זמן,

AI is giving us new insights into the ways we get stuck and unstuck:

בינה מלאכותית נותנת לנו תובנות לדרכים בהן אנחנו נתקעים ומשתחררים:

into boredom, depression, and addiction,

לשעמום, דיכאון והתמכרות,

along with curiosity, creativity, and play.

יחד עם סקרנות, יצירתיות ומשחק.