How to get better at video games, according to babies - Brian Christian

Translator: Samridh Aggarwal Reviewer: Arvind Patil

In 2013, a group of researchers at DeepMind in London

2013 में, शोधकर्ताओं का एक समूह लंदन में डीपमाइंड में

had set their sights on a grand challenge.

एक बड़ी चुनौती पर अपनी नजरें गड़ाए हुए थे।

They wanted to create an AI system that could beat,

वे एक AI सिस्टम बनाना चाहते थे जो हरा सकता है,

not just a single Atari game, but every Atari game.

सिर्फ एक अटारी खेल नहीं, लेकिन हर अटारी खेल।

They developed a system they called Deep Q Networks, or DQN,

उन्होंने एक प्रणाली विकसित की जिसे वे कहते हैं डीप क्यू नेटवर्क, या डीक्यूएन,

and less than two years later, it was superhuman.

और दो साल से भी कम समय के बाद, यह अलौकिक था।

DQN was getting scores 13 times better

DQN का स्कोर 13 गुना बेहतर हो रहा था

than professional human games testers at “Breakout,”

पेशेवर मानव खेल परीक्षकों की तुलना में “ब्रेकआउट” पर

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

“मुक्केबाजी” में 17 गुना बेहतर और “वीडियो पिनबॉल” पर 25 गुना बेहतर।

But there was one notable, and glaring, exception.

लेकिन एक उल्लेखनीय अपवादथा I

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

“मोंटेज़ुमा का बदला” खेलते समय DQN एक भी अंक हासिल नहीं कर सका,

even after playing for weeks.

हफ्तों तक खेलने के बाद भी।

What was it that made this particular game so vexingly difficult for AI?

ऐसा क्या था जिसने इस खास खेल को बनाया एआई के लिए इतना कठिन?

And what would it take to solve it?

और इसे हल करने में क्या लगेगा?

Spoiler alert: babies.

स्पॉयलर अलर्ट: बच्चे।

We’ll come back to that in a minute.

हम उस पर एक मिनट में वापस आएंगे।

Playing Atari games with AI involves what’s called reinforcement learning,

एआई के साथ अटारी गेम खेलने में सुदृढीकरण सीखना शामिल है,

where the system is designed to maximize some kind of numerical rewards.

जहां सिस्टम को डिज़ाइन किया गया है संख्यात्मक पुरस्कार अधिकतम करने के लिए।

In this case, those rewards were simply the game's points.

इस मामले में, वे पुरस्कार थे बस खेल के अंक।

This underlying goal drives the system to learn which buttons to press

यह अंतर्निहित लक्ष्य सिस्टम को संचालित करता है यह जानने के लिए

कि कौन सा बटन दबाना है और उन्हें कब दबाना है सबसे अधिक अंक प्राप्त करने के लिए।

and when to press them to get the most points.

Some systems use model-based approaches, where they have a model of the environment

कुछ प्रणालियाँ मॉडल-आधारित दृष्टिकोण का उपयोग करती हैं, जहां उनके पास

that they can use to predict what will happen next

पर्यावरण का एक मॉडल है जिसका उपयोग वे भविष्य बताने के लिए करते हैं

once they take a certain action.

एक निश्चित कार्रवाई करने के बाद।

DQN, however, is model free.

हालाँकि, DQN मॉडल मुक्त है।

Instead of explicitly modeling its environment,

इसके पर्यावरण की स्पष्ट मॉडलिंग के बजाए,

it just learns to predict, based on the images on screen,

यह सिर्फ भविष्यवाणी करना सीखता है, स्क्रीन पर छवियों के आधार पर,

how many future points it can expect to earn by pressing different buttons.

यह कितने अंक की उम्मीद कर सकता है विभिन्न बटन दबाकर।

For instance, “if the ball is here and I move left, more points,

उदाहरण के लिए, “यदि गेंद यहाँ है” और मैं बाएँ चलता हूँ, अधिक अंक,

but if I move right, no more points.”

लेकिन अगर मैं दाहिनी ओर जाता हूं, तो कोई और अंक नहीं।”

But learning these connections requires a lot of trial and error.

लेकिन इन कनेक्शनों को सीखने की आवश्यकता है बहुत परीक्षण और त्रुटि।

The DQN system would start by mashing buttons randomly,

DQN सिस्टम शुरू होगा बटनों को बेतरतीब ढंग से मैश करके,

and then slowly piece together which buttons to mash when

और फिर धीरे-धीरे एक साथ टुकड़े करें कौन सा बटन कब मैश करना है

in order to maximize its score.

अपने स्कोर को अधिकतम करने के लिए।

But in playing “Montezuma’s Revenge,”

लेकिन “मोंटेज़ुमा का बदला” खेलने में,

this approach of random button-mashing fell flat on its face.

यादृच्छिक बटन-मैशिंग का यह दृष्टिकोण असफ़ल था I

A player would have to perform this entire sequence

एक खिलाड़ी को प्रदर्शन करना होगा यह पूरा क्रम

just to score their first points at the very end.

सिर्फ अपना पहला अंक हासिल करने के लिए बिल्कुल अंत में।

A mistake? Game over.

एक गलती? खेल खत्म।

So how could DQN even know it was on the right track?

तो DQN को कैसे पता चलेगा यह सही रास्ते पर था?

This is where babies come in.

यहीं बच्चे आते हैं।

In studies, infants consistently look longer at pictures

अध्ययनों में, शिशु लगातार तस्वीरों में लंबे समय तक दिखते हैं

they haven’t seen before than ones they have.

जो उन्होंने पहले नहीं देखा I

There just seems to be something intrinsically rewarding about novelty.

लगता है बस कुछ आंतरिक रूप से पुरस्कृत है नवीनता के बारे में I

This behavior has been essential in understanding the infant mind.

यह व्यवहार आवश्यक हो गया है शिशु मन को समझने में।

It also turned out to be the secret to beating “Montezuma’s Revenge.”

यह रहस्य निकला “मोंटेज़ुमा का बदला” को हराने के लिए।

The DeepMind researchers worked out an ingenious way

डीपमाइंड शोधकर्ताओं ने एक सरल तरीके से काम किया

to plug this preference for novelty into reinforcement learning.

नवीनता के लिए इस वरीयता को प्लग करने के लिए सुदृढीकरण सीखने में।

They made it so that unusual or new images appearing on the screen

उन्होंने इसे इसलिए बनाया ताकि नई छवियां स्क्रीन पर दिखाई दे रहा है हर बिट

were every bit as rewarding as real in-game points.

पुरस्कृत के रूप में थे वास्तविक इन-गेम पॉइंट्स के रूप में।

Suddenly, DQN was behaving totally differently from before.

अचानक, DQN पूरी तरह से पहले से अलग व्यवहार कर रहा था ।

It wanted to explore the room it was in,

वह उस कमरे का पता लगाना चाहता था जिसमें वह था,

to grab the key and escape through the locked door—

चाबी हथियाने और भागने के लिए बंद दरवाजे से-

not because it was worth 100 points,

इसलिए नहीं कि यह 100 अंकों के लायक था,

but for the same reason we would: to see what was on the other side.

लेकिन उसी कारण से हम करेंगे: यह देखने के लिए कि दूसरी तरफ क्या था।

With this new drive, DQN not only managed to grab that first key—

इस नई ड्राइव के साथ, डीक्यूएन उस पहली चाबी को हथियाने में कामयाब रहे-

it explored all the way through 15 of the temple’s 24 chambers.

इसने मंदिर में 24 में से 15 कक्षों की खोज की I

But emphasizing novelty-based rewards can sometimes create more problems

लेकिन नवीनता-आधारित पुरस्कारों पर जोर देना कभी-कभी अधिक समस्याएं पैदा कर सकता है

than it solves.

की तुलना में यह हल करता है।

A novelty-seeking system that’s played a game too long

एक नवीनता चाहने वाली प्रणाली जो खेली जाती है एक खेल बहुत लंबा

will eventually lose motivation.

अंततः प्रेरणा खो देंगे।

If it’s seen it all before, why go anywhere?

अगर यह सब पहले देखा है, कहीं क्यों जाओ ?

Alternately, if it encounters, say, a television, it will freeze.

वैकल्पिक रूप से, यदि इसका सामना होता है, तो कहें, एक टेलीविजन, यह जम जाएगा।

The constant novel images are essentially paralyzing.

निरंतर उपन्यास छवियां अनिवार्य रूप से पंगु हो रहे हैं।

The ideas and inspiration here go in both directions.

विचार और प्रेरणा यहाँ दोनों दिशाओं में जाती है ।

AI researchers stuck on a practical problem,

एआई शोधकर्ता फंस गए व्यावहारिक समस्या पर,

like how to get DQN to beat a difficult game,

जैसे डीक्यूएन को कैसे हराना है एक कठिन खेल,

are turning increasingly to experts in human intelligence for ideas.

विचारों के लिए तेजी से विशेषज्ञों की ओर रुख कर रहे हैं।

At the same time,

एक ही समय पर,

AI is giving us new insights into the ways we get stuck and unstuck:

AI हमें नई जानकारी दे रहा है जिस तरह से हम फंस जाते हैं और अनस्टक हो जाते हैं:

into boredom, depression, and addiction,

बोरियत, अवसाद और लत में,

along with curiosity, creativity, and play.

जिज्ञासा, रचनात्मकता और खेलो के साथ-साथ।