How to get better at video games, according to babies - Brian Christian

Μετάφραση: Giannis Tsiougkos Επιμέλεια: Maria Pericleous

In 2013, a group of researchers at DeepMind in London

Το 2013, μια ομάδα ερευνητών του DeepMind στο Λονδίνο

had set their sights on a grand challenge.

έστρεψαν τα βλέμματά τους σε μια μεγάλη πρόκληση.

They wanted to create an AI system that could beat,

Να δημιουργήσουν ένα σύστημα Τεχνητής Νοημοσύνης

που θα κέρδιζε

not just a single Atari game, but every Atari game.

όχι μόνο ένα, αλλά όλα τα παιχνίδια της Atari.

They developed a system they called Deep Q Networks, or DQN,

Ανέπτυξαν ένα σύστημα το οποίο ονόμασαν Deep Q Networks, ή DQN,

and less than two years later, it was superhuman.

που μέσα σε λιγότερο από δύο χρόνια είχε γίνει υπεράνθρωπο.

DQN was getting scores 13 times better

Το DQN πετύχαινε 13 φορές καλύτερα σκορ

than professional human games testers at “Breakout,”

από ανθρώπους, επαγγελματίες δοκιμαστές παιχνιδιών στο «Breakout»,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 φορές καλύτερα στο «Boxing»,

και 25 φορές στο «Video Pinball».

But there was one notable, and glaring, exception.

Όμως, υπήρχε μια σημαντική και ολοφάνερη εξαίρεση.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Στο «Montezuma’s Revenge», το DQN δεν μπορούσε να κερδίσει ούτε έναν πόντο

even after playing for weeks.

ακόμη και μετά από εβδομάδες παιξίματος.

What was it that made this particular game so vexingly difficult for AI?

Τι ήταν αυτό που έκανε το συγκεκριμένο παιχνίδι τόσο δύσκολο για την ΤΝ;

And what would it take to solve it?

Και τι χρειαζόταν για να λυθεί το πρόβλημα;

Spoiler alert: babies.

Σπόιλερ: μωρά.

We’ll come back to that in a minute.

Θα επανέλθουμε σε αυτό σε λίγο.

Playing Atari games with AI involves what’s called reinforcement learning,

Το παίξιμο παιχνιδιών της Atari με την ΤΝ εμπεριέχει τη λεγόμενη ενισχυτική μάθηση,

where the system is designed to maximize some kind of numerical rewards.

στην οποία το σύστημα είναι σχεδιασμένο να μεγιστοποιεί αριθμητικές ανταμοιβές.

In this case, those rewards were simply the game's points.

Σε αυτή την περίπτωση, η ανταμοιβή ήταν απλά οι πόντοι του παιχνιδιού.

This underlying goal drives the system to learn which buttons to press

Αυτός ο στόχος ωθεί το σύστημα να μάθει ποια κουμπιά πρέπει να πατήσει

and when to press them to get the most points.

και πότε να τα πατήσει για να κερδίσει τους πιο πολλούς πόντους.

Some systems use model-based approaches, where they have a model of the environment

Κάποια χρησιμοποιούν ένα σύστημα που βασίζεται στα μοντέλα,

όπου υπάρχει ένα μοντέλο του περιβάλλοντος,

that they can use to predict what will happen next

που τους επιτρέπει να προβλέψουν το τι θα συμβεί

once they take a certain action.

μόλις κάνουν μια συγκεκριμένη ενέργεια.

DQN, however, is model free.

Το DQN, ωστόσο, δεν έχει μοντέλο.

Instead of explicitly modeling its environment,

Αντί να τροποποιεί αναλυτικά το περιβάλλον του,

it just learns to predict, based on the images on screen,

απλά μαθαίνει να προβλέπει, ανάλογα με τις εικόνες στην οθόνη,

how many future points it can expect to earn by pressing different buttons.

πόσους μελλοντικούς πόντους θα κερδίσει πατώντας διαφορετικά κουμπιά.

For instance, “if the ball is here and I move left, more points,

Για παράδειγμα: «αν η μπάλα είναι εδώ και πάω αριστερά, πιο πολλοί οι πόντοι,

but if I move right, no more points.”

αλλά αν πάω δεξιά, δεν κερδίζω άλλους πόντους».

But learning these connections requires a lot of trial and error.

Για να κάνει, όμως, αυτές τις συνδέσεις απαιτούνται πολλές δοκιμές και λάθη.

The DQN system would start by mashing buttons randomly,

Το σύστημα DQN ξεκινούσε πατώντας κουμπιά στην τύχη

and then slowly piece together which buttons to mash when

και μετά καταλάβαινε σταδιακά ποια κουμπιά έπρεπε να πατήσει και πότε,

in order to maximize its score.

ώστε να μεγιστοποιήσει το σκορ του.

But in playing “Montezuma’s Revenge,”

Στο «Montezuma’s Revenge» όμως,

this approach of random button-mashing fell flat on its face.

αυτή η προσέγγιση του τυχαίου πατήματος κουμπιών απέτυχε εντελώς.

A player would have to perform this entire sequence

Ο παίκτης έπρεπε να εκτελέσει όλη αυτή την ακολουθία

just to score their first points at the very end.

απλά και μόνο για να κερδίσει τους πρώτους του πόντους στο τέλος.

A mistake? Game over.

Αν έκανε λάθος; Τέλος παιχνιδιού.

So how could DQN even know it was on the right track?

Πώς θα καταλάβαινε, λοιπόν, το DQN πότε ήταν στο σωστό δρόμο;

This is where babies come in.

Εδώ έρχονται τα μωρά.

In studies, infants consistently look longer at pictures

Σε όλες τις έρευνες, τα βρέφη κοιτούν για περισσότερη ώρα τις εικόνες

they haven’t seen before than ones they have.

που δεν έχουν ξαναδεί απ′ ό,τι αυτές που έχουν ήδη δει.

There just seems to be something intrinsically rewarding about novelty.

Φαίνεται ότι τα καινούρια πράγματα έχουν κάτι εγγενώς ευχάριστο.

This behavior has been essential in understanding the infant mind.

Αυτή η συμπεριφορά είναι βασική για την κατανόηση του βρεφικού νου.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Αποδείχθηκε, επίσης, ότι είναι το μυστικό για τη νίκη στο «Montezuma’s Revenge».

The DeepMind researchers worked out an ingenious way

Οι ερευνητές του DeepMind σκέφτηκαν έναν ευφυή τρόπο

to plug this preference for novelty into reinforcement learning.

για να εντάξουν αυτή την προτίμηση για κάτι καινούριο στην ενισχυτική μάθηση.

They made it so that unusual or new images appearing on the screen

Ρύθμισαν το παιχνίδι

ώστε οι ασυνήθιστες ή οι νέες εικόνες που εμφανίζονταν στην οθόνη

were every bit as rewarding as real in-game points.

να ανταμείβουν τους παίκτες τόσο όσο και οι πόντοι μέσα στο παιχνίδι.

Suddenly, DQN was behaving totally differently from before.

Ξαφνικά, το DQN συμπεριφερόταν εντελώς διαφορετικά σε σχέση με πριν.

It wanted to explore the room it was in,

Ήθελε να εξερευνήσει το δωμάτιο στο οποίο βρισκόταν,

to grab the key and escape through the locked door—

να πάρει το κλειδί και να ξεφύγει από την κλειδωμένη πόρτα -

not because it was worth 100 points,

όχι γιατί αυτό άξιζε 100 πόντους,

but for the same reason we would: to see what was on the other side.

αλλά για τον ίδιο λόγο που θα το κάναμε κι εμείς:

για να δει τι υπήρχε στην άλλη πλευρά.

With this new drive, DQN not only managed to grab that first key—

Με αυτή τη νέα ώθηση, το DQN όχι μόνο κατάφερε να πάρει το πρώτο κλειδί

it explored all the way through 15 of the temple’s 24 chambers.

αλλά εξερεύνησε μέχρι και 15 από τις 24 κάμαρες του ναού.

But emphasizing novelty-based rewards can sometimes create more problems

Η έμφαση, όμως, σε τέτοια βραβεία μερικές φορές δημιουργεί περισσότερα προβλήματα

than it solves.

από αυτά που λύνει.

A novelty-seeking system that’s played a game too long

Ένα σύστημα που ψάχνει το καινούριο

και έχει παίξει ένα παιχνίδι για πολύ καιρό

will eventually lose motivation.

θα χάσει τελικά το κίνητρο να συνεχίσει.

If it’s seen it all before, why go anywhere?

Αν τα έχει ξαναδεί όλα, γιατί να πάει οπουδήποτε;

Alternately, if it encounters, say, a television, it will freeze.

Εναλλακτικά, αν συναντήσει, ας πούμε, μια τηλεόραση, θα σταματήσει.

The constant novel images are essentially paralyzing.

Οι συνεχείς καινούριες εικόνες είναι στην ουσία παραλυτικές.

The ideas and inspiration here go in both directions.

Οι ιδέες και η έμπνευση εδώ είναι αμφίδρομες.

AI researchers stuck on a practical problem,

Οι ερευνητές της ΤΝ που έχουν κολλήσει σε ένα πρακτικό πρόβλημα,

like how to get DQN to beat a difficult game,

όπως το πώς να κάνουν το DQN να τερματίσει ένα δύσκολο παιχνίδι,

are turning increasingly to experts in human intelligence for ideas.

απευθύνονται όλο και περισσότερο στους ειδικούς στην ανθρώπινη νοημοσύνη

για ιδέες.

At the same time,

Την ίδια στιγμή,

AI is giving us new insights into the ways we get stuck and unstuck:

η ΤΝ μας παρέχει νέες γνώσεις για το πώς εμείς κολλάμε και ξεκολλάμε:

into boredom, depression, and addiction,

για την πλήξη, την κατάθλιψη και τον εθισμό,

along with curiosity, creativity, and play.

μαζί με την περιέργεια, τη δημιουργικότητα και το παιχνίδι.