How to get better at video games, according to babies - Brian Christian

Translator: neysa nasywa Reviewer: Reno Kanti Riananda

In 2013, a group of researchers at DeepMind in London

Pada tahun 2013, sekelompok peneliti di DeepMind, London,

had set their sights on a grand challenge.

berambisi menjawab sebuah tantangan besar.

They wanted to create an AI system that could beat,

Mereka ingin menciptakan sistem AI yang dapat mengalahkan,

not just a single Atari game, but every Atari game.

bukan hanya satu gim Atari, tetapi semua gim Atari.

They developed a system they called Deep Q Networks, or DQN,

Mereka mengembangkan sistem yang disebut Deep Q Networks, atau DQN,

and less than two years later, it was superhuman.

dan kurang dari dua tahun kemudian, kecerdasannya melampaui manusia.

DQN was getting scores 13 times better

DQN mencetak skor 13 kali lebih baik

than professional human games testers at “Breakout,”

daripada para penguji gim profesional di “Breakout,”

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

17 kali lebih baik di “Boxing,” dan 25 kali lebih baik di “Video Pinball.”

But there was one notable, and glaring, exception.

Namun, terdapat sebuah pengecualian utama dan mencolok.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Saat memainkan “Montezuma’s Revenge” DQN tidak bisa mencetak satu poin pun,

even after playing for weeks.

bahkan setelah bermain berminggu-minggu.

What was it that made this particular game so vexingly difficult for AI?

Apa yang membuat gim ini sukar sekali diselesaikan oleh AI?

And what would it take to solve it?

Dan apa yang diperlukan untuk menyelesaikannya?

Spoiler alert: babies.

Bocorannya: para bayi.

We’ll come back to that in a minute.

Kita akan membahasnya setelah ini.

Playing Atari games with AI involves what’s called reinforcement learning,

Bermain gim Atari dengan AI melibatkan apa yang disebut reinforcement learning,

where the system is designed to maximize some kind of numerical rewards.

di mana sistem didesain untuk memaksimalkan hadiah yang berwujud angka.

In this case, those rewards were simply the game's points.

Dalam kasus ini, hadiah itu adalah poin dari gim tersebut.

This underlying goal drives the system to learn which buttons to press

Tujuan ini mendorong sistem untuk mempelajari tombol mana yang ditekan

and when to press them to get the most points.

dan kapan melakukannya demi mendapatkan poin terbanyak.

Some systems use model-based approaches, where they have a model of the environment

Beberapa sistem menggunakan pendekatan berbasis model,

di mana terdapat model suatu lingkungan

that they can use to predict what will happen next

yang dapat dipakai untuk memprediksi apa yang akan terjadi

once they take a certain action.

setelah sistem melakukan suatu aksi.

DQN, however, is model free.

Namun, DQN adalah sistem bebas model.

Instead of explicitly modeling its environment,

Alih-alih menciptakan model lingkungannya,

it just learns to predict, based on the images on screen,

sistem ini belajar untuk memprediksi, berdasarkan gambar di layar,

how many future points it can expect to earn by pressing different buttons.

berapa banyak poin yang akan didapat dari menekan tombol yang berbeda.

For instance, “if the ball is here and I move left, more points,

Contohnya, “ketika bolanya di sini dan aku bergeser ke kiri, poin bertambah,

but if I move right, no more points.”

tetapi jika aku bergeser ke kanan, tidak akan ada poin.”

But learning these connections requires a lot of trial and error.

Namun, untuk mempelajari ini semua dibutuhkan banyak sekali percobaan.

The DQN system would start by mashing buttons randomly,

Sistem DQN akan memulai dengan menekan tombol secara acak,

and then slowly piece together which buttons to mash when

lalu perlahan mencocokkan tombol mana yang harus ditekan

in order to maximize its score.

untuk memaksimalkan skor.

But in playing “Montezuma’s Revenge,”

Namun, saat bermain “Montezuma’s Revenge,”

this approach of random button-mashing fell flat on its face.

metode tekan tombol acak ini gagal total.

A player would have to perform this entire sequence

Seorang pemain harus memainkan seluruh rangkaian ini

just to score their first points at the very end.

hanya untuk mencetak poin pertama di akhir rangkaian.

A mistake? Game over.

Satu kesalahan? Permainan berakhir.

So how could DQN even know it was on the right track?

Jadi, bagaimana DQN bisa tahu ia berada di jalan yang benar?

This is where babies come in.

Di sinilah peran para bayi.

In studies, infants consistently look longer at pictures

Pada beberapa studi, bayi secara konsisten melihat lebih lama ke sebuah foto

they haven’t seen before than ones they have.

yang belum pernah mereka lihat dibandingkan yang pernah.

There just seems to be something intrinsically rewarding about novelty.

Tampaknya ada kepuasan tersendiri yang muncul dari hal-hal baru.

This behavior has been essential in understanding the infant mind.

Pemahaman akan perilaku ini esensial dalam memahami pikiran bayi.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Hal ini ternyata juga merupakan rahasia untuk menyelesaikan ”Montezuma’s Revenge.”

The DeepMind researchers worked out an ingenious way

Para peneliti DeepMind menemukan cara yang cerdik

to plug this preference for novelty into reinforcement learning.

untuk memasukkan pilihan akan hal baru ini ke dalam reinforcement learning.

They made it so that unusual or new images appearing on the screen

Mereka membuatnya sedemikian rupa sehingga gambar baru yang muncul di layar

were every bit as rewarding as real in-game points.

terlihat sama berharganya dengan poin asli dalam gim.

Suddenly, DQN was behaving totally differently from before.

Tiba-tiba, DQN berperilaku jauh berbeda dari sebelumnya.

It wanted to explore the room it was in,

Ia ingin menjelajahi ruangan tempatnya berada,

to grab the key and escape through the locked door—

mengambil kunci dan meloloskan diri dari pintu yang terkunci —

not because it was worth 100 points,

bukan untuk mendapatkan 100 poin,

but for the same reason we would: to see what was on the other side.

tetapi untuk alasan yang sama dengan kita: mencari tahu apa yang ada di sisi lain.

With this new drive, DQN not only managed to grab that first key—

Dengan rangsangan baru ini, DQN tak hanya berhasil menemukan kunci pertama—

it explored all the way through 15 of the temple’s 24 chambers.

tetapi juga menjelajahi hingga 15 dari 24 ruangan di kuil tersebut.

But emphasizing novelty-based rewards can sometimes create more problems

Namun, sistem hadiah berbasis hal baru ini

terkadang menciptakan lebih banyak masalah daripada memecahkannya.

than it solves.

A novelty-seeking system that’s played a game too long

Sebuah sistem pencari hal baru yang sudah dimainkan terlalu lama

will eventually lose motivation.

lama-kelamaan akan kehilangan motivasi.

If it’s seen it all before, why go anywhere?

Jika sudah pernah melihat semuanya, kenapa harus pergi lagi?

Alternately, if it encounters, say, a television, it will freeze.

Terkadang, saat bertemu sebuah televisi, misalnya, ia akan berhenti.

The constant novel images are essentially paralyzing.

Gambar baru yang terus-terusan muncul membuatnya tidak berdaya.

The ideas and inspiration here go in both directions.

Ide dan inspirasi di sini berjalan dua arah.

AI researchers stuck on a practical problem,

Peneliti AI yang terjebak pada masalah sederhana,

like how to get DQN to beat a difficult game,

seperti cara agar DQN menyelesaikan gim yang sulit,

are turning increasingly to experts in human intelligence for ideas.

berpaling ke ahli kecerdasan manusia untuk mencari ide.

At the same time,

Pada waktu bersamaan,

AI is giving us new insights into the ways we get stuck and unstuck:

AI memberi kita wawasan baru tentang bagaimana kita sendiri terjebak dan lolos:

into boredom, depression, and addiction,

dalam kebosanan, depresi, dan kecanduan,

along with curiosity, creativity, and play.

bersama dengan rasa ingin tahu, kreativitas, dan permainan.