How to get better at video games, according to babies - Brian Christian

Translator: Diem Dinh Reviewer: Ly Nguyễn

In 2013, a group of researchers at DeepMind in London

Năm 2013, một nhóm nghiên cứu của DeepMind tại Luân Đôn

had set their sights on a grand challenge.

quyết định đối diện một thử thách lớn.

They wanted to create an AI system that could beat,

Họ muốn tạo ra một hệ thống trí tuệ nhân tạo (AI)

có thể thắng không chỉ một mà mọi tựa game của Atari.

not just a single Atari game, but every Atari game.

They developed a system they called Deep Q Networks, or DQN,

Họ phát triển một hệ thống tên Deep Q Networks, hay DQN,

and less than two years later, it was superhuman.

và chưa đầy hai năm sau, nó đã vượt qua con người.

DQN was getting scores 13 times better

DQN đạt số điểm cao gấp 13 lần

than professional human games testers at “Breakout,”

người thử nghiệm game chuyên nghiệp ở trò Breakout,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

gấp 17 lần ở trò Boxing và gấp 25 lần ở trò Video Pinball.

But there was one notable, and glaring, exception.

Nhưng có một ngoại lệ nổi bật rõ ràng.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

Khi chơi trò Montezuma’s Revenge, DQN không thắng được điểm nào

even after playing for weeks.

dù đã chơi nhiều tuần.

What was it that made this particular game so vexingly difficult for AI?

Tại sao trò chơi này lại gây khó khăn cho AI như vậy?

And what would it take to solve it?

Và ta khắc phục nó bằng cách nào?

Spoiler alert: babies.

Tiết lộ trước nhé: em bé.

We’ll come back to that in a minute.

Chúng ta sẽ quay lại phần này sau.

Playing Atari games with AI involves what’s called reinforcement learning,

Chơi game của Atari bằng AI đòi hỏi sử dụng học tăng cường,

where the system is designed to maximize some kind of numerical rewards.

trong đó hệ thống được thiết kế để tối đa hóa một loại phần thưởng bằng số.

In this case, those rewards were simply the game's points.

Trong trường hợp này, phần thưởng chính là số điểm của trò chơi.

This underlying goal drives the system to learn which buttons to press

Mục tiêu cơ bản này thôi thúc hệ thống học phải nhấn nút nào

and when to press them to get the most points.

và nhấn khi nào để đạt số điểm cao nhất.

Some systems use model-based approaches, where they have a model of the environment

Một số hệ thống dùng phương pháp dựa trên mô hình, trong đó mô hình của môi trường

that they can use to predict what will happen next

được sử dụng để dự đoán điều gì sẽ xảy ra

once they take a certain action.

khi hệ thống thử một hành động nhất định.

DQN, however, is model free.

Tuy nhiên, DQN không sử dụng mô hình.

Instead of explicitly modeling its environment,

Thay vì mô hình hóa rõ ràng môi trường,

it just learns to predict, based on the images on screen,

nó chỉ học cách dự đoán – dựa trên ảnh trên màn hình –

how many future points it can expect to earn by pressing different buttons.

mình sẽ đạt được bao nhiêu điểm trong tương lai khi nhấn các nút khác nhau.

For instance, “if the ball is here and I move left, more points,

Ví dụ, “nếu quả bóng ở đây mà ta chạy sang trái thì điểm tăng,

but if I move right, no more points.”

nhưng sang phải thì điểm không tăng.”

But learning these connections requires a lot of trial and error.

Nhưng để biết mối liên hệ này, nó phải thử và rút kinh nghiệm nhiều lần.

The DQN system would start by mashing buttons randomly,

Hệ thống DQN bắt đầu bằng cách nhấn nút ngẫu nhiên,

and then slowly piece together which buttons to mash when

sau đó dần dần tìm hiểu khi nào phải nhấn nút nào

in order to maximize its score.

để đạt điểm tối đa.

But in playing “Montezuma’s Revenge,”

Nhưng khi chơi Montezuma’s Revenge,

this approach of random button-mashing fell flat on its face.

phương pháp nhấn bừa nút này thất bại hoàn toàn.

A player would have to perform this entire sequence

Người chơi phải thực hiện toàn bộ chuỗi hành động này

just to score their first points at the very end.

rồi mới nhận được số điểm đầu tiên.

A mistake? Game over.

Làm sai? Trò chơi kết thúc.

So how could DQN even know it was on the right track?

Vậy làm sao DQN biết được mình có đi đúng hướng không?

This is where babies come in.

Đây là lúc ta cần đến em bé.

In studies, infants consistently look longer at pictures

Theo nghiên cứu, trẻ sơ sinh luôn nhìn những bức ảnh

they haven’t seen before than ones they have.

mà mình chưa từng thấy trước đây lâu hơn.

There just seems to be something intrinsically rewarding about novelty.

Những điều mới lạ dường như đem lại sự thỏa mãn cố hữu.

This behavior has been essential in understanding the infant mind.

Hành vi này là yếu tố cần thiết để hiểu trí óc trẻ sơ sinh.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Thật tình cờ, nó cũng chính là bí quyết để thắng trò Montezuma’s Revenge.

The DeepMind researchers worked out an ingenious way

Nhóm nghiên cứu tại DeepMind đã khéo léo tìm ra cách

to plug this preference for novelty into reinforcement learning.

áp dụng cảm giác thích tính mới này vào học tăng cường.

They made it so that unusual or new images appearing on the screen

Họ khiến những hình ảnh bất thường hoặc mới xuất hiện trên màn hình

were every bit as rewarding as real in-game points.

cũng có giá trị ngang với số điểm thực trong trò chơi.

Suddenly, DQN was behaving totally differently from before.

DQN lập tức hành động hoàn toàn khác trước.

It wanted to explore the room it was in,

Nó muốn khám phá căn phòng,

to grab the key and escape through the locked door—

muốn lấy chìa khóa và thoát khỏi cánh cửa khóa kín –

not because it was worth 100 points,

không phải vì nó có thể nhận được 100 điểm,

but for the same reason we would: to see what was on the other side.

nhưng vì cùng lý do như chúng ta: để xem phía bên kia có gì.

With this new drive, DQN not only managed to grab that first key—

Với động lực mới này, DQN chẳng những lấy được chìa khóa đầu tiên

it explored all the way through 15 of the temple’s 24 chambers.

mà còn khám phá hết 15 trong số 24 phòng của ngôi đền.

But emphasizing novelty-based rewards can sometimes create more problems

Song, phần thưởng dựa trên tính mới đôi khi tạo ra nhiều vấn đề

than it solves.

hơn là giải quyết.

A novelty-seeking system that’s played a game too long

Nếu chơi một trò chơi quá lâu, một hệ thống tìm kiếm tính mới

will eventually lose motivation.

sẽ dần mất động lực.

If it’s seen it all before, why go anywhere?

Nếu đã thấy mọi thứ rồi thì cần gì đi tiếp nữa?

Alternately, if it encounters, say, a television, it will freeze.

Mặt khác, nếu nó gặp một cái ti vi chẳng hạn, nó sẽ đứng yên.

The constant novel images are essentially paralyzing.

Những hình ảnh mới liên tục xuất hiện sẽ làm tê liệt nó.

The ideas and inspiration here go in both directions.

Ý tưởng và cảm hứng ở đây là hai chiều.

AI researchers stuck on a practical problem,

Khi các nhà nghiên cứu AI gặp một vấn đề thực tế –

like how to get DQN to beat a difficult game,

như phải làm sao để giúp DQN thắng một trò chơi khó –

are turning increasingly to experts in human intelligence for ideas.

họ ngày càng tham khảo nhiều ý tưởng của các chuyên gia về trí tuệ con người.

At the same time,

Cùng lúc đó,

AI is giving us new insights into the ways we get stuck and unstuck:

AI cũng đem lại hiểu biết mới về cách ta gặp và vượt qua khó khăn:

into boredom, depression, and addiction,

về sự buồn tẻ, chán nản và nghiện ngập,

along with curiosity, creativity, and play.

cùng với sự tò mò, sáng tạo và vui chơi.