How to get better at video games, according to babies - Brian Christian

Çeviri: Şevval Naz Ertik Gözden geçirme: Ebrar Batmaz

In 2013, a group of researchers at DeepMind in London

2013 yılında Londra’daki DeepMind’da araştırmacılardan oluşan bir ekip

had set their sights on a grand challenge.

oldukça çetin bir işi gerçekleştirmeyi kafasına koymuştu.

They wanted to create an AI system that could beat,

Tek bir Atari oyununu değil,

not just a single Atari game, but every Atari game.

hepsini kazanabilen bir yapay zekâ sistemi yaratmak istiyorlardı.

They developed a system they called Deep Q Networks, or DQN,

DQN yani Deep Q Networks isimli bir sistem geliştirdiler

and less than two years later, it was superhuman.

ve bu sistem iki yıldan kısa bir sürede insanüstü hâle geldi.

DQN was getting scores 13 times better

DQN; profesyonel şekilde oyun test eden kişilere kıyasla

than professional human games testers at “Breakout,”

Breakout’ta 13 kat,

17 times better at “Boxing,” and 25 times better at “Video Pinball.”

Boxing’de 17 kat ve Video Pinball’da 25 kat daha yüksek puan alıyordu.

But there was one notable, and glaring, exception.

Ancak göze çarpan bir istisna vardı.

When playing “Montezuma’s Revenge” DQN couldn’t score a single point,

DQN sistemi, “Montezuma’s Revenge” oyununda

even after playing for weeks.

haftalarca tek bir puan dahi alamamıştı.

What was it that made this particular game so vexingly difficult for AI?

Bu oyunu yapay zekâ için böylesine can sıkıcı hâle getiren neydi?

And what would it take to solve it?

Bu sorun nasıl çözülebilirdi?

Spoiler alert: babies.

Spoiler uyarısı: Bebekler.

We’ll come back to that in a minute.

Birazdan bu konuya değineceğiz.

Playing Atari games with AI involves what’s called reinforcement learning,

Atari oyunlarında yapay zekâya karşı oynamak, pekiştirmeli öğrenmeyi kapsıyor.

where the system is designed to maximize some kind of numerical rewards.

Yani sistem bir çeşit sayısal ödülü maksimuma çıkarmak üzerine tasarlanmış.

In this case, those rewards were simply the game's points.

Bu durumda ise bahsi geçen ödüller, oyundaki puanlar oluyor.

This underlying goal drives the system to learn which buttons to press

Altta yatan bu hedef, sistemin hangi butonlara basacağını

ve en yüksek puanı alabilmek için

and when to press them to get the most points.

butonlara ne zaman basması gerektiğini öğrenmesini sağlıyor.

Some systems use model-based approaches, where they have a model of the environment

Bazı sistemler model bazlı yöntemler kullanıyor.

Bu yöntemlerde, belli bir hareketi yaptıktan sonra

that they can use to predict what will happen next

ne olacağını tahmin etmek için kullanabilecekleri bir çevre modeli var.

once they take a certain action.

DQN, however, is model free.

DQN ise modelsiz bir sistem.

Instead of explicitly modeling its environment,

Çevresini doğrudan modellemek yerine

it just learns to predict, based on the images on screen,

ekrandaki görselleri baz alıyor ve yalnızca farklı butonlara basarak

how many future points it can expect to earn by pressing different buttons.

kaç puan kazanabileceğini tahmin etmeyi öğreniyor.

For instance, “if the ball is here and I move left, more points,

Örneğin, top buradaysa ve sola doğru hareket ederse puan kazanır

but if I move right, no more points.”

ancak sağa doğru hareket ederse puan kazanamaz.

But learning these connections requires a lot of trial and error.

Bu bağlantıları öğrenmek ise birçok kez deneme ve yanılmayı gerektiriyor.

The DQN system would start by mashing buttons randomly,

DQN sistemi, butonlara rastgele basarak başlar

ve maksimum puana ulaşmak için hangi butona ne zaman basması gerektiğini

and then slowly piece together which buttons to mash when

in order to maximize its score.

yavaş yavaş kavrardı.

But in playing “Montezuma’s Revenge,”

Ancak “Montezuma’s Revenge” oyununda

this approach of random button-mashing fell flat on its face.

DQN sisteminin bu yöntemi çuvalladı.

A player would have to perform this entire sequence

Yalnızca en sonda ilk puanlarını kazanabilmeleri için

just to score their first points at the very end.

oyuncuların tüm bu seriyi baştan yapmaları gerekiyordu.

A mistake? Game over.

Tek bir hatada ise oyun bitiyordu.

So how could DQN even know it was on the right track?

Peki DQN sistemi doğru yolda olduğunu nasıl bilebilirdi?

This is where babies come in.

Bebekler bu noktada devreye giriyor.

In studies, infants consistently look longer at pictures

Araştırmalara göre bebekler daha önce gördükleri resimlere kıyasla

ilk kez gördükleri resimlere daha uzun süre bakıyorlar

they haven’t seen before than ones they have.

ve bir tutarlılık söz konusu.

There just seems to be something intrinsically rewarding about novelty.

Görünüşe göre yeniliğin, doğası itibarıyla memnun eden bir hâli var.

This behavior has been essential in understanding the infant mind.

Bu davranış, bebeklerin zihnini anlamak için oldukça önemli oldu.

It also turned out to be the secret to beating “Montezuma’s Revenge.”

Aynı zamanda “Montezuma’s Revenge” oyununu kazanmanın sırrı olduğu ortaya çıktı.

The DeepMind researchers worked out an ingenious way

DeepMind’daki araştırmacılar, yeniliğin bu üstünlüğünü

to plug this preference for novelty into reinforcement learning.

pekiştirmeli öğrenmeye entegre etmenin ustaca bir yolunu buldu.

They made it so that unusual or new images appearing on the screen

Ekranda beliren yeni ya da alışılmadık görüntülerin

were every bit as rewarding as real in-game points.

oyun içi puanlar kadar ödüllendirici olmasını sağladılar.

Suddenly, DQN was behaving totally differently from before.

DQN sistemi birdenbire eskiye kıyasla tamamen farklı davranmaya başlamıştı.

It wanted to explore the room it was in,

İçinde bulunduğu odayı keşfetmek,

to grab the key and escape through the locked door—

anahtarı almak ve kilitli kapıdan çıkıp kaçmak istiyordu.

not because it was worth 100 points,

Bunu yaparken 100 puanı kazanmayı amaçlamıyordu.

but for the same reason we would: to see what was on the other side.

Tıpkı bizim yapacağımız gibi öbür tarafta ne olduğunu görmek istiyordu.

With this new drive, DQN not only managed to grab that first key—

Bu yeni dürtü ile DQN sistemi ilk anahtarı almakla kalmadı.

it explored all the way through 15 of the temple’s 24 chambers.

Ayrıca odadaki 24 tapınaktan 15 tanesini keşfetti.

But emphasizing novelty-based rewards can sometimes create more problems

Ancak yenilik bazlı ödülleri vurgulamak bazen çözümden çok sorun yaratabilir.

than it solves.

A novelty-seeking system that’s played a game too long

Yenilik arayışındaki bir sistem aynı oyunu çok uzun süre oynadığında

will eventually lose motivation.

önünde sonunda motivasyonunu kaybeder.

If it’s seen it all before, why go anywhere?

Daha önce her şeyi gördüyse neden bunu tekrarlasın ki?

Alternately, if it encounters, say, a television, it will freeze.

Ayrıca bir televizyon gibi yeni bir şeyle karşılaşırsa donacaktır.

The constant novel images are essentially paralyzing.

Sürekli yeni görüntülere maruz kalmak aksamalara sebep olur.

The ideas and inspiration here go in both directions.

Fikirler ve ilham, iç içe bir durumda.

AI researchers stuck on a practical problem,

DQN sisteminin zor bir oyunu nasıl kazanacağı gibi

like how to get DQN to beat a difficult game,

pratik bir soruna takılıp kalan yapay zekâ araştırmacıları,

are turning increasingly to experts in human intelligence for ideas.

gittikçe artarak insan zekâsı uzmanlarına fikir danışıyorlar.

At the same time,

Aynı zamanda yapay zekâ bizlere

AI is giving us new insights into the ways we get stuck and unstuck:

can sıkıntısı, depresyon ve bağımlılık gibi konularda

into boredom, depression, and addiction,

nasıl çıkmaza girip çıktığımızın iç yüzünü gösteriyor.

along with curiosity, creativity, and play.

Merak, yaratıcılık ve oyun da bu konulara dâhil.