3 principles for creating safer AI | Stuart Russell

Çeviri: Gunperi Sisman Gözden geçirme: Sevkan Uzel

This is Lee Sedol.

Burada gördüğünüz Lee Sedol.

Lee Sedol is one of the world's greatest Go players,

Lee Sedol dünyadaki en iyi Go oyuncularından biri.

and he's having what my friends in Silicon Valley call

Burada Silikon Vadisi'ndeki arkadaşlarımın deyişiyle

a "Holy Cow" moment --

bir 'Aman Tanrım' anı yaşıyor

(Laughter)

(Gülüşmeler)

a moment where we realize

Bu, yapay zekanın beklediğimizden

that AI is actually progressing a lot faster than we expected.

çok daha hızlı ilerlediğini anladığımız bir an.

So humans have lost on the Go board. What about the real world?

İnsanlar Go tahtasında kaybetti. Peki ya gerçek hayatta?

Well, the real world is much bigger,

Gerçek dünya Go tahtasından

much more complicated than the Go board.

çok daha büyük ve çok daha karmaşık.

It's a lot less visible,

Daha az şeffaf

but it's still a decision problem.

ama yine de bir karar sorunu oluşturuyor.

And if we think about some of the technologies

Eğer gelmekte olan bazı teknolojileri

that are coming down the pike ...

düşünecek olursak...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Noriko [Arai] makinelerin henüz okuyamadığından bahsetti;

at least with understanding.

en azından okuduklarını anlamadıklarından

But that will happen,

Ama bu gerçekleşecek

and when that happens,

ve bunun gerçekleşmesinin hemen ardından makineler,

very soon afterwards,

insan türünün tarih boyunca yazdığı

machines will have read everything that the human race has ever written.

her şeyi okumuş olacak.

And that will enable machines,

Bu da makinelere insanlardan daha öteye

along with the ability to look further ahead than humans can,

bakma yetisini verecek.

as we've already seen in Go,

Go oyununda gördüğümüz gibi

if they also have access to more information,

eğer daha fazla bilgiye erişebilirlerse,

they'll be able to make better decisions in the real world than we can.

gerçek hayatta bizden daha iyi kararlar alabilecekler.

So is that a good thing?

Peki bu iyi bir şey mi?

Well, I hope so.

Umarım öyledir.

Our entire civilization, everything that we value,

Tüm uygarlığımız,

değer verdiğimiz her şey zekamıza dayanıyor.

is based on our intelligence.

And if we had access to a lot more intelligence,

Eğer bizlerin daha fazla zekaya erişebilme şansı olsa

then there's really no limit to what the human race can do.

insan türünün yapabileceği şeylerin bir sınırı olmayacak.

And I think this could be, as some people have described it,

Sanırım bu, bazılarının tanımladığı gibi

the biggest event in human history.

dünya tarihindeki en önemli olay olacaktır.

So why are people saying things like this,

Peki neden bazıları yapay zekanın insan türünün

that AI might spell the end of the human race?

sonunu getirebileceğini söylüyor?

Is this a new thing?

Bu yeni bir endişe mi?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Yani bunu düşünen sadece Elon Musk, Bill Gates ve Stephen Hawking mi?

Actually, no. This idea has been around for a while.

Aslında hayır. Bu fikir uzun zamandır var.

Here's a quotation:

İşte size bir alıntı:

"Even if we could keep the machines in a subservient position,

''Makineleri itaatkâr bir pozisyonda tutabiliyor olsak bile

for instance, by turning off the power at strategic moments" --

-örneğin güç ünitelerini stratejik anlarda kapatarak-

and I'll come back to that "turning off the power" idea later on --

(birazdan bu ''güç ünitesini kapama'' fikrine geri döneceğim)

"we should, as a species, feel greatly humbled."

insan türü olarak bizler çok aşağılanmış gibi hissedeceğiz."

So who said this? This is Alan Turing in 1951.

Peki bunu kim söyledi? 1951 yılında Alan Turing.

Alan Turing, as you know, is the father of computer science

Alan Turing bildiğiniz gibi bilgisayar biliminin

and in many ways, the father of AI as well.

ve ayrıca pek çok yönden yapay zekanın da babasıdır.

So if we think about this problem,

Eğer bu problemi kendi türümüzden

the problem of creating something more intelligent than your own species,

daha zeki bir tür yaratma problemi olarak düşünürsek,

we might call this "the gorilla problem,"

buna ''goril problemi'' de diyebiliriz.

Çünkü gorillerin ataları bunu birkaç milyon yıl önce yaptı:

because gorillas' ancestors did this a few million years ago,

and now we can ask the gorillas:

Gorillere bugün şu soruyu sorabiliriz:

Was this a good idea?

Bu iyi bir fikir miydi?

So here they are having a meeting to discuss whether it was a good idea,

Burada toplantıdalar ve bu fikri değerlendiriyorlar.

and after a little while, they conclude, no,

Sonunda da bunun kötü bir fikir

olduğuna karar veriyorlar.

this was a terrible idea.

Türümüz zor durumda.

Our species is in dire straits.

In fact, you can see the existential sadness in their eyes.

Aslında gözlerindeki varoluşsal üzüntüyü görebiliyorsunuz.

(Laughter)

(Gülüşmeler)

So this queasy feeling that making something smarter than your own species

Kendi türünüzden daha zeki bir şey yaratmanın

pek de iyi bir fikir olmayabileceğine dair tatsız bir his...

is maybe not a good idea --

what can we do about that?

Bu konuda ne yapabiliriz?

Well, really nothing, except stop doing AI,

Doğrusu, yapay zeka ile uğraşmayı bırakmaktan başka bir şey yapamayız.

and because of all the benefits that I mentioned

Ama az önce sözünü ettiğim tüm yararlarından dolayı

and because I'm an AI researcher,

ve ben de bir YZ araştırmacısı olduğumdan,

I'm not having that.

buna katılmıyorum.

I actually want to be able to keep doing AI.

Aslında ben YZ yapmaya çalışmayı sürdürmek istiyorum.

So we actually need to nail down the problem a bit more.

Yani aslında soruna biraz daha yakından bakmalıyız.

What exactly is the problem?

Sorun tam olarak nedir?

Why is better AI possibly a catastrophe?

Neden daha iyi bir YZ muhtemelen bir felaket olsun?

İşte bir başka alıntı:

So here's another quotation:

"We had better be quite sure that the purpose put into the machine

''Makinelere verdiğimiz amaçların aslında bizlerin arzuladığı

is the purpose which we really desire."

amaçlar olduğuna emin olmalıyız.''

This was said by Norbert Wiener in 1960,

Norbert Wiener bunu 1960 yılında, ilk öğrenim sistemlerinden birinin,

shortly after he watched one of the very early learning systems

dama oynamayı, yaratıcısından daha iyi başardığını izledikten sonra söylemişti.

learn to play checkers better than its creator.

But this could equally have been said

Ama bu pekâlâ Kral Midas tarafından da söylenmiş olabilirdi.

by King Midas.

King Midas said, "I want everything I touch to turn to gold,"

Kral Midas şöyle demişti: ''Dokunduğum her şeyin altın olmasını istiyorum,''

and he got exactly what he asked for.

ve istediğini tam olarak elde etti.

That was the purpose that he put into the machine,

Onun makineye verdiği amacın bu olduğu söylenebilir.

so to speak,

and then his food and his drink and his relatives turned to gold

Bunun üstüne, yiyeceği ve içeceği ve akrabaları altına dönüştü.

and he died in misery and starvation.

Kendisi de açlık ve sefalet içinde öldü.

O zaman, belirttiğimiz ereklerin,

So we'll call this "the King Midas problem"

of stating an objective which is not, in fact,

aslında istediğimiz şey ile gerçekte uyuşmaması durumuna

truly aligned with what we want.

''Kral Midas Problemi'' diyelim.

In modern terms, we call this "the value alignment problem."

Modern terimlerle buna ''değer uyuşmazlığı problemi'' diyoruz.

Putting in the wrong objective is not the only part of the problem.

Problem, yanlış amaç yerleştirmekten ibaret değil.

There's another part.

Bir yönü daha var.

If you put an objective into a machine,

Bir makineye bir amaç verirseniz,

even something as simple as, "Fetch the coffee,"

örneğin ''kahvemi getir'' gibi basit bir hedef olsa bile

the machine says to itself,

makine kendi kendine şöyle der:

''Kahveyi getirmekte nasıl başarısızlığa uğrayabilirim?

"Well, how might I fail to fetch the coffee?

Someone might switch me off.

Biri beni kapatabilir.

OK, I have to take steps to prevent that.

Peki. Bunu önlemek için bir şeyler yapmalıyım.

I will disable my 'off' switch.

'Kapama' düğmemi işlev dışı bırakacağım.

I will do anything to defend myself against interference

Bana verilen komutu yerine getirmemi engelleyebilecek

with this objective that I have been given."

her türlü müdahaleye karşı kendimi savunmak için ne gerekiyorsa yapacağım."

So this single-minded pursuit

Sonuç olarak, gayet savunmacı bir moddaki

in a very defensive mode of an objective that is, in fact,

bu tek-hedef odaklı hareket,

insan türünün gerçek hedefleriyle örtüşmüyor.

not aligned with the true objectives of the human race --

that's the problem that we face.

Karşı karşıya kaldığımız sorun aslında bu.

And in fact, that's the high-value takeaway from this talk.

Doğrusu, tam da bu, bu konuşmanın en değerli dersi.

If you want to remember one thing,

Hatırlamanız gereken bir şey varsa,

it's that you can't fetch the coffee if you're dead.

o da ölüyken kahve getiremeyeceğiniz olmalı.

(Laughter)

(Gülüşmeler)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Bu çok basit. Sadece bunu hatırlayın. Kendinize bunu günde üç kez tekrar edin.

(Laughter)

(Gülüşmeler)

And in fact, this is exactly the plot

Aslında, bu tam da

of "2001: [A Space Odyssey]"

''2001: [Bir Uzay Destanı]'' filmindeki hikayedir.

HAL has an objective, a mission,

HAL'in insanların hedefleriyle örtüşmeyen

which is not aligned with the objectives of the humans,

bir hedefi, bir misyonu vardır.

and that leads to this conflict.

Bu da bir çatışmaya neden olur.

Now fortunately, HAL is not superintelligent.

Neyse ki, HAL süper-zekalı değildir.

He's pretty smart, but eventually Dave outwits him

Çok zeki olsa da, sonunda Dave onu atlatır

and manages to switch him off.

ve onu kapatmayı başarır.

But we might not be so lucky.

Ama biz o kadar şanslı olamayabiliriz.

Peki ne yapacağız o zaman?

So what are we going to do?

I'm trying to redefine AI

Ben komutları zekice izleyen makinelerle ilgili

to get away from this classical notion

bu klasik düşünceden kurtulmamız için

of machines that intelligently pursue objectives.

yapay zekayı yeniden tanımlamaya çalışıyorum.

There are three principles involved.

Bununla ilgili üç ilke var.

The first one is a principle of altruism, if you like,

Birincisi, çıkar gözetmemezlik de denilebilecek bir ilke.

that the robot's only objective

Yani robotların tek hedeflerinin insanların hedeflerine,

is to maximize the realization of human objectives,

insanların değerlerine hitap etmek olması.

of human values.

And by values here I don't mean touchy-feely, goody-goody values.

'Değerler' derken, samimiyete dayanan değerleri kastetmiyorum.

I just mean whatever it is that the human would prefer

Sadece, insanların hayatlarının nasıl olması gerektiği hakkındaki

their life to be like.

tercihlerini kastetiyorum.

Bu, aslında Asimov'un

And so this actually violates Asimov's law

"robotların kendi varlıklarını korumaları gerektiği" kuralını çiğniyor.

that the robot has to protect its own existence.

It has no interest in preserving its existence whatsoever.

Robotlar, kendi varlıklarını korumakla ilgilenmez.

The second law is a law of humility, if you like.

İkinci kuralın mütevazilikle ilgili olduğu söylenebilir.

And this turns out to be really important to make robots safe.

Bunun, bir robotun güvenilir olmasında büyük katkısı olduğu ortaya çıktı.

It says that the robot does not know

Bu kural, robotların insanların değerlerinin ne olduğunu

what those human values are,

bilmeden onları arttırmaya çalıştığını söylüyor.

so it has to maximize them, but it doesn't know what they are.

Yani bilmediği değerleri arttırmaya çalışıyor.

Bu da tek-hedefli uğraş problemini önler.

And that avoids this problem of single-minded pursuit

of an objective.

This uncertainty turns out to be crucial.

Bu belirsizliğin çok önemli olduğu ortaya çıktı.

Now, in order to be useful to us,

Bunun bize yararlı olabilmesi için

it has to have some idea of what we want.

robotların bizlerin ne isteyebileceği hakkında bir fikri olmalı.

It obtains that information primarily by observation of human choices,

Bu bilgiyi de birincil olarak insanların tercihlerini gözlemleyerek elde eder.

so our own choices reveal information

Dolayısıyla bizim tercihlerimiz,

yaşamlarımızın nasıl olmasını istediğimize ilişkin bilgi sunuyor.

about what it is that we prefer our lives to be like.

So those are the three principles.

İşte üç ilke bunlar.

O zaman bu ilkelerin,

Let's see how that applies to this question of:

Turing'in önerdiği ''makineyi kapatabilir misin?''

"Can you switch the machine off?" as Turing suggested.

sorusuna nasıl uygulandığını inceleyelim.

So here's a PR2 robot.

Burada gördüğünüz bir PR2 robotu.

This is one that we have in our lab,

Bu gördüğünüz bizim laboratuvarımızdaki PR2.

and it has a big red "off" switch right on the back.

Gördüğünüz gibi arkasında kocaman kırmızı bir ''kapat'' düğmesi var.

The question is: Is it going to let you switch it off?

Sorumuz şu: Onu kapatmanıza izin verecek mi?

If we do it the classical way,

Bunu klasik şekilde yapacak olursak

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

ve ona ''kahveyi getir, kahveyi getirmeliyim,

I can't fetch the coffee if I'm dead,"

ölürsem kahveyi getiremem'' amacını verirsek,

so obviously the PR2 has been listening to my talk,

tabi PR2 konuşmamı dinlemekteydi,

and so it says, therefore, "I must disable my 'off' switch,

dolayısıyla ''kapama düğmemi işlev dışı bırakmalıyım

and probably taser all the other people in Starbucks

ve Starbucks'ta bana müdahale etmeye çalışan

diğer insanları da belki elektrikle şoklarım'' der.

who might interfere with me."

(Laughter)

(Gülüşmeler)

So this seems to be inevitable, right?

Yani bu kaçınılmaz görünüyor, değil mi?

This kind of failure mode seems to be inevitable,

Bu çeşit bir hata modu kaçınılmaz görünüyor ve

and it follows from having a concrete, definite objective.

bu da kesin ve net bir hedef konulmasından kaynaklanıyor.

So what happens if the machine is uncertain about the objective?

Peki, eğer makine hedef hakkında emin değilse ne olur?

Well, it reasons in a different way.

O zaman daha farklı bir mantık yürütür.

It says, "OK, the human might switch me off,

O zaman der ki, ''Peki, insan beni kapatabilir

but only if I'm doing something wrong.

ama sadece yanlış bişey yaparsam.

Well, I don't really know what wrong is,

Ben neyin yanlış olduğunu tam bilmiyorum

but I know that I don't want to do it."

ama yanlış yapmak istemediğimi biliyorum.''

So that's the first and second principles right there.

Burada birinci ve ikinci ilkeleri görebiliyorsunuz.

"So I should let the human switch me off."

''Öyleyse insanın beni kapatmasına izin vermeliyim.''

And in fact you can calculate the incentive that the robot has

Aslında bir robotun insana kendini kapatması için izin vermesindeki

to allow the human to switch it off,

motivasyonu hesaplayabilirsiniz.

and it's directly tied to the degree

Bu doğrudan, komutun belirsizlik

of uncertainty about the underlying objective.

derecesinin ne olduğuna bağlıdır.

And then when the machine is switched off,

Sonra makine kapatılınca,

that third principle comes into play.

üçüncü ilke devreye girer.

It learns something about the objectives it should be pursuing,

Çünkü izlediği amaçlara ilişkin bir şey öğrenir,

because it learns that what it did wasn't right.

çünkü yapmış olduğu şeyin yanlış olduğunu öğrenir.

In fact, we can, with suitable use of Greek symbols,

Aslında, matematikçilerin sıkça yaptığı gibi

as mathematicians usually do,

Yunan harflerinin uygun kullanımıyla,

we can actually prove a theorem

böyle bir robotun, insanlara yararının kanıtlanabileceğini

that says that such a robot is provably beneficial to the human.

söyleyen bir teoremi kanıtlayabiliriz.

You are provably better off with a machine that's designed in this way

Bu şekilde tasarlanmış bir makinenin varlığı,

yokluğuna oranla sizi daha iyi kılacaktır.

than without it.

So this is a very simple example, but this is the first step

Bu çok basit örnek aslında başarmaya çalıştığımız

in what we're trying to do with human-compatible AI.

insan-uyumlu YZ yolunda ilk adımımızdır.

Now, this third principle,

Şimdi bu üçüncü ilke

I think is the one that you're probably scratching your head over.

biraz kafanızı karıştırıyor olabilir.

You're probably thinking, "Well, you know, I behave badly.

Herhalde şunu düşünüyorsunuz: ''Eğer ben yanlış hareket ediyorsam,

I don't want my robot to behave like me.

robotumun da benim gibi hareket etmesini istemiyorum.

I sneak down in the middle of the night and take stuff from the fridge.

Geceleri usulca gidip buzluktan bişeyler aşırıyorum.

I do this and that."

Bunun gibi şeyler yapıyorum.''

There's all kinds of things you don't want the robot doing.

Robotun yapmamasını istediğiniz birçok şey olabilir.

But in fact, it doesn't quite work that way.

Ama aslında bu pek öyle çalışmıyor.

Just because you behave badly

Sırf siz kötü bir şey yaptınız diye,

doesn't mean the robot is going to copy your behavior.

robot da sizin hareketinizi taklit edecek değil.

It's going to understand your motivations and maybe help you resist them,

Sizi buna iteni anlayacak ve belki de direnmeniz için

size yardım edecek, eğer uygunsa.

if appropriate.

But it's still difficult.

Ama bu hâlâ zor.

What we're trying to do, in fact,

Aslında yapmaya çalıştığımız şey,

is to allow machines to predict for any person and for any possible life

makinelerin herhangi biri ve yaşayabilecekleri herhangi bir olası yaşam

ve diğer herkesin yaşamı için öngörüler yapmalarını sağlamak:

that they could live,

and the lives of everybody else:

Which would they prefer?

Neyi tercih ederlerdi?

And there are many, many difficulties involved in doing this;

Bunu yapmak konusunda çok fazla güçlük var.

I don't expect that this is going to get solved very quickly.

Bunun yakın zamanda çözüleceğini de sanmıyorum.

The real difficulties, in fact, are us.

Gerçek zorluk, aslında biziz.

As I have already mentioned, we behave badly.

Bahsettiğim gibi, kötü davranışlarımız var.

In fact, some of us are downright nasty.

Aslına bakarsanız, bazılarımız gerçekten kötü.

Now the robot, as I said, doesn't have to copy the behavior.

Dediğim gibi robot bu davranışları tekrarlamak zorunda değil.

The robot does not have any objective of its own.

Robotun kendine ait bir hedefi yok.

It's purely altruistic.

Onlar bütünüyle fedakâr.

And it's not designed just to satisfy the desires of one person, the user,

Bu sadece bir kişinin, kullanıcının arzularını

tatmin etmek üzere tasarlanmış değil,

but in fact it has to respect the preferences of everybody.

aslında herkesin tercihlerine saygı duymak için tasarlanırlar.

Makineler bir kısım kötü davranışı algılayabilir

So it can deal with a certain amount of nastiness,

and it can even understand that your nastiness, for example,

ve hatta kötü davranışın ardındaki nedenleri de anlayabilir.

Örneğin görev başında rüşvet alan bir pasaport memuruysanız,

you may take bribes as a passport official

because you need to feed your family and send your kids to school.

bunu aile geçindirmek ve çocukları okula göndermek için yaptığınızı anlayabilir.

It can understand that; it doesn't mean it's going to steal.

Bu onun da çalacağı anlamına gelmez.

In fact, it'll just help you send your kids to school.

Aslında çocuklarınızı okula gönderebilmeniz için size yardım edecek.

We are also computationally limited.

Bizler ayrıca hesaplama açısından sınırlıyız.

Lee Sedol is a brilliant Go player,

Lee Sedol parlak bir Go oyuncusu,

but he still lost.

ama yine de kaybetti.

So if we look at his actions, he took an action that lost the game.

Hamlelerine bakılırsa,

oyunu kaybetmesine neden olan bir hamle yaptı.

That doesn't mean he wanted to lose.

Bu onun kaybetmek istediği anlamına gelmiyor.

So to understand his behavior,

Yani onun davranışını anlamak için, bizim hesaplama konusundaki

we actually have to invert through a model of human cognition

sınırlarımızı da içeren bir insan zekası modeli süzgecinden geçirmek gerek.

that includes our computational limitations -- a very complicated model.

Bu da çok karmaşık bir model.

But it's still something that we can work on understanding.

Ama yine de anlamaya çalışabileceğimiz bir kavram.

Probably the most difficult part, from my point of view as an AI researcher,

Bir YZ araştırmacısı olarak baktığımda, en zor olan kısım belki de

is the fact that there are lots of us,

aslında çok fazla sayıda insan oluşu.

Makineler bir şekilde tüm farklı insanların tercihlerini

and so the machine has to somehow trade off, weigh up the preferences

of many different people,

ve bunların ağırlıklarını analiz etmeliler.

and there are different ways to do that.

Bunu yapmanın farklı yolları var.

Economists, sociologists, moral philosophers have understood that,

Ekonomistler, sosyologlar, filozoflar bunu anlamıştı

ve biz de aktif olarak bir işbirliği arayışındayız.

and we are actively looking for collaboration.

Let's have a look and see what happens when you get that wrong.

O zaman bunu yanlış anladığınızda neler olabileceğine bir bakalım.

So you can have a conversation, for example,

Örneğin zeki kişisel asistanınızla

with your intelligent personal assistant

bir sohbet yapabilirsiniz;

that might be available in a few years' time.

bu birkaç yıl içinde mümkün olabilir.

Think of a Siri on steroids.

Yani steroidler verilmiş bir Siri düşünün.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri diyor ki, ''Eşin bu akşamki yemek randevunuzu hatırlatmak için aradı.''

And of course, you've forgotten. "What? What dinner?

Tabi siz bunu unutmuştunuz. ''Ne? Ne yemeği?

What are you talking about?"

Neden bahsediyorsun?''

"Uh, your 20th anniversary at 7pm."

''Bu akşam 7'de olan 20. yıldönümü yemeğiniz.''

"I can't do that. I'm meeting with the secretary-general at 7:30.

''Ama yemeğe katılamam, saat 7:30'da Genel Sekreter ile buluşuyorum.

How could this have happened?"

Bu nasıl olabildi?''

"Well, I did warn you, but you overrode my recommendation."

''Sizi daha önce bununla ilgili uyarmıştım ama önerimi çiğnediniz.''

"Well, what am I going to do? I can't just tell him I'm too busy."

''Peki ne yapacağım? Genel sekretere çok meşgul olduğumu söyleyemem.''

"Don't worry. I arranged for his plane to be delayed."

"Merak etme, uçağının gecikmesini sağlıyorum.''

(Laughter)

(Gülüşmeler)

"Some kind of computer malfunction."

''Bir çeşit bilgisayar hatası.''

(Laughter)

(Gülüşmeler)

"Really? You can do that?"

''Gerçekten mi? Bunu yapabiliyor musun?''

"He sends his profound apologies

''Size en içten üzüntülerini iletiyor ve

and looks forward to meeting you for lunch tomorrow."

sizinle yarın öğlen yemeğinde görüşmeyi bekliyor.''

(Laughter)

(Gülüşmeler)

So the values here -- there's a slight mistake going on.

Yani buradaki değerler... Yanlış olan bir şeyler var.

This is clearly following my wife's values

Bu kesinlikle eşimin değerlerini takip etmekte,

which is "Happy wife, happy life."

ki bu da ''mutlu bir eş, mutlu bir hayat'' oluyor.

(Laughter)

(Gülüşmeler)

It could go the other way.

Ama bu başka türlü de gidebilir.

You could come home after a hard day's work,

Yorucu bir iş gününden eve geldiğinizde,

and the computer says, "Long day?"

bilgisayara size ''uzun bir gün müydü?'' diye soruyor.

"Yes, I didn't even have time for lunch."

''Evet, öğle yemeğine bile vaktim olmadı.''

"You must be very hungry."

''Çok aç olmalısın.''

"Starving, yeah. Could you make some dinner?"

''Evet, açlıktan ölüyorum. Yiyecek bir şeyler hazırlayabilir misin?''

"There's something I need to tell you."

''Sana söylemem gereken bişey var.''

(Laughter)

(Gülüşmeler)

"There are humans in South Sudan who are in more urgent need than you."

''Güney Sudan'da yemeğe senden daha muhtaç insanlar var.''

(Laughter)

(Gülüşmeler)

"So I'm leaving. Make your own dinner."

''Bu yüzden ben ayrılıyorum. Kendi yemeğini kendin yap.''

(Laughter)

(Gülüşmeler)

So we have to solve these problems,

Bu sorunları çözmeliyiz.

and I'm looking forward to working on them.

Ben de bu sorunların üstünde çalışmayı sabırsızlıkla bekliyorum.

There are reasons for optimism.

İyimser olmamız için sebeplerimiz var.

One reason is,

Bir nedenimiz

there is a massive amount of data.

varolan büyük bir veri oluşu.

Because remember -- I said they're going to read everything

Çünkü hatırlarsanız, insanların tarih boyunca yazdığı

the human race has ever written.

her şeyi okuyacaklarını söylemiştim.

Most of what we write about is human beings doing things

Yazdığımız çoğu şey, insanların yaptığı şeyler ve

başkalarının bunlardan dolayı üzülmesi ile ilgili.

and other people getting upset about it.

So there's a massive amount of data to learn from.

Yani öğrenilecek birçok şey var.

There's also a very strong economic incentive

Ayrıca bunu gerçekleştirmek için

güçlü bir ekonomik itki de var.

to get this right.

So imagine your domestic robot's at home.

Evcil robotunuzun evinizde olduğunu varsayın.

You're late from work again and the robot has to feed the kids,

Yine evinize geç gelmişsiniz ve robotun çocuklara yemek yedirmesi lazım.

and the kids are hungry and there's nothing in the fridge.

Çocuklar aç ve buzdolabında hiçbir şey yok.

And the robot sees the cat.

Robot kedinizi görüyor.

(Laughter)

(Gülüşmeler)

And the robot hasn't quite learned the human value function properly,

Robot henüz insanların değer yargılarını

tam olarak kullanmayı öğrenemediğinden,

so it doesn't understand

the sentimental value of the cat outweighs the nutritional value of the cat.

kedinin duygusal değerinin, kedinin besin değerinden

daha ağır bastığını anlamıyor.

(Gülüşmeler)

(Laughter)

So then what happens?

O zaman ne olur?

Well, it happens like this:

Şöyle bir son dakika haberi:

"Deranged robot cooks kitty for family dinner."

''Bozuk robot akşam yemeği için kediyi pişirdi.''

That one incident would be the end of the domestic robot industry.

Böyle tek bir olay, evcil robot endüstrisinin sonu olurdu.

So there's a huge incentive to get this right

Bu yüzden süper-zeki makinelerden önce bunu hatasız yapmamız gerekiyor.

long before we reach superintelligent machines.

So to summarize:

Kısaca özetleyecek olursak:

I'm actually trying to change the definition of AI

Ben yapay zekanın tanımını değiştirmeye çalışıyorum,

so that we have provably beneficial machines.

ki yararları kanıtlanmış makinelere sahip olabilelim.

And the principles are:

İlkeler şunlar:

machines that are altruistic,

Fedakâr makineler,

that want to achieve only our objectives,

sadece bizim hedeflerimize ulaşmak istesinler.

but that are uncertain about what those objectives are,

Ama bu hedeflerin ne olduğundan emin olmasınlar

and will watch all of us

ve öğrenmek için

to learn more about what it is that we really want.

hepimizi izleyip, gerçekte ne istediğimizi anlasınlar.

And hopefully in the process, we will learn to be better people.

Biz de ümit ederim ki bu süreçte daha iyi insanlar olmayı öğrenelim.

Thank you very much.

Çok teşekkür ederim.

(Applause)

(Alkışlar)

Chris Anderson: So interesting, Stuart.

Chris Anderson: Bu çok ilginçti Stuart.

We're going to stand here a bit because I think they're setting up

Seninle biraz burada duracağız, çünkü sanırım bir sonraki konuşmacı

for our next speaker.

için sahneyi kuruyorlar.

A couple of questions.

Sana birkaç sorum var.

So the idea of programming in ignorance seems intuitively really powerful.

Robotlara cehaleti de programlamak

içgüdüsel olarak çok güçlü bir fikir gibi duruyor.

As you get to superintelligence,

Süper-zekaya yaklaştıkça

what's going to stop a robot

bir robotun tüm araştırmaları okuyarak,

reading literature and discovering this idea that knowledge

bilginin aslında cehaletten daha iyi olduğunu keşfetmesi

is actually better than ignorance

ve kendi hedeflerini belirleyip

and still just shifting its own goals and rewriting that programming?

kendini programını yeniden yazmasını ne durdurabilir?

Stuart Russell: Yes, so we want it to learn more, as I said,

Stuart Russell: Evet, aslında dediğim gibi

biz de onun kendi hedeflerimiz hakkında

about our objectives.

daha çok şey bilmesini istiyoruz.

It'll only become more certain as it becomes more correct,

Onu, bunu doğru şekilde yorumlayacak biçimde tasarlayacağız.

so the evidence is there

Örneğin, kitapların içerdikleri kanıtlar açısından

and it's going to be designed to interpret it correctly.

son derece taraflı olduğunu anlayacak.

It will understand, for example, that books are very biased

in the evidence they contain.

They only talk about kings and princes

Sadece kralların, prenslerin ve elit beyaz erkeklerin

and elite white male people doing stuff.

yaptıklarından bahsediyorlar.

So it's a complicated problem,

Yani bu karmaşık bir problem,

but as it learns more about our objectives

ama bizim hedeflerimizi öğrendikçe,

bize giderek daha da yararlı olacaklar.

it will become more and more useful to us.

CA: And you couldn't just boil it down to one law,

CA: Ve bunu da tek bir kurala indirgeyemeyiz,

you know, hardwired in:

değil mi, yani

''eğer insan beni kapatmayı denerse,

"if any human ever tries to switch me off,

I comply. I comply."

uyacağım. Uyacağım.''

SR: Absolutely not.

SR: Kesinlikle hayır.

Bu berbat bir fikir olurdu.

That would be a terrible idea.

So imagine that you have a self-driving car

Yani kendini süren bir arabanız olduğunu varsayın

ve beş yaşındaki çocuğunuzu

and you want to send your five-year-old

anaokuluna göndermek istiyorsunuz.

off to preschool.

Do you want your five-year-old to be able to switch off the car

Peki beş yaşındaki çocuğunuzun

araba seyir halindeyken arabayı kapatabilmesini ister miydiniz?

while it's driving along?

Muhtemelen hayır. Yani bu durumda robotun,

Probably not.

So it needs to understand how rational and sensible the person is.

bir insanın ne kadar mantıklı ve rasyonel olduğunu anlaması gerekiyor.

Bir insan ne kadar rasyonel ise

The more rational the person,

the more willing you are to be switched off.

siz de o kadar kapatılmayı kabul edersiniz.

If the person is completely random or even malicious,

Eğer bir kişi tamamen plansız ve hatta kötü niyetliyse

then you're less willing to be switched off.

o zaman siz de kapatılmak için daha az hevesli olursunuz.

CA: All right. Stuart, can I just say,

CA: Peki. Stuart, sadece şunu söyleyebilirim.

I really, really hope you figure this out for us.

Umarım bunu hepimiz için çözebilirsin.

Thank you so much for that talk. That was amazing.

Konuşman için çok teşekkürler. Muhteşemdi.

SR: Thank you.

SR: Teşekkürler.

(Applause)

(Alkışlar)