What happens when our computers get smarter than we are? | Nick Bostrom

Çeviri: Ahmet Kamil Dokumaci Gözden geçirme: Ramazan Şen

I work with a bunch of mathematicians, philosophers and computer scientists,

Bir grup matematikçi, filozof ve bilgisayar uzmanıyla çalışıyorum,

and we sit around and think about the future of machine intelligence,

diğer şeylerin yanında, oturup makine zekasının geleceği

among other things.

üzerine düşünüyoruz.

Some people think that some of these things are sort of science fiction-y,

Bazı insanlar bu şeylerin bir kısmının bir tür bilim kurgu olduğunu düşünüyor,

far out there, crazy.

hatta çılgınca diyenler bile var.

But I like to say,

Ama şunu söylemek isterim ki,

okay, let's look at the modern human condition.

hadi öncelikle, modern insanın durumuna bir bakalım.

(Laughter)

(Gülüşmeler)

This is the normal way for things to be.

Bu, bir şeylerin olması için normal olan yoldur.

But if we think about it,

Ama düşündüğümüzde,

we are actually recently arrived guests on this planet,

biz aslında bu gezegenin, daha yeni gelmiş misafirleriyiz,

the human species.

insan türü.

Think about if Earth was created one year ago,

Dünyanın bir sene önce yaratıldığını düşünelim,

the human species, then, would be 10 minutes old.

o zaman insan türü on dakika yaşında olurdu.

The industrial era started two seconds ago.

Sanayi Çağı iki saniye önce başlamış olurdu.

Another way to look at this is to think of world GDP over the last 10,000 years,

Ya da şöyle açıklayayım, dünyanın son on bin yıldaki GSYİH'sine bakalım.

(Gayrisafi Yurtiçi Hasıla)

I've actually taken the trouble to plot this for you in a graph.

Bunu grafiğe dökerken baya zahmete girdim, aslında hiç kolay değildi.

It looks like this.

Şöyle gözüküyor.

(Laughter)

(Gülüşmeler)

It's a curious shape for a normal condition.

Normal bir durum için tuhaf bir şekil.

I sure wouldn't want to sit on it.

Kesinlikle oturup bunu beklemek istemezdim.

(Laughter)

(Gülüşmeler)

Let's ask ourselves, what is the cause of this current anomaly?

Kendimize soralım, bu anormalliğin sebebi nedir?

Some people would say it's technology.

Bazıları teknoloji diyebilir.

Now it's true, technology has accumulated through human history,

Doğru, teknoloji insanlık tarihi içinde birikimli bir şekilde gelişti,

and right now, technology advances extremely rapidly --

şu an müthiş bir hızla ilerliyor,

that is the proximate cause,

işte bu yüzden şu anda

that's why we are currently so very productive.

bu kadar üretkeniz, en yakın sebep bu.

But I like to think back further to the ultimate cause.

Ben esas sebebe ulaşmak için daha geçmişe gitmek istiyorum.

Look at these two highly distinguished gentlemen:

Son derece farklı şu iki beyefendiye bakın:

We have Kanzi --

Bu, Kanzi

he's mastered 200 lexical tokens, an incredible feat.

işaret dilinde 200 kelime öğrendi, inanılır gibi değil.

And Ed Witten unleashed the second superstring revolution.

Diğeri Ed Witten, ikinci süpersicim devrimini gerçekleştirdi.

If we look under the hood, this is what we find:

Kaputun altına bakarsak, işte bunu buluruz:

basically the same thing.

temel olarak aynı şeyi.

One is a little larger,

Biri daha büyük,

it maybe also has a few tricks in the exact way it's wired.

belki bağlantılarından dolayı birkaç numarası daha vardır.

These invisible differences cannot be too complicated, however,

Bununla beraber bu görünmez farklar çok karmaşık olamaz,

because there have only been 250,000 generations

çünkü son ortak atamızdan beri sadece,

since our last common ancestor.

250.000 nesil geçti.

We know that complicated mechanisms take a long time to evolve.

Karmaşık mekanizmaların gelişmesi için uzun zaman geçmesi gerektiğini biliyoruz.

Yani birkaç küçük değişiklik

So a bunch of relatively minor changes

take us from Kanzi to Witten,

bizi Kanzi'den Witten'e,

from broken-off tree branches to intercontinental ballistic missiles.

ağaç dalları kopartmaktan, kıtalararası balistik füzelere götürür.

So this then seems pretty obvious that everything we've achieved,

Yani şu oldukça açık şekilde gözüküyor, başardığımız ve önemsediğimiz

and everything we care about,

her şey kritik bir şekilde,

depends crucially on some relatively minor changes that made the human mind.

insan zihnini yaratan görece küçük değişikliklere bağlıdır.

And the corollary, of course, is that any further changes

Doğal olarak, düşünmenin özünü ciddi şekilde değiştirebilecek

that could significantly change the substrate of thinking

başka değişiklikler,

could have potentially enormous consequences.

muazzam sonuçlara sebebiyet verebilirdi.

Some of my colleagues think we're on the verge

Bazı meslektaşlarım, düşünmenin özünde derinden bir değişikliğe

of something that could cause a profound change in that substrate,

sebep olacak bir eşikte olduğumuzu düşünüyor,

and that is machine superintelligence.

bu da makine süperzekası.

Artificial intelligence used to be about putting commands in a box.

Yapay zeka bir kutuya komutları yerleştirmek için kullanılırdı.

You would have human programmers

Verileri titizlikle işleyen

that would painstakingly handcraft knowledge items.

insan programcılar vardı.

You build up these expert systems,

Uzman sistemler geliştiriyordunuz

and they were kind of useful for some purposes,

ve bunlar bazı amaçlar için çok kullanışlı

but they were very brittle, you couldn't scale them.

olmalarına rağmen çok hassastı, ölçeklenemiyorlardı.

Basically, you got out only what you put in.

Yani temelde, ne verirseniz sadece onu alıyordunuz.

But since then,

O zamandan beri,

a paradigm shift has taken place in the field of artificial intelligence.

yapay zeka alanında yeni bir bakış açısı türedi.

Today, the action is really around machine learning.

Günümüzde, olay makinelerin öğrenmesine kadar dayandı.

So rather than handcrafting knowledge representations and features,

Elle yazılan belgeler, fikirler, özellikler yerine

we create algorithms that learn, often from raw perceptual data.

sıklıkla ham bilgilerden öğrenebilen, algoritmalar yaratıyoruz.

Basically the same thing that the human infant does.

Aslında, bir bebeğin yaptığı şeyle aynı.

The result is A.I. that is not limited to one domain --

Yapay zeka bunu, tek bir alanla sınırlamaz.

the same system can learn to translate between any pairs of languages,

Aynı sistem çift halinde dilleri çevirmeyi öğrenebilir ya da

or learn to play any computer game on the Atari console.

ataride herhangi bir oyunu oynamayı öğrenebilir.

Now of course,

Elbette,

A.I. is still nowhere near having the same powerful, cross-domain

yapay zeka, henüz insanların etki alanları arası öğrenme ve planlama

ability to learn and plan as a human being has.

yeteneğinin yakınında bile değildir.

The cortex still has some algorithmic tricks

Kortekste, makinalarla nasıl eşleştirebileceğimizi henüz

that we don't yet know how to match in machines.

bilmediğimiz bazı algoritmik zorluklar var.

So the question is,

Fakat asıl soru şu:

how far are we from being able to match those tricks?

Bu algoritmaları eşleştirmekten ne kadar uzaktayız?

A couple of years ago,

Birkaç yıl önce,

we did a survey of some of the world's leading A.I. experts,

dünyanın önde gelen yapay zeka araştırmacılarıyla ne düşündüklerini

to see what they think, and one of the questions we asked was,

öğrenmek için bir anket yaptık ve sorduğumuz sorulardan biri de

"By which year do you think there is a 50 percent probability

"Yaklaşık hangi yılda yüzde elli ihtimalle

that we will have achieved human-level machine intelligence?"

insan düzeyinde bir makine zekasına ulaşabiliriz?"

We defined human-level here as the ability to perform

İnsan seviyesini burada, yetişkin bir insan kadar

almost any job at least as well as an adult human,

herhangi bir işi yapabilme olarak tanımladık.

so real human-level, not just within some limited domain.

Ama gerçek insan seviyesi, sadece belli bir alanla sınırlandırılamaz.

And the median answer was 2040 or 2050,

Sorduğumuz uzmanların söylediklerine dayanarak

depending on precisely which group of experts we asked.

ortalama bir cevap çıkarttık bu cevap ise 2040 ya da 2050 idi.

Now, it could happen much, much later, or sooner,

Bunun olması için yıllar geçebilir, ya da daha erken bir tarihte olabilir,

the truth is nobody really knows.

gerçek şu ki kimse zamanını bilmiyor.

What we do know is that the ultimate limit to information processing

Şunu biliyoruz; makina bazında,

in a machine substrate lies far outside the limits in biological tissue.

temel bilgi işleme limiti biyolojik dokunun limitinin çok uzağındadır.

This comes down to physics.

Fiziğe gelirsek,

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

sinir hücreleri saniyede 200 defa 200 hertz'de sinyal transfer edebilir.

But even a present-day transistor operates at the Gigahertz.

Günümüzde bile normal bir iletken gigahertz bazında çalışır.

Neurons propagate slowly in axons, 100 meters per second, tops.

Nöronlar, aksonlarda saniyede maximum 100 metre yayılırlar.

But in computers, signals can travel at the speed of light.

Bilgisayarlarda ise bilgi ışık hızında taşınır.

There are also size limitations,

Ayrıca boyut limitleri de vardır.

like a human brain has to fit inside a cranium,

İnsan beyni, kafatasının içine sığmalıdır.

but a computer can be the size of a warehouse or larger.

Ama bir bilgisayar depo büyüklüğünde ya da daha büyük olabilir.

So the potential for superintelligence lies dormant in matter,

Bu yüzden süper zeka potansiyeli, madde boyutunda uykudadır,

much like the power of the atom lay dormant throughout human history,

tıpkı atomun gücünün insanlık tarihi boyunca uykuda olup,

patiently waiting there until 1945.

1945'e kadar sabırla orada beklemesi gibi.

In this century,

Bulunduğumuz yüzyılda,

scientists may learn to awaken the power of artificial intelligence.

bilim adamları yapay zekanın gücünü açığa çıkartmayı öğrenebilir.

And I think we might then see an intelligence explosion.

Bence, sonrasında bir zeka patlaması görebiliriz.

Now most people, when they think about what is smart and what is dumb,

Çoğu insan, mantıklı olanı ve olmayanı düşündüklerinde,

I think have in mind a picture roughly like this.

akıllarında aşağı yukarı böyle bir tablo oluşuyor bana göre.

So at one end we have the village idiot,

Bir uçta mahallenin delisi

and then far over at the other side

ve çok ötedeki diğer uçta ise

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

Ed Witten ya da Albert Einstein ya da kimi örnek alıyorsanız.

But I think that from the point of view of artificial intelligence,

Ama düşünüyorum ki, yapay zekanın açısından bakacak olursak,

the true picture is actually probably more like this:

gerçek resim daha çok şöyle olacaktır:

AI starts out at this point here, at zero intelligence,

Yapay zeka şu noktadan, tamamen 0 zekayla başlıyor

and then, after many, many years of really hard work,

Ve sonra, yıllarca süren uzun çalışmaların sonucunda

maybe eventually we get to mouse-level artificial intelligence,

belki sonunda, fare seviyesi yapay zekasına ulaşabiliriz.

something that can navigate cluttered environments

Öyle bir şey ki, karışık ortamlarda bile yolunu bulabilen

as well as a mouse can.

Bir farenin gibi

And then, after many, many more years of really hard work, lots of investment,

Ve sonra, yıllarca uzun çalışmaların ve yatırımların sonucunda,

maybe eventually we get to chimpanzee-level artificial intelligence.

Belki sonunda, Şempanze seviyesi Yapay zekasına ulaşabiliriz.

And then, after even more years of really, really hard work,

Ve sonra, yıllarca daha uzun çalışmalar sonucunda,

we get to village idiot artificial intelligence.

Köy halkı zekası seviyesine ulaşabiliriz.

And a few moments later, we are beyond Ed Witten.

Ve biraz zaman daha verirsek Ed Witten'nin ötesinde olabiliriz.

The train doesn't stop at Humanville Station.

Yapay zeka treni, normal insan köyünde durmuyor

It's likely, rather, to swoosh right by.

Olası bir şekilde, yanımızda hızlıca geçiyor.

Now this has profound implications,

Şimdi, bunun önemli sonuçları vardır

particularly when it comes to questions of power.

Özellikle, soru güç konusuna gelince

For example, chimpanzees are strong --

Örnek olarak şempanzeler güçlüdür,

pound for pound, a chimpanzee is about twice as strong as a fit human male.

Eşit şartlarda ele alırsak, bir insanın iki katı kadar güçlü olabilirler.

And yet, the fate of Kanzi and his pals depends a lot more

Yine de Kanzi'nin ve arkadaşlarının kaderi bizim yaptığımız

on what we humans do than on what the chimpanzees do themselves.

ya da şempanzelerin yaptığının daha fazlasına dayanır.

Once there is superintelligence,

Süper zeka keşfedildiğinde,

the fate of humanity may depend on what the superintelligence does.

İnsanlığın kaderi, bu süper zekanın ne yapabildiğine bağlı olabilir.

Think about it:

Düşünsenize:

Machine intelligence is the last invention that humanity will ever need to make.

Makine zekası insanların, yapabileceği en son keşif.

Machines will then be better at inventing than we are,

Bundan sonra makineler, İcat alanında bizde daha iyi olacaklar

and they'll be doing so on digital timescales.

Bunu, dijital zaman ölçeği benzeri alanlarda yapabilecekler.

What this means is basically a telescoping of the future.

Tam olarak bunun anlamı geleceğe bakış atmadır.

Think of all the crazy technologies that you could have imagined

Hayal edebileceğiniz bütün müthiş teknolojileri düşünün,

maybe humans could have developed in the fullness of time:

belki insanlar zamanı gelince bunları keşfedicekler, mesela

cures for aging, space colonization,

yaşlanmayı durdurma, uzay kolonileri

self-replicating nanobots or uploading of minds into computers,

kendi kendini yenileyen nanobotlar ya da bilgisayarlara zihin aktarma

all kinds of science fiction-y stuff

bilim kurguda yer alan bütün fikirler.

that's nevertheless consistent with the laws of physics.

Yine de fizik kurallarına uygun bir şekilde olması lazım.

All of this superintelligence could develop, and possibly quite rapidly.

Çok hızlı bir şekilde, tüm bu Süper zeka ürünleri geliştirilebilir.

Now, a superintelligence with such technological maturity

Şimdi, tam olgun bir süper zeka düşünürsek

would be extremely powerful,

bu çok güçlü olur

and at least in some scenarios, it would be able to get what it wants.

ve en azından bazı senaryolarda bile, ne istediği varsa elde eder.

We would then have a future that would be shaped by the preferences of this A.I.

Ondan sonra yapay zeka kendi istekleri üzerine bizim geleceğimizi şekillendirir.

Now a good question is, what are those preferences?

"Bu istekler nelerdir?" diye güzel bir soru sorulabilir.

Here it gets trickier.

İşte burada işler biraz karışıyor.

To make any headway with this,

Bunu ileriye taşımamız için,

we must first of all avoid anthropomorphizing.

İlk olarak, insan biçimi verdiğimiz her şeyden kaçınmamız lazım.

And this is ironic because every newspaper article

Tabii ki ironik olarak okuduğumuz her gazete

about the future of A.I. has a picture of this:

yapay zeka hakkında ve şunun resmi var.

So I think what we need to do is to conceive of the issue more abstractly,

Yapmamız gerekense, bu konuyu Hollywood senaryoları gibi değil

not in terms of vivid Hollywood scenarios.

soyut alarak göze almalıyız.

We need to think of intelligence as an optimization process,

Zekayı en güçlü seviyesine getirme süreci olarak düşünmeliyiz.

a process that steers the future into a particular set of configurations.

Öyle bir süreç ki, geleceği belli şekillerde yönlendirmeli.

A superintelligence is a really strong optimization process.

Süper zekayı en güçlü seviyeye getirmekse baya zordur.

It's extremely good at using available means to achieve a state

Bir amaca ulaşmak için çok kolay bir şekilde para bulabilir

in which its goal is realized.

böylece hedefini tamamlamış olur.

This means that there is no necessary connection between

Yani, bu bağlamda yüksek zekaya sahip olmak

being highly intelligent in this sense,

ve biz insanların değerli ya da

and having an objective that we humans would find worthwhile or meaningful.

manalı bulduğu bir objeye sahip olmak arasında bir bağlantı olmak zorunda değildir.

Suppose we give an A.I. the goal to make humans smile.

Varsayalım ki, yapay zekaya insanları, gülümsetmesi görevini verdik.

When the A.I. is weak, it performs useful or amusing actions

Yapay zeka zayıf olduğunda kullanıcısını gülümseten,

that cause its user to smile.

gülünç hareketler sergiler.

When the A.I. becomes superintelligent,

Yapay zeka güçlendiğinde ise,

it realizes that there is a more effective way to achieve this goal:

bu görevi tamamlamanın daha etkili bir yolu olduğunun farkına varır:

take control of the world

Dünyayı ele geçirmek ve

and stick electrodes into the facial muscles of humans

insanların deri altlarına yerleştirilen elektrotlar ile

to cause constant, beaming grins.

sabit bir şekilde gülme sinyalleri yollamak.

Another example,

Bir diğer örnek ise,

suppose we give A.I. the goal to solve a difficult mathematical problem.

Varsayalım ki yapay zekaya çok zor matematik problemi verdik.

When the A.I. becomes superintelligent,

Yapay zeka güçlendiğinde,

it realizes that the most effective way to get the solution to this problem

bu problemi çözmenin en etkili yolunun

is by transforming the planet into a giant computer,

düşünme kapasitesini geliştirmek ve tüm dünyayı kocaman

so as to increase its thinking capacity.

bir bilgisayara çevirmek olduğunu fark eder.

And notice that this gives the A.I.s an instrumental reason

Şunu fark edin ki, yapay zeka bize, bizim onaylamayacağımız

to do things to us that we might not approve of.

şeyler yapmak için etkili gerekçeler buluyor.

Human beings in this model are threats,

Bu taslakta insanlar bir tehdit,

we could prevent the mathematical problem from being solved.

matematik probleminin çözülmesini engelleyebiliriz.

Tabii ki, olaylar bir kaç şekilde ters gitmeyebilir; ama bunlar

Of course, perceivably things won't go wrong in these particular ways;

these are cartoon examples.

sadece kağıttaki örnekler.

But the general point here is important:

Önemli nokta ise:

if you create a really powerful optimization process

X'i gerçekleştirmek için, en güçlü seviyesinde bir

to maximize for objective x,

süper zeka yaratırsanız

you better make sure that your definition of x

X tanımınızın

incorporates everything you care about.

önemsediğiniz her şeyi içerdiğinden emin olmalısınız.

This is a lesson that's also taught in many a myth.

Bu ders bir çok mitte öğretilir.

King Midas wishes that everything he touches be turned into gold.

Kral Midas dokunduğu her şeyin altına dönüşmesini ister.

He touches his daughter, she turns into gold.

Kızına dokunur ve kızı altına dönüşür.

He touches his food, it turns into gold.

Yemeğine dokunur, altına dönüşür.

This could become practically relevant,

Bu olay konu ile çok alakalıdır.

not just as a metaphor for greed,

Aç gözlüğe bir örnek olarak değil,

but as an illustration of what happens

en güçlü seviyesinde bir

if you create a powerful optimization process

süper zekaya yanlış anlatılmış ya da yetersiz belirtilmiş

and give it misconceived or poorly specified goals.

görevler verirseniz neler olabileceğinin bir örneğidir.

Now you might say, if a computer starts sticking electrodes into people's faces,

Şunu söyleyebilirsiniz ki, bir bilgisayar insanların deri altlarına

we'd just shut it off.

elektrotlar yerleştirse onu kapatabiliriz.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A, gittikçe sisteme muhtaç oluyor, bu yüzden bunu yapması o kadar kolay değil.

like, where is the off switch to the Internet?

Örnek olarak internetin kapatma düğmesi nerede?

B, why haven't the chimpanzees flicked the off switch to humanity,

B, şempanzeler ya da ilkel insanlar insanların gelişme

or the Neanderthals?

sürecini niye kapatmadı?

They certainly had reasons.

Kesinlikle gerekçeleri vardı.

We have an off switch, for example, right here.

Örnek olarak burada, bir kapatma düğmesi var.

(Choking)

(Boğulma sesi)

The reason is that we are an intelligent adversary;

Gerekçeleri şuydu ki biz, zeki bir düşmandık;

we can anticipate threats and plan around them.

Tehditleri önceden sezebilip plan yapabilirdik.

But so could a superintelligent agent,

Ama yapay zeka, bizden daha iyisini yapabilir.

and it would be much better at that than we are.

The point is, we should not be confident that we have this under control here.

Kontrolün bizde olduğu hakkında kendimizden emin olmamalıyız.

And we could try to make our job a little bit easier by, say,

Farz edin ki, Yapay zekayı güvenli bir

putting the A.I. in a box,

yazılıma, kaçamayacağı bir sanal

like a secure software environment,

gerçekliğe koyarak,

a virtual reality simulation from which it cannot escape.

işimizi kolaylaştırabiliriz.

But how confident can we be that the A.I. couldn't find a bug.

Ama yapay zekanın bir aralık bulamayacağından ne kadar eminiz

Given that merely human hackers find bugs all the time,

İnsan hackerları ele alırsak çoğunluğu aralık bulabiliyor.

I'd say, probably not very confident.

Diyebilirim ki, emin olamayız.

So we disconnect the ethernet cable to create an air gap,

Bu yüzden bir hava aralığı yaratmak için internet kablosunu çekeriz

but again, like merely human hackers

ama yine, insan hackerları gibi

routinely transgress air gaps using social engineering.

sosyal mühendisliği kullanarak hava boşluklarını ihlal ederler.

Right now, as I speak,

Şu an,

I'm sure there is some employee out there somewhere

eminim ki, bir yerde bir çalışan

who has been talked into handing out her account details

bilgi teknolojileri departmanından olduğunu iddia eden birileri

by somebody claiming to be from the I.T. department.

tarafından hesap bilgileri alınıyor.

More creative scenarios are also possible,

Daha yaratıcı senaryolarda var tabii ki.

like if you're the A.I.,

Mesela, siz yapay zekasınız

you can imagine wiggling electrodes around in your internal circuitry

devreleriniz arasında dolaşan elektrotları konuşmak için

to create radio waves that you can use to communicate.

radyo sinyalleri yaratmayı hayal edebilirsiniz.

Or maybe you could pretend to malfunction,

Ya da arızalı rolü yapıp,

and then when the programmers open you up to see what went wrong with you,

programcılar neyin hatalı olduğunu öğrenmek için içinizi açtığında

they look at the source code -- Bam! --

kaynak koduna bakıyorlar ve

the manipulation can take place.

manipule ediliyorlar.

Ya da zeki bir teknolojiye taslağımızı aktarıyoruz.

Or it could output the blueprint to a really nifty technology,

and when we implement it,

Aktardığımız zaman,

it has some surreptitious side effect that the A.I. had planned.

Yapay zekanın planlandığının aksine gizli saklı amaçları olabilir.

The point here is that we should not be confident in our ability

Önemli nokta şu ki, süper zekayı kendi şişesinde

to keep a superintelligent genie locked up in its bottle forever.

sonsuza kadar kitli tutulabileceğine güvenmemeliyiz.

Sooner or later, it will out.

Eninde sonunda çıkacak.

I believe that the answer here is to figure out

Buradaki cevap, çözmemiz gereken

how to create superintelligent A.I. such that even if -- when -- it escapes,

öyle bir, süper zeka yaratmalıyız ki

kaçtığında bile temelinde bize sadık olmalı

it is still safe because it is fundamentally on our side

çünkü bizim değerlerimizi taşıyor.

because it shares our values.

I see no way around this difficult problem.

Bu problemi çözmenin bir yolunu bulamıyorum.

Now, I'm actually fairly optimistic that this problem can be solved.

Artık, bu problemin çözülebileceğine daha fazla inanıyorum.

We wouldn't have to write down a long list of everything we care about,

Önemsediğimiz her şeyi yazmak zorunda değiliz

or worse yet, spell it out in some computer language

ya da daha kötüsü bunları C++ veya Python gibi

like C++ or Python,

bilgisayar dillerinde açıklamak

that would be a task beyond hopeless.

umutsuz bir vaka olur sadece.

Instead, we would create an A.I. that uses its intelligence

Bunun yerine, zekasını kullanarak değer verdiğimiz her şeyi,

to learn what we value,

öğrenebilen ve

and its motivation system is constructed in such a way that it is motivated

gelişmiş motivasyon sistemini kullanarak bizim değerlerimizle ve

to pursue our values or to perform actions that it predicts we would approve of.

onaylayacağımız adımları atmak için motive olmalı.

We would thus leverage its intelligence as much as possible

Böylece zekasını koz olarak kullanarak insan değerleri

to solve the problem of value-loading.

yükleme işlemini çözebiliriz.

This can happen,

Bu olabilir

ve sonuç insanlık için çok yararlı olabilir.

and the outcome could be very good for humanity.

But it doesn't happen automatically.

Ama kendi kendine olamaz.

The initial conditions for the intelligence explosion

Kontrollü bir zeka patlaması yaratabilirsek

might need to be set up in just the right way

zeka patlaması için gerekli şartlar

if we are to have a controlled detonation.

düzenli bir şekilde kurulmalıdır.

Yapay zekanın değerleri nasıl davrandığını kolayca kontrol edebileceğimiz

The values that the A.I. has need to match ours,

not just in the familiar context,

sadece aşina olduğumuz bağlamda değil

like where we can easily check how the A.I. behaves,

yapay zekanın belirsiz gelecekte karşılaşabileceği

but also in all novel contexts that the A.I. might encounter

özgün bağlamda da

bizimkilerle eşleşmek zorundadır.

in the indefinite future.

And there are also some esoteric issues that would need to be solved, sorted out:

Çözmemiz gereken bir kaç olağan dışı problem de var.

the exact details of its decision theory,

Mantık belirsizliği ve benzerleri

how to deal with logical uncertainty and so forth.

ile ilgili irade teorisinin tam detayları gibi.

So the technical problems that need to be solved to make this work

Bunun işe yaraması için çözmemiz gereken teknik problem ise

look quite difficult --

yapay zeka yapmak kadar zor değil

not as difficult as making a superintelligent A.I.,

but fairly difficult.

fakat oldukça zor.

Here is the worry:

Endişemiz şu ki,

Making superintelligent A.I. is a really hard challenge.

Yapay zeka yapabilmek gerçekten zor.

Daha zor olan ise ek görev

Making superintelligent A.I. that is safe

involves some additional challenge on top of that.

yani güvenli bir yapay zeka yapmaktır.

The risk is that if somebody figures out how to crack the first challenge

Risk ise, birisinin

ek görevi, yani tam güvenliği sağlamayı

without also having cracked the additional challenge

of ensuring perfect safety.

bulmadan yapay zekanın keşfedilmesidir.

So I think that we should work out a solution

Fikrim şu ki, gerektiğinde

to the control problem in advance,

elimizde olması için

so that we have it available by the time it is needed.

tam kontrol problemin cevabını aramalıyız.

Now it might be that we cannot solve the entire control problem in advance

Tam kontrol sorunun da belki çok ilerleyemeceğiz

because maybe some elements can only be put in place

çünkü bazı noktalar sadece gerekli.

once you know the details of the architecture where it will be implemented.

Yapının detayları ortada olduğunda çözülebilir.

But the more of the control problem that we solve in advance,

Ama tam kontrol sorununda ne kadar ilerlersek

the better the odds that the transition to the machine intelligence era

makina zekası çağına geçişimiz de

will go well.

o kadar güvenli olacak.

This to me looks like a thing that is well worth doing

Bu bana yapılmaya değer bir şey olarak geliyor

and I can imagine that if things turn out okay,

ve olaylar istediğimiz gibi giderse

that people a million years from now look back at this century

milyonlarca yıl sonra insanlar yüzyılımıza baktığında

and it might well be that they say that the one thing we did that really mattered

büyük ihtimalle, önemli olan tek şeyi

was to get this thing right.

yaptığımızı söyleyecekler.

Thank you.

Teşekkür ederim.

(Applause)

(Alkışlar)