How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Çeviri: Cihan Ekmekçi Gözden geçirme: Figen Ergürbüz

Chris Anderson: Nick Bostrom.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Bize çoktan birçok çılgın fikir verdin.

I think a couple of decades ago,

Sanırım 20 yıl önce

you made the case that we might all be living in a simulation,

hepimizin bir simülasyonda yaşıyor olabileceğini ortaya attın

or perhaps probably were.

ya da geçmişte yaşadığımızı.

More recently,

Yakın zamanda,

you've painted the most vivid examples of how artificial general intelligence

yapay genel zekânın nasıl korkunç düzeyde kötüye gidebileceğinin

could go horribly wrong.

en gerçekçi örneklerini gösterdin.

And now this year,

Ve bu yıl da

you're about to publish

hassas dünya hipotezi denen bir konu üzerinde

a paper that presents something called the vulnerable world hypothesis.

bir yazı yayımlamak üzeresin.

And our job this evening is to give the illustrated guide to that.

Bu akşam bizim görevimiz buna örnekli bir kılavuz sunmak.

So let's do that.

Hadi başlayalım.

What is that hypothesis?

Nedir bu hipotez?

Nick Bostrom: Bu, şu anki insan durumunun

Nick Bostrom: It's trying to think about

a sort of structural feature of the current human condition.

bir tür yapısal özelliği üzerinde düşünmeye çalışma.

You like the urn metaphor,

Sen vazo örneğini seviyorsun,

so I'm going to use that to explain it.

bu yüzden açıklamak için o örneği kullanacağım.

So picture a big urn filled with balls

Fikirleri, metotları ve olası teknolojileri temsil eden

representing ideas, methods, possible technologies.

toplarla dolu büyük bir vazo hayal et.

You can think of the history of human creativity

İnsan yaratıcılığının tarihini,

as the process of reaching into this urn and pulling out one ball after another,

bu vazoya ulaşma ve topları birer birer çıkarma süreci olarak düşünebilirsin

and the net effect so far has been hugely beneficial, right?

ve ağ etkisi şimdiye kadar oldukça yararlıydı değil mi?

We've extracted a great many white balls,

Bazısı hem faydalı hem zararlı olan çeşitli gri tonlarda

some various shades of gray, mixed blessings.

oldukça fazla sayıda beyaz top çıkardık.

We haven't so far pulled out the black ball --

Şimdiye kadar siyah topu çıkarmadık --

a technology that invariably destroys the civilization that discovers it.

onu keşfeden medeniyeti sürekli olarak yok eden bir teknoloji.

So the paper tries to think about what could such a black ball be.

Yazı, siyah topun ne olabileceği üzerine düşünmeye çalışıyor.

CA: So you define that ball

CA: Yani bu topu, kaçınılmaz bir şekilde

as one that would inevitably bring about civilizational destruction.

medeniyet yıkımı getirecek bir şey olarak tanımlıyorsun.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: Yarı anarşik standart koşul diye adlandırdığım şeyden çıkmadığımız sürece.

But sort of, by default.

Ama bir çeşit, varsayımla.

CA: So, you make the case compelling

CA: Yani, aslında şu zamana kadar

by showing some sort of counterexamples

şanslı olduğumuza inandığın,

where you believe that so far we've actually got lucky,

o ölüm topunu hiç bilmeden çekmiş olabileceğimiz

that we might have pulled out that death ball

bir çeşit karşıt örnekler vererek

without even knowing it.

durumu zorlaştırıyorsun.

So there's this quote, what's this quote?

Evet bir alıntı var, nedir bu alıntı?

NB: Well, I guess it's just meant to illustrate

NB: Sanırım, bu sadece

the difficulty of foreseeing

ana keşiflerin neye yol açacağını

what basic discoveries will lead to.

öngörmenin zorluğunu anlatmaya yarıyor.

We just don't have that capability.

Henüz bu yetiye sahip değiliz.

Because we have become quite good at pulling out balls,

Çünkü, topları çıkarmakta çok iyi hâle geldik

but we don't really have the ability to put the ball back into the urn, right.

ama topu geri vazoya doğru şekilde koyma yeteneğine aslında sahip değiliz.

We can invent, but we can't un-invent.

İcat edebiliyoruz ama geri bozamıyoruz.

So our strategy, such as it is,

Yani bizim stratejimiz, olduğu gibi,

is to hope that there is no black ball in the urn.

vazoda hiç siyah top olmadığını ummak.

CA: So once it's out, it's out, and you can't put it back in,

CA: Yani bir kez dışarı çıktığında dışarıdadır, onu geri içine koyamazsın

and you think we've been lucky.

ve şanslı olduğumuzu düşünüyorsun.

So talk through a couple of these examples.

Bu örneklerden bazıları üzerinde konuşalım.

You talk about different types of vulnerability.

Farklı türdeki zaaflar hakkında konuşalım.

NB: So the easiest type to understand

NB: Anlamanın en kolay türü

is a technology that just makes it very easy

büyük miktarda yıkımlara yol açmayı

to cause massive amounts of destruction.

oldukça çok kolaylaştıran bir teknoloji.

Synthetic biology might be a fecund source of that kind of black ball,

Sentetik biyoloji, bu siyah topu bulmakta verimli bir kaynak olabilir

but many other possible things we could --

ama iklim mühendisliğiyle ilgili düşünebileceğimiz --

think of geoengineering, really great, right?

diğer birçok mümkün şey de gerçekten harika, değil mi?

We could combat global warming,

Küresel ısınmayla mücadele edebiliriz

but you don't want it to get too easy either,

ama bunun çok kolay hâle gelmesini de istemezsin;

you don't want any random person and his grandmother

rastgele birinin ve büyük annesinin

to have the ability to radically alter the earth's climate.

Dünya ikliminde köklü değişiklikler yapabilmesini istemezsin.

Or maybe lethal autonomous drones,

Ya da belki, ölümcül özerk drone'lar,

massed-produced, mosquito-sized killer bot swarms.

toplu üretilmiş, sivrisinek boyunda öldürücü sürüler.

Nanotechnology, artificial general intelligence.

Nanoteknoloji, yapay genel zekâ.

CA: You argue in the paper

CA: Yazıda savunduğun,

that it's a matter of luck that when we discovered

nükleer gücün bir bomba yaratabileceğini öğrendiğimizde

that nuclear power could create a bomb,

it might have been the case

sen zaten herkes için erişilebilir daha kolay kaynaklarla

that you could have created a bomb

with much easier resources, accessible to anyone.

şans eseri bir bomba yaratmış olabilirsin.

NB: Yeah, so think back to the 1930s

NB: 1930'lu yılları düşünelim,

where for the first time we make some breakthroughs in nuclear physics,

nükleer fizikte harika yenilikler yaptığımız ilk zamanları,

some genius figures out that it's possible to create a nuclear chain reaction

bazı dâhiler nükleer zincirleme reaksiyon yaratmanın mümkün olduğunu anlıyor

and then realizes that this could lead to the bomb.

ve sonra bunun ucunun bombaya uzanacağını anlıyor.

And we do some more work,

Birkaç tane daha çalışma yaptık;

it turns out that what you require to make a nuclear bomb

bir nükleer bomba yapmak için ihtiyacın olan şeylerin,

is highly enriched uranium or plutonium,

yüksek oranda zenginleştirilmiş uranyum ve plutonyum,

which are very difficult materials to get.

elde etmesi çok zor materyaller.

You need ultracentrifuges,

Ultrasantrifüje, reaktörlere,

you need reactors, like, massive amounts of energy.

yani büyük miktarda enerjiye ihtiyaç var.

But suppose it had turned out instead

Ama bunlar yerine,

there had been an easy way to unlock the energy of the atom.

atomun enerjisini açığa çıkarmanın kolay bir yolu olduğunu düşün.

That maybe by baking sand in the microwave oven

Belki mikrodalga fırında kum pişirerek

or something like that

ya da bunun gibi bir şeyle

you could have created a nuclear detonation.

bir nükleer patlama yaratabilirdin.

So we know that that's physically impossible.

Bunun fiziksel olarak imkânsız olduğunu biliyoruz.

But before you did the relevant physics

Ama ilgili fiziği bilmeden önce

how could you have known how it would turn out?

bunun neye dönüşeceğini nasıl bilebilirdin?

CA: Although, couldn't you argue

CA: Ama şöyle düşünmüyor musun,

that for life to evolve on Earth

Dünya'daki yaşamın evrilmesi

that implied sort of stable environment,

ve bunun bir tür durağan çevre anlamına gelmesi için

that if it was possible to create massive nuclear reactions relatively easy,

büyük nükleer reaksiyonlar yaratmak nispeten daha kolay ve mümkün olsaydı

the Earth would never have been stable,

Dünya hiç sabit kalmazdı,

that we wouldn't be here at all.

biz burada bile olmazdık.

NB: Yeah, unless there were something that is easy to do on purpose

NB: Evet, şayet bilerek yapılması kolay

but that wouldn't happen by random chance.

ama rastgele şansla olmayacak bir şey var olmasaydı.

So, like things we can easily do,

Yani kolayca yapabildiğimiz şeyler,

we can stack 10 blocks on top of one another,

üst üste 10 tane blok dizebiliriz

but in nature, you're not going to find, like, a stack of 10 blocks.

ama doğada üst üste dizilmiş 10 blok bulamazsın.

CA: OK, so this is probably the one

CA: Tamam, yani bu muhtemelen

that many of us worry about most,

çoğumuzun en çok endişelendiği şey

and yes, synthetic biology is perhaps the quickest route

ve evet yapay biyoloji belki de yakın gelecekte öngördüğümüz,

that we can foresee in our near future to get us here.

bizi oraya götürebilecek en hızlı yöntem.

NB: Yeah, and so think about what that would have meant

NB: Evet ve diyelim ki bir öğleden sonra

if, say, anybody by working in their kitchen for an afternoon

mutfağında çalışan herhangi birinin bir şehri yok edebilmesi

could destroy a city.

nasıl olurdu bir düşün.

It's hard to see how modern civilization as we know it

Bizim bildiğimiz modern medeniyet böyle bir şeyden

nasıl kurtulabilirdi kestirmek zor.

could have survived that.

Because in any population of a million people,

Çünkü mutlaka her bir milyonluk insan nüfusunda,

there will always be some who would, for whatever reason,

herhangi bir sebep için bu yıkıcı gücü kullanmayı

choose to use that destructive power.

seçecek biri olacaktır.

So if that apocalyptic residual

Yani, eğer bu kıyamet kalıntısı

would choose to destroy a city, or worse,

bir şehri yok etmeyi ya da daha kötüsünü isterse

then cities would get destroyed.

şehirler yok edilirdi.

CA: So here's another type of vulnerability.

CA: İşte başka tür bir zayıflık.

Talk about this.

Bunun hakkında konuşalım.

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: Evet, birçok şeyi patlatmayı mümkün kılan

that would just make it possible to blow up a lot of things,

bu tür siyah topların yanında

other types would act by creating bad incentives

diğer türler de insanlarda onları zararlı şeyler yapmaya iten

for humans to do things that are harmful.

kötü güdüleri dürtebilir.

So, the Type-2a, we might call it that,

Yani Tür 2A diye adlandırabileceğimiz bu şey,

is to think about some technology that incentivizes great powers

inanılmaz ölçüde kuvvet kullanarak yıkım yatratmak için

to use their massive amounts of force to create destruction.

büyük güçleri teşvik eden bir teknoloji.

So, nuclear weapons were actually very close to this, right?

Aslında nükleer silahlar buna oldukça yakınlardı değil mi?

What we did, we spent over 10 trillion dollars

Yaptığımız şey, 70.000 nükleer savaş başlığı yapmak için

to build 70,000 nuclear warheads

10 trilyon dolar harcamak

and put them on hair-trigger alert.

ve onları tetikte tutmaktı.

And there were several times during the Cold War

Ve Soğuk Savaş sırasında

neredeyse birbirimizi havaya uçurduğumuz zamanlar oldu.

we almost blew each other up.

It's not because a lot of people felt this would be a great idea,

Birçok insan bunun iyi bir fikir olduğunu düşündüğünden değil,

hadi kendimizi patlatmak için 10 trilyon dolar harcayalım,

let's all spend 10 trillion dollars to blow ourselves up,

but the incentives were such that we were finding ourselves --

teşvikler öyle bir ayarlandı ki

kendimizi daha kötü olabilirdi diye düşünürken bulduk.

this could have been worse.

Imagine if there had been a safe first strike.

Güvenli bir ilk atış olduğunu düşünün.

Then it might have been very tricky,

O zaman bir kriz durumunda,

in a crisis situation,

bütün nükleer füzelerini fırlatmak kendilerini alıkoymaları zor olurdu.

to refrain from launching all their nuclear missiles.

If nothing else, because you would fear that the other side might do it.

En kötü ihtimalle bunu diğer taraf yapabilir korkusu olurdu.

CA: Right, mutual assured destruction

CA: Evet, karşılıklı yıkım güvencesi Soğuk Savaş'ı nispeten dengede tuttu,

kept the Cold War relatively stable,

without that, we might not be here now.

o olmasaydı şu an burada olmayabilirdik.

NB: It could have been more unstable than it was.

NB: Her şey daha istikrarsız olabilirdi.

And there could be other properties of technology.

Ve daha farklı teknolojiler olabilirdi.

It could have been harder to have arms treaties,

Nükleer silahlar yerine daha küçük

if instead of nuclear weapons

ya da daha az belirgin şeyler olsaydı

there had been some smaller thing or something less distinctive.

silah anlaşmaları yapmak daha zor olurdu.

CA: And as well as bad incentives for powerful actors,

CA: Güçlü aktörler için kötü teşvikler kadar

you also worry about bad incentives for all of us, in Type-2b here.

Tür 2B'de hepimizin için olan kötü teşvikler için de endişeleniyorsun.

NB: Yeah, so, here we might take the case of global warming.

NB: Evet, küresel ısınmayı ele alabiliriz.

There are a lot of little conveniences

Pek çok küçük eylem var,

that cause each one of us to do things

her birimizin yapabileceği şeyler

that individually have no significant effect, right?

ama tek başımıza yapsak hiçbir etkisi olmayacak şeyler.

But if billions of people do it,

Ama milyarlarca insan bunu yaparsa

cumulatively, it has a damaging effect.

bunlar birikerek zararlı bir etkiye sahip olur.

Now, global warming could have been a lot worse than it is.

Küresel ısınma şimdikinden çok daha kötü olabilirdi.

So we have the climate sensitivity parameter, right.

Bu yüzden iklim duyarlılığı ölçeğimiz var.

It's a parameter that says how much warmer does it get

Bu ölçek, belli bir miktarda sera gazı saldığında

if you emit a certain amount of greenhouse gases.

iklimin ne kadar ısındığını söylüyor.

But, suppose that it had been the case

Bunun, yükselen ısı yerine saldığımız sera gazı miktarıyla ilgili varsayalım

that with the amount of greenhouse gases we emitted,

instead of the temperature rising by, say,

between three and 4.5 degrees by 2100,

2100'e kadar 3 ve 4,5 derece arası ısı yükselişi yerine

suppose it had been 15 degrees or 20 degrees.

15 veya 20 derece arası olduğunu varsay.

Like, then we might have been in a very bad situation.

Çok kötü bir durumda olabilirdik.

Or suppose that renewable energy had just been a lot harder to do.

Ya da yenilenebilir enerji yapmanın çok daha zor olduğunu varsay.

Or that there had been more fossil fuels in the ground.

Ya da yer altında daha fazla fosil yakıt olduğunu.

CA: Couldn't you argue that if in that case of --

CA: Böyle bir durumda --

if what we are doing today

eğer bugün yaptığımız şey

had resulted in 10 degrees difference in the time period that we could see,

görebileceğimiz süreçte 10 derece farklılık yarattıysa

actually humanity would have got off its ass and done something about it.

aslında insanoğlu yerinden kalkıp bununla ilgili bir şeyler yapabilirdi.

We're stupid, but we're not maybe that stupid.

Aptalız ama belki de o kadar da aptal değiliz.

Or maybe we are.

Ya da belki öyleyiz.

NB: I wouldn't bet on it.

NB: Bu kadar emin olmazdım.

(Laughter)

(Kahkahalar)

You could imagine other features.

Diğer özellikleri hayal edebilirsin.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Şu anda yenilenebilir ve diğerleri arasında geçiş yapmak bir miktar zor,

but it can be done.

evet, ama yapılabilir.

But it might just have been, with slightly different physics,

Biraz farklı bir fizikle mümkün olabilirdi

it could have been much more expensive to do these things.

ama bu tür şeyleri yapmak daha pahalı olurdu.

CA: And what's your view, Nick?

CA: Peki senin görüşün ne Nick?

Do you think, putting these possibilities together,

Bu ihtimalleri bir araya koyarsak

that this earth, humanity that we are,

bu yeryüzü, insanlık olarak biz,

we count as a vulnerable world?

savunmasız bir dünya olarak sayılır mıyız?

That there is a death ball in our future?

Geleceğimizde bir ölüm topu olur mu?

NB: It's hard to say.

NB: Bunu söylemek zor.

I mean, I think there might well be various black balls in the urn,

Anlatmak istediğim, vazoda göründüğü gibi çok çeşitli siyah toplar olabilir.

that's what it looks like.

There might also be some golden balls

Siyah toplara karşı korunmamıza yardım edecek altın toplar da olabilir.

that would help us protect against black balls.

And I don't know which order they will come out.

Hangi sırayla ortaya çıkacaklarını bilmiyorum.

CA: I mean, one possible philosophical critique of this idea

CA: Yani, bu fikirle ilgili olası bir felsefi eleştiri de

is that it implies a view that the future is essentially settled.

geleceğin aslında belirlenmiş olduğuyla ilgili bir görüşü işaret eder.

That there either is that ball there or it's not.

O top ya vardır ya da yoktur.

And in a way,

Ve bir taraftan,

that's not a view of the future that I want to believe.

bu inanmak istediğim bir gelecek görüşü değil.

I want to believe that the future is undetermined,

Geleceğin belirlenmediğine, bugünkü kararlarımızın

that our decisions today will determine

o vazodan hangi topu çekeceğimizi belirleyeceğine inanmak istiyorum.

what kind of balls we pull out of that urn.

NB: I mean, if we just keep inventing,

NB: İcat etmeye devam edersek

like, eventually we will pull out all the balls.

en sonunda tüm topları çıkaracağız.

I mean, I think there's a kind of weak form of technological determinism

Yani, oldukça mantıklı bir tür güçsüz, teknolojik determinizm var olabilir,

that is quite plausible,

like, you're unlikely to encounter a society

el baltası ve jet uçaklar kullanan bir topluma rastlamak çok zormuş gibi.

that uses flint axes and jet planes.

But you can almost think of a technology as a set of affordances.

Ama teknolojiyi neredeyse bir takım sağlayıcı olarak düşünebilirsin.

So technology is the thing that enables us to do various things

Teknoloji, farklı şeyler yapmamızı

ve dünyada farklı etkilere ulaşmamızı sağlayan bir şey.

and achieve various effects in the world.

How we'd then use that, of course depends on human choice.

Bunu nasıl kullandığımız tabii ki insan seçimlerine bağlı.

But if we think about these three types of vulnerability,

Ama bu üç çeşit zaafı düşünürsek

they make quite weak assumptions about how we would choose to use them.

onları kullanma seçimimizle ilgili oldukça zayıf varsayımlar yapıyorlar.

So a Type-1 vulnerability, again, this massive, destructive power,

Tür-1 zaaf, yeniden, bu büyük, yıkıcı güç,

it's a fairly weak assumption

milyonlarca insanlık bir nüfusta

to think that in a population of millions of people

bunu yıkıcı bir şekilde kullanacak birinin olacağını düşünmek

there would be some that would choose to use it destructively.

oldukça zayıf bir varsayım.

CA: For me, the most single disturbing argument

CA: Benim için tek rahatsız edici argüman,

is that we actually might have some kind of view into the urn

ölüme mahkum edildiğimiz ihtimalinin yüksek olduğu

that makes it actually very likely that we're doomed.

bir tür bakış açısına sahip olabilirdik.

Namely, if you believe in accelerating power,

Şöyle ki eğer hızlanan güce inanıyorsan --

that technology inherently accelerates,

giderek hızlanan teknolojiye

that we build the tools that make us more powerful,

ve bununla bizi daha güçlü kılan araçları yaptığımıza

then at some point you get to a stage

o hâlde bir noktada tek bir kişinin hepimizi yok edebileceği bir sahne çıkıyor

where a single individual can take us all down,

and then it looks like we're screwed.

ve işimiz bitik görünüyor.

Isn't that argument quite alarming?

Bu argüman oldukça korkutucu değil mi?

NB: Ah, yeah.

NB: Ah, evet.

(Laughter)

(Kahkahalar)

I think --

Bence --

Yeah, we get more and more power,

Evet, gittikçe daha çok güç kazanıyoruz

and [it's] easier and easier to use those powers,

ve bu gücü kullanmak gittikçe daha kolay hale geliyor

but we can also invent technologies that kind of help us control

ama insanların bu gücü nasıl kullandığını kontrol etmemize yardımcı olacak

how people use those powers.

teknolojiler de üretebiliriz.

CA: So let's talk about that, let's talk about the response.

CA: O zaman bunun hakkında konuşalım, geri bildirim hakkında.

Suppose that thinking about all the possibilities

Şu an mevcut tüm ihtimalleri düşündüğünü var say --

that are out there now --

it's not just synbio, it's things like cyberwarfare,

sadece sentetik biyoloji değil, siber savaş gibi bir şey bu,

artificial intelligence, etc., etc. --

yapay zeka ve benzerleri gibi --

that there might be serious doom in our future.

geleceğimizde ciddi bir kötü sonla karşılaşabiliriz.

What are the possible responses?

Mümkün olan tepkiler neler?

And you've talked about four possible responses as well.

Dört olası tepki hakkında da konuşmuştun.

NB: Restricting technological development doesn't seem promising,

NB: Teknolojik gelişime karşı bir durdurma hakkında konuşacak olursak

if we are talking about a general halt to technological progress.

teknolojik gelişimleri kısıtlamak hiç mantıklı görünmüyor.

I think neither feasible,

Bence ne ikisi de mümkün,

nor would it be desirable even if we could do it.

ne de bunu yapabilseydik bile bu çekici olurdu.

I think there might be very limited areas

Bence, daha yavaş teknolojik gelişmeler isteyebileceğin

where maybe you would want slower technological progress.

oldukça sınırlı alanlar olabilir.

You don't, I think, want faster progress in bioweapons,

Bana kalırsa biyolojik silahlarda ya da diyelim ki izotop ayırmada

or in, say, isotope separation,

atom bombası yaratmayı daha kolay hâle getirebilecek hızda

that would make it easier to create nukes.

bir gelişme istemezsin.

CA: I mean, I used to be fully on board with that.

CA: Eskiden buna tamamen katılırdım.

But I would like to actually push back on that for a minute.

Ama bir dakikalığına bu fikri uzaklaştırıyorum.

Just because, first of all,

Her şeyden önce,

if you look at the history of the last couple of decades,

eğer son birkaç on yıldaki tarihe bakacak olursak

you know, it's always been push forward at full speed,

bu her zaman son hızda ilerlemiştir,

it's OK, that's our only choice.

bu konuda bir sıkıntı yok, tek şansımız bu.

But if you look at globalization and the rapid acceleration of that,

Ama küreselleşmeye yükseliş hızına bakarsan

if you look at the strategy of "move fast and break things"

eğer "hızlı hareket et ve bir şeyleri kır" stratejisine

and what happened with that,

ve bununla ne olduğuna bakarsan

and then you look at the potential for synthetic biology,

ve sonra sentetik biyolojinin potansiyeline bakacak olursan

I don't know that we should move forward rapidly

her evde ve lise laboratuvarında bir DNA yazıcısı olabildiği bir dünyaya

or without any kind of restriction

hızlı bir şekilde veya hiçbir kısıtlama olmadan

to a world where you could have a DNA printer in every home

devam etmeli miyiz bilmiyorum.

and high school lab.

There are some restrictions, right?

Bazı kısıtlamalar var değil mi?

NB: Possibly, there is the first part, the not feasible.

NB: Muhtemelen, ilk bölüm, mümkün olmaz.

If you think it would be desirable to stop it,

Bunu durdurmanın mantıklı olduğunu düşünürsen

there's the problem of feasibility.

uygulanabilirlik sorunu var olur.

So it doesn't really help if one nation kind of --

Yani aslında bu hiç yardımcı olmazdı, şayet bir millet --

CA: No, it doesn't help if one nation does,

CA: Hayır bir millet yapsa yardımcı olmazdı

but we've had treaties before.

ama daha önce anlaşmalarımız vardı.

That's really how we survived the nuclear threat,

Bu aslında nükleer tehditlerden nasıl kurtulduğumuzun cevabı,

was by going out there

oraya giderek

and going through the painful process of negotiating.

ve pazarlığın zorlu sürecinden geçerek.

I just wonder whether the logic isn't that we, as a matter of global priority,

Sadece mantığının küresel bir öncelik olayı olup olmadığını merak ediyorum,

we shouldn't go out there and try,

oraya gidip şunu denememeliyiz,

like, now start negotiating really strict rules

sentetik biyolojik araştırmaya dair kuralların müzakeresini yapmak...

on where synthetic bioresearch is done,

that it's not something that you want to democratize, no?

bunu demokratikleştirmek istemezsin, değil mi?

NB: I totally agree with that --

NB: Buna kesinlikle katılıyorum --

that it would be desirable, for example,

bu oldukça ilgi çekici olurdu, mesela,

maybe to have DNA synthesis machines,

belki DNA sentez makinelerine sahip olmak,

not as a product where each lab has their own device,

her laboratuvarın kendine ait olan bir ürünü olarak değil

but maybe as a service.

ama belki bir hizmet olarak.

Maybe there could be four or five places in the world

Belki dünyada dijital planını yolladığın ve DNA'nın geri geldiği

where you send in your digital blueprint and the DNA comes back, right?

dört ya da beş yer vardır, değil mi?

And then, you would have the ability,

Ve sonra, yetiye sahip olabilirsin,

if one day it really looked like it was necessary,

eğer bir gün bu gerçekten gerekli gibi görünürse

we would have like, a finite set of choke points.

sınırlı bir miktar tıkanma noktasına sahip olabiliriz.

So I think you want to look for kind of special opportunities,

Sanırım sen daha sıkı bir kontrole sahip olabileceğin

where you could have tighter control.

özel fırsatlara bakmak istiyorsun.

CA: Your belief is, fundamentally,

CA: Temelde senin inancın,

we are not going to be successful in just holding back.

sadece geri çekilerek başarılı olamayacağındır.

Someone, somewhere -- North Korea, you know --

Birileri, bir yerler -- mesela Kuzey Kore --

someone is going to go there and discover this knowledge,

eğer bilgi keşfedilecek bir yerdetse biri oraya gidecek

if it's there to be found.

ve bu bilgiyi keşfedecektir.

NB: That looks plausible under current conditions.

NB: Şu anki koşullar altında mantıklı duruyor.

It's not just synthetic biology, either.

Bu sadece sentetik biyoloji de değil.

I mean, any kind of profound, new change in the world

Demek istediğim, dünyadaki her türlü derin ve yeni değişim

could turn out to be a black ball.

bir siyah topa dönüşebilir.

CA: Let's look at another possible response.

CA: Bir diğer olası tepkiye bakalım.

NB: This also, I think, has only limited potential.

NB: Bence bu da sadece sınırlı potansiyele sahip.

So, with the Type-1 vulnerability again,

Yani, yine Tür-1 zaafla,

I mean, if you could reduce the number of people who are incentivized

dünyayı yok etmek için teşvik edilen insan sayısını düşürebilirsen

to destroy the world,

if only they could get access and the means,

ve bu araçlara sadece onlar erişebilse işte bu güzel olurdu.

that would be good.

CA: In this image that you asked us to do

CA: Bizden yapmamızı istediğin bu görselde

you're imagining these drones flying around the world

yüz tanıma sistemiyle tüm dünyada dolaşan drone'ları hayal ediyorsun.

with facial recognition.

When they spot someone showing signs of sociopathic behavior,

Sosyopatik davranış sergileyen birini saptadıklarında

they shower them with love, they fix them.

onları sevgiyle yıkayıp düzeltiyorlar.

NB: I think it's like a hybrid picture.

NB: Bunun hibrid bir görsel olduğunu düşünüyorum.

Eliminate can either mean, like, incarcerate or kill,

Eleme ya hapsetmektir ya da öldürmek

or it can mean persuade them to a better view of the world.

ya da onları daha iyi bir dünya görüşüne ikna etmek demektir.

But the point is that,

Ama asıl nokta şu ki

suppose you were extremely successful in this,

bu konuda fazlasıyla başarılı olduğunu düşün

and you reduced the number of such individuals by half.

ve bu tür bireylerin sayısını yarıya düşürdüğünü.

Ve eğer bunu ikna yoluyla yapmak istiyorsan

And if you want to do it by persuasion,

you are competing against all other powerful forces

insanları ikna etme uğraşında diğer tüm güçlerle rekabet hâlindesin,

that are trying to persuade people,

parties, religion, education system.

partiler, din, eğitim sistemi.

But suppose you could reduce it by half,

Ama yarıya kadar düşürdüğünü varsay,

I don't think the risk would be reduced by half.

yine de riskin yarıya kadar düşeceğini düşünmüyorum.

Maybe by five or 10 percent.

Belki yüzde 10 ya da 5 düşebilir.

CA: You're not recommending that we gamble humanity's future on response two.

CA: İnsanlığın geleceğini tepki iki üzerine riske atmamızı önermiyorsun.

NB: I think it's all good to try to deter and persuade people,

NB: Bence insanları vazgeçirmeye ve ikna etmeye çalışmakta sıkıntı yok

but we shouldn't rely on that as our only safeguard.

ama tek korumamız olarak buna sırt yaslamamalıyız.

CA: How about three?

CA: Peki ya üç?

NB: I think there are two general methods

NB: Bence olası zayıflıkların tüm spektrumuna karşı

that we could use to achieve the ability to stabilize the world

dünyayı stabilize edebilmek için kullanabileceğimiz iki genel metot var.

against the whole spectrum of possible vulnerabilities.

And we probably would need both.

Ve muhtemelen ikisine de ihtiyaç duyardık.

So, one is an extremely effective ability

Biri, önleyici politikalar yapmanın oldukça etkili bir yetisi.

to do preventive policing.

Such that you could intercept.

Müdahele edebilmek için.

If anybody started to do this dangerous thing,

Eğer biri tehlikeli bir şey yapmaya başlamışsa,

you could intercept them in real time, and stop them.

gerçek zamanlı olarak onları engelleyip durdurabilirsin.

So this would require ubiquitous surveillance,

Bu eş zamanlı gözetim gerektirirdi,

everybody would be monitored all the time.

herkes, sürekli olarak izleniyor olurdu.

CA: This is "Minority Report," essentially, a form of.

CA: Bu özünde bir tür "Azınlık Raporu."

NB: You would have maybe AI algorithms,

NB: Yapay zekâ algoritmaların olabilir,

big freedom centers that were reviewing this, etc., etc.

bunu inceleyen büyük özgürlük merkezleri gibi.

CA: You know that mass surveillance is not a very popular term right now?

CA: Şu an bu kitle gözetimi pek sevilen bir terim değil biliyor musun?

(Laughter)

(Kahkahalar)

NB: Yeah, so this little device there,

NB: Evet, şuradaki küçük cihaz,

imagine that kind of necklace that you would have to wear at all times

farklı yönlü bir sürü kameralı, sürekli takmak zorunda olduğun

with multidirectional cameras.

o tarz bir kolyeyi hayal et.

But, to make it go down better,

Ama daha trajikomik hâle getirmek için

just call it the "freedom tag" or something like that.

ona "özgürlük etiketi" ya da o tarz bir şey diyelim.

(Laughter)

(Kahkahalar)

CA: OK.

CA: Tamam.

I mean, this is the conversation, friends,

Yani, bu bir sohbet, arkadaşlar,

this is why this is such a mind-blowing conversation.

bu denli akıllara durgunluk veren bir sohbet olmasının sebebi işte bu.

NB: Actually, there's a whole big conversation on this

NB: Aslında, sadece bunun üzerine kurulabilecek büyük bir sohbet olur.

on its own, obviously.

There are huge problems and risks with that, right?

Bununla ilgili büyük problemler ve riskler var, değil mi?

We may come back to that.

Buna geri döneriz.

So the other, the final,

Ve diğeri, sonuncusu,

the other general stabilization capability

diğer genel dengeleme yetimiz

is kind of plugging another governance gap.

bir tür başka yönetişim boşluğu kapatmak.

So the surveillance would be kind of governance gap at the microlevel,

Gözetim mikro düzeyde yönetişim boşluğu olurdu,

like, preventing anybody from ever doing something highly illegal.

birilerini yasa dışı şeyler yapmaktan alıkoymak gibi.

Then, there's a corresponding governance gap

Böylece, makro düzeyde küresel boyutta

at the macro level, at the global level.

uyumlu bir yönetim boşluğu olur.

You would need the ability, reliably,

En kötü türde küresel koordinasyon hatalarını engellemek için

bu yeteneğe ihtiyaç duyardık,

to prevent the worst kinds of global coordination failures,

to avoid wars between great powers,

büyük güçler arası savaşları,

arms races,

silah yarışlarını,

cataclysmic commons problems,

kataklizmik doğal kaynak sorunları için.

in order to deal with the Type-2a vulnerabilities.

tüm bu Tip 2a zayıflıklarıyla başa çıkabilmek için.

CA: Global governance is a term

CA: Küresel yönetişim, şu anda

that's definitely way out of fashion right now,

kesinlikle demode olan bir terim,

but could you make the case that throughout history,

ama konuyu tarih boyunca, insan tarihi boyunca işleyemez misin?

the history of humanity

is that at every stage of technological power increase,

Teknolojik güç artışının her aşamasında

people have reorganized and sort of centralized the power.

insanlar gücü yeniden düzenledi ve bir bakıma merkezleştirdiler.

So, for example, when a roving band of criminals

Yani mesela bir grup başıboş suçlu,

could take over a society,

toplumu ele geçirdiğinde

the response was, well, you have a nation-state

yanıt; peki, bir ulus devletin var

and you centralize force, a police force or an army,

ve gücü merkezleştirdin, polisi ya da bir ordu,

so, "No, you can't do that."

yani "Hayır, bunu yapamazsın" olurdu.

The logic, perhaps, of having a single person or a single group

İnsanlığı ele geçirebilecek bir insan ya da belki bir grup mantığı da

able to take out humanity

means at some point we're going to have to go this route,

bir noktada bu yönden gitmemiz gerekecek anlamına gelmez mi?

at least in some form, no?

NB: It's certainly true that the scale of political organization has increased

NB: İnsanlık tarihinin yolu boyunca politik organizasyon ölçeğinin

over the course of human history.

yükseldiği kesinlikle doğru.

It used to be hunter-gatherer band, right,

Eskiden avcı-toplayıcı grup vardı

and then chiefdom, city-states, nations,

ve sonra şerifler, şehir devletleri, uluslar,

now there are international organizations and so on and so forth.

şimdi uluslararası organizasyonlar var ve buna benzer şeyler.

Again, I just want to make sure

Ben yine şunu vurgulamak istiyorum;

I get the chance to stress

that obviously there are huge downsides

hem kitlesel gözetim hem de küresel yönetişime dair

and indeed, massive risks,

both to mass surveillance and to global governance.

dev dezavantajar ve de çok büyük riskler var.

I'm just pointing out that if we are lucky,

Şunu vurgulamak istiyorum ki eğer şanslıysak

dünya öyle bir durumda olabilir ki

the world could be such that these would be the only ways

bir siyah toptan kurtulmanın tek yolu bunlar olur.

you could survive a black ball.

CA: The logic of this theory,

CA: Anladığım kadarıyla bu teorinin mantığı

it seems to me,

is that we've got to recognize we can't have it all.

hepsine sahip olamayacağımızı anlamamız gerektiği.

That the sort of,

Bu bir bakıma,

I would say, naive dream that many of us had

teknolojinin her zaman iyiye kullanılacağına dair

that technology is always going to be a force for good,

hepimizin kurduğu saf bir hayal diyebilirim,

keep going, don't stop, go as fast as you can

devam et, durma, gidebildiğin kadar hızlı git

and not pay attention to some of the consequences,

ve bazı sonuçlara çok takılma

that's actually just not an option.

ki bu aslında bir seçenek sayılmaz.

We can have that.

Buna sahip olabiliriz.

If we have that,

Buna sahip olursak

we're going to have to accept

bununla beraber

some of these other very uncomfortable things with it,

diğer rahatsız edici şeyleri de kabullenmek zorunda kalırız

and kind of be in this arms race with ourselves

ve bir bakıma kendimizle bir silahlanma yarışı içinde oluruz,

of, you want the power, you better limit it,

güç istiyorsan onu sınırlaman lazım,

you better figure out how to limit it.

nasıl sınırlandıracağını çözsen iyi edersin.

NB: I think it is an option,

NB: Bence bu bir seçenek,

a very tempting option, it's in a sense the easiest option

oldukça cazip bir seçenek, bi bakıma en kolay seçenek

and it might work,

ve işe yarayabilir

but it means we are fundamentally vulnerable to extracting a black ball.

ama bu, özünde bir siyah top çekmeye eğimli olmamız anlamına gelir.

Now, I think with a bit of coordination,

Bence biraz koordinasyonla

like, if you did solve this macrogovernance problem,

mesela, bu makro ve mikro yönetişim sorununu çözersen

and the microgovernance problem,

then we could extract all the balls from the urn

vazodaki bütün topları çıkarırdık

and we'd benefit greatly.

ve bundan oldukça yararlanırdık.

CA: I mean, if we're living in a simulation, does it matter?

CA: Bir simülasyonda yaşıyorsak bile bu fark eder mi?

We just reboot.

Sadece yeniden başlatırız.

(Laughter)

(Kahkahalar)

NB: Then ... I ...

NB: O zaman... ben...

(Laughter)

(Kahkahalar)

I didn't see that one coming.

Bunu kestiremedim.

CA: So what's your view?

CA: Peki senin görüşün ne?

Putting all the pieces together, how likely is it that we're doomed?

Bütün parçaları birleştirdiğinde işimizin bitik olduğu ne kadar olası?

(Laughter)

(Kahkahalar)

Bu soruyu sorduğumda insanların gülmesine bayılıyorum.

I love how people laugh when you ask that question.

NB: On an individual level,

NB: Bir birey düzeyinde,

we seem to kind of be doomed anyway, just with the time line,

zaten bir tür mahkumuz, sadece zaman çizgisiyle,

we're rotting and aging and all kinds of things, right?

çürüyor, yaşlanıyor ve bu tür diğer şeyleri yaşıyoruz değil mi?

(Laughter)

(Kahkahalar)

It's actually a little bit tricky.

Bu aslında biraz yanıltıcı.

If you want to set up so that you can attach a probability,

Bir ihtimal yakalamak için tuzak kurmak istiyorsan

first, who are we?

ilk olarak, biz kimiz?

If you're very old, probably you'll die of natural causes,

Eğer çok yaşlıysan, muhtemelen doğal sebeplerle öleceksin,

if you're very young, you might have a 100-year --

eğer çok gençsen önünde 100 yılın olabilir --

the probability might depend on who you ask.

ihtimali kime sorduğuna göre değişebilir.

Then the threshold, like, what counts as civilizational devastation?

Sonrasında eşik, mesela, ne medeniyet yıkımı olarak sayılır?

In the paper I don't require an existential catastrophe

Yazıda, bunun sayılması için bir varoluş yıkımına ihtiyacım olmadı.

in order for it to count.

This is just a definitional matter,

Bu sadece tanımsal bir mesele,

I say a billion dead,

ben bir milyar ölü derim

or a reduction of world GDP by 50 percent,

ya da dünya GSYİH'sinde yüzde 50 bir azalma

but depending on what you say the threshold is,

ama senin eşiğe ne anlam yüklediğine bağlı,

you get a different probability estimate.

sen farklı bir olası tahmin yürütürsün.

But I guess you could put me down as a frightened optimist.

Ama sanırım beni korkmuş bir iyimser olarak yazardın.

(Laughter)

(Kahkahalar)

CA: You're a frightened optimist,

CA: Sen korkmuş bir iyimsersin

and I think you've just created a large number of other frightened ...

ve bence büyük sayıda başka korkmuş insan yarattın.

people.

(Laughter)

(Kahkahalar)

NB: In the simulation.

NB: Simülasyonda.

CA: In a simulation.

CA: Simülasyonda.

Nick Bostrom, your mind amazes me,

Nick Bostrom, zihnine hayranım.

thank you so much for scaring the living daylights out of us.

bize korku saldığın için çok teşekkürler.

(Applause)

(Alkışlar)