Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez: Öldürme kararı bir robota ait olmamalıdır

Translator: Joseph Geni Reviewer: Morton Bast

Çeviri: Aysel SÜS Gözden geçirme: Yunus Karakas

I write fiction sci-fi thrillers,

Bilim-kurgu polisiye romanı yazıyorum.

so if I say "killer robots,"

yani, 'katil robotlar' dersem,

you'd probably think something like this.

muhtemelen bunun gibi bir şey düşüneceksiniz.

But I'm actually not here to talk about fiction.

Fakat, aslında roman hakkında konuşmak için burada değilim.

I'm here to talk about very real killer robots,

Burada olma nedenim çok gerçek olan öldürücü robotlar-

autonomous combat drones.

kendi kendini yöneten insansız hava araçları hakkında konuşmak.

Now, I'm not referring to Predator and Reaper drones,

Şu anda hedef alma kararını insanlardan alan

which have a human making targeting decisions.

Predator ve Reaper uzaktan kumandalı uçaklarından bahsetmiyorum.

I'm talking about fully autonomous robotic weapons

İnsanoğlu hakkındaki ölüm kararlarını

that make lethal decisions about human beings

kendi başlarına veren tamamen özerk robot silahlar

all on their own.

hakkında konuşuyorum.

There's actually a technical term for this: lethal autonomy.

Aslında bunun için teknik bir terim var: Öldürücü Özerklik

Now, lethally autonomous killer robots

Şimdi öldürücü bir şekilde özerk katil robotlar

would take many forms -- flying, driving,

pek çok şekil alabilirler--- uçan, hareket eden

or just lying in wait.

ya da sadece pusuda yatan.

And actually, they're very quickly becoming a reality.

Ve aslında, çok hızlı bir şekilde gerçeğe dönüşüyorlar.

These are two automatic sniper stations

Bu gördükleriniz Kuzey ve Güney Kore arasındaki

currently deployed in the DMZ between North and South Korea.

askerden arındırılmış bölgede sevk edilmiş iki otomatik keskin nişancı üssü.

Both of these machines are capable of automatically

Bu makinelerin ikisi de otomatik olarak canlı hedefi tespit etme ve

identifying a human target and firing on it,

solda bir kilometrenin üzerindeki mesafede bulunan

the one on the left at a distance of over a kilometer.

birine ateş etme kapasitesine sahipler.

Now, in both cases, there's still a human in the loop

Şimdi, her iki durumda da öldürücü ateş etme kararını vermek için

to make that lethal firing decision,

insanlar hala işin içinde,

but it's not a technological requirement. It's a choice.

fakat, bu teknolojik bir gereksinim değil, bir seçimdir.

And it's that choice that I want to focus on,

Ve odaklanmak istediğim de işte bu seçim,

because as we migrate lethal decision-making

çünkü öldürme kararı vermeyi

from humans to software,

insandan alıp yazılıma geçirdikçe

we risk not only taking the humanity out of war,

sadece insanoğlunu savaşın dışına itmiyor,

but also changing our social landscape entirely,

aynı zamanda sosyal yapımızı da tamamıyla

far from the battlefield.

harp meydanından ötede değiştiriyoruz.

That's because the way humans resolve conflict

Bunun böyle olma nedeni insanların çatışmaları çözme şeklinin

shapes our social landscape.

sosyal yapımızı şekillendirmesidir.

And this has always been the case, throughout history.

Ve bu tarih boyunca hep böyle olmuştur.

For example, these were state-of-the-art weapons systems

Örneğin, bunlar milattan sonra 1400'deki en gelişmiş

in 1400 A.D.

silahlardı.

Now they were both very expensive to build and maintain,

Bu aralar her ikisi de üretmek ve muhafaza etmek için çok pahalıydılar.

but with these you could dominate the populace,

Fakat bunlarla halk tabakasını baskı altında tutabilirdiniz.

and the distribution of political power in feudal society reflected that.

Ve feodal toplumlardaki politik güç dağılımı bunu yansıttı.

Power was focused at the very top.

En üst seviyede güce odaklanılmıştı.

And what changed? Technological innovation.

Ne değişti? Teknolojik buluşlar.

Gunpowder, cannon.

Barut, top.

And pretty soon, armor and castles were obsolete,

Ve çok yakın zamanda zırhlar ve kaleler çok demode oldu

and it mattered less who you brought to the battlefield

ve savaş meydanına kimi götürdüğün

versus how many people you brought to the battlefield.

kaç kişi götürdüğünden daha az önemliydi.

And as armies grew in size, the nation-state arose

Ve orduların büyüklüğü arttıkça, milli devlet

as a political and logistical requirement of defense.

politik ve lojistik savunma koşulları olarak meydana geldi.

And as leaders had to rely on more of their populace,

Liderler daha çok halk tabakalarına dayanmak zorunda oldukları için

they began to share power.

gücü paylaşmaya başladılar.

Representative government began to form.

Temsili hükumet oluşmaya başladı.

So again, the tools we use to resolve conflict

Yani tekrardan, çatışmaları çözmek için kullanmakta olduğumuz araçlar

shape our social landscape.

toplumsal araziyi şekillendirir.

Autonomous robotic weapons are such a tool,

Özerk robot silahlar bunu dışında öyle araçlardır ki

except that, by requiring very few people to go to war,

çok az insanın savaşa gitmesini gerektirerek

they risk re-centralizing power into very few hands,

muhtemelen beş yüzyıllık bir trendi demokrasiye dönüştürecek olan

possibly reversing a five-century trend toward democracy.

çok az kişinin eline merkezi iktidarı vermekle risk oluştururlar.

Now, I think, knowing this,

Şimdi, bunu bilerek düşünüyorum ki

we can take decisive steps to preserve our democratic institutions,

uyumu sağlanmış demokratik enstitülerimizi muhafaza etmek

to do what humans do best, which is adapt.

ve insanların en iyi yaptığı şeyi yapmak için kararlı adımlar atabiliriz.

But time is a factor.

Fakat zaman bir unsurdur.

Seventy nations are developing remotely-piloted

70 millet kendi uzaktan kumandalı insansız

combat drones of their own,

savaş uçaklarını geliştiriyor

and as you'll see, remotely-piloted combat drones

ve gördüğünüz gibi uzaktan kumandalı savaş uçakları

are the precursors to autonomous robotic weapons.

özerk robot silahlarının habercisidirler.

That's because once you've deployed remotely-piloted drones,

Bunun nedeni uzaktan kumandalı savaş uçaklarını mevzilendirdiğiniz zaman

there are three powerful factors pushing decision-making

karar vermeyi insanlardan alıp

away from humans and on to the weapon platform itself.

silah platformunun kendisine iten 3 güçlü etkenin olmasıdır.

The first of these is the deluge of video that drones produce.

Bunlardan birincisi insansız hava uçaklarının ürettiği görüntü akınıdır.

For example, in 2004, the U.S. drone fleet produced

Örneğin, Birleşik Devletler insansız hava donanması 2004'te

a grand total of 71 hours of video surveillance for analysis.

analiz yapmak için genel toplamda 71 saatlik görüntü gözetimi yayınladı.

By 2011, this had gone up to 300,000 hours,

Bu durum 2011'e kadar 300.000 saate çıktı ki

outstripping human ability to review it all,

bu da onu tamamıyla incelemek için insan kapasitesini aşmıştı.

but even that number is about to go up drastically.

Fakat, bu numara bile neredeyse şiddetle artacak.

The Pentagon's Gorgon Stare and Argus programs

Her bir insansız hava uçağı platformundaki Pentagon'un Gorgon Stare (12 kameradan aynı anda görüntü alan)

will put up to 65 independently operated camera eyes

ve Argus (Yer-taban süreci) programları bağımsız çalıştırılan

on each drone platform,

65 kamera bakışına kadar artacaklar.

and this would vastly outstrip human ability to review it.

Ve bu da insan kapasitesinin inceleyebilmesinin çok daha üstüne çıkacak.

And that means visual intelligence software will need

Bu, görsel istihbarat yazılımının onda ilgi öğeleri arama ihtiyacı

to scan it for items of interest.

duyacağı anlamına gelir.

And that means very soon

Ve bu, çok yakında insansız hava uçaklarının insanlara

drones will tell humans what to look at,

nelere bakmaları gerektiğini söyleyeceği anlamına gelir,

not the other way around.

aksi yönde bir şey değil.

But there's a second powerful incentive pushing

Fakat karar vermeyi insanlardan alıp makinelere veren

decision-making away from humans and onto machines,

ikinci güçlü güdüleyici atak var.

and that's electromagnetic jamming,

Bu, santral ve insansız hava uçağı arasındaki

severing the connection between the drone

bağlantıyı koparan elektromanyetik

and its operator.

yayın karıştırma aracıdır..

Now we saw an example of this in 2011

Şimdi, bunun 2011'debir örneğini gördük;

when an American RQ-170 Sentinel drone

bir Amerikan RQ-170 gözcü uçağı

got a bit confused over Iran due to a GPS spoofing attack,

GPS'in yanıltıcı hamlesi yüzünden İran üzerindeyken biraz bocalamıştı.

but any remotely-piloted drone is susceptible to this type of attack,

Fakat herhangi bir uzaktan kumandalı hava uçağı bu tür ataklara duyarlıdır.

and that means drones

Bu, insansız hava uçaklarının daha fazla

will have to shoulder more decision-making.

karar verme sorumluluğunu üstlenmek zorunda olduğu anlamına gelir.

They'll know their mission objective,

Uçuş amaçlarını bilecekler

and they'll react to new circumstances without human guidance.

ve insan yardımı olmaksızın görülmemiş durumlara karşılık verecekler.

They'll ignore external radio signals

Yabancı radyo sinyallerini görmezden gelip

and send very few of their own.

kendi sinyallerinin çok azını gönderecekler.

Which brings us to, really, the third

Üçüncü ve en güçlü teşvik edici olan

and most powerful incentive pushing decision-making

karar almayı insandan alıp silahlara veren

away from humans and onto weapons:

maddeye getiren şey:

plausible deniability.

İnandırıcı yadsınabilirlik.

Now we live in a global economy.

Şimdi küresel ekonomi içinde yaşıyoruz.

High-tech manufacturing is occurring on most continents.

İleri teknoloji imalat çoğu kıtada meydana gelir.

Cyber espionage is spiriting away advanced designs

Sanal casusluk gelişmiş tasarımları gizlice bilinmeyen taraflara

to parts unknown,

götürüyor

and in that environment, it is very likely

ve bu çevrede, büyük olasılıkla

that a successful drone design will be knocked off in contract factories,

fahiş piyasada hızla çoğalan başarılı insansız hava uçakları tasarımları

proliferate in the gray market.

anlaşma imalathanelerinde hızla yapılacak.

And in that situation, sifting through the wreckage

Ve bu durumda, insansız hava uçağının hasarını

of a suicide drone attack, it will be very difficult to say

derinden inceleyerek, bu silahı kimin gönderdiğini söylemek

who sent that weapon.

çok zor olacak.

This raises the very real possibility

Bu kimin yaptığı belli olmayan savaşların

of anonymous war.

çok hakiki ihtimalini artıracaktır.

This could tilt the geopolitical balance on its head,

Bu basınç yüksekliğinde bulunan jeopolitik dengeyi etkileyebilir,

make it very difficult for a nation to turn its firepower

ateş gücünü saldırganlara karşı çevirmeyi bir millet için

against an attacker, and that could shift the balance

çok zorlaştırabilir, ve bu da 21. yüzyılda dengeyi

in the 21st century away from defense and toward offense.

savunmadan alıp hücuma yöneltebilir.

It could make military action a viable option

Bu askeri harekatı sadece küçük toplumlar için değil

not just for small nations,

aynı zamanda suç örgütleri,

but criminal organizations, private enterprise,

özel ticari kuruluşlar, hatta nüfuzlu insanlar için

even powerful individuals.

geçerli bir seçenek yapar.

It could create a landscape of rival warlords

Bu, barolar ve sivil halkın yönetimini baltalayan

undermining rule of law and civil society.

muhalif diktatörlere bir arazi oluşturacaktır.

Now if responsibility and transparency

Şimdi, sorumluluk ve şeffaflık

are two of the cornerstones of representative government,

temsili meclisin iki temel taşıysa,

autonomous robotic weapons could undermine both.

özerk robot silahları ikisini de sarsabilir.

Now you might be thinking that

Şimdi, şunu düşünüyor olabilirsin;

citizens of high-tech nations

ileri teknoloji toplumları

would have the advantage in any robotic war,

herhangi bir robot savaşında avantajlı olabilir.

that citizens of those nations would be less vulnerable,

Bu ulusların vatandaşları daha savunmasız olacaklardır

particularly against developing nations.

özellikle gelişmekte olan uluslara karşı.

But I think the truth is the exact opposite.

Fakat, gerçeğin tam tersi olduğunu düşünüyorum.

I think citizens of high-tech societies

İleri teknoloji ülkesi vatandaşlarının

are more vulnerable to robotic weapons,

robot silahlara karşı daha savunmasız olduğunu düşüyorum.

and the reason can be summed up in one word: data.

Sebebi tek bir kelimede özetlenebilir: veri.

Data powers high-tech societies.

Veri ileri teknoloji toplumlarını güçlendirir.

Cell phone geolocation, telecom metadata,

Cep telefonu konum belirlemesi, telekom üst-verisi,

social media, email, text, financial transaction data,

sosyal medya, e-posta, mesaj, finansal işlem verisi

transportation data, it's a wealth of real-time data

ulaştırma verisi, o, insanların hareketleri ve

on the movements and social interactions of people.

sosyal etkileşimlerindeki gerçek zaman verisinin bolluğudur.

In short, we are more visible to machines

Kısaca, tarihteki herhangi bir insandan çok

than any people in history,

makinelere görünürüz

and this perfectly suits the targeting needs of autonomous weapons.

ve bu özerk silahların hedef tespiti ihtiyaçlarına mükemmel şekilde uyar.

What you're looking at here

Burada bakmakta olduğunuz şey

is a link analysis map of a social group.

toplumsal bir grubun bağlantı analiz haritasıdır.

Lines indicate social connectedness between individuals.

Çizgiler bireyler arasındaki sosyal etkileşimi göstermektedir.

And these types of maps can be automatically generated

Ve bu tür haritalar, modern insanların gerilerinde bıraktıkları

based on the data trail modern people leave behind.

veri izine dayandırılarak otomatik olarak üretilebilirler.

Now it's typically used to market goods and services

Şimdi o genellikle mal ve hizmetleri hedeflenen nüfusa yönelik

to targeted demographics, but it's a dual-use technology,

piyasaya çıkarmak için kullanılır, fakat o çift kullanımlı bir teknolojidir.

because targeting is used in another context.

Çünkü hedef başka bağlamda kullanılır.

Notice that certain individuals are highlighted.

Belli bireylerin aydınlatıldığını fark edin.

These are the hubs of social networks.

Bunlar sosyal ağların merkezleridir.

These are organizers, opinion-makers, leaders,

Bunlar, kurucular, fikir üreticileri, liderler

and these people also can be automatically identified

ve ayrıca iletişim şablonlarından otomatik olarak

from their communication patterns.

tanımlanan bu insanlardır.

Now, if you're a marketer, you might then target them

Şimdi, bir pazarlamacıysanız, o halde onları ürün numuneleri ile

with product samples, try to spread your brand

hedefleyip sosyal gruplara markanızı

through their social group.

dağıtmaya çalışabilirsiniz.

But if you're a repressive government

Fakat politik düşmanlar arayan baskıcı bir

searching for political enemies, you might instead remove them,

hükumet iseniz, bunun yerine onları uzaklaştırır,

eliminate them, disrupt their social group,

ortadan kaldırır, sosyal gruplarını dağıtabilirsiniz

and those who remain behind lose social cohesion

ve arkada kalan kısım sosyal dayanışma

and organization.

ve sosyal örgütleri kaybeder.

Now in a world of cheap, proliferating robotic weapons,

Şimdi ucuz dünyada robot silahları çoğaltırsak,

borders would offer very little protection

sınırlar bir devleti başka bir ülkeden yöneten hükumetlere ve

to critics of distant governments

uluslararası suç kuruluşlarının muhaliflerine

or trans-national criminal organizations.

çok az koruma sunacaktır.

Popular movements agitating for change

Değişim için kışkırtan popüler hareketler

could be detected early and their leaders eliminated

önceden belirlenebilir ve fikirleri, kritik bir kitleyi elde etmeden önce

before their ideas achieve critical mass.

liderleri ortadan kaldırılabilir.

And ideas achieving critical mass

Ve kritik kitleyi elde eden fikirler tamamen

is what political activism in popular government is all about.

popüler hükumetteki politik eylemciliğin ne olduğuyla alakalıdır.

Anonymous lethal weapons could make lethal action

Anonim öldürücü silahlar, her tür çakışan çıkarlar için

an easy choice for all sorts of competing interests.

kolay yol olarak ölümcül eylem yapabilirler.

And this would put a chill on free speech

Ve bu, serbest konuşma özgürlüğü ve

and popular political action, the very heart of democracy.

demokrasinin merkezi olan popüler politik eylemle ilişkisini keser.

And this is why we need an international treaty

Ve bu, robot silahlarda ve katil silahların

on robotic weapons, and in particular a global ban

gelişimi ve konuşlanmasıyla alakalı özel bir küresel yasakta

on the development and deployment of killer robots.

uluslararası anlaşmaya ihtiyaç duymamızın sebebidir.

Now we already have international treaties

Şimdi biz çoktan nükleer ve biyolojik silahlar

on nuclear and biological weapons, and, while imperfect,

üzerine uluslararası anlaşmaya sahibiz

these have largely worked.

her ne kadar tamamlanmamış olup büyük ölçüde kullanılıyorsa da.

But robotic weapons might be every bit as dangerous,

Fakat, robot silahlar tamamen tehlikeli gibi olabilirler.

because they will almost certainly be used,

Çünkü onlar hemen hemen kesinlikle kullanılacak

and they would also be corrosive to our democratic institutions.

ve ayrıca demokratik enstitülerimize karşı yıpratıcı olacaklar.

Now in November 2012 the U.S. Department of Defense

Şu anda, Birleşik Devletler Savunma Bakanlığı Kasım 2012'de

issued a directive requiring

tüm ölümcül kararlarda

a human being be present in all lethal decisions.

bir insanın mevcut olduğu direktif zorunluluğu tebliğ etti.

This temporarily effectively banned autonomous weapons in the U.S. military,

Bu geçici olarak etkin bir şekilde Birleşik Devletler ordusundaki özerk silahları yasakladı.

but that directive needs to be made permanent.

Ancak bu direktifin kalıcı hale getirilmesi gerekmektedir.

And it could set the stage for global action.

Ve küresel eylem için zemin hazırlayabilir.

Because we need an international legal framework

Çünkü robot silahlar için bizim uluslar arası ölümcül taslağa

for robotic weapons.

ihtiyacımız var.

And we need it now, before there's a devastating attack

Dünya uluslarının bu silahları kabul etmeyi hızlandırmasına neden olan

or a terrorist incident that causes nations of the world

tahrip edici hücum ya da bir terörist hadisesinden önce

to rush to adopt these weapons

ve daha sonuçları düşünmeden

before thinking through the consequences.

ona şimdi ihtiyacımız var.

Autonomous robotic weapons concentrate too much power

Özerk robot silahlar çok fazla gücü çok az elde topluyor

in too few hands, and they would imperil democracy itself.

ve onlar demokrasiyi tehlikeye atacaklar.

Now, don't get me wrong, I think there are tons

Şimdi, beni yanlış anlamayın ama silahsız sivil insansız hava uçakları için tonlarca

of great uses for unarmed civilian drones:

harika kullanımlar olduğunu düşünüyorum.

environmental monitoring, search and rescue, logistics.

çevre denetimi, araştırma ve lojistiği kurtarma.

If we have an international treaty on robotic weapons,

Robot silahlar üzerinde uluslararası bir anlaşmaya sahipsek

how do we gain the benefits of autonomous drones

hala kendimizi yasa dışı robot silahlara karşı korurken

and vehicles while still protecting ourselves

özerk uçak ve araçlardan

against illegal robotic weapons?

nasıl yarar sağlayacağız?

I think the secret will be transparency.

Sırrın belirgin olacağını düşünüyorum.

No robot should have an expectation of privacy

Hiç bir robotun umumi yerlerde mahremiyet beklentisi

in a public place.

olmamalıdır.

(Applause)

(Alkışlar)

Each robot and drone should have

Her bir robot ve uçak umumi yerlerde

a cryptographically signed I.D. burned in at the factory

devinimini takip etmesi için kullanılabilen

that can be used to track its movement through public spaces.

imalathanede çalışmaya hazırlanan şifreli işaretlenmiş bir kimliğe sahip olmalıdır.

We have license plates on cars, tail numbers on aircraft.

Arabalarda plaka, hava araçlarında kuyruk numarasına sahibiz.

This is no different.

Bu da farklı değil.

And every citizen should be able to download an app

Ve her vatandaş şimdi ve tarih boyunca

that shows the population of drones and autonomous vehicles

umumi alanlar çevresinde (yukarıdan) hareket eden uçaklar

moving through public spaces around them,

ve özerk araçların nüfusunu gösteren bir uygulama

both right now and historically.

yüklemiş olabilmelidir.

And civic leaders should deploy sensors and civic drones

Ve sivil liderler belirlemek için algılayıcı ve sivil uçakları haydut uçakları

to detect rogue drones,

harekete geçirmelidir

and instead of sending killer drones of their own up to shoot them down,

ve kendi katil uçaklarını, haydut uçakları ateş edip düşürmesi için göndermek yerine

they should notify humans to their presence.

onları insanlara haydut uçakların varlığını haber vermelidir.

And in certain very high-security areas,

Ve bazı çok yüksek güvenlik alanlarında

perhaps civic drones would snare them

muhtemelen sivil uçaklar onları tuzağa düşürecek

and drag them off to a bomb disposal facility.

ve bomba imha tesisine sürükleyecektir.

But notice, this is more an immune system

Fakat dikkat edin, bu, silah sisteminden çok

than a weapons system.

bağışıklık sistemidir.

It would allow us to avail ourselves of the use

Bu hala açık ve sivil toplumumuzu koruyorken

of autonomous vehicles and drones

özerk araç ve uçakların kullanımından

while still preserving our open, civil society.

yararlanmamıza izin verir.

We must ban the deployment and development

Katil robotların gelişim ve mevzilenmesini

of killer robots.

yasaklamalıyız.

Let's not succumb to the temptation to automate war.

Savaşı otomatikleştirmek için cazibesine yenik düşmeyelim.

Autocratic governments and criminal organizations

Despot hükumetler ve suç örgütleri

undoubtedly will, but let's not join them.

hiç şüphesiz yenik düşecek, fakat biz onlara katılmayalım.

Autonomous robotic weapons

Özerk robot silahlar

would concentrate too much power

çok fazla gücü çok az olan gizli ellerde

in too few unseen hands,

toplayacaktır,

and that would be corrosive to representative government.

ve bu temsili hükumete yıpratıcı olacaktır.

Let's make sure, for democracies at least,

Emin olalım ki, en azından demokrasiler için

killer robots remain fiction.

katil robotlar kurgu kalacaktır.

Thank you.

Teşekkür ederim.

(Applause)

(Alkışlar)

Thank you. (Applause)

(Alkışlar)