Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Fordító: Zsófia Farsang Lektor: Medve Gyula

I write fiction sci-fi thrillers,

Sci-fi thrillereket írok,

so if I say "killer robots,"

úgyhogy mikor azt mondom, "gyilkos robotok,"

you'd probably think something like this.

valószínűleg ilyesmire gondoltok.

But I'm actually not here to talk about fiction.

De igazából most nem fikcióról akarok beszélni.

I'm here to talk about very real killer robots,

Igazi gyilkos robotokról fogok beszélni,

autonomous combat drones.

önálló harci drónokról.

Now, I'm not referring to Predator and Reaper drones,

Nem a Predator vagy Reaper drónokra gondolok,

which have a human making targeting decisions.

amikor egy ember hozza meg a döntést a célokról.

I'm talking about fully autonomous robotic weapons

Teljesen önálló robotfegyverekről beszélek,

that make lethal decisions about human beings

amik halálos döntéseket hoznak emberi lényekről,

all on their own.

önmaguktól.

There's actually a technical term for this: lethal autonomy.

Van erre egy technikai kifejezés: gyilkolási autonómia.

Now, lethally autonomous killer robots

Szóval az öldöklésről önállóan dönteni képes, gyilkos robotok

would take many forms -- flying, driving,

sokféle formát ölthetnek -- repülhetnek, vezethetnek,

or just lying in wait.

vagy csak várakozhatnak.

And actually, they're very quickly becoming a reality.

És igazából egyre gyorsabban válnak valóságossá.

These are two automatic sniper stations

Ez két automata orvlövész-állomás

currently deployed in the DMZ between North and South Korea.

amik jelen pillanatban az Észak- és Dél-Korea közti demilitarizált övezetben vannak hadrendbe állítva.

Both of these machines are capable of automatically

Mindkét gép képes automatikusan felismerni

identifying a human target and firing on it,

egy emberi célpontot és lőni rá,

the one on the left at a distance of over a kilometer.

a bal oldali egy kilométeresnél nagyobb távolságra is.

Now, in both cases, there's still a human in the loop

Mindkét esetben van még egy ember

to make that lethal firing decision,

aki meghozza a halálos tűzparancsra vonatkozó döntést,

but it's not a technological requirement. It's a choice.

de ez nem technológiai elvárás. Csak egy döntés.

And it's that choice that I want to focus on,

Erre a döntésre szeretnék fókuszálni,

because as we migrate lethal decision-making

mert ahogy a halálos döntéshozatalt átruházzuk

from humans to software,

az emberekről a szoftverekre,

we risk not only taking the humanity out of war,

nem csak kivonjuk az emberi tényezőt a háborúból,

but also changing our social landscape entirely,

de megváltoztatjuk a teljes szociális térképet,

far from the battlefield.

a harcmezőktől messze.

That's because the way humans resolve conflict

Azért, mert ahogy az emberek megoldják a konfliktusokat

shapes our social landscape.

meghatározza a szociális térképet.

And this has always been the case, throughout history.

Ez mindig így volt, az egész történelem során.

For example, these were state-of-the-art weapons systems

Például ezek voltak a legmodernebb fegyverrendszerek

in 1400 A.D.

időszámításunk után 1400-ban.

Now they were both very expensive to build and maintain,

Ezeket drága volt megépíteni és fenntartani,

but with these you could dominate the populace,

de uralhatták velük a népességet,

and the distribution of political power in feudal society reflected that.

és a politikai erő megoszlása a feudális rendszerekben bemutatja ezt.

Power was focused at the very top.

A hatalom a társadalom csúcsán összpontosult.

And what changed? Technological innovation.

És mi változott? Technológiai innováció.

Gunpowder, cannon.

Puskapor, ágyúk.

And pretty soon, armor and castles were obsolete,

És nemsokára a páncélok és kastélyok feleslegessé váltak,

and it mattered less who you brought to the battlefield

kevésbé számított, hogy kit vittél a harcmezőre,

versus how many people you brought to the battlefield.

mint hogy hány embert vittél oda.

And as armies grew in size, the nation-state arose

Ahogy a hadseregek számban nőttek, kiemelkedett a nemzetállam,

as a political and logistical requirement of defense.

mint a védekezés politikai és logisztikai feltétele.

And as leaders had to rely on more of their populace,

Ahogy a vezetők egyre inkább rászorultak a népességre,

they began to share power.

elkezdték megosztani a hatalmat.

Representative government began to form.

Kialakult a képviseleti kormányzás.

So again, the tools we use to resolve conflict

Ismételten, az eszközök amivel megoldjuk a konfliktusokat

shape our social landscape.

befolyásolják a szociális térképet.

Autonomous robotic weapons are such a tool,

Az önálló robotfegyverek is ilyen eszközök,

except that, by requiring very few people to go to war,

azzal a kivétellel, hogy kevesebb embernek kell harcba vonulnia,

they risk re-centralizing power into very few hands,

így megkockáztatják a hatalom néhány kézbe való recentralizációját,

possibly reversing a five-century trend toward democracy.

potenciálisan visszafordítva egy ötévszázados trendet a demokrácia felé.

Now, I think, knowing this,

Most, azt hiszem, ennek ismeretében

we can take decisive steps to preserve our democratic institutions,

megtehetünk bizonyos döntő lépéseket, hogy megőrizzük a demokratikus intézményeinket,

to do what humans do best, which is adapt.

hogy megtegyük, amihez legjobban értünk, alkalmazkodjunk.

But time is a factor.

De az idő is kérdés.

Seventy nations are developing remotely-piloted

Hetven nemzet fejleszt távolról irányítható

combat drones of their own,

harci drónokat,

and as you'll see, remotely-piloted combat drones

és mint látják, a távolról irányítható harci drónok

are the precursors to autonomous robotic weapons.

az előfutárai az önálló robotfegyvereknek.

That's because once you've deployed remotely-piloted drones,

Azért, mert ha egyszer bevetetted a távolról irányítható drónokat,

there are three powerful factors pushing decision-making

három erős faktor is próbálja eltávolítani

away from humans and on to the weapon platform itself.

a döntéshozatalt az emberektől és átadni a fegyveres platformnak.

The first of these is the deluge of video that drones produce.

Az első az a videóáradat, amit ezek a drónok termelnek.

For example, in 2004, the U.S. drone fleet produced

Példának okáért 2004-ben az USA drónflottája

a grand total of 71 hours of video surveillance for analysis.

összesen 71 órányi videófelderítést készített analízis céljára.

By 2011, this had gone up to 300,000 hours,

2011-re ez felment 300 000 órára,

outstripping human ability to review it all,

felülmúlva az emberek képességét arra, hogy mindezt átnézzék,

but even that number is about to go up drastically.

de ez a szám is drasztikusan növekszik.

The Pentagon's Gorgon Stare and Argus programs

A Pentagon Gorgói Szem és Árgus programjai

will put up to 65 independently operated camera eyes

több mint 65 önállóan működő kameraszemet helyez fel

on each drone platform,

ezekre a drónplatformokra,

and this would vastly outstrip human ability to review it.

és ez jóval túllépi az emberi képességeket a videók megnézésére.

And that means visual intelligence software will need

Ez azt jelenti, hogy vizuális intelligenciaszoftvernek kell

to scan it for items of interest.

alaposan átnéznie fontos részek után kutatva.

And that means very soon

És ez azt jelenti, hogy hamarosan

drones will tell humans what to look at,

a drónok mondják meg az embereknek, mit kell nézni,

not the other way around.

nem fordítva.

But there's a second powerful incentive pushing

A második fontos ösztönző ami a döntéshozatalt elvenné

decision-making away from humans and onto machines,

az emberektől és a gépeknek adná,

and that's electromagnetic jamming,

az az elektromágneses zavarás,

severing the connection between the drone

ami rontja a kapcsolatot a drón

and its operator.

és az operátor között.

Now we saw an example of this in 2011

Láttunk erre példát 2011-ben

when an American RQ-170 Sentinel drone

mikor az amerikai RQ-170 Sentinel drón

got a bit confused over Iran due to a GPS spoofing attack,

összezavarodott Irán fölött egy GPS-hamisító támadás miatt,

but any remotely-piloted drone is susceptible to this type of attack,

de bármilyen távolról irányított drón ki van téve az ilyen támadásoknak,

and that means drones

ami azt jelenti,

will have to shoulder more decision-making.

hogy a drónoknak több döntést kell hozniuk.

They'll know their mission objective,

Tudni fogják a küldetésük célját,

and they'll react to new circumstances without human guidance.

és emberi irányítás nélkül fognak reagálni az új körülményekre.

They'll ignore external radio signals

Figyelmen kívül fogják hagyni a külső rádiójeleket

and send very few of their own.

és ők maguk kevés jelet fognak küldeni.

Which brings us to, really, the third

Ami elvisz minket a harmadik

and most powerful incentive pushing decision-making

és legerősebb ösztönzőhöz, hogy a döntéshozatalt az emberek helyett

away from humans and onto weapons:

a fegyvereknek adjuk:

plausible deniability.

az elfogadható tagadás.

Now we live in a global economy.

Ma egy globális gazdaságban élünk.

High-tech manufacturing is occurring on most continents.

A legtöbb kontinensen zajlik csúcstechnológiás gyártás.

Cyber espionage is spiriting away advanced designs

A kiberkémkedés ellopja a fejlett terveket

to parts unknown,

ismeretlen vidékekre,

and in that environment, it is very likely

és ebben a környezetben nagyon valószínű,

that a successful drone design will be knocked off in contract factories,

hogy a sikeres drónterveket leszerződött gyárakban le fogják koppintani,

proliferate in the gray market.

és elburjánzanak a szürke piacon.

And in that situation, sifting through the wreckage

Ebben a szituációban át kell fésülni a romjait

of a suicide drone attack, it will be very difficult to say

egy öngyilkos dróntámadásnak, és nehéz lesz megmondani,

who sent that weapon.

ki küldte a fegyvert.

This raises the very real possibility

Ez felveti a névtelen háború

of anonymous war.

nagyon is valószínű lehetőségét.

This could tilt the geopolitical balance on its head,

Ez felboríthatná a geopolitikai egyensúlyt,

make it very difficult for a nation to turn its firepower

megnehezítve a nemzetek számára, hogy tűzerejüket

against an attacker, and that could shift the balance

egy támadó ellen fordítsák, és eltolhatná az egyensúlyt

in the 21st century away from defense and toward offense.

a 21. században a védekezéstől a támadáshoz.

It could make military action a viable option

A katonai akciókat lehetséges opcióvá tenné

not just for small nations,

nem csak kis nemzetek,

but criminal organizations, private enterprise,

de bűnszervezetek, magánvállalkozások,

even powerful individuals.

akár hatalommal rendelkező egyének számára is.

It could create a landscape of rival warlords

Kialakulhat egy rivális hadurakból álló táj,

undermining rule of law and civil society.

ami aláássa a törvény és a civil társadalom erejét.

Now if responsibility and transparency

Ha most a felelősség és átláthatóság

are two of the cornerstones of representative government,

a képviseleti kormányzás két sarokköve,

autonomous robotic weapons could undermine both.

az önálló robotfegyverek alááshatják mindkettőt.

Now you might be thinking that

Gondolhattok arra,

citizens of high-tech nations

hogy a csúcstechnológiával rendelkező nemzetek polgárainak

would have the advantage in any robotic war,

előnye lenne bármilyen robotháborúban,

that citizens of those nations would be less vulnerable,

hogy e nemzeteknek polgárai kevésbé sebezhetőek,

particularly against developing nations.

különösen a fejlődő országokhoz képest.

But I think the truth is the exact opposite.

De azt hiszem az igazság pontosan ennek az ellentéte.

I think citizens of high-tech societies

Úgy vélem, a csúcstechnológiájú nemzetek tagjai

are more vulnerable to robotic weapons,

sebezhetőbbek a robotfegyverekre,

and the reason can be summed up in one word: data.

ennek az okát egy szóban összefoglalhatom: adatok.

Data powers high-tech societies.

Az adatok irányítják a csúcstechnológiájú társadalmakat.

Cell phone geolocation, telecom metadata,

Mobiltelefonos geolokáció, telekommunikációs metaadatok,

social media, email, text, financial transaction data,

közösségi média, email, SMS, pénzügyi tranzakciós adatok,

transportation data, it's a wealth of real-time data

szállítási adatok, az emberi mozgás és társadalmi interakció

on the movements and social interactions of people.

valósidejű adatainak özöne.

In short, we are more visible to machines

Röviden szólva, sokkal láthatóbbak vagyunk a gépek szemében

than any people in history,

mint valaha a történelemben,

and this perfectly suits the targeting needs of autonomous weapons.

és ez tökéletesen illeszkedik az önálló fegyverek célzási igényeihez.

What you're looking at here

Amit itt látnak, az egy társadalmi csoport

is a link analysis map of a social group.

kapcsolati analízis térképe.

Lines indicate social connectedness between individuals.

A vonalak mutatják a társadalmi kapcsolatokat egyes egyének között.

And these types of maps can be automatically generated

Ezek a fajta térképek automatikusan generálhatók

based on the data trail modern people leave behind.

az emberek mögött hagyott adatnyom alapján.

Now it's typically used to market goods and services

Ezt arra használják, hogy megcélozzanak bizonyos demográfiai csoportokat

to targeted demographics, but it's a dual-use technology,

termékek marketingcéljaira, de kétoldalú technológia,

because targeting is used in another context.

mert a megcélzást máshogy is használhatjuk.

Notice that certain individuals are highlighted.

Nézzétek, bizonyos egyének ki vannak emelve.

These are the hubs of social networks.

Ők a társadalmi hálózat gócpontjai.

These are organizers, opinion-makers, leaders,

Ők a szervezők, véleményalkotók, vezetők,

and these people also can be automatically identified

és ezeket az embereket automatikusan meghatározhatod

from their communication patterns.

a kommunikációs mintáik alapján.

Now, if you're a marketer, you might then target them

Na most, ha marketinges vagy, őket célzod meg

with product samples, try to spread your brand

termékmintákkal, próbálod elterjeszteni a márkádat

through their social group.

az ő társadalmi csoportjukon keresztül.

But if you're a repressive government

De ha egy elnyomó kormány vagy,

searching for political enemies, you might instead remove them,

aki a politikai ellenségeit keresi, inkább eltávolítod őket,

eliminate them, disrupt their social group,

megsemmisíted őket, szétszakítod a társadalmi csoportot,

and those who remain behind lose social cohesion

és a hátramaradottak elvesztik a szociális kohéziót

and organization.

és szervezettséget.

Now in a world of cheap, proliferating robotic weapons,

Az olcsó, burjánzó robotfegyverek világában

borders would offer very little protection

a határok kevés védelmet kínálnak

to critics of distant governments

a távoli kormányok kritikusainak

or trans-national criminal organizations.

vagy nemzeteket átfogó bűnszervezeteknek.

Popular movements agitating for change

Népszerű mozgalmak, amik változást agitálnak

could be detected early and their leaders eliminated

korán felderíthetővé válnak, és a vezetőik eltávolíthatóak

before their ideas achieve critical mass.

mielőtt a gondolataik elérik a kritikus tömeget.

And ideas achieving critical mass

A gondolatok kritikus tömeget elérése az,

is what political activism in popular government is all about.

amiről a politikai aktivizmus, a népi kormányzás szól.

Anonymous lethal weapons could make lethal action

Névtelen halálos fegyverek könnyedén hozhatnak döntéseket

an easy choice for all sorts of competing interests.

halálos akciókról mindenféle versengő érdekek mentén.

And this would put a chill on free speech

Ez leállítaná a szólásszabadságot

and popular political action, the very heart of democracy.

és a népi politikai akciókat, a demokrácia szívét.

And this is why we need an international treaty

Ezért van szükségünk egy nemzetközi egyezményre

on robotic weapons, and in particular a global ban

a robotfegyverekről, pontosabban egy globális tilalomra

on the development and deployment of killer robots.

a gyilkos robotok fejlesztésében és bevetésében.

Now we already have international treaties

Már vannak nemzetközi egyezményeink

on nuclear and biological weapons, and, while imperfect,

nukleáris és biológiai fegyverekre, és habár tökéletlenek,

these have largely worked.

nagymértékben működnek.

But robotic weapons might be every bit as dangerous,

De a robotfegyverek ugyanennyire veszélyesek lehetnek,

because they will almost certainly be used,

mert szinte biztosan használni fogják őket,

and they would also be corrosive to our democratic institutions.

és fokozatosan tönkretehetik demokratikus intézményeinket.

Now in November 2012 the U.S. Department of Defense

2012 novemberében az USA Védelmi Minisztériuma

issued a directive requiring

kiadott egy direktívát,

a human being be present in all lethal decisions.

amely megköveteli egy ember jelenlétét a halálos döntéseknél.

This temporarily effectively banned autonomous weapons in the U.S. military,

Ez időlegesen tulajdonképpen betiltotta az önálló fegyvereket az USA hadseregében,

but that directive needs to be made permanent.

de ezt a direktívát állandóvá kell tennünk.

And it could set the stage for global action.

Ez meghatározhatná a globális akció színterét.

Because we need an international legal framework

Mert szükségünk van egy nemzetközi jogi keretre

for robotic weapons.

a robotfegyverek esetén.

And we need it now, before there's a devastating attack

És most van rá szükségünk, még mielőtt egy pusztító támadás

or a terrorist incident that causes nations of the world

vagy terrorcselekmény okán a világ nemzetei

to rush to adopt these weapons

sietve átveszik ezeket a fegyvereket,

before thinking through the consequences.

a következményeket át sem gondolva.

Autonomous robotic weapons concentrate too much power

Az önálló robotfegyverek túl sok erőt koncentrálnak

in too few hands, and they would imperil democracy itself.

túl kevés kézben, és ez magát a demokráciát veszélyezteti.

Now, don't get me wrong, I think there are tons

Ne értsetek félre, hiszek benne, hogy rengeteg

of great uses for unarmed civilian drones:

haszna van fegyvertelen civil drónoknak:

environmental monitoring, search and rescue, logistics.

környezeti megfigyelés, kereséses mentőakciók, logisztika.

If we have an international treaty on robotic weapons,

Ha van egy nemzetközi egyezményünk a robotfegyverekről,

how do we gain the benefits of autonomous drones

hogy használhatnánk ki az önálló drónok

and vehicles while still protecting ourselves

és járművek előnyeit miközben megvédjük magunkat

against illegal robotic weapons?

az illegális robotfegyverektől?

I think the secret will be transparency.

Azt hiszem a titok az átláthatóságban rejlik.

No robot should have an expectation of privacy

Egy robot sem várhat el privátszférát

in a public place.

egy nyilvános helyen.

(Applause)

(Taps)

Each robot and drone should have

Minden robotnak és drónnak szüksége van

a cryptographically signed I.D. burned in at the factory

egy, még a gyárban beégetett, titkosított azonosítóra,

that can be used to track its movement through public spaces.

amit aztán a nyilvános helyeken való mozgásának követésére használhatunk.

We have license plates on cars, tail numbers on aircraft.

Az autókon vannak rendszámtáblák, a repülőkön farokszámok.

This is no different.

Ez sem más.

And every citizen should be able to download an app

Minden állampolgár letölthetne egy alkalmazást,

that shows the population of drones and autonomous vehicles

ami megmutatja a drónok és önálló járművek számát

moving through public spaces around them,

a körülötte lévő nyilvános helyen,

both right now and historically.

abban a pillanatban és a múltban is.

And civic leaders should deploy sensors and civic drones

És a városi vezetőknek szenzorokat és városi drónokat kellene bevetni

to detect rogue drones,

a csavargó drónok felderítésére,

and instead of sending killer drones of their own up to shoot them down,

és ahelyett, hogy gyilkos drónokat küldenénk, hogy lelőjék őket,

they should notify humans to their presence.

fel kellene hívniuk az emberek figyelmét a jelenlétükre.

And in certain very high-security areas,

És bizonyos nagyon magas biztonsági övezetekben

perhaps civic drones would snare them

a városi drónok talán elfognák és elvinnék őket

and drag them off to a bomb disposal facility.

egy bomba-ártalmatlanító létesítménybe.

But notice, this is more an immune system

De vegyétek észre, ez inkább egy védekezőrendszer,

than a weapons system.

mint fegyverrendszer.

It would allow us to avail ourselves of the use

Ez lehetővé tenné, hogy kiélvezzük

of autonomous vehicles and drones

az önálló járművek és drónok előnyeit,

while still preserving our open, civil society.

miközben megvédjük a nyitott, polgári társadalmunkat.

We must ban the deployment and development

Be kell tiltanunk a gyilkos robotok bevetését

of killer robots.

és fejlesztését.

Let's not succumb to the temptation to automate war.

Ne dőljünk be az automatizált háború csábításának.

Autocratic governments and criminal organizations

Az autokrata kormányok és bűnszervezetek

undoubtedly will, but let's not join them.

kétségtelenül be fognak, de ne csatlakozzunk.

Autonomous robotic weapons

Az önálló robotfegyverek

would concentrate too much power

túl sok hatalmat koncentrálnak

in too few unseen hands,

túl kevés láthatatlan kézben,

and that would be corrosive to representative government.

és ez fokozatosan tönkreteheti a képviseleti kormányzást.

Let's make sure, for democracies at least,

Biztosítsuk, hogy - a demokráciákban legalábbis -

killer robots remain fiction.

a gyilkos robotok fikciók maradjanak.

Thank you.

Köszönöm.

(Applause)

(Taps)

Thank you. (Applause)

Köszönöm. (Taps)