Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Překladatel: Samuel Titera Korektor: Marek Vanžura

I write fiction sci-fi thrillers,

Píšu sci-fi thrillery,

so if I say "killer robots,"

takže když řeknu „robot-zabiják“,

you'd probably think something like this.

pravděpodobně si představíte něco takového.

But I'm actually not here to talk about fiction.

Teď tu ale nechci mluvit o literatuře.

I'm here to talk about very real killer robots,

Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,

autonomous combat drones.

o autonomních bojových letounech.

Now, I'm not referring to Predator and Reaper drones,

Nemyslím tím teď letadla Predator a Reaper,

which have a human making targeting decisions.

u kterých je to vždy člověk, kdo rozhoduje o určení cíle.

I'm talking about fully autonomous robotic weapons

Mluvím o plně autonomních robotických zbraních,

that make lethal decisions about human beings

které rozhodují o smrti lidských bytostí

all on their own.

zcela samy za sebe.

There's actually a technical term for this: lethal autonomy.

Dokonce pro to existuje technický pojem: smrtící autonomie.

Now, lethally autonomous killer robots

Tito smrtící autonomní roboti-zabijáci

would take many forms -- flying, driving,

mají mnoho podob – létajicí, jezdicí,

or just lying in wait.

anebo pouze ležicí a čekajicí.

And actually, they're very quickly becoming a reality.

Popravdě řečeno, velice rychle se stávají realitou.

These are two automatic sniper stations

Toto jsou dva automatické odstřelovací moduly

currently deployed in the DMZ between North and South Korea.

momentálně nasazené v zóně mezi Severní a Jižní Koreou.

Both of these machines are capable of automatically

Oba tyto stroje jsou schopny automaticky

identifying a human target and firing on it,

rozpoznat lidský cíl a vypálit na něj,

the one on the left at a distance of over a kilometer.

ta vlevo na vzdálenost před jeden kilometr.

Now, in both cases, there's still a human in the loop

Zatím je v obou případech stále přítomen člověk,

to make that lethal firing decision,

který činí rozhodnutí o smrtícím výstřelu,

but it's not a technological requirement. It's a choice.

to však není technologická nutnost. To je jen volba.

And it's that choice that I want to focus on,

Na tuto volbu bych se chtěl zaměřit,

because as we migrate lethal decision-making

protože jakmile přesuneme rozhodování o usmrcení

from humans to software,

z lidí na software,

we risk not only taking the humanity out of war,

riskujeme nejen ztrátu lidského prvku z války,

but also changing our social landscape entirely,

ale rovněž kompletní změnu naší společnosti,

far from the battlefield.

daleko od bitevních polí.

That's because the way humans resolve conflict

Protože to, jak lidé řeší vzájemné konflikty,

shapes our social landscape.

formuje celkovou podobu společnosti.

And this has always been the case, throughout history.

Tak tomu bylo vždycky v průběhu celé historie.

For example, these were state-of-the-art weapons systems

Toto byly špičkové vojenské systémy

in 1400 A.D.

patnáctého století.

Now they were both very expensive to build and maintain,

Byly velice náročné jak na vybudování, tak i na údržbu,

but with these you could dominate the populace,

ale mohli jste s nimi vládnout obyvatelstvu,

and the distribution of political power in feudal society reflected that.

což reflektovalo rozložení politické síly ve feudální společnosti.

Power was focused at the very top.

Moc byla soustředěna na samém vrcholku.

And what changed? Technological innovation.

Co se změnilo? Technologické inovace.

Gunpowder, cannon.

Střelný prach, děla.

And pretty soon, armor and castles were obsolete,

Brzy bylo brnění i hrady zbytečné,

and it mattered less who you brought to the battlefield

a přestalo záležet na tom, koho jste vedli do bitvy,

versus how many people you brought to the battlefield.

v porovnání s tím, kolik lidí jste tam vedli.

And as armies grew in size, the nation-state arose

A jak rostly armády co do počtu, začal vznikat národní stát,

as a political and logistical requirement of defense.

jako politická a logistická jednotka, nutná k obraně.

And as leaders had to rely on more of their populace,

A jak vůdcové začínali více záviset na obyvatelstvu,

they began to share power.

začali se dělit o moc.

Representative government began to form.

Začala vznikat zastupitelská forma vlády.

So again, the tools we use to resolve conflict

Opět nástroje, kterými řešíme konflikt,

shape our social landscape.

utvářejí podobu společnosti.

Autonomous robotic weapons are such a tool,

Automatické robotické zbraně jsou takovými nástroji,

except that, by requiring very few people to go to war,

s tím, že jak velice málo lidí najednou musí jít do války,

they risk re-centralizing power into very few hands,

riskujeme přerozdělení moci do několika málo rukou,

possibly reversing a five-century trend toward democracy.

a potenciálně obracíme pětisetletý trend, který vedl k demokracii.

Now, I think, knowing this,

Pokud toto víme,

we can take decisive steps to preserve our democratic institutions,

můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,

to do what humans do best, which is adapt.

co lidé umí nejlépe: přizpůsobením se.

But time is a factor.

Ale i čas zde hraje roli.

Seventy nations are developing remotely-piloted

Už sedmdesát národů vyvíjí na dálku ovládané

combat drones of their own,

bojové letouny,

and as you'll see, remotely-piloted combat drones

a jak uvidíte, dálkově ovládané bojové letouny

are the precursors to autonomous robotic weapons.

jsou jen předchůdci autonomních robotických zbraní.

That's because once you've deployed remotely-piloted drones,

A to proto, že jakmile jste nasadili dálkově ovládané letouny,

there are three powerful factors pushing decision-making

dostanete se ke třem faktorům, které tlačí rozhodování

away from humans and on to the weapon platform itself.

směrem od lidí přímo ke zbraňovému systému jako takovému.

The first of these is the deluge of video that drones produce.

Prvním je záplava videomateriálu, které letouny produkují.

For example, in 2004, the U.S. drone fleet produced

V roce 2004 to v USA bylo celkem

a grand total of 71 hours of video surveillance for analysis.

71 hodin dokumentační stopáže určené k analýze.

By 2011, this had gone up to 300,000 hours,

Do roku 2011 se toto číslo zvedlo na 300 000 hodin,

outstripping human ability to review it all,

čímž byla překročena lidská schopnost vše revidovat,

but even that number is about to go up drastically.

ale i toto číslo dále drasticky poroste.

The Pentagon's Gorgon Stare and Argus programs

Vojenské programy Gorgon Stare a Argus plánují

will put up to 65 independently operated camera eyes

osadit na každou létající platformu

on each drone platform,

až 65 samostatných očí,

and this would vastly outstrip human ability to review it.

což znamená naprosté překročení možnosti lidského dohledu.

And that means visual intelligence software will need

A tedy bude třeba zavést umělou inteligenci,

to scan it for items of interest.

která bude sama hledat objekty zájmu.

And that means very soon

Tím pádem velice brzy

drones will tell humans what to look at,

budou roboti lidem říkat, na co se mají podívat,

not the other way around.

nikoli naopak.

But there's a second powerful incentive pushing

Je tu ale i druhá silná motivace pro to,

decision-making away from humans and onto machines,

aby se rozhodování přesunulo od lidí ke strojům,

and that's electromagnetic jamming,

a tím je elektromagnetické zahlcení,

severing the connection between the drone

které naruší komunikaci mezi letounem

and its operator.

a jeho operátorem.

Now we saw an example of this in 2011

To jsme mohli vidět například v roce 2011,

when an American RQ-170 Sentinel drone

kdy se americký letoun RQ-170 Sentinel

got a bit confused over Iran due to a GPS spoofing attack,

nechal zmást nad Iránem kvůli útoku cílenému na GPS,

but any remotely-piloted drone is susceptible to this type of attack,

k čemuž je náchylný každý dálkově ovládaný letoun,

and that means drones

a to znamená, že roboti

will have to shoulder more decision-making.

budou muset sami unést větší díl samostatného rozhodování.

They'll know their mission objective,

Budou znát cíl své mise

and they'll react to new circumstances without human guidance.

a na nové okolnosti budou reagovat bez lidského vedení.

They'll ignore external radio signals

Budou ignorovat externí radiové signály

and send very few of their own.

a vysílat jen velice málo vlastních.

Which brings us to, really, the third

Což nás přivádí ke třetí

and most powerful incentive pushing decision-making

a nejsilnějí motivaci, k tomu, aby bylo rozhodování

away from humans and onto weapons:

přesunuto od lidí směrem ke zbraním:

plausible deniability.

přesvědčivé zapírání.

Now we live in a global economy.

Žijeme teď v rámci globální ekonomiky.

High-tech manufacturing is occurring on most continents.

Na téměř každém kontinentě máme hi-tech strojírenství.

Cyber espionage is spiriting away advanced designs

Kybernetická špionáž je schopna získat pokročilé plány

to parts unknown,

a přesunout je kdovíkam,

and in that environment, it is very likely

kde je velice pravděpodobné,

that a successful drone design will be knocked off in contract factories,

že z úspěšného plánu letounu vznikne skutečný model

proliferate in the gray market.

a začne se množit díky šedému trhu.

And in that situation, sifting through the wreckage

V takové situaci, kdy budete vyšetřovat trosky

of a suicide drone attack, it will be very difficult to say

po sebevražedném robotickém útoku, bude velice těžké říct,

who sent that weapon.

kdo tu zbraň poslal.

This raises the very real possibility

Tím ale vzniká velmi reálná možnost

of anonymous war.

anonymní války.

This could tilt the geopolitical balance on its head,

Tím by se geopolitická rovnováha mohla obrátit na hlavu,

make it very difficult for a nation to turn its firepower

protože by se stát jen velice těžko mohl obrátit

against an attacker, and that could shift the balance

proti útočníkovi, a tím by se rovnováha

in the 21st century away from defense and toward offense.

21. století přesunula od obrany k útoku.

It could make military action a viable option

Vojenské akce by se tím mohly stát možným řešením

not just for small nations,

nejen pro malé národy,

but criminal organizations, private enterprise,

ale i pro zločinecké organizace, soukromé podniky,

even powerful individuals.

a dokonce i mocné jednotlivce.

It could create a landscape of rival warlords

Mohlo by vzniknout prostředí soupeřících oligarchů,

undermining rule of law and civil society.

podkopávající autoritu zákona a občanskou společnost.

Now if responsibility and transparency

Pokud jsou odpovědnost a transparentnost

are two of the cornerstones of representative government,

dvěma úhelnými kameny zastupitelské demokracie,

autonomous robotic weapons could undermine both.

autonomní robotické zbraně mohou ohrozit obojí.

Now you might be thinking that

Možná byste si řekli,

citizens of high-tech nations

že občané technicky vysoce vyspělých zemí

would have the advantage in any robotic war,

by v každé robotické válce měli výhodu,

that citizens of those nations would be less vulnerable,

že by lidé v těchto zemích byli méně zranitelní,

particularly against developing nations.

zejména v porovnání s rozvojovými zeměmi.

But I think the truth is the exact opposite.

Myslím, že přesný opak je pravdou.

I think citizens of high-tech societies

Domnívám se, že lidé v technologických společnostech

are more vulnerable to robotic weapons,

jsou mnohem zranitelnější při útoku robotickými zbraněmi,

and the reason can be summed up in one word: data.

a to z jednoho prostého důvodu: kvůli datům.

Data powers high-tech societies.

Technologické společnosti jsou řízeny daty.

Cell phone geolocation, telecom metadata,

Geolokace mobilních telefonů, telekomunikační metadata,

social media, email, text, financial transaction data,

sociální média, e-mail, sms, data o finančních transakcích,

transportation data, it's a wealth of real-time data

údaje o přepravě - to je velké bohatství dat v reálném čase,

on the movements and social interactions of people.

odhalujících pohyb a sociální interakce lidí.

In short, we are more visible to machines

Zkrátka jsme pro stroje viditelní

than any people in history,

více než kdokoli v historii,

and this perfectly suits the targeting needs of autonomous weapons.

a to skvěle vyhovuje potřebám autonomních zbraní.

What you're looking at here

Tady vidíte mapu vazeb

is a link analysis map of a social group.

v rámci sociální skupiny.

Lines indicate social connectedness between individuals.

Čáry představují společenskou vazbu mezi jednotlivci.

And these types of maps can be automatically generated

Tento typ map může být automaticky generován

based on the data trail modern people leave behind.

na základě datové stopy, kterou za sebou moderní lidé zanechávají.

Now it's typically used to market goods and services

Momentálně se typicky využívá při propagaci zboží a služeb

to targeted demographics, but it's a dual-use technology,

vybrané cílové skupině, ale tady jde o cílení

because targeting is used in another context.

v jiném kontextu.

Notice that certain individuals are highlighted.

Vidíte, že někteří lidé jsou zvýrazněni.

These are the hubs of social networks.

To jsou svorníky sociálních sítí.

These are organizers, opinion-makers, leaders,

Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,

and these people also can be automatically identified

a tito lidé mohou být také automaticky identifikováni

from their communication patterns.

ze svých komunikačních vzorců.

Now, if you're a marketer, you might then target them

Pokud pracujete v marketingu, zaměříte se na ně

with product samples, try to spread your brand

se vzorky produktů ve snaze šířit svoji značku

through their social group.

v jejich sociální skupině.

But if you're a repressive government

Pokud ovšem jste represivní vláda,

searching for political enemies, you might instead remove them,

která vyhledává své politické nepřátele, prostě je odstraníte,

eliminate them, disrupt their social group,

eliminujete, narušíte jejich sociální skupinu,

and those who remain behind lose social cohesion

a ti, kteří zbydou, ztratí vzájemné spojení

and organization.

a organizovanost.

Now in a world of cheap, proliferating robotic weapons,

Ve světě levných, množících se robotických zbraní,

borders would offer very little protection

nebudou už hranice poskytovat skoro žádnou ochranu

to critics of distant governments

kritikům vzdálených vlád

or trans-national criminal organizations.

nebo mezinárodních zločineckých organizací.

Popular movements agitating for change

Všeobecná hnutí volající po změně

could be detected early and their leaders eliminated

mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,

before their ideas achieve critical mass.

než jejich myšlenky dosáhnou kritického množství.

And ideas achieving critical mass

Přitom myšlenky dosahující kritického rozšíření

is what political activism in popular government is all about.

jsou to, na čem stojí politický aktivismus běžných vlád.

Anonymous lethal weapons could make lethal action

Anonymní smrtící zbraně by mohly učinit z usmrcování

an easy choice for all sorts of competing interests.

příliš snadnou volbu k řešení rozdílných zájmů.

And this would put a chill on free speech

To by zmrazilo svobodu projevu

and popular political action, the very heart of democracy.

a obecné politické aktivity, které jsou srdcem demokracie.

And this is why we need an international treaty

Proto potřebujeme mezinárodní smlouvu

on robotic weapons, and in particular a global ban

o robotických zbraních a zejména globální zákaz

on the development and deployment of killer robots.

vývoje a nasazení robotů-zabijáků.

Now we already have international treaties

Už máme mezinárodní smlouvy

on nuclear and biological weapons, and, while imperfect,

o jaderných a biologických zbraních, které zatím, ač nedokonalé,

these have largely worked.

v obecném měřítku fungují.

But robotic weapons might be every bit as dangerous,

Ale robotické zbraně mohou být úplně stejně nebezpečné,

because they will almost certainly be used,

protože budou zcela jistě používány

and they would also be corrosive to our democratic institutions.

a budou rozkládat základy demokratických institucí.

Now in November 2012 the U.S. Department of Defense

V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických

issued a directive requiring

direktivu, která nařizuje,

a human being be present in all lethal decisions.

aby v každém smrtícím rozhodování byl přítomen člověk.

This temporarily effectively banned autonomous weapons in the U.S. military,

Tím jsou dočasně zakázány autonomní zbraně v armádě USA,

but that directive needs to be made permanent.

ale tato direktiva se musí stát trvalou.

And it could set the stage for global action.

Mohla by zároveň být základem pro globální jednání.

Because we need an international legal framework

Protože potřebujeme mezinárodní právní rámec

for robotic weapons.

pro robotické zbraně.

And we need it now, before there's a devastating attack

A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku

or a terrorist incident that causes nations of the world

nebo k teroristické akci, po které budou státy

to rush to adopt these weapons

urychleně nasazovat tyto zbraně,

before thinking through the consequences.

bez toho, aby se nejdříve promyslely následky.

Autonomous robotic weapons concentrate too much power

Autonomní robotické zbraně soustřeďují příliš mnoho moci

in too few hands, and they would imperil democracy itself.

v příliš málo rukách, čímž ohrožují samotnou demokracii.

Now, don't get me wrong, I think there are tons

Nechápejte mě špatně, myslím, že je stále mnoho skvělého

of great uses for unarmed civilian drones:

využití pro neozbrojené civilní roboty:

environmental monitoring, search and rescue, logistics.

monitorování prostředí, pátrání a zachraňování, logistika.

If we have an international treaty on robotic weapons,

Budeme-li mít mezinárodní smlouvu o robotických zbraních,

how do we gain the benefits of autonomous drones

jak získáme výhody, které nabízí autonomní letouny

and vehicles while still protecting ourselves

a vozidla, abychom ale byli stále chráněni

against illegal robotic weapons?

před ilegálními robotickými zbraněmi?

I think the secret will be transparency.

Myslím, že tajemstvím úspěchu bude transparentnost.

No robot should have an expectation of privacy

Žádný robot by neměl mít právo na soukromí,

in a public place.

pokud se pohybuje ve společnosti.

(Applause)

(Potlesk)

Each robot and drone should have

Každý robot nebo letoun by měl mít

a cryptographically signed I.D. burned in at the factory

kódované identifikační označení, vypálené v továrně,

that can be used to track its movement through public spaces.

které by ho umožnilo sledovat ve veřejných prostorách.

We have license plates on cars, tail numbers on aircraft.

Už máme SPZ na autech, registrační značky na letadlech.

This is no different.

Tohle není nic jiného.

And every citizen should be able to download an app

Každý občan by měl mít právo stáhnout si aplikaci,

that shows the population of drones and autonomous vehicles

která by mu ukázala populaci robotů pohybujících se

moving through public spaces around them,

ve veřejných prostorách okolo něj,

both right now and historically.

jak v současnosti, tak v minulosti.

And civic leaders should deploy sensors and civic drones

A veřejní činitelé by měli nasadit senzory a civilní roboty,

to detect rogue drones,

které by odhalovaly robotické škůdce,

and instead of sending killer drones of their own up to shoot them down,

a místo posílání vlastních bojovníků k jejich likvidaci,

they should notify humans to their presence.

by prostě upozornili lidi na jejich přítomnost.

And in certain very high-security areas,

V některých oblastech se zvýšenou bezpečností

perhaps civic drones would snare them

by je mohli civilní roboti polapit

and drag them off to a bomb disposal facility.

a odvléci na místo bezpečné likvidace.

But notice, this is more an immune system

Tady jde ale více o systém imunitní

than a weapons system.

než zbraňový.

It would allow us to avail ourselves of the use

Umožnilo by nám to využít výhod

of autonomous vehicles and drones

autonomních vozidel a letounů,

while still preserving our open, civil society.

a přitom si uchovat otevřenou občanskou společnost.

We must ban the deployment and development

Musíme zakázat vývoj a nasazování

of killer robots.

robotů-zabijáků.

Let's not succumb to the temptation to automate war.

Nepodlehněme pokušení automatizovat války.

Autocratic governments and criminal organizations

Autokratické vlády a zločinecké organizace

undoubtedly will, but let's not join them.

se o to nepochybně pokusí, ale nenásledujme je.

Autonomous robotic weapons

Autonomní robotické zbraně

would concentrate too much power

by soustředily příliš velkou sílu

in too few unseen hands,

v několika málo skrytých rukách,

and that would be corrosive to representative government.

což by podkopalo zastupitelskou demokracii.

Let's make sure, for democracies at least,

Zajistěme, alespoň v demokratických režimech,

killer robots remain fiction.

že roboti-zabijáci zůstanou fikcí.

Thank you.

Děkuji.

(Applause)

(Potlesk)

Thank you. (Applause)

Děkuji. (Potlesk)