Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Tłumaczenie: Mikołaj Masłyk Korekta: Rysia Wand

I write fiction sci-fi thrillers,

Piszę fikcję i thrillery science-fiction,

so if I say "killer robots,"

więc gdy mówię "roboty mordercy",

you'd probably think something like this.

pewnie myślicie o czymś takim.

But I'm actually not here to talk about fiction.

Nie chcę jednak rozmawiać o fikcji,

I'm here to talk about very real killer robots,

ale o prawdziwych robotach zabójcach,

autonomous combat drones.

autonomicznych dronach bojowych.

Now, I'm not referring to Predator and Reaper drones,

Nie nawiązuję do dronów takich jak Predator czy Reaper,

which have a human making targeting decisions.

których cele są wybierane przez ludzi.

I'm talking about fully autonomous robotic weapons

Mówię o w pełni zautomatyzowanej broni,

that make lethal decisions about human beings

która samodzielnie decyduje o losie

all on their own.

istot ludzkich.

There's actually a technical term for this: lethal autonomy.

Techniczny termin to śmiercionośna autonomia.

Now, lethally autonomous killer robots

Śmiercionośne, autonomiczne roboty-zabójcy

would take many forms -- flying, driving,

przybierają różne formy: latające, jeżdżące,

or just lying in wait.

czy leżące jak pułapka.

And actually, they're very quickly becoming a reality.

Bardzo szybko stają się rzeczywistością.

These are two automatic sniper stations

To są dwie autonomiczne stacje snajperskie,

currently deployed in the DMZ between North and South Korea.

rozmieszczone w Koreańskiej Strefie Zdemilitaryzowanej.

Both of these machines are capable of automatically

Oba urządzenia umieją automatycznie rozpoznać,

identifying a human target and firing on it,

wycelować i strzelić do człowieka,

the one on the left at a distance of over a kilometer.

to po lewej na odległość ponad kilometra.

Now, in both cases, there's still a human in the loop

W obu przykładach człowiek bierze udział

to make that lethal firing decision,

w decyzji o śmiercionośnym strzale,

but it's not a technological requirement. It's a choice.

ale to wybór, a nie wymaganie techniczne.

And it's that choice that I want to focus on,

Na tym wyborze chciałbym się skupić,

because as we migrate lethal decision-making

bo gdy przenosimy decyzje o śmierci

from humans to software,

z ludzi na maszyny,

we risk not only taking the humanity out of war,

ryzykujemy nie tylko utratę pierwiastka ludzkiego na wojnie,

but also changing our social landscape entirely,

ale całkowitą zmianę ukształtowań społecznych

far from the battlefield.

z dala od pola bitwy.

That's because the way humans resolve conflict

Sposób rozwiązywania konfliktów

shapes our social landscape.

kształtuje nasze społeczeństwa.

And this has always been the case, throughout history.

I było tak zawsze.

For example, these were state-of-the-art weapons systems

Tak wyglądało najnowsze uzbrojenie

in 1400 A.D.

w 1400 r.

Now they were both very expensive to build and maintain,

Było bardzo drogie w budowie i utrzymaniu,

but with these you could dominate the populace,

ale pozwalało utrzymać lud w ryzach,

and the distribution of political power in feudal society reflected that.

co potwierdzał podział sił politycznych w społeczeństwie feudalnym.

Power was focused at the very top.

Potęga skupiała się na samym szczycie.

And what changed? Technological innovation.

Co się zmieniło? Innowacje techniczne.

Gunpowder, cannon.

Proch strzelniczy, armaty.

And pretty soon, armor and castles were obsolete,

Zbroje i zamki szybko stały się przestarzałe,

and it mattered less who you brought to the battlefield

a rodzaj armii znaczył mniej

versus how many people you brought to the battlefield.

niż jej rozmiar.

And as armies grew in size, the nation-state arose

Armie rosły w siłę, a państwa narodowe

as a political and logistical requirement of defense.

powstały jako polityczny i logistyczny wymóg obrony.

And as leaders had to rely on more of their populace,

Władcy musieli bardziej polegać na ludności,

they began to share power.

więc musieli się także dzielić władzą.

Representative government began to form.

Zaczęły się formować rządy reprezentatywne.

So again, the tools we use to resolve conflict

Narzędzia do rozwiązywania konfliktów

shape our social landscape.

mają wpływ na ukształtowanie społeczne.

Autonomous robotic weapons are such a tool,

Automatyczna, autonomiczna broń to narzędzie,

except that, by requiring very few people to go to war,

które ogranicza ilości ludzi idących na wojnę,

they risk re-centralizing power into very few hands,

ale też stwarza ryzyko scentralizowania władzy w rękach kilku osób.

possibly reversing a five-century trend toward democracy.

Może to zniweczyć 500 lat walki o demokrację.

Now, I think, knowing this,

Biorąc to pod uwagę możemy podjąć kroki,

we can take decisive steps to preserve our democratic institutions,

by zachować nasze instytucje demokratyczne

to do what humans do best, which is adapt.

i robić to, co umiemy najlepiej, czyli przystosować się.

But time is a factor.

Czas ma tu znaczenie.

Seventy nations are developing remotely-piloted

70 państw rozwija zdalnie sterowane

combat drones of their own,

drony bojowe na swój użytek.

and as you'll see, remotely-piloted combat drones

Jak zobaczycie, drony są prekursorami

are the precursors to autonomous robotic weapons.

automatycznej, autonomicznej broni.

That's because once you've deployed remotely-piloted drones,

Używanie zdalnie sterowanych dronów

there are three powerful factors pushing decision-making

stoi za 3 potężnymi czynnikami, przenoszącymi podejmowanie decyzji

away from humans and on to the weapon platform itself.

z ludzi na samą platformę bojową.

The first of these is the deluge of video that drones produce.

Pierwszy czynnik to lawina materiału wideo.

For example, in 2004, the U.S. drone fleet produced

W 2004 r. flota dronów nagrała w sumie

a grand total of 71 hours of video surveillance for analysis.

71 godzin filmów zwiadowczych do analizy.

By 2011, this had gone up to 300,000 hours,

Do 2011 r. urosło to do 300 000 godzin,

outstripping human ability to review it all,

co przekraczało możliwości wglądu personelu.

but even that number is about to go up drastically.

Nawet ta liczba ma drastycznie wzrosnąć.

The Pentagon's Gorgon Stare and Argus programs

Programy Pentagonu "Gorgon Stare" i "Argus"

will put up to 65 independently operated camera eyes

rozmieszczą 65 niezależnie operowanych kamer,

on each drone platform,

na każdej dronowej platformie,

and this would vastly outstrip human ability to review it.

co znacznie przerośnie możliwość przejrzenia nagrań przez ludzi,

And that means visual intelligence software will need

co oznacza, że materiał zostanie przejrzany

to scan it for items of interest.

przez wizualne oprogramowanie zwiadowcze.

And that means very soon

Czyli już niedługo

drones will tell humans what to look at,

drony będą decydowały, na co ludzie mają patrzeć,

not the other way around.

nie odwrotnie.

But there's a second powerful incentive pushing

Następny potężny czynnik

decision-making away from humans and onto machines,

przenoszący proces decyzyjny z ludzi na maszyny,

and that's electromagnetic jamming,

to elektromagnetyczne zagłuszanie,

severing the connection between the drone

ograniczające połączenie między dronem

and its operator.

a operatorem.

Now we saw an example of this in 2011

Przykład tego mieliśmy w 2011 r.,

when an American RQ-170 Sentinel drone

kiedy amerykański RQ-170, dron Sentinel,

got a bit confused over Iran due to a GPS spoofing attack,

trochę się zamotał nad Iranem przez atak ogłupiający GPS.

but any remotely-piloted drone is susceptible to this type of attack,

Zdalnie sterowane drony są podatne na ten rodzaj ataku,

and that means drones

co oznacza,

will have to shoulder more decision-making.

że na nich spocznie proces decyzyjny.

They'll know their mission objective,

Będą znały cel misji

and they'll react to new circumstances without human guidance.

i zareagują wobec nowych okoliczności bez pomocy ludzi.

They'll ignore external radio signals

Zignorują zewnętrze sygnały radiowe

and send very few of their own.

i same niewiele ich wyślą.

Which brings us to, really, the third

No i ostatni, najpotężniejszy czynnik

and most powerful incentive pushing decision-making

przenoszący proces decyzyjny

away from humans and onto weapons:

z ludzi na maszyny:

plausible deniability.

wiarogodne zaprzeczenie odpowiedzialności.

Now we live in a global economy.

Żyjemy w czasach globalnej gospodarki.

High-tech manufacturing is occurring on most continents.

Wyspecjalizowana produkcja występuje na większości kontynentów.

Cyber espionage is spiriting away advanced designs

Wirtualne szpiegostwo podkrada zaawansowane projekty,

to parts unknown,

Wirtualne szpiegostwo podkrada zaawansowane projekty,

and in that environment, it is very likely

a jest bardzo prawdopodobne,

that a successful drone design will be knocked off in contract factories,

że końcowy projekt drona zostanie gdzieś podrobiony

proliferate in the gray market.

i zaleje czarny rynek.

And in that situation, sifting through the wreckage

Wówczas badanie zniszczeń

of a suicide drone attack, it will be very difficult to say

po samobójczym ataku drona nie da prostej odpowiedzi,

who sent that weapon.

kto go wysłał.

This raises the very real possibility

To niesie za sobą poważne ryzyko

of anonymous war.

anonimowej wojny.

This could tilt the geopolitical balance on its head,

Geopolityczna równowaga mogła by się rozchwiać,

make it very difficult for a nation to turn its firepower

bo państwu trudno byłoby odpowiedzieć na atak,

against an attacker, and that could shift the balance

co zakłóciłoby dzisiejszą równowagę

in the 21st century away from defense and toward offense.

i przesunęło nacisk z obrony na atak.

It could make military action a viable option

Działanie militarne stałyby się dostępne

not just for small nations,

nie tylko dla małych państw,

but criminal organizations, private enterprise,

ale i dla organizacji przestępczych, prywatnych przedsiębiorstw,

even powerful individuals.

czy wpływowych osób.

It could create a landscape of rival warlords

Mogłoby się namnożyć rywalizujących watażków,

undermining rule of law and civil society.

podkopujących rządy prawa i społeczeństwo obywatelskie.

Now if responsibility and transparency

Jeżeli odpowiedzialność i przejrzystość

are two of the cornerstones of representative government,

to dwa kamienie węgielne rządu przedstawicielskiego,

autonomous robotic weapons could undermine both.

automatyczna, autonomiczna broń może je podkopać.

Now you might be thinking that

Możesz myśleć,

citizens of high-tech nations

że obywatele najnowocześniejszych państw

would have the advantage in any robotic war,

mieliby przewagę w każdej zautomatyzowanej wojnie,

that citizens of those nations would be less vulnerable,

że byliby mniej bezbronni,

particularly against developing nations.

szczególnie wobec rozwijających się państw.

But I think the truth is the exact opposite.

Prawda jest wręcz odwrotna.

I think citizens of high-tech societies

Obywatele najnowocześniejszych społeczeństw

are more vulnerable to robotic weapons,

są bardziej bezbronni w obliczu zautomatyzowanej broni,

and the reason can be summed up in one word: data.

a powód można zsumować jednym słowem: dane.

Data powers high-tech societies.

Dane napędzają zmodernizowane społeczeństwa.

Cell phone geolocation, telecom metadata,

Geolokacja komórek, metadane telekomunikacji,

social media, email, text, financial transaction data,

media społecznościowe, email, SMSy, dane transakcji finansowych,

transportation data, it's a wealth of real-time data

dane transportowe - to mnóstwo danych w czasie rzeczywistym,

on the movements and social interactions of people.

o ruchach i interakcjach społecznych.

In short, we are more visible to machines

Jesteśmy widoczni dla maszyn

than any people in history,

jak nigdy dotąd,

and this perfectly suits the targeting needs of autonomous weapons.

co świetnie odpowiada potrzebom namierzania przez broń autonomiczną.

What you're looking at here

To, co widzicie,

is a link analysis map of a social group.

to analiza mapy połączeń grupy społecznej.

Lines indicate social connectedness between individuals.

Linie wskazują łączność społeczną między jednostkami.

And these types of maps can be automatically generated

Takie mapy można wygenerować automatycznie,

based on the data trail modern people leave behind.

na podstawie danych pozostawianych przez współczesne społeczeństwo.

Now it's typically used to market goods and services

Służy to do reklamowania towarów i usług

to targeted demographics, but it's a dual-use technology,

danemu profilowi demograficznemu, ale ma podwójne zastosowanie,

because targeting is used in another context.

bo jest używane też w innym kontekście.

Notice that certain individuals are highlighted.

Zauważcie, że pewne jednostki są podświetlone.

These are the hubs of social networks.

To centra sieci społecznościowych.

These are organizers, opinion-makers, leaders,

Osoby kształtujące opinię publiczną, organizatorów i przywódców

and these people also can be automatically identified

można automatycznie zidentyfikować

from their communication patterns.

przez ich sposób komunikacji.

Now, if you're a marketer, you might then target them

Handlowiec może wysyłać im próbki,

with product samples, try to spread your brand

rozpowszechniać markę

through their social group.

za pomocą ich grupy społecznej.

But if you're a repressive government

Represyjny rząd może w ten sposób

searching for political enemies, you might instead remove them,

znaleźć i usunąć wrogów politycznych,

eliminate them, disrupt their social group,

zlikwidować ich, rozbić ich grupę społeczną,

and those who remain behind lose social cohesion

a ci, którzy pozostaną, stracą zwartość społeczną

and organization.

i organizację.

Now in a world of cheap, proliferating robotic weapons,

W świecie licznych niedrogich zautomatyzowanych broni,

borders would offer very little protection

granice nie są wystarczającą ochroną

to critics of distant governments

dla krytyków odległych rządów,

or trans-national criminal organizations.

czy międzynarodowych organizacji kryminalnych.

Popular movements agitating for change

Popularne ruchy, agitujące za zmianą,

could be detected early and their leaders eliminated

można by szybko namierzać, a liderów likwidować,

before their ideas achieve critical mass.

zanim ich pomysły osiągną masę krytyczną.

And ideas achieving critical mass

Idee osiągające masę krytyczną

is what political activism in popular government is all about.

to sedno aktywności politycznej popularnych rządów.

Anonymous lethal weapons could make lethal action

Anonimowa, śmiercionośna broń zrobiłaby z takich ataków

an easy choice for all sorts of competing interests.

łatwe rozwiązanie wszelkich skonfliktowanych interesów.

And this would put a chill on free speech

Zagroziłoby to wolności słowa,

and popular political action, the very heart of democracy.

popularnym akcjom politycznym, czyli esencji demokracji.

And this is why we need an international treaty

Potrzebujemy międzynarodowego porozumienia

on robotic weapons, and in particular a global ban

w kwestii zautomatyzowanych broni, globalnego zakazu

on the development and deployment of killer robots.

rozwoju i rozmieszczania zabójczych robotów.

Now we already have international treaties

Mamy już międzynarodowe porozumienia

on nuclear and biological weapons, and, while imperfect,

co do broni nuklearnej i biologicznej, i chociaż nie są idealne,

these have largely worked.

przeważnie skutkują.

But robotic weapons might be every bit as dangerous,

Automatyczne bronie mogą być równie niebezpieczne,

because they will almost certainly be used,

bo niemal na pewno znajdą użytek

and they would also be corrosive to our democratic institutions.

i zaszkodziłyby demokratycznym instytucjom.

Now in November 2012 the U.S. Department of Defense

W listopadzie 2012 Departament Obrony USA

issued a directive requiring

wydał zarządzenie, wymagające

a human being be present in all lethal decisions.

udziału człowieka w każdej zabójczej decyzji,

This temporarily effectively banned autonomous weapons in the U.S. military,

co oznacza tymczasowy zakaz używania broni autonomicznej w armii USA,

but that directive needs to be made permanent.

ale trzeba zmienić je w stałe zarządzenie.

And it could set the stage for global action.

Mogłoby to zapoczątkować globalny ciąg zdarzeń.

Because we need an international legal framework

Potrzebujemy międzynarodowego modelu prawnego

for robotic weapons.

w kwestii automatycznych broni.

And we need it now, before there's a devastating attack

I potrzebujemy go teraz, zanim nastąpi niszczycielski atak

or a terrorist incident that causes nations of the world

lub incydent terrorystyczny, który spowoduje, że narody

to rush to adopt these weapons

pośpieszą się z przyjęciem tych broni,

before thinking through the consequences.

przed przemyśleniem konsekwencji.

Autonomous robotic weapons concentrate too much power

Autonomiczna, zautomatyzowana broń skupia zbyt dużą moc

in too few hands, and they would imperil democracy itself.

w zbyt niewielu rękach, co zagraża samej demokracji.

Now, don't get me wrong, I think there are tons

Nie zrozumcie mnie źle, jest wiele celów

of great uses for unarmed civilian drones:

do których dronów świetnie się nadają:

environmental monitoring, search and rescue, logistics.

monitorowanie środowiska, poszukiwania i ratunek czy logistyka.

If we have an international treaty on robotic weapons,

Mając międzynarodowe porozumienie w sprawie automatycznych broni,

how do we gain the benefits of autonomous drones

jak korzystać z autonomicznych dronów

and vehicles while still protecting ourselves

czy pojazdów, broniąc się jednocześnie

against illegal robotic weapons?

przed nielegalną zautomatyzowaną bronią?

I think the secret will be transparency.

Tajemnica polega na przejrzystości.

No robot should have an expectation of privacy

Żaden robot nie powinien oczekiwać prywatności

in a public place.

w miejscu publicznym.

(Applause)

(Brawa)

Each robot and drone should have

Każdy dron oraz robot powinien mieć

a cryptographically signed I.D. burned in at the factory

kryptograficzną metrykę wypaloną fabrycznie,

that can be used to track its movement through public spaces.

używaną do śledzenia jego ruchu \w przestrzeni publicznej.

We have license plates on cars, tail numbers on aircraft.

Mamy tablice rejestracyjne w samochodach, i numery identyfikacyjne na samolotach.

This is no different.

Tu nie powinno być inaczej.

And every citizen should be able to download an app

Każdy obywatel powinien mieć dostęp do aplikacji,

that shows the population of drones and autonomous vehicles

która pokazuje liczbę dronów i autonomicznych pojazdów

moving through public spaces around them,

poruszających się w przestrzeni publicznej wokół nich,

both right now and historically.

zarówno w teraz jak i w przeszłości.

And civic leaders should deploy sensors and civic drones

Władze miejskie powinny rozmieszczać czujniki i miejskie drony,

to detect rogue drones,

które wykrywałyby rozrabiające drony.

and instead of sending killer drones of their own up to shoot them down,

Zamiast nasyłać na nich własne drony-zabójców,

they should notify humans to their presence.

powinny powiadomić ludzi o ich obecności.

And in certain very high-security areas,

W strefach zaostrzonej kontroli

perhaps civic drones would snare them

miejskie drony mogłyby przychwytywać je

and drag them off to a bomb disposal facility.

i zaciągać do obiektów rozbrajających.

But notice, this is more an immune system

To przypomina raczej układ odpornościowy

than a weapons system.

niż uzbrojenie.

It would allow us to avail ourselves of the use

Pozwoliłoby to nam korzystać

of autonomous vehicles and drones

z autonomicznych pojazdów czy dronów,

while still preserving our open, civil society.

zachowując otwarte obywatelskie społeczeństwo.

We must ban the deployment and development

Musimy zakazać rozmieszczania

of killer robots.

i rozwijania robotów-zabójców.

Let's not succumb to the temptation to automate war.

Nie ulegajmy pokusie zautomatyzowanej wojny.

Autocratic governments and criminal organizations

Autokratyczne rządy i organizacje przestępcze

undoubtedly will, but let's not join them.

ulegną jej bez wątpienia, lecz nie łączmy się z nimi.

Autonomous robotic weapons

Autonomiczna, zautomatyzowana broń

would concentrate too much power

zgromadziłaby zbyt wiele mocy

in too few unseen hands,

w niewielu niewidzialnych rękach,

and that would be corrosive to representative government.

co skorodowałoby rządy reprezentacyjne.

Let's make sure, for democracies at least,

Upewnijmy się, choćby dla demokracji,

killer robots remain fiction.

że zabójcy-roboty pozostaną fikcją.

Thank you.

Dziękuję.

(Applause)

(Brawa)

Thank you. (Applause)

Dziękuję. (Brawa)