Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Vertaald door: Els De Keyser Nagekeken door: Rik Delaet

I write fiction sci-fi thrillers,

Ik schrijf sciencefictionthrillers.

so if I say "killer robots,"

Als ik 'killerrobots' zeg,

you'd probably think something like this.

dan denk je waarschijnlijk zoiets.

But I'm actually not here to talk about fiction.

Maar ik ga het hier niet over fictie hebben.

I'm here to talk about very real killer robots,

Ik ga het hebben over echte killerrobots,

autonomous combat drones.

autonome gevechtsdrones.

Now, I'm not referring to Predator and Reaper drones,

Ik heb het niet over Predators of Reapers,

which have a human making targeting decisions.

waar een mens beslist welk doel ze kiezen.

I'm talking about fully autonomous robotic weapons

Ik heb het over volledig autonome robotwapens

that make lethal decisions about human beings

die dodelijke beslissingen nemen over mensen,

all on their own.

helemaal alleen.

There's actually a technical term for this: lethal autonomy.

Daar bestaat een technische term voor: dodelijke autonomie.

Now, lethally autonomous killer robots

Dodelijk autonome killerrobots

would take many forms -- flying, driving,

hebben vele vormen: ze vliegen, rijden,

or just lying in wait.

of liggen gewoon op de loer.

And actually, they're very quickly becoming a reality.

Ze worden heel snel een realiteit.

These are two automatic sniper stations

Momenteel zijn er twee automatische sluipschuttersstations

currently deployed in the DMZ between North and South Korea.

in de gedemilitariseerde zone tussen Noord- en Zuid-Korea.

Both of these machines are capable of automatically

Beide machines kunnen automatisch

identifying a human target and firing on it,

een menselijk doelwit identificeren en beschieten,

the one on the left at a distance of over a kilometer.

de linkse op een afstand van meer dan een kilometer.

Now, in both cases, there's still a human in the loop

In beide gevallen komt er nog een mens tussen

to make that lethal firing decision,

om de beslissing tot schieten om te doden te nemen,

but it's not a technological requirement. It's a choice.

maar het is geen technologische vereiste. Het is een keuze.

And it's that choice that I want to focus on,

Op die keuze wil ik me richten,

because as we migrate lethal decision-making

want als we dodelijke beslissingen laten verhuizen

from humans to software,

van de mens naar software,

we risk not only taking the humanity out of war,

is het risico niet alleen dat we het menselijke uit de oorlog verwijderen,

but also changing our social landscape entirely,

maar ook dat we ons sociale landschap volledig wijzigen,

far from the battlefield.

ver van het slagveld.

That's because the way humans resolve conflict

Want de manier waarop mensen conflicten oplossen,

shapes our social landscape.

bepaalt ons sociale landschap.

And this has always been the case, throughout history.

Dat is in de geschiedenis altijd zo geweest.

For example, these were state-of-the-art weapons systems

Er waren bijvoorbeeld moderne wapensystemen

in 1400 A.D.

in 1400 voor Christus.

Now they were both very expensive to build and maintain,

Ze waren duur om te bouwen en te onderhouden,

but with these you could dominate the populace,

maar je hield er het gepeupel mee onder de duim

and the distribution of political power in feudal society reflected that.

en de verdeling van de politieke macht in de feodale maatschappij weerspiegelde dat.

Power was focused at the very top.

De macht was geconcentreerd aan de top.

And what changed? Technological innovation.

Wat veranderde er? Technologische innovatie.

Gunpowder, cannon.

Buskruit, het kanon.

And pretty soon, armor and castles were obsolete,

Al snel waren harnas en kasteel verouderd.

and it mattered less who you brought to the battlefield

Het maakte minder uit wie je opstelde op het slagveld

versus how many people you brought to the battlefield.

dan hoeveel mensen je opstelde op het slagveld.

And as armies grew in size, the nation-state arose

Naarmate de legers groter werden, ontstond de natiestaat

as a political and logistical requirement of defense.

als politieke en logistieke defensievereiste.

And as leaders had to rely on more of their populace,

Toen de leiders meer op het gepeupel moesten rekenen, gingen ze de macht delen.

they began to share power.

Toen de leiders meer op het gepeupel moesten rekenen, gingen ze de macht delen.

Representative government began to form.

De representatieve overheid kreeg vorm.

So again, the tools we use to resolve conflict

De middelen die we gebruiken om conflicten op te lossen,

shape our social landscape.

geven ons sociale landschap vorm.

Autonomous robotic weapons are such a tool,

Autonome robotwapens zijn zo'n middel,

except that, by requiring very few people to go to war,

behalve dat ze, doordat heel weinig mensen ten oorlog moeten trekken,

they risk re-centralizing power into very few hands,

het risico inhouden dat de macht weer in weinig handen wordt geconcentreerd,

possibly reversing a five-century trend toward democracy.

waardoor een 5 eeuwen lange trend richting democratie wordt omgekeerd.

Now, I think, knowing this,

Als we dat weten,

we can take decisive steps to preserve our democratic institutions,

kunnen we beslissende stappen zetten voor het behoud van democratische instellingen

to do what humans do best, which is adapt.

om te doen wat mensen best kunnen: zich aanpassen.

But time is a factor.

Maar de tijd dringt.

Seventy nations are developing remotely-piloted

70 landen ontwikkelen hun eigen telegeleide gevechtsdrones,

combat drones of their own,

70 landen ontwikkelen hun eigen telegeleide gevechtsdrones,

and as you'll see, remotely-piloted combat drones

Je zal zien dat telegeleide gevechtsdrones

are the precursors to autonomous robotic weapons.

de voorlopers zijn van autonome robotwapens.

That's because once you've deployed remotely-piloted drones,

Zodra je telegeleide pilootdrones hebt opgesteld,

there are three powerful factors pushing decision-making

zijn er drie krachtige factoren die de beslissing wegduwen

away from humans and on to the weapon platform itself.

van de mens naar het wapensysteem zelf.

The first of these is the deluge of video that drones produce.

De eerste is de overvloed aan beelden die drones produceren.

For example, in 2004, the U.S. drone fleet produced

In 2004 produceerde de dronevloot van de VS

a grand total of 71 hours of video surveillance for analysis.

samen 71 uur bewakingsfilm voor analyse.

By 2011, this had gone up to 300,000 hours,

Tegen 2011 was dat al 300.000 uur geworden,

outstripping human ability to review it all,

meer dan de mens kan nakijken,

but even that number is about to go up drastically.

maar zelfs dat aantal zal nog drastisch stijgen.

The Pentagon's Gorgon Stare and Argus programs

De defensieprogramma's 'Gorgonenblik' en 'Argus' zetten tot 65 onafhankelijke camera-ogen

will put up to 65 independently operated camera eyes

De defensieprogramma's 'Gorgonenblik' en 'Argus' zetten tot 65 onafhankelijke camera-ogen

on each drone platform,

op elk droneplatform.

and this would vastly outstrip human ability to review it.

Dat zou veel meer zijn dan de mens kan nakijken.

And that means visual intelligence software will need

Dat betekent dat visuele inlichtingensoftware

to scan it for items of interest.

ze zal moeten doorzoeken naar interessante dingen.

And that means very soon

Dat betekent dat binnenkort

drones will tell humans what to look at,

de drones de mensen zullen zeggen waar ze naar moeten kijken,

not the other way around.

niet omgekeerd.

But there's a second powerful incentive pushing

Maar er is een tweede krachtige stimulans

decision-making away from humans and onto machines,

om de beslissing van de mens naar de machine te verplaatsen:

and that's electromagnetic jamming,

elektromagnetische stoorzenders,

severing the connection between the drone

die de verbinding tussen de drone

and its operator.

en zijn bestuurder verbreken.

Now we saw an example of this in 2011

We zagen er een voorbeeld van in 2011

when an American RQ-170 Sentinel drone

toen een Amerikaanse RQ-170 Sentinel

got a bit confused over Iran due to a GPS spoofing attack,

in de war raakte boven Iran door een moedwillige verstoring van zijn gps.

but any remotely-piloted drone is susceptible to this type of attack,

Elke telegeleide drone is kwetsbaar voor dat soort aanvallen.

and that means drones

Dat betekent dat drones

will have to shoulder more decision-making.

meer beslissingen zullen moeten nemen.

They'll know their mission objective,

Ze zullen het doel van hun missie kennen

and they'll react to new circumstances without human guidance.

en reageren op nieuwe omstandigheden zonder menselijke hulp.

They'll ignore external radio signals

Ze zullen externe radiosignalen negeren

and send very few of their own.

en er zelf niet veel uitzenden.

Which brings us to, really, the third

Dat brengt ons tot de derde

and most powerful incentive pushing decision-making

en krachtigste stimulans om beslissingen te verplaatsen

away from humans and onto weapons:

van de mens naar de wapens:

plausible deniability.

plausibele ontkenbaarheid.

Now we live in a global economy.

We leven in een globale economie.

High-tech manufacturing is occurring on most continents.

Er is hoogtechnologische productie op de meeste continenten.

Cyber espionage is spiriting away advanced designs

Cyberspionage moffelt geavanceerde ontwerpen weg

to parts unknown,

in onbekende onderdelen.

and in that environment, it is very likely

In die omgeving is het heel waarschijnlijk

that a successful drone design will be knocked off in contract factories,

dat succesvolle droneontwerpen zullen worden gemaakt in fabrieken van onderaannemers

proliferate in the gray market.

en vandaar richting grijze markt gaan.

And in that situation, sifting through the wreckage

In die situatie zal het, als je het wrak

of a suicide drone attack, it will be very difficult to say

van een zelfmoorddrone doorzoekt, heel moeilijk te zeggen zijn

who sent that weapon.

wie dat wapen heeft gestuurd.

This raises the very real possibility

Daardoor wordt de mogelijkheid van anoniem oorlogvoeren heel reëel.

of anonymous war.

Daardoor wordt de mogelijkheid van anoniem oorlogvoeren heel reëel.

This could tilt the geopolitical balance on its head,

Dat zou het geopolitieke evenwicht op zijn kop kunnen zetten,

make it very difficult for a nation to turn its firepower

waardoor het voor een natie moeilijk wordt om zijn vuurkracht in te zetten

against an attacker, and that could shift the balance

tegen een aanvaller. Dat zou de balans kunnen doen overhellen

in the 21st century away from defense and toward offense.

van verdediging naar aanval in de 21e eeuw.

It could make military action a viable option

Het zou van militaire actie een haalbare kaart maken,

not just for small nations,

niet alleen voor kleine landen,

but criminal organizations, private enterprise,

maar voor criminele organisaties, privébedrijven,

even powerful individuals.

zelfs machtige individuen.

It could create a landscape of rival warlords

Het zou een landschap van rivaliserende krijgsheren creëren

undermining rule of law and civil society.

die de rechtsstaat en de burgerlijke maatschappij ondermijnen.

Now if responsibility and transparency

Als verantwoordelijkheid en transparantie

are two of the cornerstones of representative government,

twee hoekstenen zijn van de representatieve democratie,

autonomous robotic weapons could undermine both.

dan kunnen autonome robotwapens ze beide ondermijnen.

Now you might be thinking that

Misschien denk je

citizens of high-tech nations

dat burgers van hoogtechnologische naties

would have the advantage in any robotic war,

voordeel hebben bij elke robotoorlog,

that citizens of those nations would be less vulnerable,

dat burgers van die naties minder kwetsbaar zouden zijn,

particularly against developing nations.

vooral tegen ontwikkelingslanden.

But I think the truth is the exact opposite.

Volgens mij is het net andersom.

I think citizens of high-tech societies

Ik denk dat burgers van hoogtechnologische maatschappijen

are more vulnerable to robotic weapons,

kwetsbaarder zijn voor robotwapens.

and the reason can be summed up in one word: data.

Dat ligt aan één enkel ding: gegevens.

Data powers high-tech societies.

Gegevens zijn de motor van hightech-maatschappijen.

Cell phone geolocation, telecom metadata,

Gsm-geolocatie, metagegevens van telecommunicatie,

social media, email, text, financial transaction data,

sociale media, email, sms, financiële transactiegegevens,

transportation data, it's a wealth of real-time data

transportgegegeven, een overvloed aan realtime-gegevens

on the movements and social interactions of people.

over de bewegingen en sociale interactie van mensen.

In short, we are more visible to machines

Kortom, we zijn zichtbaarder voor machines

than any people in history,

dan wie dan ook in de geschiedenis.

and this perfectly suits the targeting needs of autonomous weapons.

Dat is perfect voor een autonoom wapen dat een doel in het vizier moet krijgen.

What you're looking at here

Wat je hier ziet,

is a link analysis map of a social group.

is een linkanalyse van een sociale groep.

Lines indicate social connectedness between individuals.

Links wijzen op sociale verbondenheid tussen individuen.

And these types of maps can be automatically generated

Dit soort kaarten kan automatisch gemaakt worden

based on the data trail modern people leave behind.

op basis van het spoor van gegevens dat moderne mensen achterlaten.

Now it's typically used to market goods and services

Ze worden meestal gebruikt om goederen en diensten te verkopen

to targeted demographics, but it's a dual-use technology,

aan doelgroepen, maar het is een tweesnijdende technologie,

because targeting is used in another context.

als 'doelen' in een andere context worden gebruikt.

Notice that certain individuals are highlighted.

Je ziet dat bepaalde individuen gemarkeerd zijn.

These are the hubs of social networks.

Dit zijn de knooppunten van de sociale netwerken:

These are organizers, opinion-makers, leaders,

organisatoren, opiniemakers, leiders.

and these people also can be automatically identified

Deze mensen kan je automatisch identificeren

from their communication patterns.

op basis van hun communicatiepatroon.

Now, if you're a marketer, you might then target them

Als marketeer kan je je op hen richten

with product samples, try to spread your brand

met productstalen, als je je merk wil verspreiden

through their social group.

in hun sociale groep.

But if you're a repressive government

Maar als je een repressieve overheid bent,

searching for political enemies, you might instead remove them,

op zoek naar politieke vijanden, kan je ze ook verwijderen,

eliminate them, disrupt their social group,

uitschakelen, hun sociale groep verstoren.

and those who remain behind lose social cohesion

De achterblijvers verliezen sociale samenhang

and organization.

en organisatie.

Now in a world of cheap, proliferating robotic weapons,

In een wereld van goedkope, uitdijende robotwapens,

borders would offer very little protection

zouden grenzen heel weinig bescherming bieden

to critics of distant governments

aan de critici van verre overheden

or trans-national criminal organizations.

of transnationale criminele organisaties.

Popular movements agitating for change

Volksbewegingen die op verandering aansturen,

could be detected early and their leaders eliminated

zouden vroeg ontdekt kunnen worden en hun leiders uitgeschakeld

before their ideas achieve critical mass.

nog voor hun ideeën kritische massa bereiken.

And ideas achieving critical mass

Ideeën die kritische massa bereiken,

is what political activism in popular government is all about.

daar draait elk politiek activisme om in een democratie.

Anonymous lethal weapons could make lethal action

Anonieme dodelijke wapens kunnen van dodelijke actie

an easy choice for all sorts of competing interests.

een gemakkelijke keuze maken voor allerlei concurrerende belangen.

And this would put a chill on free speech

Dat zou de vrije meningsuiting belemmeren

and popular political action, the very heart of democracy.

en politieke actie van het volk, het hart van de democratie.

And this is why we need an international treaty

Daarom hebben we nood aan een internationaal verdrag

on robotic weapons, and in particular a global ban

over robotwapens, en meer bepaald een wereldwijd verbod

on the development and deployment of killer robots.

op het ontwikkelen en inzetten van killerrobots.

Now we already have international treaties

We hebben al internationale verdragen

on nuclear and biological weapons, and, while imperfect,

over nucleaire en biologische wapens. Die zijn niet perfect,

these have largely worked.

maar ze hebben wel grotendeels gewerkt.

But robotic weapons might be every bit as dangerous,

Robotwapens zouden even gevaarlijk kunnen zijn,

because they will almost certainly be used,

want ze zullen bijna zeker worden ingezet

and they would also be corrosive to our democratic institutions.

en ze zouden onze democratische instellingen ondermijnen.

Now in November 2012 the U.S. Department of Defense

In november 2012 verplichtte het Ministerie van Defensie van de VS

issued a directive requiring

In november 2012 verplichtte het Ministerie van Defensie van de VS

a human being be present in all lethal decisions.

de aanwezigheid van een mens bij alle beslissingen over leven en dood.

This temporarily effectively banned autonomous weapons in the U.S. military,

Daardoor werden automatische wapens tijdelijk effectief verboden in het leger van de VS,

but that directive needs to be made permanent.

maar die richtlijn moet permanent worden.

And it could set the stage for global action.

Dat zou de voorbereiding kunnen zijn van wereldwijde actie.

Because we need an international legal framework

We hebben een internationaal wettelijk kader nodig

for robotic weapons.

voor robotwapens,

And we need it now, before there's a devastating attack

en wel meteen, voor er een verwoestende aanval is

or a terrorist incident that causes nations of the world

of een terroristische aanslag waardoor landen

to rush to adopt these weapons

snel-snel deze wapens inzetten zonder over de gevolgen na te denken.

before thinking through the consequences.

snel-snel deze wapens inzetten zonder over de gevolgen na te denken.

Autonomous robotic weapons concentrate too much power

Automatische robotwapens concentreren teveel macht

in too few hands, and they would imperil democracy itself.

in te weinig handen, en ze zouden de democratie zelf in gevaar brengen.

Now, don't get me wrong, I think there are tons

Begrijp me niet verkeerd, ik denk dat er massa's

of great uses for unarmed civilian drones:

toepassingen zijn voor onbewapende civiele drones:

environmental monitoring, search and rescue, logistics.

milieubewaking, reddingsoperaties, logistiek.

If we have an international treaty on robotic weapons,

Als we een internationaal verdrag op robotwapens hebben,

how do we gain the benefits of autonomous drones

hoe kunnen we dan de voordelen van autonome drones

and vehicles while still protecting ourselves

en voertuigen combineren met bescherming

against illegal robotic weapons?

tegen illegale robotwapens?

I think the secret will be transparency.

Ik denk dat het geheim transparantie zal zijn.

No robot should have an expectation of privacy

Geen enkele robot mag zich aan privacy verwachten

in a public place.

op een openbare plaats.

(Applause)

(Applaus)

Each robot and drone should have

In elke robot en drone zou een cryptografisch ondertekend identiteitsbewijs moeten gegraveerd zijn

a cryptographically signed I.D. burned in at the factory

In elke robot en drone zou een cryptografisch ondertekend identiteitsbewijs moeten gegraveerd zijn

that can be used to track its movement through public spaces.

dat kan worden gebruikt om zijn beweging door publieke ruimtes te volgen.

We have license plates on cars, tail numbers on aircraft.

We hebben nummerplaten op auto's en staartnummers op vliegtuigen.

This is no different.

Dit is niet anders.

And every citizen should be able to download an app

Elke burger zou een app moeten kunnen downloaden

that shows the population of drones and autonomous vehicles

die de populatie van drones en autonome voertuigen toont

moving through public spaces around them,

die zich door de publieke ruimte om hem heen beweegt,

both right now and historically.

nu meteen en in het verleden.

And civic leaders should deploy sensors and civic drones

Burgerleiders zouden sensoren en burgerlijke drones moeten inzetten

to detect rogue drones,

om schurkendrones te detecteren.

and instead of sending killer drones of their own up to shoot them down,

In plaats van eigen killerdrones te sturen om ze af te maken,

they should notify humans to their presence.

zouden ze mensen op hun aanwezigheid moeten wijzen.

And in certain very high-security areas,

In bepaalde strenge veiligheidszones

perhaps civic drones would snare them

zouden burgerlijke drones ze kunnen strikken

and drag them off to a bomb disposal facility.

en wegslepen naar een ontmijningsinstallatie.

But notice, this is more an immune system

Maar dit is veeleer een immuunsysteem

than a weapons system.

dan een wapensysteem.

It would allow us to avail ourselves of the use

Het zou ons toelaten om

of autonomous vehicles and drones

autonome voertuigen en drones te gebruiken

while still preserving our open, civil society.

zonder onze open, burgerlijke maatschappij op te geven.

We must ban the deployment and development

We moeten de inzet en ontwikkeling

of killer robots.

van killerrobots verbieden.

Let's not succumb to the temptation to automate war.

Laten we niet zwichten voor de verleiding om oorlog te automatiseren.

Autocratic governments and criminal organizations

Autocratische regeringen en criminele organisaties

undoubtedly will, but let's not join them.

zullen dat zeker doen. Laten we ze niet volgen.

Autonomous robotic weapons

Autonome robotwapens

would concentrate too much power

zouden te veel macht concentreren

in too few unseen hands,

in te weinig onzichtbare handen.

and that would be corrosive to representative government.

Dat zou de representatieve democratie ondermijnen.

Let's make sure, for democracies at least,

Laten we ervoor zorgen dat, tenminste voor democratieën,

killer robots remain fiction.

killerrobots fictie blijven.

Thank you.

Dankuwel.

(Applause)

(Applaus)

Thank you. (Applause)

Dankuwel. (Applaus)