Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Översättare: Henrik Ahlen Granskare: Stephanie Green

I write fiction sci-fi thrillers,

Jag skriver fiktion, science-fiction thrillers,

so if I say "killer robots,"

så om jag säger "mördarrobotar",

you'd probably think something like this.

så tänker ni antagligen på någonting sånt här.

But I'm actually not here to talk about fiction.

Men jag är inte här för att tala om fiktion.

I'm here to talk about very real killer robots,

Jag är här för att tala om mycket verkliga mördarrrobotar,

autonomous combat drones.

autonoma stridsdrönare.

Now, I'm not referring to Predator and Reaper drones,

Jag menar inte drönare som Predator och Reaper,

which have a human making targeting decisions.

som har en människa som avgör angreppsmålen.

I'm talking about fully autonomous robotic weapons

Jag talar om helt autonoma robotvapen

that make lethal decisions about human beings

som tar dödliga beslut om människor

all on their own.

helt på eget bevåg.

There's actually a technical term for this: lethal autonomy.

Det finns faktiskt en teknisk term för detta: dödlig autonomi.

Now, lethally autonomous killer robots

Dödliga, autonoma mördarrobotar

would take many forms -- flying, driving,

finns i många former - flygande, körande

or just lying in wait.

eller sådana som bara ligger och väntar.

And actually, they're very quickly becoming a reality.

De har faktiskt snabbt blivit verkliga.

These are two automatic sniper stations

Detta är två automatiska krypskyttestationer

currently deployed in the DMZ between North and South Korea.

som nu finns i den demilitariserade zonen mellan Nord- och Sydkorea.

Both of these machines are capable of automatically

Båda dessa maskiner är kapabla att automatiskt

identifying a human target and firing on it,

identifiera en människa och beskjuta henne,

the one on the left at a distance of over a kilometer.

den vänstra på ett avstånd av över en kilometer.

Now, in both cases, there's still a human in the loop

I båda fallen finns det fortfarande en människa med

to make that lethal firing decision,

som tar beslutet om att skjuta för att döda,

but it's not a technological requirement. It's a choice.

men det är inget tekniskt krav, det är ett val.

And it's that choice that I want to focus on,

Och det valet vill jag fokusera på,

because as we migrate lethal decision-making

eftersom när vi överför dödligt beslutsfattande

from humans to software,

från människor till mjukvara,

we risk not only taking the humanity out of war,

så riskerar vi inte bara att ta bort människan från krigföringen,

but also changing our social landscape entirely,

utan också att förändra vårt sociala landskap,

far from the battlefield.

långt från slagfältet.

That's because the way humans resolve conflict

Detta eftersom sättet som människor löser konflikter

shapes our social landscape.

formar vårt sociala landskap.

And this has always been the case, throughout history.

Och så har det alltid varit, genom historien.

For example, these were state-of-the-art weapons systems

Exempelvis, så var dessa vapen spjutspetsteknologi

in 1400 A.D.

på 1400-talet.

Now they were both very expensive to build and maintain,

De var dock mycket dyra att bygga och underhålla,

but with these you could dominate the populace,

men med dessa kunde man kontrollera massorna,

and the distribution of political power in feudal society reflected that.

och det reflekterades i distributionen av politisk makt i feodalsamhället.

Power was focused at the very top.

Makt fokuserades till den översta toppen.

And what changed? Technological innovation.

Vad hände sedan? Teknikutvecklingen.

Gunpowder, cannon.

Krut, kanoner.

And pretty soon, armor and castles were obsolete,

Snart var rustningar och slott föråldrade,

and it mattered less who you brought to the battlefield

och det betydde mindre vad du tog med till slagfältet

versus how many people you brought to the battlefield.

jämfört med hur många människor du tog med till slagfältet.

And as armies grew in size, the nation-state arose

När arméer växte i storlek uppstod nationalstaten

as a political and logistical requirement of defense.

som ett politiskt och logistiskt försvarskrav.

And as leaders had to rely on more of their populace,

När ledarna blev mera beroende av sin befolkning,

they began to share power.

började de dela med sig av makten.

Representative government began to form.

Representativt styre började ta form.

So again, the tools we use to resolve conflict

Så igen, verktygen som vi använder för att lösa konflikter

shape our social landscape.

formar vårt sociala landskap.

Autonomous robotic weapons are such a tool,

Autonoma robotvapen är ett sådant verktyg.

except that, by requiring very few people to go to war,

Eftersom de kräver mycket få människor för att starta krig,

they risk re-centralizing power into very few hands,

så riskerar de att återigen centralisera makten till ett fåtal.

possibly reversing a five-century trend toward democracy.

Därigenom reverseras femhundra års utveckling mot demokrati.

Now, I think, knowing this,

Nu tror jag att när vi vet detta,

we can take decisive steps to preserve our democratic institutions,

så kan vi ta avgörande steg för att bevara våra demokratiska institutioner.

to do what humans do best, which is adapt.

Vi kan anpassa oss.

But time is a factor.

Men tiden är en faktor.

Seventy nations are developing remotely-piloted

Sjuttio länder utvecklar egna

combat drones of their own,

fjärrstyrda stridsdrönare.

and as you'll see, remotely-piloted combat drones

Som ni kommer att se så är fjärrstyrda stridsdrönare

are the precursors to autonomous robotic weapons.

förstadiet till autonoma robotvapen.

That's because once you've deployed remotely-piloted drones,

Det beror på att när man har utvecklat fjärrstyrda drönare

there are three powerful factors pushing decision-making

så finns det tre starka faktorer som styr beslutsfattandet

away from humans and on to the weapon platform itself.

bort från människor och mot själva vapenplattformen.

The first of these is the deluge of video that drones produce.

Den första är floden av data som skapas av drönare.

For example, in 2004, the U.S. drone fleet produced

2004 så producerade de amerikanska drönarna

a grand total of 71 hours of video surveillance for analysis.

totalt 71 timmar övervakningsvideo för analys.

By 2011, this had gone up to 300,000 hours,

2011 hade detta ökat till 300 000 timmar,

outstripping human ability to review it all,

vilket överstiger den mänskliga förmågan att gå igenom.

but even that number is about to go up drastically.

Men till och med den siffran kommer att öka drastiskt.

The Pentagon's Gorgon Stare and Argus programs

Pentagons program Gorgon Stare och Argus

will put up to 65 independently operated camera eyes

kommer att sätta 65 självständiga kameror

on each drone platform,

på varje drönare,

and this would vastly outstrip human ability to review it.

vilket skulle omöjliggöra mänsklig analys.

And that means visual intelligence software will need

Det betyder att program för visuell analys

to scan it for items of interest.

krävs för att hitta intressanta händelser.

And that means very soon

Och det betyder att inom kort

drones will tell humans what to look at,

kommer drönare att säga till människor vad de ska se på,

not the other way around.

och inte tvärtom.

But there's a second powerful incentive pushing

Men det finns en andra faktor som driver

decision-making away from humans and onto machines,

beslutsfattande från människor till maskiner,

and that's electromagnetic jamming,

det är elektromagnetiska störsändare,

severing the connection between the drone

som bryter förbindelsen mellan drönaren

and its operator.

och dess operatör.

Now we saw an example of this in 2011

Vi såg ett exempel på detta 2011,

when an American RQ-170 Sentinel drone

när en amerikansk RQ-170 Sentinel-drönare

got a bit confused over Iran due to a GPS spoofing attack,

blev förvirrad ovanför Iran på grund av en GPS-störning,

but any remotely-piloted drone is susceptible to this type of attack,

men alla fjärrstyrda drönare är mottagliga för denna typ av attacker,

and that means drones

och det betyder att drönare

will have to shoulder more decision-making.

måste fatta fler beslut själva.

They'll know their mission objective,

De vet syftet med sina uppdrag,

and they'll react to new circumstances without human guidance.

och de kommer att reagera på nya omständigheter utan mänsklig styrning.

They'll ignore external radio signals

De kommer att ignorera externa radiosignaler

and send very few of their own.

och skicka väldigt få signaler själva.

Which brings us to, really, the third

Detta leder oss till den tredje

and most powerful incentive pushing decision-making

och starkaste faktor som driver beslutsfattande

away from humans and onto weapons:

från människor till vapen:

plausible deniability.

möjligheten att förneka.

Now we live in a global economy.

Vi lever i en global ekonomi.

High-tech manufacturing is occurring on most continents.

Högteknologisk tillverkning sker på de flesta kontinenter.

Cyber espionage is spiriting away advanced designs

Cyberspioneri sprider avancerade konstruktioner

to parts unknown,

till okända parter,

and in that environment, it is very likely

i den miljön är det mycket troligt

that a successful drone design will be knocked off in contract factories,

att en lyckad drönardesign kommer att kopieras i fabriker

proliferate in the gray market.

som växer fram på den grå marknaden.

And in that situation, sifting through the wreckage

I den situationen, när man går igenom vraket

of a suicide drone attack, it will be very difficult to say

efter en självmordsattack av en drönare, kommer det

who sent that weapon.

vara mycket svårt att säga vem som sände vapnet.

This raises the very real possibility

Detta skapar reella möjligheter

of anonymous war.

till anonym krigföring.

This could tilt the geopolitical balance on its head,

Detta kan ge slagsida åt den geopolitiska balansen,

make it very difficult for a nation to turn its firepower

och göra det mycket svårt för en stat att rikta sin eldkraft

against an attacker, and that could shift the balance

mot en motståndare, och det kan flytta balansen

in the 21st century away from defense and toward offense.

i vårt århundrade från försvar till offensiv.

It could make military action a viable option

Det kan göra militära aktioner genomförbara

not just for small nations,

inte bara för små länder,

but criminal organizations, private enterprise,

utan även för kriminella organisationer, privata företag,

even powerful individuals.

till och med mäktiga individer.

It could create a landscape of rival warlords

Det kan skapa en miljö med rivaliserande krigsherrar

undermining rule of law and civil society.

som underminerar lagar och samhälle.

Now if responsibility and transparency

Om nu ansvarsfullhet och transparens

are two of the cornerstones of representative government,

är två hörnstenar för representativt regerande,

autonomous robotic weapons could undermine both.

så kan autonoma robotvapen underminera båda.

Now you might be thinking that

Nu tror du kanske att

citizens of high-tech nations

medborgare i högteknologiska nationer

would have the advantage in any robotic war,

skulle ha en fördel i ett robotkrig,

that citizens of those nations would be less vulnerable,

att dessa medborgare skulle vara mindre sårbara,

particularly against developing nations.

framförallt gentemot utvecklingsländer.

But I think the truth is the exact opposite.

Men jag tror att det är precis tvärtom.

I think citizens of high-tech societies

Jag tror att medborgare i högteknologiska samhällen

are more vulnerable to robotic weapons,

är mer sårbara för robotvapen,

and the reason can be summed up in one word: data.

anledningen kan summeras till ett ord: data.

Data powers high-tech societies.

Data driver högteknologiska samhällen.

Cell phone geolocation, telecom metadata,

Mobiltelefoners positionering, metadata inom telekom,

social media, email, text, financial transaction data,

sociala medier, email, SMS, finansiella data,

transportation data, it's a wealth of real-time data

transportdata. Det finns ett överflöd av realtids-data

on the movements and social interactions of people.

om människors rörelser och sociala interaktioner.

In short, we are more visible to machines

Kort sagt, vi är mer synliga för maskiner

than any people in history,

än något folk har varit genom historien,

and this perfectly suits the targeting needs of autonomous weapons.

och det är perfekt för autonoma vapens målsökande.

What you're looking at here

Vad ni ser här

is a link analysis map of a social group.

är en analyskarta för länkarna inom en social grupp.

Lines indicate social connectedness between individuals.

Linjerna visar kopplingarna mellan individer.

And these types of maps can be automatically generated

Dessa typer av kartor kan skapas automatiskt,

based on the data trail modern people leave behind.

baserat på de data-spår som moderna människor efterlämnar.

Now it's typically used to market goods and services

Det används normalt för marknadsföring av saker och tjänster

to targeted demographics, but it's a dual-use technology,

till riktade målgrupper, men tekniken kan även hitta mål

because targeting is used in another context.

i en annan kontext.

Notice that certain individuals are highlighted.

Notera att vissa individer är markerade.

These are the hubs of social networks.

De är centralfigurerna i sociala nätverk.

These are organizers, opinion-makers, leaders,

De är organisatörer, opinionsbildare, ledare

and these people also can be automatically identified

och de kan även identifieras automatiskt

from their communication patterns.

genom deras kommunikationsmönster.

Now, if you're a marketer, you might then target them

Om du är marknadsförare kanske du vill ge dem

with product samples, try to spread your brand

produkter att prova, för att sprida ditt varumärke

through their social group.

genom deras sociala grupp.

But if you're a repressive government

Men om du är en förtryckarregim

searching for political enemies, you might instead remove them,

som söker politiska fiender, så kanske du istället vill eliminera dem

eliminate them, disrupt their social group,

splittra deras sociala grupp,

and those who remain behind lose social cohesion

så att deras anhängare tappar social sammanhållning

and organization.

och organisering.

Now in a world of cheap, proliferating robotic weapons,

I en värld med en växande samling billiga robotvapen,

borders would offer very little protection

skulle gränser erbjuda väldigt lite skydd

to critics of distant governments

för kritiker av avlägsna regeringar

or trans-national criminal organizations.

eller transnationella kriminella organisationer.

Popular movements agitating for change

Populära rörelser som agiterar för förändring

could be detected early and their leaders eliminated

kan upptäckas tidigt och deras ledare elimineras

before their ideas achieve critical mass.

innan deras idéer har uppnått kritisk massa.

And ideas achieving critical mass

Idéer som uppnår kritisk massa

is what political activism in popular government is all about.

är precis vad politisk aktivism handlar om.

Anonymous lethal weapons could make lethal action

Anonyma, dödliga vapen kan göra dödligt våld

an easy choice for all sorts of competing interests.

till ett lätt val för alla sorters konkurrerande intressen.

And this would put a chill on free speech

Det skulle hindra det fria ordet

and popular political action, the very heart of democracy.

och folkliga, politiska kampanjer, själva kärnan i demokrati.

And this is why we need an international treaty

Därför behöver vi ett internationellt avtal

on robotic weapons, and in particular a global ban

om robotvapen och särskilt ett globalt förbud

on the development and deployment of killer robots.

mot utveckling och användning av mördarrobotar.

Now we already have international treaties

Vi har redan internationella avtal

on nuclear and biological weapons, and, while imperfect,

om kärnvapen och biologiska vapen som inte är perfekta,

these have largely worked.

men som i stort sett har fungerat.

But robotic weapons might be every bit as dangerous,

Robotvapen kan vara precis lika farliga,

because they will almost certainly be used,

eftersom de säkerligen skulle användas,

and they would also be corrosive to our democratic institutions.

och därför komma att bryta ner våra demokratiska institutioner.

Now in November 2012 the U.S. Department of Defense

I november 2012 utfärdade det amerikanska försvarsdepartementet

issued a directive requiring

ett direktiv om att

a human being be present in all lethal decisions.

en människa ska vara närvarande vid dödliga beslut.

This temporarily effectively banned autonomous weapons in the U.S. military,

Detta har temporärt stoppat autonoma vapen inom den amerikanska militären,

but that directive needs to be made permanent.

men detta direktiv måste göras permanent.

And it could set the stage for global action.

Det skulle kunna bli norm för en global aktion.

Because we need an international legal framework

Vi behöver ett internationellt legalt ramverk

for robotic weapons.

för robotvapen.

And we need it now, before there's a devastating attack

Och vi behöver det nu, innan det sker en förödande attack

or a terrorist incident that causes nations of the world

eller en terroristincident som får världens länder

to rush to adopt these weapons

att rusa för att införa dessa vapen

before thinking through the consequences.

innan de tänker igenom konsekvenserna.

Autonomous robotic weapons concentrate too much power

Autonoma robotvapen koncentrerar för mycket makt

in too few hands, and they would imperil democracy itself.

i för få händer och de skulle äventyra själva demokratin.

Now, don't get me wrong, I think there are tons

Missförstå mig inte, jag tror att det finns massor

of great uses for unarmed civilian drones:

av bra användningsområden för obeväpnade civila drönare:

environmental monitoring, search and rescue, logistics.

miljöövervakning, personeftersökning, logistik.

If we have an international treaty on robotic weapons,

Om vi har ett internationellt avtal om robotvapen,

how do we gain the benefits of autonomous drones

hur kan vi dra nytta av fördelarna med autonoma drönare

and vehicles while still protecting ourselves

och farkoster medan vi skyddar oss själva

against illegal robotic weapons?

mot illegala robotvapen?

I think the secret will be transparency.

Jag tror att svaret är transparens.

No robot should have an expectation of privacy

Ingen robot ska kunna ha något privatliv

in a public place.

i publika områden.

(Applause)

(Applåd)

Each robot and drone should have

Varje robot eller drönare ska ha

a cryptographically signed I.D. burned in at the factory

ett kryptografiskt signerat ID inbränt i fabriken

that can be used to track its movement through public spaces.

som kan användas för att spåra dess rörelser i publika områden.

We have license plates on cars, tail numbers on aircraft.

Vi har nummerplåtar på bilar, ID-nummer på flygplan.

This is no different.

Detta är samma sak.

And every citizen should be able to download an app

Varje medborgare ska kunna ladda ner en app

that shows the population of drones and autonomous vehicles

som visar alla drönare och autonoma farkoster

moving through public spaces around them,

som rör sig i deras område,

both right now and historically.

både just nu och tidigare.

And civic leaders should deploy sensors and civic drones

Våra ledare bör sätta in sensorer och civila drönare

to detect rogue drones,

som detekterar kriminella drönare

and instead of sending killer drones of their own up to shoot them down,

och istället för att skjuta ner dem

they should notify humans to their presence.

ska de underrätta människor om deras närvaro.

And in certain very high-security areas,

I vissa högsäkerhetsområden,

perhaps civic drones would snare them

kan kanske civila drönare snärja in dem

and drag them off to a bomb disposal facility.

och dra iväg dem till en plats för att desarmera dem.

But notice, this is more an immune system

Lägg märke till att detta är mer ett immunsystem

than a weapons system.

än ett vapensystem.

It would allow us to avail ourselves of the use

Det låter oss dra nytta av att använda

of autonomous vehicles and drones

autonoma farkoster och drönare

while still preserving our open, civil society.

samtidigt som vi bevarar vårt öppna civila samhälle.

We must ban the deployment and development

Vi måste förbjuda användning och utveckling

of killer robots.

av mördarrobotar.

Let's not succumb to the temptation to automate war.

Låt oss inte falla för frestelsen att automatisera krig.

Autocratic governments and criminal organizations

Autokratiska regeringar och kriminella organisationer

undoubtedly will, but let's not join them.

kommer utan tvivel att göra det, men låt oss inte följa efter.

Autonomous robotic weapons

Autonoma robotvapen

would concentrate too much power

skulle koncentrera för mycket makt

in too few unseen hands,

i för få osynliga händer,

and that would be corrosive to representative government.

det skulle bryta ner representativt styre.

Let's make sure, for democracies at least,

Låt oss säkerställa, åtminstone för demokratier,

killer robots remain fiction.

att mördarrobotar förblir fiktion.

Thank you.

Tack

(Applause)

(Applåder)

Thank you. (Applause)

Tack (Applåd)