Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez: Roboter sollten keine tödlichen Entscheidungen treffen

Translator: Joseph Geni Reviewer: Morton Bast

Übersetzung: Calvin Oneeightytwo Lektorat: Judith Matz

I write fiction sci-fi thrillers,

Ich schreibe Sci-Fi Thriller,

so if I say "killer robots,"

wenn ich also "Killer-Roboter" sage,

you'd probably think something like this.

dann denken Sie wahrscheinlich an einen wie diesen.

But I'm actually not here to talk about fiction.

Aber ich bin nicht hier, um über Fiktion zu sprechen.

I'm here to talk about very real killer robots,

Ich bin hier, um über echte Killer-Roboter zu sprechen,

autonomous combat drones.

eigenständige Kampfdrohnen.

Nicht die ferngesteuerten Kampfdrohnen,

Now, I'm not referring to Predator and Reaper drones,

which have a human making targeting decisions.

bei denen über das Ziel ein Mensch entscheidet,

I'm talking about fully autonomous robotic weapons

Ich rede über völlig automatische Roboterwaffen,

that make lethal decisions about human beings

die tödliche Entscheidungen über Menschenleben treffen können,

all on their own.

völlig ohne menschliche Hilfe.

There's actually a technical term for this: lethal autonomy.

Es gibt tatsächlich einen technischen Ausdruck dafür: "tödliche Autonomie".

Now, lethally autonomous killer robots

Tödlich autonome Killer-Roboter

would take many forms -- flying, driving,

könnten viele Formen annehmen – sie könnten fliegen, fahren,

or just lying in wait.

oder einfach nur lauern.

And actually, they're very quickly becoming a reality.

Und sie werden sehr schnell zur Realität werden.

These are two automatic sniper stations

Das sind zwei automatische Scharfschuss-Stationen,

currently deployed in the DMZ between North and South Korea.

die aktuell in der DMZ zwischen Nord- und Süd-Korea liegen.

Both of these machines are capable of automatically

Beide dieser Maschinen sind fähig, automatisch

identifying a human target and firing on it,

menschliche Ziele zu erfassen und auf sie zu feuern.

the one on the left at a distance of over a kilometer.

Die linke auf eine Distanz von über einem Kilometer.

Now, in both cases, there's still a human in the loop

Es sind in beiden Fällen jedoch immer noch Menschen im System,

to make that lethal firing decision,

um diesen tödlichen Entschluss zu feuern zu treffen.

but it's not a technological requirement. It's a choice.

Es ist technologisch jedoch nicht notwendig. Es ist eine Wahl.

And it's that choice that I want to focus on,

Und auf diese Wahl möchte ich mich konzentrieren,

because as we migrate lethal decision-making

denn wenn wir das Treffen todbringender Entscheidungen

from humans to software,

von Menschen auf Software übertragen,

we risk not only taking the humanity out of war,

riskieren wir nicht nur, die Menschlichkeit aus dem Krieg zu entfernen,

but also changing our social landscape entirely,

sondern auch die gesellschaftliche Lage grundlegend zu verändern.

far from the battlefield.

Weit entfernt vom Schlachtfeld.

That's because the way humans resolve conflict

Das erfolgt daraus, dass die Art, wie Menschen Konflikte lösen,

shapes our social landscape.

unsere soziale Landschaft formt.

And this has always been the case, throughout history.

Und das war schon immer in der Geschichte.

For example, these were state-of-the-art weapons systems

Das waren beispielsweise die besten Waffensysteme

in 1400 A.D.

im Jahre 1400.

Now they were both very expensive to build and maintain,

Sie waren beide sehr teuer in der Herstellung und der Aufrechterhaltung.

but with these you could dominate the populace,

Mit ihnen konnte man jedoch die Bevölkerung dominieren

and the distribution of political power in feudal society reflected that.

und die Verteilung der politischen Macht in einer Feudalgesellschaft spiegelt das wider.

Power was focused at the very top.

Macht war an der Spitze konzentriert.

And what changed? Technological innovation.

Und was hat sich verändert? Technologische Neuerung.

Gunpowder, cannon.

Schießpulver, Kanonen.

And pretty soon, armor and castles were obsolete,

Und ziemlich schnell waren Rüstungen und Festungen veraltet

and it mattered less who you brought to the battlefield

und es zählte nicht mehr, wen du auf's Schlachtfeld brachtest,

versus how many people you brought to the battlefield.

sondern wie viele.

And as armies grew in size, the nation-state arose

Und als Armeen in der Größe zunahmen, entstand der Nationalstaat

as a political and logistical requirement of defense.

als politische und logistische Voraussetzung von Verteidigung.

And as leaders had to rely on more of their populace,

Und als Führer sich mehr auf ihr Volk verlassen mussten,

they began to share power.

fingen sie an, die Macht zu teilen.

Representative government began to form.

Repräsentative Regierungen entstanden.

So again, the tools we use to resolve conflict

Und so formen die Werkzeuge, die wir zur Konfliktlösung einsetzen,

shape our social landscape.

unsere Gesellschaft.

Autonomous robotic weapons are such a tool,

Autonome robotische Waffen sind so ein Werkzeug,

except that, by requiring very few people to go to war,

außer dass sie, da sie zum Krieg führen sehr wenige Menschen benötigen,

they risk re-centralizing power into very few hands,

riskieren, dass die Macht wieder konzentriert in einige wenige Hände fällt.

possibly reversing a five-century trend toward democracy.

Und möglicherweise einen fünf Jahrhunderte langen Trend zur Demokratie umkehren.

Now, I think, knowing this,

Ich denke, wenn wir das wissen,

we can take decisive steps to preserve our democratic institutions,

können wir entscheidende Schritte zum Bewahren unserer demokratischen Einrichtungen unternehmen,

to do what humans do best, which is adapt.

um das zu tun, was Menschen am besten können: sich anpassen.

But time is a factor.

Zeit ist hierbei jedoch auch ein Faktor.

Seventy nations are developing remotely-piloted

Siebzig Nationen entwickeln ihre eigenen ferngesteuerten

combat drones of their own,

Kampfdrohnen.

and as you'll see, remotely-piloted combat drones

Und wie Sie sehen werden, sind ferngesteuerte Kampfdrohnen

are the precursors to autonomous robotic weapons.

die Vorläufer der autonomen Roboterwaffen.

That's because once you've deployed remotely-piloted drones,

Wenn man nämlich einmal ferngesteuerte Drohnen im Einsatz hat,

there are three powerful factors pushing decision-making

verlagern drei mächtige Faktoren die Entscheidungsfindung

away from humans and on to the weapon platform itself.

weg vom Menschen, hin zur Waffenplattform an sich.

The first of these is the deluge of video that drones produce.

Der erste Faktor ist die Sintflut an Videos, die Drohnen produzieren.

For example, in 2004, the U.S. drone fleet produced

2004 beispielsweise produzierte die amerikanische Drohnenflotte

a grand total of 71 hours of video surveillance for analysis.

insgesamt 71 Stunden von Videoüberwachung zur Analyse.

By 2011, this had gone up to 300,000 hours,

Bis 2011 sind es 300.000 Stunden,

outstripping human ability to review it all,

das übersteigt die menschlichen Fähigkeiten, alles zu überprüfen.

but even that number is about to go up drastically.

Aber die Zahlen stehen kurz vor einem drastischen Anstieg.

The Pentagon's Gorgon Stare and Argus programs

Die Programme des Pentagons "Gorgon Stare" und "Argus"

will put up to 65 independently operated camera eyes

werden bis zu 65 eigenständig betriebene Kameras

on each drone platform,

auf jeder Drohnenplatform haben.

and this would vastly outstrip human ability to review it.

Und das würde die menschlichen Möglichkeiten der Kontrolle weit übertreffen.

And that means visual intelligence software will need

Das bedeutet, dass visuelle Aufklärungssoftware

to scan it for items of interest.

es nach interessanten Dingen abscannen müsste.

And that means very soon

Das bedeutet wiederum, dass

drones will tell humans what to look at,

Drohnen in Zukunft den Menschen sagen werden, worauf sie schauen sollen,

not the other way around.

und nicht mehr andersherum.

But there's a second powerful incentive pushing

Aber es gibt einen zweiten mächtigen Anreiz dafür,

das Entscheidungentreffen von Menschen auf Maschinen zu übertragen

decision-making away from humans and onto machines,

and that's electromagnetic jamming,

und das sind elektromagnetische Störungen,

severing the connection between the drone

die die Verbindungen zwischen der Drohne und ihrem Führer unterbrechen.

and its operator.

Now we saw an example of this in 2011

2011 haben wir ein Beispiel hierfür gesehen,

when an American RQ-170 Sentinel drone

als eine amerikanische Wächterdrohne vom Typ RQ-170 über dem Iran

got a bit confused over Iran due to a GPS spoofing attack,

durch "GPS-Spoofing" manipuliert wurde.

but any remotely-piloted drone is susceptible to this type of attack,

Jede ferngesteuerte Drohne ist anfällig für diese Attacken

and that means drones

und das bedeutet, dass Drohnen

will have to shoulder more decision-making.

mehr Entscheidungsfindungen auf sich nehmen müssen.

They'll know their mission objective,

Sie kennen ihre Mission

and they'll react to new circumstances without human guidance.

und sie werden auf neue Umstände ohne menschliche Hilfe reagieren.

They'll ignore external radio signals

Sie werden fremde Funksignale ignorieren

and send very few of their own.

und nur sehr wenige selbst schicken.

Which brings us to, really, the third

Das bringt uns zum dritten

und mächtigsten Anreiz, um das Entscheidungentreffen

and most powerful incentive pushing decision-making

von Menschen auf Waffen zu übertragen:

away from humans and onto weapons:

plausible deniability.

glaubhafte Leugnung.

Now we live in a global economy.

Wir leben in einer globalen Wirtschaft.

High-tech manufacturing is occurring on most continents.

High-Tech Fabrikationen kommen auf den meisten Kontinenten vor.

Cyber espionage is spiriting away advanced designs

Cyber-Spionage verbreitet fortgeschrittene Konstruktionen ins Unbekannte,

to parts unknown,

and in that environment, it is very likely

und in diesen Gebieten ist es sehr wahrscheinlich, dass

that a successful drone design will be knocked off in contract factories,

ein funktionierender Entwurf einer Drohne in einer Vertragsfabrik entsteht

proliferate in the gray market.

und sich auf dem Graumarkt vermehrt.

And in that situation, sifting through the wreckage

Und in dieser Situation ist es beim Durchwühlen des Wracks

of a suicide drone attack, it will be very difficult to say

nach einer "Selbstmord"-Drohnenattacke schwer zu sagen,

who sent that weapon.

wer diese Waffe geschickt hat.

This raises the very real possibility

Das steigert die reale Möglichkeit eines anonymen Krieges.

of anonymous war.

Es könnte die geopolitische Balance auf dem Gleichgewicht werfen,

This could tilt the geopolitical balance on its head,

make it very difficult for a nation to turn its firepower

und es einer Nation erschweren, ihre Feuerkraft auf einen Angreifer zu richten.

against an attacker, and that could shift the balance

Und das könnte die Balance des 21. Jahrhunderts weg von Verteidigung und auf Angriff bringen.

in the 21st century away from defense and toward offense.

It could make military action a viable option

Es könnte militärisches Eingreifen zu einer brauchbaren Option machen.

not just for small nations,

Nicht nur für kleine Nationen,

but criminal organizations, private enterprise,

aber auch für kriminelle Organisationen, Privatunternehmen,

even powerful individuals.

und sogar mächtige Individuen.

It could create a landscape of rival warlords

Das könnte eine Landschaft von rivalisierenden Warlords schaffen

undermining rule of law and civil society.

und die Regeln des Gesetzes und der zivilen Gesellschaft untergraben.

Now if responsibility and transparency

Wenn Verantwortung und Durchschaubarkeit

are two of the cornerstones of representative government,

zwei der Grundpfeiler der repräsentativen Regierung sind,

autonomous robotic weapons could undermine both.

könnten autonome robotische Waffen beides umwerfen.

Now you might be thinking that

Sie denken jetzt vielleicht, dass Bürger einer "High-Tech Nation" einen Vorteil

citizens of high-tech nations

would have the advantage in any robotic war,

in einem "automatischen" Krieg hätten,

that citizens of those nations would be less vulnerable,

und dass die Bürger dieser Nationen weniger anfällig und verletzlich wären,

particularly against developing nations.

besonders gegenüber Entwicklungsländern.

But I think the truth is the exact opposite.

Aber ich glaube, genau das Gegenteil wäre der Fall.

I think citizens of high-tech societies

Ich denke, dass Bürger in weit entwickelten Gesellschaften

are more vulnerable to robotic weapons,

ungeschützter gegen robotische Waffen sind.

and the reason can be summed up in one word: data.

Und der Grund dafür ist ein einziges Wort: Daten.

Data powers high-tech societies.

Daten ermöglichen High-Tech-Gesellschaften.

Cell phone geolocation, telecom metadata,

Handy-Geolokalisierung, Telekom-Metadaten,

social media, email, text, financial transaction data,

soziale Medien, E-Mails, Texte, Finanztransaktionen,

transportation data, it's a wealth of real-time data

Transportdaten – eine Fülle an Echtzeit-Daten

on the movements and social interactions of people.

in den Bewegungen und sozialen Interaktionen der Menschen.

In short, we are more visible to machines

Kurz gesagt: Wir sind sichtbarer für Maschinen als alle Menschen in der Geschichte.

than any people in history,

and this perfectly suits the targeting needs of autonomous weapons.

Und das ist perfekt für die Ziel-Anforderungen von autonomen Waffen.

What you're looking at here

Hier sehen Sie eine eine Verbindungsanalyse einer sozialen Gruppe.

is a link analysis map of a social group.

Lines indicate social connectedness between individuals.

Die Linien zeigen soziale Verbundenheit zwischen einzelnen Individuen.

And these types of maps can be automatically generated

Diese Kartenart kann durch die Datenspur, die moderne Menschen hinterlassen,

based on the data trail modern people leave behind.

automatisch generiert werden.

Now it's typically used to market goods and services

Normalerweise wird es genutzt, um Waren und Dienstleistungen

to targeted demographics, but it's a dual-use technology,

an Zielgruppen zu verkaufen, hat aber zwei Verwendungszwecke,

because targeting is used in another context.

denn dieses spezielle Ausrichten wird in einem anderen Kontext verwendet.

Notice that certain individuals are highlighted.

Achten Sie auf die hervorgehobenen Individuen.

These are the hubs of social networks.

Das sind die Zentren sozialer Netzwerke.

These are organizers, opinion-makers, leaders,

Das sind Veranstalter, Trendsetter und Anführer.

and these people also can be automatically identified

Und diese Leute können automatisch identifiziert werden,

from their communication patterns.

aufgrund ihrer Kommunikationsmuster.

Now, if you're a marketer, you might then target them

Wenn Sie nun ein Vermarkter sind, dann richten Sie Ihre Warenproben auf sie aus,

with product samples, try to spread your brand

um Ihre Marke durch deren soziale Gruppe zu verbreiten.

through their social group.

Wenn Sie nun aber eine repressive Regierung sind,

But if you're a repressive government

searching for political enemies, you might instead remove them,

die nach politischen Bedrohungen sucht, dann werden Sie sie vielleicht beseitigen,

eliminate them, disrupt their social group,

sie zerstören, ihre soziale Gruppe auseinanderreißen.

and those who remain behind lose social cohesion

Und die Zurückgebliebenen verlieren sozialen Zusammenhalt und Organisation.

and organization.

In einer Welt von günstigen, wuchernden robotischen Waffen

Now in a world of cheap, proliferating robotic weapons,

borders would offer very little protection

würden Grenzen nur sehr wenig Schutz gegenüber entfernten Regierungen

to critics of distant governments

or trans-national criminal organizations.

oder grenzüberschreitenden kriminellen Organisationen bieten.

Popular movements agitating for change

Große Bewegungen für einen Wandel könnten sehr früh aufgespürt

could be detected early and their leaders eliminated

und ihre Anführer ausgeschaltet werden, bevor ihre Ideen zu große Ausmaße annehmen.

before their ideas achieve critical mass.

And ideas achieving critical mass

Und Ideen mit kritischem Ausmaß

is what political activism in popular government is all about.

machen politisches Engagement in beliebten Regierungen aus.

Anonymous lethal weapons could make lethal action

Anonyme tödliche Waffen könnten tödliche Auswirkungen haben.

an easy choice for all sorts of competing interests.

Eine einfache Wahl bei allen Arten von Interessenkonflikten.

And this would put a chill on free speech

Das würde die freie Meinungsäußerung und

gängiges politisches Handeln, die Kernelemente der Demokratie, drastisch eindämmen.

and popular political action, the very heart of democracy.

Und das ist der Grund, weshalb wir einen internationalen Vertrag

And this is why we need an international treaty

on robotic weapons, and in particular a global ban

für robotische Waffen und besonders ein globales Verbot

on the development and deployment of killer robots.

für die Entwicklung und Benutzung von Killer-Robotern brauchen.

Now we already have international treaties

Wir haben beispielsweise internationale Verträge

on nuclear and biological weapons, and, while imperfect,

für nukleare und biologische Waffen und, obwohl sie nicht perfekt sind,

these have largely worked.

haben sie weitgehend funktioniert.

But robotic weapons might be every bit as dangerous,

Roboterwaffen jedoch sind vielleicht genauso gefährlich,

because they will almost certainly be used,

denn sie werden fast zweifellos genutzt,

and they would also be corrosive to our democratic institutions.

und wären genauso zerstörend für unsere demokratischen Einrichtungen.

Now in November 2012 the U.S. Department of Defense

Im November 2012 erließ das amerikanische Verteidigungsministerium

issued a directive requiring

eine Richtlinie, die veranlasst,

a human being be present in all lethal decisions.

dass ein Mensch bei jeder tödlichen Entscheidung dabei sein muss.

Sie verhinderte vorübergehend autonome Waffen im amerikanischen Militär,

This temporarily effectively banned autonomous weapons in the U.S. military,

sie muss aber dauerhaft gültig sein.

but that directive needs to be made permanent.

And it could set the stage for global action.

Sie könnte die Voraussetzungen für globales Handeln schaffen.

Because we need an international legal framework

Denn wir brauchen einen internationalen rechtlichen Rahmen für Roboterwaffen.

for robotic weapons.

And we need it now, before there's a devastating attack

Und wir brauchen ihn jetzt, vor einem verheerenden Angriff

or a terrorist incident that causes nations of the world

oder einem Terroranschlag, der die Nationen der Welt dazu veranlasst,

to rush to adopt these weapons

nach diesen Waffen zu streben, bevor sie die Konsequenzen durchdacht haben.

before thinking through the consequences.

Autonomous robotic weapons concentrate too much power

Autonome robotische Waffen konzentrieren zu viel Macht in zu wenigen Händen,

in too few hands, and they would imperil democracy itself.

und würden die Demokratie selbst gefährden.

Now, don't get me wrong, I think there are tons

Verstehen Sie mich nicht falsch, ich denke, es gibt Millionen

of great uses for unarmed civilian drones:

von großartigen Verwendungszwecken für unbewaffnete Zivilisten-Drohnen:

environmental monitoring, search and rescue, logistics.

Umweltüberwachung, Suchen und Bergen, Logistik.

If we have an international treaty on robotic weapons,

Wenn wir einen internationalen Vertrag für Roboterwaffen haben,

how do we gain the benefits of autonomous drones

wie können wir die Vorteile der autonomen Drohnen und Fahrzeuge

and vehicles while still protecting ourselves

ausschöpfen und uns dennoch vor illegalen Roboterwaffen schützen?

against illegal robotic weapons?

I think the secret will be transparency.

Ich denke, das Geheimnis wird Transparenz sein.

Kein Roboter sollte Privatsphäre auf einem öffentlichen Platz erwarten.

No robot should have an expectation of privacy

in a public place.

(Applaus)

(Applause)

Each robot and drone should have

Jeder Roboter sollte in der Fabrik

a cryptographically signed I.D. burned in at the factory

eine kryptographisch signierte Identifikationsnummer eingraviert bekommen,

that can be used to track its movement through public spaces.

mit der man seine Bewegung durch öffentliche Orte nachverfolgen kann.

We have license plates on cars, tail numbers on aircraft.

Wir haben Nummernschilder an Autos, Luftfahrzeugkennzeichen an Flugzeugen.

This is no different.

Hier ist es nicht anders.

And every citizen should be able to download an app

Und jeder Bürger sollte eine App herunterladen können,

that shows the population of drones and autonomous vehicles

die die Population von Drohnen und autonomen Fahrzeugen zeigt,

moving through public spaces around them,

wie sie sich durch den öffentlichen Raum bewegen.

both right now and historically.

Aktuell und in der Vergangenheit.

And civic leaders should deploy sensors and civic drones

Und zivile Führer sollten Sensoren und zivile Drohnen bereitstellen,

to detect rogue drones,

um problematische Drohnen ausfindig machen zu können.

and instead of sending killer drones of their own up to shoot them down,

Und anstatt sie mit Killerdrohnen zu eliminieren,

they should notify humans to their presence.

sollten sie Menschen auf ihr Dasein hinweisen.

And in certain very high-security areas,

In manchen Hochsicherheits-Bereichen

perhaps civic drones would snare them

würden zivile Drohnen sie vielleicht einfangen

and drag them off to a bomb disposal facility.

und sie zu einem Bombenentschärfungsteam ziehen.

But notice, this is more an immune system

Aber das ist eher ein Immunsystem als ein Waffensystem.

than a weapons system.

It would allow us to avail ourselves of the use

Es würde es uns ermöglichen, den Nutzen

of autonomous vehicles and drones

von autonomen Fahrzeugen und Drohnen in Anspruch zu nehmen,

while still preserving our open, civil society.

und trotzdem unsere offene, zivile Gesellschaft bewahren.

We must ban the deployment and development

Wir müssen die Benutzung und Entwicklung

of killer robots.

von Killer-Robotern verbieten.

Let's not succumb to the temptation to automate war.

Erliegen wir nicht der Versuchung eines autonomen Krieges.

Autocratic governments and criminal organizations

Autokratische Regierungen und kriminelle Organisationen

undoubtedly will, but let's not join them.

werden es ohne jeden Zweifel tun. Aber wir sollten uns ihnen nicht anschließen.

Autonomous robotic weapons

Autonome robotische Waffen würden zu viel Macht

would concentrate too much power

in zu wenige ungesehene Hände konzentrieren.

in too few unseen hands,

and that would be corrosive to representative government.

Und das würde zerstörend für repräsentative Regierungen sein

Let's make sure, for democracies at least,

Sorgen wir dafür, zumindest die Demokraten,

killer robots remain fiction.

dass Killer-Roboter eine Fiktion bleiben

Thank you.

Vielen Dank.

(Applause)

(Applaus)

Thank you. (Applause)

Danke schön. (Applaus)