Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez : La décision de tuer ne devrait pas appartenir à un robot

Translator: Joseph Geni Reviewer: Morton Bast

Traducteur: Gabriel Tallineau Relecteur: Veronica Perez

I write fiction sci-fi thrillers,

J'écris des thrillers de science fiction,

so if I say "killer robots,"

donc si je dis "robots tueurs",

you'd probably think something like this.

vous pensez sûrement à quelque chose de ce style.

But I'm actually not here to talk about fiction.

Mais je ne suis pas vraiment là pour parler fiction.

I'm here to talk about very real killer robots,

Je suis ici pour parler de robots tueurs bien réels,

autonomous combat drones.

des drones de combat autonomes.

Now, I'm not referring to Predator and Reaper drones,

Là, je ne me réfère pas aux drones Predator et Reaper,

which have a human making targeting decisions.

où il y a un humain aux commandes.

I'm talking about fully autonomous robotic weapons

Je parle d'armes robotisées pleinement autonomes

that make lethal decisions about human beings

qui prennent des décisions létales envers des êtres humains

all on their own.

de leur propre chef.

There's actually a technical term for this: lethal autonomy.

A vrai dire, il y a un terme technique pour cela : autonomie létale.

Now, lethally autonomous killer robots

Ainsi, les robots tueurs autonomes

would take many forms -- flying, driving,

pourraient prendre de multiples formes, aérienne, mobile,

or just lying in wait.

ou juste statique.

And actually, they're very quickly becoming a reality.

Et très rapidement, ils deviennent vraiment une réalité.

These are two automatic sniper stations

Voici deux sentinelles automatiques de tireur d'élite

currently deployed in the DMZ between North and South Korea.

actuellement déployée dans la Zone Démilitarisée entre les Corée du Nord et du Sud.

Both of these machines are capable of automatically

Ces deux machines sont capables de manière automatisée

identifying a human target and firing on it,

d'identifier une cible humaine et d'y ouvrir le feu,

the one on the left at a distance of over a kilometer.

la machine à gauche possède une portée supérieur à un kilomètre.

Now, in both cases, there's still a human in the loop

Maintenant, dans ces deux cas, il y a toujours un humain

to make that lethal firing decision,

dans la chaîne de commandement pour faire le létal choix de faire feu,

but it's not a technological requirement. It's a choice.

Mais ce n'est pas une contrainte technologique. C'est un choix.

And it's that choice that I want to focus on,

Et c'est sur ce choix que je veux me concentrer,

because as we migrate lethal decision-making

car en même temps que nous transférons, de l'homme vers le programme,

from humans to software,

la prise de décisions mortelles,

we risk not only taking the humanity out of war,

nous ne risquons pas seulement d'enlever l'humanité à la guerre,

but also changing our social landscape entirely,

mais aussi de modifier l'environnement social dans sa totalité,

far from the battlefield.

loin du champ de bataille.

That's because the way humans resolve conflict

Ceci parce que la manière des humains de résoudre des conflits

shapes our social landscape.

façonne notre environnement social.

And this has always been the case, throughout history.

Et à travers l'Histoire, cela a toujours été le cas.

For example, these were state-of-the-art weapons systems

Par exemple, il y avait ces systèmes d'armement de pointe

in 1400 A.D.

en 1400 avant J.-C. .

Now they were both very expensive to build and maintain,

Ils sont tous deux très chers à construire et à entretenir,

but with these you could dominate the populace,

mais avec eux vous pouviez dominer la population,

and the distribution of political power in feudal society reflected that.

et l'organisation du pouvoir politique dans la société féodale reflète cela.

Power was focused at the very top.

Le pouvoir était concentré au sommet.

And what changed? Technological innovation.

Et qu'est-ce qui a changé ? L'innovation technologique.

Gunpowder, cannon.

Poudre noire, canon.

And pretty soon, armor and castles were obsolete,

Et très vite, les armures et les châteaux sont devenus obsolètes,

and it mattered less who you brought to the battlefield

et il était moins important de savoir qui vous ameniez sur le champ de bataille

versus how many people you brought to the battlefield.

que le nombre de personnes que vous ameniez.

And as armies grew in size, the nation-state arose

Et alors que les armées grossissaient en effectif, l'Etat-Nation naissait

as a political and logistical requirement of defense.

en tant que besoin politique et logistique de défense.

And as leaders had to rely on more of their populace,

Et alors que les dirigeants devaient compter sur plus de population,

they began to share power.

ils commencèrent à partager le pouvoir.

Representative government began to form.

Des gouvernement représentatifs commencèrent à se former.

So again, the tools we use to resolve conflict

Une fois encore, les outils utilisés pour résoudre un conflit

shape our social landscape.

structurent notre environnement social.

Autonomous robotic weapons are such a tool,

Les armes robotisées autonomes sont de tels outils,

except that, by requiring very few people to go to war,

sauf que, en nécessitant très peu de personnes pour rentrer en guerre,

they risk re-centralizing power into very few hands,

ils risquent de reconcentrer le pouvoir dans très peu de mains,

possibly reversing a five-century trend toward democracy.

potentiellement renversant une tendance de cinq cents ans en faveur de la démocratie.

Now, I think, knowing this,

Maintenant, je pense, sachant ça,

we can take decisive steps to preserve our democratic institutions,

que nous pouvons mener des actions décisives pour préserver nos institutions démocratiques,

to do what humans do best, which is adapt.

pour faire ce que les hommes font le mieux, c'est-à-dire s'adapter.

But time is a factor.

Mais le temps est un facteur.

Seventy nations are developing remotely-piloted

Soixante-dix nations développent en interne

combat drones of their own,

des drones de combat télécommandés,

and as you'll see, remotely-piloted combat drones

et comme vous le verrez, les drones de combat télécommandés

are the precursors to autonomous robotic weapons.

sont les précurseurs des armes robotisées autonomes.

That's because once you've deployed remotely-piloted drones,

Cela est dû au fait qu'une fois que vous avez déployé vos drones télécommandés,

there are three powerful factors pushing decision-making

trois facteurs déterminants entraînent la prise de choix

away from humans and on to the weapon platform itself.

loin des hommes et vers l'unité armée elle-même.

The first of these is the deluge of video that drones produce.

La première des raisons est le déluge de vidéos que les drones produisent.

For example, in 2004, the U.S. drone fleet produced

Par exemple, en 2004, la flotte de drones américains a produit

a grand total of 71 hours of video surveillance for analysis.

une somme totale de 71 heures de vidéo-surveillance à analyser.

By 2011, this had gone up to 300,000 hours,

En 2011, cela a atteint les 300 000 heures,

outstripping human ability to review it all,

dépassant la capacité humaine à tout voir,

but even that number is about to go up drastically.

et même ce nombre est sur le point d'exploser.

The Pentagon's Gorgon Stare and Argus programs

Les programmes Gorgon Stare et Argus du Pentagone

will put up to 65 independently operated camera eyes

vont porter à 65 caméras indépendamment contrôlées

on each drone platform,

sur chaque drone,

and this would vastly outstrip human ability to review it.

et cela va grandement dépasser la capacité humaine à voir ces vidéos.

And that means visual intelligence software will need

Cela signifie qu'il va falloir des programmes de recueil d'informations visuelles

to scan it for items of interest.

pour scanner les vidéos pour trouver du matériel intéressant.

And that means very soon

Et cela signifie que très bientôt

drones will tell humans what to look at,

les drones vont dire aux hommes ce qu'il faut regarder,

not the other way around.

et non l'inverse.

But there's a second powerful incentive pushing

Mais il y a une seconde motivation importante

decision-making away from humans and onto machines,

pour déporter le rôle décisionnel des hommes vers les machines,

and that's electromagnetic jamming,

et c'est le brouillage électromagnétique,

severing the connection between the drone

bloquant la connexion entre le drone

and its operator.

et son opérateur.

Now we saw an example of this in 2011

Nous avons vu un exemple de cela en 2011

when an American RQ-170 Sentinel drone

lorsqu'un drone RQ-170 Sentinel américain

got a bit confused over Iran due to a GPS spoofing attack,

a été embrouillé au dessus de l'Iran à cause d'une attaque de modification du GPS,

but any remotely-piloted drone is susceptible to this type of attack,

mais tout drone télécommandé est sensible à ce type d'attaque,

and that means drones

et cela signifie que les drones

will have to shoulder more decision-making.

vont devoir endosser plus de prises de décision.

They'll know their mission objective,

Ils connaîtront les objectifs de mission,

and they'll react to new circumstances without human guidance.

et ils feront face aux nouvelles conditions sans intervention humaine.

They'll ignore external radio signals

Ils vont ignorer les signaux radio externes

and send very few of their own.

et en émettre très peu de leur côté.

Which brings us to, really, the third

Ce qui nous mène, vraiment, à la troisième

and most powerful incentive pushing decision-making

et plus importante motivation pour enlever

away from humans and onto weapons:

la décision aux hommes et la mettre dans les armes :

plausible deniability.

possibilité de nier de façon plausible.

Now we live in a global economy.

Aujourd'hui nous vivons dans une économie généralisée.

High-tech manufacturing is occurring on most continents.

La production de haute technologie a lieu sur la plupart des continents.

Cyber espionage is spiriting away advanced designs

Le cyber-espionnage exporte les conceptions avancées

to parts unknown,

vers des tiers inconnus,

and in that environment, it is very likely

et dans cet environnement, il est très probable

that a successful drone design will be knocked off in contract factories,

qu'un concept réussi de drone soit volé dans les entreprises contractées,

proliferate in the gray market.

se répandent sur le marché parallèle.

And in that situation, sifting through the wreckage

Et dans ce cas, en fouillant les débris

of a suicide drone attack, it will be very difficult to say

d'une attaque suicide de drone, il sera très difficile de dire

who sent that weapon.

qui a envoyé cette arme.

This raises the very real possibility

Cela ouvre la réelle possibilité

of anonymous war.

de la guerre anonyme.

This could tilt the geopolitical balance on its head,

Cela pourrait déstabiliser la balance géopolitique,

make it very difficult for a nation to turn its firepower

rendre très difficile pour un pays d'utiliser sa puissance de feu

against an attacker, and that could shift the balance

contre un attaquant, cela pourrait, au 21ème siècle,

in the 21st century away from defense and toward offense.

faire pencher la balance en faveur de l'attaque au détriment de la défense.

It could make military action a viable option

Cela pourrait rendre envisageable des actions militaires

not just for small nations,

non juste pour de petits pays,

but criminal organizations, private enterprise,

mais pour des organisations criminelles, des entreprises privées

even powerful individuals.

et même des puissants individus.

It could create a landscape of rival warlords

Cela pourrait créer un paysage de seigneurs de guerre rivaux

undermining rule of law and civil society.

sabotant le règne de la loi et de la société civile.

Now if responsibility and transparency

Si la responsabilité et la transparence

are two of the cornerstones of representative government,

sont deux éléments clefs des gouvernements représentatifs de leur nation,

autonomous robotic weapons could undermine both.

les armes robotisées autonomes pourraient les saboter tous deux.

Now you might be thinking that

Là vous pourriez penser que

citizens of high-tech nations

les citoyens de pays high-techs

would have the advantage in any robotic war,

auraient l'avantage dans n'importe quelle guerre robotique,

that citizens of those nations would be less vulnerable,

que les citoyens de ces nations seraient moins vulnérables,

particularly against developing nations.

en particulier contre les pays en développement.

But I think the truth is the exact opposite.

Mais je pense que la vérité est l'exacte opposé.

I think citizens of high-tech societies

Je pense que les citoyens des sociétés high-techs

are more vulnerable to robotic weapons,

sont plus vulnérables aux armes robotisées,

and the reason can be summed up in one word: data.

et la raison peut être résumée en un mot : l'information.

Data powers high-tech societies.

L'information alimente les sociétés informatisées.

Cell phone geolocation, telecom metadata,

Géolocalisation des téléphones, métadonnées de télécommunications,

social media, email, text, financial transaction data,

médias sociaux, e-mails, textos, informations sur des transactions financières,

transportation data, it's a wealth of real-time data

informations sur des transports, c'est une richesse de données en temps réel

on the movements and social interactions of people.

sur les mouvements et les échanges sociaux des gens.

In short, we are more visible to machines

En résumé, nous sommes plus visibles aux machines

than any people in history,

que quiconque dans l'Histoire,

and this perfectly suits the targeting needs of autonomous weapons.

et cela correspond parfaitement aux besoins de ciblage des armes autonomes.

What you're looking at here

Ce que vous regardez ici

is a link analysis map of a social group.

est une carte d'analyse de connexion d'un groupe social.

Lines indicate social connectedness between individuals.

Les lignes indiquent une connexité social entre individus.

And these types of maps can be automatically generated

Et ce type de carte peut être automatiquement générée

based on the data trail modern people leave behind.

en se basant sur les traces d'informations que les gens modernes laissent derrière eux.

Now it's typically used to market goods and services

On l'utilise généralement pour promouvoir des biens ou des services

to targeted demographics, but it's a dual-use technology,

à des populations ciblées, mais c'est une technologie à double tranchant,

because targeting is used in another context.

car le ciblage est utilisé dans un autre contexte.

Notice that certain individuals are highlighted.

Remarquez que certains individus sont surlignés.

These are the hubs of social networks.

Ce sont des centres de réseaux sociaux.

These are organizers, opinion-makers, leaders,

Ce sont des organisateurs, des façonneurs d'opinion, chefs,

and these people also can be automatically identified

et ces personnes peuvent être automatiquement identifiées

from their communication patterns.

à partir du schéma de leurs communications.

Now, if you're a marketer, you might then target them

Si vous êtes un commerçant, vous pourrez alors les cibler

with product samples, try to spread your brand

avec des échantillons de produits, essayer de diffuser votre marque

through their social group.

dans leur groupe social.

But if you're a repressive government

Mais si vous êtes un gouvernement répressif

searching for political enemies, you might instead remove them,

en quête d'ennemis politiques, vous pourriez au contraire les évincer,

eliminate them, disrupt their social group,

les éliminer, désorganiser leur groupe social,

and those who remain behind lose social cohesion

et ceux qui restent perdent la cohésion sociale

and organization.

et l'organisation.

Now in a world of cheap, proliferating robotic weapons,

Ainsi dans un monde où prolifèrent les armes robotisées à bas coûts,

borders would offer very little protection

les frontières vont offrir très peu de protection

to critics of distant governments

face aux critiques de gouvernements éloignés

or trans-national criminal organizations.

ou à des organisations criminelles internationales.

Popular movements agitating for change

Des mouvements populaires pour le changement

could be detected early and their leaders eliminated

pourraient être détectés tôt et voir leurs chefs éliminés

before their ideas achieve critical mass.

avant que leurs idées n'atteignent une masse critique.

And ideas achieving critical mass

Et des idées atteignant une masse critique

is what political activism in popular government is all about.

est exactement cet activisme politique dans les gouvernements populaires.

Anonymous lethal weapons could make lethal action

Des armes mortelles anonymes pourraient faire des actes meurtriers

an easy choice for all sorts of competing interests.

un choix facile pour toute sorte de conflits d'intérêts.

And this would put a chill on free speech

Et cela porterait atteinte à la liberté d'expression

and popular political action, the very heart of democracy.

et à l'action politique populaire, le cœur même de la démocratie.

And this is why we need an international treaty

Voilà pourquoi nous avons besoin d'un traité international

on robotic weapons, and in particular a global ban

sur les armes robotisées, et en particulier d'un ban

on the development and deployment of killer robots.

du développement et du déploiement de robots tueurs.

Now we already have international treaties

Aujourd'hui nous avons des traités internationaux

on nuclear and biological weapons, and, while imperfect,

sur les armes nucléaires et biologiques, et bien qu'imparfaites

these have largely worked.

elles ont largement fonctionné.

But robotic weapons might be every bit as dangerous,

Mais les armes robotisées pourraient se révéler tout autant dangeureuses

because they will almost certainly be used,

car elles seront presque certainement utilisées

and they would also be corrosive to our democratic institutions.

et elles seront aussi néfastes pour nos institutions démocratiques.

Now in November 2012 the U.S. Department of Defense

En novembre 2012, le Département de la Défense américain

issued a directive requiring

a émis une directive exigeant

a human being be present in all lethal decisions.

qu'un humain soit présent dans toute décision létale.

This temporarily effectively banned autonomous weapons in the U.S. military,

Cela a efficacement banni les armes autonomes dans l'armée américaine,

but that directive needs to be made permanent.

mais cette directive doit être rendue permanente.

And it could set the stage for global action.

Cela pourrait poser les bases à une action généralisée.

Because we need an international legal framework

Car nous avons besoin d'un cadre juridique international

for robotic weapons.

pour les armes robotisées.

And we need it now, before there's a devastating attack

Et nous en avons besoin maintenant, avant qu'il n'y ait une attaque dévastatrice

or a terrorist incident that causes nations of the world

ou un incident terroriste qui entraînerait les nations du monde

to rush to adopt these weapons

à se précipiter pour acquérir ces armes

before thinking through the consequences.

avant de songer aux conséquences.

Autonomous robotic weapons concentrate too much power

Les armes robotisées autonomes concentre trop de pouvoir

in too few hands, and they would imperil democracy itself.

dans trop peu de mains, et elles mettraient en péril la démocratie elle-même.

Now, don't get me wrong, I think there are tons

Mais comprenez moi bien, je pense qu'il y a énormément

of great uses for unarmed civilian drones:

d'utilisation bénéfiques pour des drones civils non armés :

environmental monitoring, search and rescue, logistics.

gestion environnementale, recherche et sauvetage, logistique.

If we have an international treaty on robotic weapons,

Si nous avons un traité international sur les armes robotisées,

how do we gain the benefits of autonomous drones

comme pouvons-nous profiter des gains des drones

and vehicles while still protecting ourselves

et véhicules autonomes tout en nous protégeant

against illegal robotic weapons?

des armes robotisées illégales ?

I think the secret will be transparency.

Je pense que le secret est la transparence.

No robot should have an expectation of privacy

Aucun robot ne devrait avoir un but privé

in a public place.

dans un espace public.

(Applause)

( Applaudissements )

Each robot and drone should have

Chaque robot et drone devrait avoir

a cryptographically signed I.D. burned in at the factory

une carte d'identité à signature cryptographique incrustée à l'usine

that can be used to track its movement through public spaces.

qui puisse être utilisée pour suivre ses mouvements dans les espaces publics.

We have license plates on cars, tail numbers on aircraft.

Nous avons des plaques d'immatriculation sur les voitures, des immatriculations sur les avions.

This is no different.

Ceci n'est aucunement différent.

And every citizen should be able to download an app

Et chaque citoyen devrait pouvoir télécharger une application

that shows the population of drones and autonomous vehicles

qui montre la population de drones et de véhicules autonomes

moving through public spaces around them,

se déplaçant dans les espaces publics autour d'eux,

both right now and historically.

en tant réel et historiquement.

And civic leaders should deploy sensors and civic drones

Et les responsables publics devraient déployer des détecteurs et des drones officiels

to detect rogue drones,

pour détecter des drones illégaux,

and instead of sending killer drones of their own up to shoot them down,

et à la place de choisir d'envoyer des robots tueurs pour les neutraliser

they should notify humans to their presence.

ils devraient avertir les humains de leur présence.

And in certain very high-security areas,

Et dans certaines zones de très haute sécurité,

perhaps civic drones would snare them

peut-être ces drones les piégreraient

and drag them off to a bomb disposal facility.

et les traîneraient dans une installation de déminage.

But notice, this is more an immune system

Mais notez que ceci est plus un système immunitaire

than a weapons system.

qu'un système armé.

It would allow us to avail ourselves of the use

Cela nous autoriserait à utiliser personnellement

of autonomous vehicles and drones

des véhicules et drones autonomes

while still preserving our open, civil society.

tout en préservant notre société ouverte et civile.

We must ban the deployment and development

Nous devons interdire le déploiement et le développement

of killer robots.

de robots tueurs.

Let's not succumb to the temptation to automate war.

Ne cédons pas à la tentation d'automatiser la guerre.

Autocratic governments and criminal organizations

Les gouvernements autocratiques et les organisations criminelles

undoubtedly will, but let's not join them.

céderont à coup sûr, mais ne les rejoignons pas.

Autonomous robotic weapons

Les armes robotisées autonomes

would concentrate too much power

concentreraient trop de pouvoir

in too few unseen hands,

dans trop peu de mains invisibles,

and that would be corrosive to representative government.

et cela serait néfaste aux gouvernements représentatifs.

Let's make sure, for democracies at least,

Soyons certains, au moins pour les démocraties,

killer robots remain fiction.

que les robots tueurs restent une fiction.

Thank you.

Merci

(Applause)

(Applaudissements)

Thank you. (Applause)

Merci. (Applaudissements)