Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Traduttore: Davide Lettieri Revisore: Alessandra Agliata

I write fiction sci-fi thrillers,

Io scrivo romanzi thriller di fantascienza,

so if I say "killer robots,"

quindi se dico "robot killer",

you'd probably think something like this.

voi probabilmente pensereste a qualcosa tipo questo.

But I'm actually not here to talk about fiction.

Ma io non sono qui per discutere di narrativa.

I'm here to talk about very real killer robots,

Sono qui per parlare di veri robot killer,

autonomous combat drones.

droni da combattimento autonomi.

Now, I'm not referring to Predator and Reaper drones,

Ora, non mi sto riferendo a droni Predator e Reaper,

which have a human making targeting decisions.

il cui obiettivo dipende da decisioni umane.

I'm talking about fully autonomous robotic weapons

Sto parlando di armi robot completamente autonome

that make lethal decisions about human beings

che prendono decisioni letali sugli esseri umani

all on their own.

per conto loro.

There's actually a technical term for this: lethal autonomy.

In realtà c'è un termine tecnico per questo: autonomia letale.

Now, lethally autonomous killer robots

I robot killer letalmente autonomi

would take many forms -- flying, driving,

possono fare molte cose - volare, guidare,

or just lying in wait.

o semplicemente attendere in agguato.

And actually, they're very quickly becoming a reality.

E in realtà, stanno diventando molto rapidamente una realtà.

These are two automatic sniper stations

Queste sono due postazioni cecchino automatiche

currently deployed in the DMZ between North and South Korea.

attualmente dispiegate nella zona demilitarizzata tra Corea del Nord e del Sud .

Both of these machines are capable of automatically

Entrambe queste macchine sono in grado identificare

identifying a human target and firing on it,

automaticamente un bersaglio umano e sparare,

the one on the left at a distance of over a kilometer.

quella a sinistra a una distanza di oltre un chilometro.

Now, in both cases, there's still a human in the loop

In entrambi i casi, c'è ancora un essere umano coinvolto nella decisione

to make that lethal firing decision,

riguardante quel colpo letale,

but it's not a technological requirement. It's a choice.

ma non è un requisito tecnologico. È una scelta.

And it's that choice that I want to focus on,

Ed è questa scelta che voglio mettere a fuoco,

because as we migrate lethal decision-making

perché nel momento in cui spostiamo questa decisione letale

from humans to software,

dagli esseri umani al software,

we risk not only taking the humanity out of war,

corriamo il rischio di escludere l'umanità dalla guerra,

but also changing our social landscape entirely,

ma anche di cambiare interamente il nostro paesaggio sociale,

far from the battlefield.

ben lontano dai campi di battaglia.

That's because the way humans resolve conflict

Questo perché il modo in cui gli esseri umani risolvono i conflitti

shapes our social landscape.

dà forma al nostro paesaggio sociale.

And this has always been the case, throughout history.

Ed è stato sempre così, nel corso di tutta la storia.

For example, these were state-of-the-art weapons systems

Ad esempio, questo era lo stato dell'arte degli armamenti

in 1400 A.D.

nel 1400 D.C.

Now they were both very expensive to build and maintain,

Erano entrambi molto costosi da costruire e mantenere,

but with these you could dominate the populace,

ma con questi si poteva dominare la popolazione,

and the distribution of political power in feudal society reflected that.

e la distribuzione del potere politico nella società feudale lo rispecchiava.

Power was focused at the very top.

Il potere era concentrato al vertice.

And what changed? Technological innovation.

E cosa è cambiato? L'innovazione tecnologica.

Gunpowder, cannon.

Polvere da sparo, cannoni.

And pretty soon, armor and castles were obsolete,

Ben presto, armature e castelli diventarono obsoleti,

and it mattered less who you brought to the battlefield

e importava meno chi portavate sul campo di battaglia

versus how many people you brought to the battlefield.

rispetto a quante persone portavate sul campo di battaglia.

And as armies grew in size, the nation-state arose

Con il crescere in dimensione degli eserciti, sono nati gli Stati-Nazione

as a political and logistical requirement of defense.

come requisito politico e logistico di difesa.

And as leaders had to rely on more of their populace,

E siccome i leader hanno dovuto contare di più sulla loro popolazione,

they began to share power.

hanno cominciato a condividere il potere.

Representative government began to form.

Il governo rappresentativo cominciò a formarsi.

So again, the tools we use to resolve conflict

Così ancora una volta, gli strumenti che usiamo per risolvere i conflitti

shape our social landscape.

formano il nostro paesaggio sociale.

Autonomous robotic weapons are such a tool,

Le armi robotiche autonome sono uno di questi strumenti

except that, by requiring very few people to go to war,

con la differenza che, richiedendo pochissime persone per andare in guerra,

they risk re-centralizing power into very few hands,

rischiano di re-centralizzare il potere nelle mani di pochi,

possibly reversing a five-century trend toward democracy.

forse invertendo una tendenza verso la democrazia in corso da cinque secoli.

Now, I think, knowing this,

Ora, io penso, sapendo questo,

we can take decisive steps to preserve our democratic institutions,

possiamo fare passi decisivi per proteggere le nostre istituzioni democratiche,

to do what humans do best, which is adapt.

e fare quello che gli esseri umani sanno fare meglio, ovvero adattarsi.

But time is a factor.

Ma il tempo è importante.

Seventy nations are developing remotely-piloted

Settanta nazioni stanno sviluppando per conto loro

combat drones of their own,

droni da combattimento pilotati a distanza,

and as you'll see, remotely-piloted combat drones

e come si vedrà, i droni da combattimento pilotati a distanza

are the precursors to autonomous robotic weapons.

sono i precursori delle armi robotiche autonome.

That's because once you've deployed remotely-piloted drones,

Questo perché una volta che avete impiegato droni pilotati da remoto,

there are three powerful factors pushing decision-making

ci sono tre potenti fattori che spingono il processo decisionale

away from humans and on to the weapon platform itself.

lontano dagli esseri umani e verso l'arma stessa.

The first of these is the deluge of video that drones produce.

Il primo di questi è il diluvio di video che i droni producono.

For example, in 2004, the U.S. drone fleet produced

Per esempio, nel 2004, la flotta di droni U.S.A. produsse

a grand total of 71 hours of video surveillance for analysis.

un totale di 71 ore di video di sorveglianza da analizzare.

By 2011, this had gone up to 300,000 hours,

Nel 2011, si è arrivato a 300 000 ore,

outstripping human ability to review it all,

superando la capacità umana di rivedere tutto,

but even that number is about to go up drastically.

ma anche quel numero è in procinto di aumentare drasticamente.

The Pentagon's Gorgon Stare and Argus programs

I programmi Gorgon Stare e Argus del Pentagono

will put up to 65 independently operated camera eyes

metteranno fino a 65 telecamere indipendenti

on each drone platform,

su ogni drone,

and this would vastly outstrip human ability to review it.

e in questo modo verrà superata notevolmente la capacità umana di rivedere le riprese.

And that means visual intelligence software will need

E questo significa che sarà necessario utilizzare software di intelligenza visiva

to scan it for items of interest.

per poter cercare elementi di interesse.

And that means very soon

E questo significa che molto presto

drones will tell humans what to look at,

i droni diranno agli umani cosa guardare,

not the other way around.

e non viceversa.

But there's a second powerful incentive pushing

Ma c'è un secondo potente incentivo che sta spingendo

decision-making away from humans and onto machines,

il processo decisionale lontano da esseri umani e verso le macchine,

and that's electromagnetic jamming,

ed è il disturbo elettromagnetico

severing the connection between the drone

che interrompe la connessione tra il drone

and its operator.

e il suo operatore.

Now we saw an example of this in 2011

Abbiamo visto un esempio di questo nel 2011

when an American RQ-170 Sentinel drone

quando un drone americano RQ-170 Sentinel

got a bit confused over Iran due to a GPS spoofing attack,

rimase confuso al di sopra dell'Iran a causa di un attacco spoofing del GPS,

but any remotely-piloted drone is susceptible to this type of attack,

ma qualsiasi drone pilotato in remoto è vulnerabile a questi attacchi,

and that means drones

e questo significa che i droni

will have to shoulder more decision-making.

dovranno sostenere un maggior numero di decisioni.

They'll know their mission objective,

Conosceranno l'obiettivo della missione,,

and they'll react to new circumstances without human guidance.

e reagiranno alle nuove circostanze senza guida umana.

They'll ignore external radio signals

Ignoreranno i segnali radio esterni

and send very few of their own.

e ne invieranno pochissimi loro stessi.

Which brings us to, really, the third

Questo ci porta, realmente, al terzo

and most powerful incentive pushing decision-making

e più potente incentivo che sta spingendo il processo decisionale

away from humans and onto weapons:

lontano dagli esseri umani e verso le armi:

plausible deniability.

negabilità plausibile.

Now we live in a global economy.

Viviamo in un'economia globale.

High-tech manufacturing is occurring on most continents.

L'industria high-tech è presente nella maggior parte dei continenti.

Cyber espionage is spiriting away advanced designs

Lo spionaggio informatico sta rapidamente portando tecnologie avanzate

to parts unknown,

a parti sconosciute,

and in that environment, it is very likely

e in queste circostanze, è molto probabile

that a successful drone design will be knocked off in contract factories,

che un progetto di drone di successo venga falsificato in fabbriche di produzione

proliferate in the gray market.

che proliferano sul mercato parallelo.

And in that situation, sifting through the wreckage

E in quella situazione, spulciando tra le macerie

of a suicide drone attack, it will be very difficult to say

di un attacco suicida di un drone, sarà molto difficile dire

who sent that weapon.

chi ha inviato l'arma.

This raises the very real possibility

Questo apre la possibilità molto reale

of anonymous war.

di una guerra anonima.

This could tilt the geopolitical balance on its head,

Questo potrebbe destabilizzare l'equilibrio geopolitico ai vertici,

make it very difficult for a nation to turn its firepower

rendendo molto difficile per una nazione attivare la sua potenza di fuoco

against an attacker, and that could shift the balance

contro un attaccante, e ciò potrebbe spostare l'equilibrio

in the 21st century away from defense and toward offense.

nel XXI secolo dalla difesa e verso l'attacco.

It could make military action a viable option

Potrebbe rendere un'azione militare un'opzione praticabile

not just for small nations,

non solo per le piccole nazioni,

but criminal organizations, private enterprise,

ma per le organizzazioni criminali, le imprese private,

even powerful individuals.

e anche per gli individui potenti.

It could create a landscape of rival warlords

Si potrebbe creare un paesaggio di signori della guerra rivali

undermining rule of law and civil society.

minando così le regole della legge e della società civile.

Now if responsibility and transparency

Se responsabilità e trasparenza

are two of the cornerstones of representative government,

sono due i cardini dei governi rappresentativi,

autonomous robotic weapons could undermine both.

le armi robotiche autonome potrebbero danneggiarli entrambi.

Now you might be thinking that

Si potrebbe pensare che

citizens of high-tech nations

i cittadini delle nazioni high-tech

would have the advantage in any robotic war,

sarebbero in vantaggio in una qualunque guerra robotica,

that citizens of those nations would be less vulnerable,

che i cittadini di quelle nazioni sarebbero meno vulnerabili,

particularly against developing nations.

specialmente contro le nazioni in via di sviluppo.

But I think the truth is the exact opposite.

Ma penso che la verità sia l'esatto opposto.

I think citizens of high-tech societies

Penso che i cittadini delle società high-tech

are more vulnerable to robotic weapons,

sono più vulnerabili alle armi robotiche,

and the reason can be summed up in one word: data.

e la ragione può essere riassunta in una parola: dati.

Data powers high-tech societies.

I dati alimentano le società high-tech.

Cell phone geolocation, telecom metadata,

La geolocalizzazione mediante telefono cellulare, i metadati delle telecomunicazioni,

social media, email, text, financial transaction data,

i social media, le email, i messaggi, i dati delle transazioni finanziarie,

transportation data, it's a wealth of real-time data

i dati di trasporto, sono una ricchezza di dati in tempo reale

on the movements and social interactions of people.

sui movimenti e sulle interazioni sociali delle persone.

In short, we are more visible to machines

In breve, siamo più visibili alle macchine

than any people in history,

rispetto a chiunque altro nella storia,

and this perfectly suits the targeting needs of autonomous weapons.

e questo si adatta perfettamente alle esigenze di targeting delle armi autonome.

What you're looking at here

Quello che state guardando

is a link analysis map of a social group.

è una mappa che analizza i collegamenti in un gruppo sociale.

Lines indicate social connectedness between individuals.

Le linee indicano la connessione sociale tra gli individui.

And these types of maps can be automatically generated

Questi tipi di mappe possono essere generati automaticamente

based on the data trail modern people leave behind.

basandosi sulla traccia di dati che la gente moderna lascia dietro di sé.

Now it's typically used to market goods and services

Generalmente sono utilizzate per vendere beni e servizi

to targeted demographics, but it's a dual-use technology,

a determinate fasce demografiche, ma si tratta di una tecnologia con un doppio utilizzo

because targeting is used in another context.

perché il targeting è utilizzato anche in un altro contesto.

Notice that certain individuals are highlighted.

Notate che alcuni individui sono evidenziati.

These are the hubs of social networks.

Questi sono i perni delle reti sociali.

These are organizers, opinion-makers, leaders,

Questi sono gli organizzatori, opinionisti, leader,

and these people also can be automatically identified

e queste persone possono anche essere identificate automaticamente

from their communication patterns.

dai loro modelli di comunicazione.

Now, if you're a marketer, you might then target them

Ora, se lavorate in ambito commerciale, potreste raggiungerli

with product samples, try to spread your brand

con campioni di prodotto, tentando di diffondere il vostro prodotto

through their social group.

attraverso il loro gruppo sociale.

But if you're a repressive government

Ma se siete un governo repressivo

searching for political enemies, you might instead remove them,

alla ricerca di avversari politici, potreste invece rimuoverli,

eliminate them, disrupt their social group,

eliminarli, disturbare il loro gruppo sociale,

and those who remain behind lose social cohesion

e quelli che rimangono dietro perderanno coesione sociale

and organization.

e organizzazione.

Now in a world of cheap, proliferating robotic weapons,

In un mondo brulicante di armi robotiche a basso costo

borders would offer very little protection

i confini offrono una protezione molto debole

to critics of distant governments

per i critici di governi distanti

or trans-national criminal organizations.

o organizzazioni criminali transnazionali.

Popular movements agitating for change

Movimenti popolari in moto per il cambiamento

could be detected early and their leaders eliminated

potrebbero essere rilevati fin dall'inizio e i loro leader eliminati

before their ideas achieve critical mass.

prima che le loro idee raggiungano la massa critica.

And ideas achieving critical mass

E le idee che raggiungono la massa critica

is what political activism in popular government is all about.

sono la definizione di attivismo politico nei governi popolari.

Anonymous lethal weapons could make lethal action

Le armi letali anonime potrebbero rendere le azione letali

an easy choice for all sorts of competing interests.

una scelta facile per tutti coloro con interessi in competizione.

And this would put a chill on free speech

E questo potrebbero mettere in pericolo la libertà di parola

and popular political action, the very heart of democracy.

e l'azione politica popolare, il cuore della democrazia.

And this is why we need an international treaty

Ed è per questo che abbiamo bisogno di un trattato internazionale

on robotic weapons, and in particular a global ban

sulle armi robotiche e in particolare un divieto globale

on the development and deployment of killer robots.

di sviluppo e distribuzione di robot killer.

Now we already have international treaties

Abbiamo già trattati internazionali

on nuclear and biological weapons, and, while imperfect,

sulle armi nucleari e biologiche e, seppur imperfetti,

these have largely worked.

hanno funzionato in larga misura.

But robotic weapons might be every bit as dangerous,

Ma le armi robot potrebbero essere altrettanto pericolose,

because they will almost certainly be used,

perché saranno quasi certamente utilizzate,

and they would also be corrosive to our democratic institutions.

e sarebbero anche deleterie per le nostre istituzioni democratiche.

Now in November 2012 the U.S. Department of Defense

Nel novembre 2012 il Dipartimento della Difesa degli Stati Uniti

issued a directive requiring

ha emesso una direttiva che richiede

a human being be present in all lethal decisions.

che un essere umano sia presente in tutte le decisioni letali.

This temporarily effectively banned autonomous weapons in the U.S. military,

Questo ha temporaneamente bandito le armi autonome dagli armamenti della forza militare statunitense,

but that directive needs to be made permanent.

ma tale direttiva deve essere resa permanente.

And it could set the stage for global action.

E potrebbe gettare le basi di un'azione globale.

Because we need an international legal framework

Perché abbiamo bisogno di un quadro giuridico internazionale

for robotic weapons.

per le armi robotiche.

And we need it now, before there's a devastating attack

E ne abbiamo bisogno ora, prima che ci sia un attacco devastante

or a terrorist incident that causes nations of the world

o un incidente terroristico che spinga le nazioni del mondo

to rush to adopt these weapons

ad affrettarsi ad adottare queste armi

before thinking through the consequences.

prima di pensare bene alle conseguenze.

Autonomous robotic weapons concentrate too much power

Le armi robotiche autonome concentrano troppo potere

in too few hands, and they would imperil democracy itself.

in troppe poche mani, e mettono a repentaglio la stessa democrazia.

Now, don't get me wrong, I think there are tons

Ora, non fraintendetemi, credo che ci siano tonnellate

of great uses for unarmed civilian drones:

di grandi usi per i droni civili disarmati:

environmental monitoring, search and rescue, logistics.

monitoraggio ambientale, ricerca e soccorso, logistica.

If we have an international treaty on robotic weapons,

Se avessimo un trattato internazionale sulle armi robotiche,

how do we gain the benefits of autonomous drones

come otterremmo benefici dai droni e veicoli

and vehicles while still protecting ourselves

autonomi continuando a proteggere noi stessi

against illegal robotic weapons?

contro le armi robotiche illegali?

I think the secret will be transparency.

Penso che il segreto sia la trasparenza.

No robot should have an expectation of privacy

Nessun robot dovrebbe avere privacy

in a public place.

in un luogo pubblico.

(Applause)

(Applausi)

Each robot and drone should have

Ogni robot e drone dovrebbe essere

a cryptographically signed I.D. burned in at the factory

marchiato in fabbrica con un ID crittografato

that can be used to track its movement through public spaces.

che può essere utilizzato per monitorarne il movimento attraverso gli spazi pubblici.

We have license plates on cars, tail numbers on aircraft.

Abbiamo targhe di automobili, numeri di coda su aerei.

This is no different.

Questo non è diverso.

And every citizen should be able to download an app

E ogni cittadino dovrebbe essere in grado di scaricare un app

that shows the population of drones and autonomous vehicles

che mostra la popolazione di droni e veicoli autonomi

moving through public spaces around them,

muoversi attraverso gli spazi pubblici intorno a loro,

both right now and historically.

sia in tempo reale, sia in passato.

And civic leaders should deploy sensors and civic drones

E i leader civici dovrebbero distribuire sensori e droni civici

to detect rogue drones,

per rilevare i droni non autorizzati,

and instead of sending killer drones of their own up to shoot them down,

e invece di inviare droni killer per abbatterli,

they should notify humans to their presence.

dovrebbero comunicare agli esseri umani la loro presenza.

And in certain very high-security areas,

E in alcune zone di sicurezza molto elevata,

perhaps civic drones would snare them

forse i droni civici dovrebbero intrappolarli

and drag them off to a bomb disposal facility.

e trascinarli fuori in un impianto di smaltimento esplosivi.

But notice, this is more an immune system

Ma notate, questo è più un sistema immunitario

than a weapons system.

che un sistema di armi.

It would allow us to avail ourselves of the use

Ci consentirebbe di avvalerci dell'uso

of autonomous vehicles and drones

di droni e veicoli autonomi

while still preserving our open, civil society.

mantenendo la nostra società aperta e civile.

We must ban the deployment and development

Dobbiamo vietare la distribuzione e lo sviluppo

of killer robots.

di robot killer.

Let's not succumb to the temptation to automate war.

Non soccombiamo alla tentazione di automatizzare la guerra.

Autocratic governments and criminal organizations

I governi autocratici e le organizzazioni criminali

undoubtedly will, but let's not join them.

lo faranno senz'altro, ma non uniamoci a loro.

Autonomous robotic weapons

Le armi robot autonome

would concentrate too much power

concentrerebbero troppo potere

in too few unseen hands,

in troppo poche mani invisibili,

and that would be corrosive to representative government.

e questo sarebbe deleterio per i governi rappresentativi.

Let's make sure, for democracies at least,

Assicuriamoci, almeno per le democrazie,

killer robots remain fiction.

che i robot killer rimangano finzione.

Thank you.

Grazie.

(Applause)

(Applausi)

Thank you. (Applause)

Grazie. (Applausi)