Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Traducător: Andra Zamosteanu Corector: Ariana Bleau Lugo

I write fiction sci-fi thrillers,

Scriu romane științifico-fantastice.

so if I say "killer robots,"

Dacă spun „roboți ucigași"

you'd probably think something like this.

probabil vă gândiți la ceva de genul ăsta.

But I'm actually not here to talk about fiction.

Dar nu sunt aici să vorbesc despre ficțiune.

I'm here to talk about very real killer robots,

Vreau să vă vorbesc despre roboți ucigași adevărați,

autonomous combat drones.

dronele de luptă autonome.

Now, I'm not referring to Predator and Reaper drones,

Nu drone precum Predator sau Reaper,

which have a human making targeting decisions.

unde oamenii iau deciziile.

I'm talking about fully autonomous robotic weapons

E vorba de arme robotice complet autonome

that make lethal decisions about human beings

care iau decizii letale pentru ființele umane

all on their own.

de unele singure.

There's actually a technical term for this: lethal autonomy.

Există un termen tehnic pentru asta: autonomie letală.

Now, lethally autonomous killer robots

Roboții ucigași autonomi

would take many forms -- flying, driving,

pot avea multe forme -- pot zbura, conduce,

or just lying in wait.

sau doar rămâne în așteptare.

And actually, they're very quickly becoming a reality.

De fapt, încep să devină realitate.

These are two automatic sniper stations

Astea sunt două stații-lunetist automate

currently deployed in the DMZ between North and South Korea.

trimise în zona demilitarizată dintre Coreea de Nord și de Sud.

Both of these machines are capable of automatically

Ambele pot identifica automat

identifying a human target and firing on it,

și trage în ținte umane,

the one on the left at a distance of over a kilometer.

cea din stânga până la un kilometru distanță.

Now, in both cases, there's still a human in the loop

În ambele cazuri mai avem un om în ecuație,

to make that lethal firing decision,

care ia decizia deschiderii focului,

but it's not a technological requirement. It's a choice.

dar nu e o constrângere tehnologică. E o opțiune.

And it's that choice that I want to focus on,

Despre această opțiune vreau să discut,

because as we migrate lethal decision-making

pentru că prin transferarea deciziei letale

from humans to software,

de la oameni la software,

we risk not only taking the humanity out of war,

nu riscăm doar dispariția oricărei umanități din război,

but also changing our social landscape entirely,

ci și modificarea integrală a peisajului social,

far from the battlefield.

departe de câmpul de luptă.

That's because the way humans resolve conflict

Felul în care oamenii rezolvă conflictele

shapes our social landscape.

dă formă peisajului social.

And this has always been the case, throughout history.

Așa a fost întotdeauna în istorie.

For example, these were state-of-the-art weapons systems

De ex., acestea erau sisteme de arme ultramoderne

in 1400 A.D.

în 1400 d.H.

Now they were both very expensive to build and maintain,

Construirea și întreținerea lor erau foarte scumpe,

but with these you could dominate the populace,

dar prin ele puteai domina mulțimile,

and the distribution of political power in feudal society reflected that.

și distribuirea puterii politice în societatea feudală.

Power was focused at the very top.

Puterea era concentrată la vârf.

And what changed? Technological innovation.

Ce s-a schimbat? Inovația tehnologică.

Gunpowder, cannon.

Praf de pușcă, tunuri.

And pretty soon, armor and castles were obsolete,

Armurile și castelele au devenit inutile,

and it mattered less who you brought to the battlefield

iar pe cine aduceai pe câmpul de luptă conta mai puțin

versus how many people you brought to the battlefield.

decât câți oameni aduceai.

And as armies grew in size, the nation-state arose

În timp ce armatele creșteau, a apărut statul național,

as a political and logistical requirement of defense.

ca cerință politică și logistică a apărării.

And as leaders had to rely on more of their populace,

Pentru că liderii se bazau din ce în ce mai mult pe populație,

they began to share power.

au început să împartă puterea.

Representative government began to form.

A început formarea guvernului reprezentativ.

So again, the tools we use to resolve conflict

Armele folosite în rezolvarea conflictelor

shape our social landscape.

dau formă peisajului social.

Autonomous robotic weapons are such a tool,

Armele robotice autonome sunt o astfel de unealtă,

except that, by requiring very few people to go to war,

dar, incluzând puțini oameni în război,

they risk re-centralizing power into very few hands,

prezintă riscul recentralizării puterii în mâna câtorva,

possibly reversing a five-century trend toward democracy.

punând capăt unei tendințe de cinci secole spre democrație.

Now, I think, knowing this,

Știind asta, putem lua pași decisivi

we can take decisive steps to preserve our democratic institutions,

pentru a ne păstra instituțiile democratice,

to do what humans do best, which is adapt.

prin ceea ce oamenii fac cel mai bine, adaptându-se.

But time is a factor.

Dar timpul e un factor.

Seventy nations are developing remotely-piloted

Șaptezeci de țări construiesc

combat drones of their own,

drone de război autonome,

and as you'll see, remotely-piloted combat drones

iar dronele pilotate de la distanță, veți vedea,

are the precursors to autonomous robotic weapons.

sunt precursorii armelor robotice indepedente.

That's because once you've deployed remotely-piloted drones,

Odată ce ai trimis în luptă drone pilotate de la distanță,

there are three powerful factors pushing decision-making

există trei factori ce transmit luarea de decizii

away from humans and on to the weapon platform itself.

de la oameni către platforma armată însăși.

The first of these is the deluge of video that drones produce.

Primul este mulțimea de video înregistrări colectate.

For example, in 2004, the U.S. drone fleet produced

În 2004, flota de drone a SUA a capturat pentru analiză

a grand total of 71 hours of video surveillance for analysis.

71 de ore de material video de supraveghere.

By 2011, this had gone up to 300,000 hours,

Până în 2011, ajunsese la 300,000 de ore,

outstripping human ability to review it all,

depășind capacitatea omului de a le urmări,

but even that number is about to go up drastically.

dar și acest număr e pe cale să crească alarmant.

The Pentagon's Gorgon Stare and Argus programs

Programele Gorgon Stare și Argus ale Pentagonului

will put up to 65 independently operated camera eyes

vor monta 65 de camere independente

on each drone platform,

pe fiecare platformă de drone,

and this would vastly outstrip human ability to review it.

ceea ce ar depăși cu mult capacitatea umană de a le analiza.

And that means visual intelligence software will need

Va fi nevoie, deci, de software de urmărire vizuală

to scan it for items of interest.

pentru a scana obiectele de interes.

And that means very soon

În curând,

drones will tell humans what to look at,

dronele le vor spune oamenilor ce să privească,

not the other way around.

nu invers.

But there's a second powerful incentive pushing

Mai există un motiv

decision-making away from humans and onto machines,

pentru cedarea deciziei către mașini,

and that's electromagnetic jamming,

și anume blocajul electromagnetic,

severing the connection between the drone

ce distruge legătura dintre dronă

and its operator.

și operatorul ei.

Now we saw an example of this in 2011

Avem un astfel de exemplu din 2011

when an American RQ-170 Sentinel drone

când o dronă American RQ-170 Sentinel

got a bit confused over Iran due to a GPS spoofing attack,

a fost derutată din cauza unui atac GPS în Iran,

but any remotely-piloted drone is susceptible to this type of attack,

dar orice dronă pilotată teleghidat e susceptibilă,

and that means drones

ceea ce face necesar ca dronele

will have to shoulder more decision-making.

să aibă mai multă putere de a lua decizii.

They'll know their mission objective,

Vor ști obiectivul misiunii

and they'll react to new circumstances without human guidance.

și vor reacționa la împrejurări noi fără ajutor uman.

They'll ignore external radio signals

Vor ignora semnalele radio externe

and send very few of their own.

și vor trimite puține semnale, la rândul lor.

Which brings us to, really, the third

Asta ne aduce la al treilea

and most powerful incentive pushing decision-making

și cel mai puternic motiv de transferare

away from humans and onto weapons:

a deciziei către arme:

plausible deniability.

posibilitatea de a nega plauzibil.

Now we live in a global economy.

Trăim într-o economie globală.

High-tech manufacturing is occurring on most continents.

Fabricarea de înaltă tehnologie are loc pe mai toate continentele.

Cyber espionage is spiriting away advanced designs

Spionajul cibernetic duce designuri avansate

to parts unknown,

în locuri necunoscute,

and in that environment, it is very likely

iar în acest cadru, e foarte probabil

that a successful drone design will be knocked off in contract factories,

ca un design de succes pentru o dronă să fie furat dintr-o fabrică

proliferate in the gray market.

și să fie larg folosit pe piața neagră.

And in that situation, sifting through the wreckage

Astfel, analizând rămășițele unui atac

of a suicide drone attack, it will be very difficult to say

sinucigaș cu dronă, va fi greu

who sent that weapon.

să determini cine a trimis arma.

This raises the very real possibility

Devine astfel realitate posibilitatea

of anonymous war.

războiului anonim.

This could tilt the geopolitical balance on its head,

Asta ar putea da peste cap echilibrul geopolitic,

make it very difficult for a nation to turn its firepower

ar putea crea greutăți unei națiuni în cazul unui răspuns armat

against an attacker, and that could shift the balance

împotriva unui atacator, înclinând balanța

in the 21st century away from defense and toward offense.

către ofensivă și nu defensivă în secolul XXI.

It could make military action a viable option

Ar putea transforma acțiunea militară într-o opțiune viabilă

not just for small nations,

nu doar pentru micile state,

but criminal organizations, private enterprise,

dar și pentru organizații criminale, afaceri private,

even powerful individuals.

chiar pentru indivizi puternici.

It could create a landscape of rival warlords

Ar putea crea o lume a dictatorilor militari rivali,

undermining rule of law and civil society.

subminând statul de drept și societatea civilă.

Now if responsibility and transparency

Dacă responsabilitatea și transparența

are two of the cornerstones of representative government,

sunt baza guvernului reprezentativ,

autonomous robotic weapons could undermine both.

armele robotice autonome le-ar putea submina.

Now you might be thinking that

Puteți crede

citizens of high-tech nations

că cetățenii națiunilor cu înaltă tehnologie

would have the advantage in any robotic war,

ar deține avantajul în orice război robotic,

that citizens of those nations would be less vulnerable,

că cetățenii acestor state ar fi mai puțin vulnerabili,

particularly against developing nations.

în special împotriva țărilor în curs de dezvoltare.

But I think the truth is the exact opposite.

Este exact invers, însă.

I think citizens of high-tech societies

Cred că cetățenii societăților cu înaltă tehnologie

are more vulnerable to robotic weapons,

sunt mai vulnerabili armelor robotice

and the reason can be summed up in one word: data.

pentru un singur motiv: informația.

Data powers high-tech societies.

Informația stă la baza societățlor de înaltă tehnologie.

Cell phone geolocation, telecom metadata,

Geolocația telefoanelor mobile, metadata din telecomunicații,

social media, email, text, financial transaction data,

social media, email, SMS, date ale tranzacțiilor financiare,

transportation data, it's a wealth of real-time data

date despre transport, o grămadă de informații în timp real

on the movements and social interactions of people.

despre mișcările și interacțiunile sociale ale oamenilor.

In short, we are more visible to machines

Pe scurt, suntem mai vizibili pentru mașini

than any people in history,

decât orice alți oameni din istorie,

and this perfectly suits the targeting needs of autonomous weapons.

ceea ce se potrivește perfect stabilirii țintei armelor independente.

What you're looking at here

Ceea ce vedeți

is a link analysis map of a social group.

e o hartă a legăturilor dintr-un grup social.

Lines indicate social connectedness between individuals.

Liniile reprezintă conexiunea dintre indivizi.

And these types of maps can be automatically generated

Astfel de hărți pot fi generate automat

based on the data trail modern people leave behind.

pe baza amprentelor informaționale lăsate de omul modern.

Now it's typically used to market goods and services

Se folosește, de obicei, pentru a vinde bunuri și servicii

to targeted demographics, but it's a dual-use technology,

către grupuri-țintă, dar e o tehnologie cu dublă folosință,

because targeting is used in another context.

pentru că stabilirea de ținte se face în alt context.

Notice that certain individuals are highlighted.

Observați că anumiți oameni sunt marcați.

These are the hubs of social networks.

Aceștia sunt portaluri ale rețelelor de socializare.

These are organizers, opinion-makers, leaders,

Sunt organizatori, formatori de opinie, lideri

and these people also can be automatically identified

și pot fi identificați automat

from their communication patterns.

prin modelul lor de comunicare.

Now, if you're a marketer, you might then target them

Dacă lucrezi în marketing, le-ai putea oferi mostre

with product samples, try to spread your brand

pentru a lărgi renumele firmei

through their social group.

în grupul lor social.

But if you're a repressive government

Dar, dacă ești un guvern represiv ce caută

searching for political enemies, you might instead remove them,

inamici politici, ai putea încerca să îi elimini.

eliminate them, disrupt their social group,

Elimină-i pe ei, distruge-le grupul social,

and those who remain behind lose social cohesion

iar cei ce rămân își pierd coeziunea socială

and organization.

și organizarea.

Now in a world of cheap, proliferating robotic weapons,

Într-o lume în care armele robotice ieftine se înmulțesc,

borders would offer very little protection

granițele oferă foarte puțină protecție

to critics of distant governments

criticilor guvernelor din străinătate

or trans-national criminal organizations.

sau organizațiilor criminale transnaționale.

Popular movements agitating for change

Mișcările populare pentru schimbare

could be detected early and their leaders eliminated

ar fi identificate rapide, iar liderul lor eliminat,

before their ideas achieve critical mass.

înainte ca ideile lor să devină cunoscute larg.

And ideas achieving critical mass

Iar un public larg pentru idei

is what political activism in popular government is all about.

e elementul central al activismului politic în guvernul popular.

Anonymous lethal weapons could make lethal action

Armele letale anonime ar putea face ca acțiuni letale

an easy choice for all sorts of competing interests.

să devină o alegere ușoară în orice conflict de interese.

And this would put a chill on free speech

Iar asta ar îngheța libertatea de exprimare

and popular political action, the very heart of democracy.

și acțiunea politică populară, însăși inima democrației.

And this is why we need an international treaty

De aceea e nevoie de un tratat internațional

on robotic weapons, and in particular a global ban

asupra armelor robotice și, mai ales, o interdicție globală

on the development and deployment of killer robots.

asupra dezvoltării și folosirii roboților ucigași.

Now we already have international treaties

Avem deja tratate internaționale despre

on nuclear and biological weapons, and, while imperfect,

arme nucleare și biologice care, deși imperfecte,

these have largely worked.

funcționează, în mare parte.

But robotic weapons might be every bit as dangerous,

Armele robotice pot fi la fel de periculoase,

because they will almost certainly be used,

pentru că folosirea lor e aproape certă

and they would also be corrosive to our democratic institutions.

și ar fi dăunătoare instituțiilor noastre democratice.

Now in November 2012 the U.S. Department of Defense

În noiembrie 2012, Departamentul de Apărare SUA

issued a directive requiring

a lansat o directivă care cere

a human being be present in all lethal decisions.

prezența unui om la luarea oricărei decizii letale.

This temporarily effectively banned autonomous weapons in the U.S. military,

Asta a dus la blocarea temporară a armelor autonome în armata SUA,

but that directive needs to be made permanent.

dar directiva trebuie să devină permanentă.

And it could set the stage for global action.

În plus, ar putea să dea startul unei acțiuni globale.

Because we need an international legal framework

Pentru că avem nevoie de un cadru legal internațional

for robotic weapons.

pentru arme robotice.

And we need it now, before there's a devastating attack

E nevoie de el acum, înaintea unui atac devastator

or a terrorist incident that causes nations of the world

sau a unui incident terorist care să facă întreaga lume

to rush to adopt these weapons

să adopte rapid aceste arme

before thinking through the consequences.

înainte de a se gândi la consecințe.

Autonomous robotic weapons concentrate too much power

Armele robotice autonome concentrează prea multă putere

in too few hands, and they would imperil democracy itself.

în mâinile a prea puținor oameni, periclitând democrația.

Now, don't get me wrong, I think there are tons

Nu mă înțelegeți greșit, cred că-s o groază

of great uses for unarmed civilian drones:

de utilizări minunate pentru dronele civile neînarmate:

environmental monitoring, search and rescue, logistics.

monitorizarea mediului, căutări și operațiuni de salvare, logistică.

If we have an international treaty on robotic weapons,

Cu un tratat internațional asupra armelor robotice,

how do we gain the benefits of autonomous drones

cum exploatăm beneficiile dronelor și a vehiculelor

and vehicles while still protecting ourselves

autonome, protejându-ne în același timp

against illegal robotic weapons?

de armele robotice ilegale?

I think the secret will be transparency.

Cred că secretul e transparența.

No robot should have an expectation of privacy

Niciun robot nu ar trebui să fie privat

in a public place.

într-un loc public.

(Applause)

(Aplauze)

Each robot and drone should have

Fiecare robot și fiecare dronă ar trebui să aibă

a cryptographically signed I.D. burned in at the factory

o identificare semnată criptografic încă din fabrică,

that can be used to track its movement through public spaces.

folosită pentru a-i urmări mișcările în spațiul public.

We have license plates on cars, tail numbers on aircraft.

Avem plăcuțe de înmatriculare pe mașini, pe avioane.

This is no different.

Nu e nicio diferență.

And every citizen should be able to download an app

Fiecare cetățean ar trebui să poată descărca o aplicație

that shows the population of drones and autonomous vehicles

care să îi arate populația de drone și vehicule autonome

moving through public spaces around them,

deplasându-se în spații publice în jurul lor,

both right now and historically.

acum și în viitor.

And civic leaders should deploy sensors and civic drones

Iar liderii municipali ar trebui să trimită senzori și drone civice

to detect rogue drones,

pentru detectarea dronelor ilegale,

and instead of sending killer drones of their own up to shoot them down,

dar nu să trimită drone ucigașe să le distrugă,

they should notify humans to their presence.

ci să anunțe oamenii despre prezența lor.

And in certain very high-security areas,

Iar în zone de înaltă securitate,

perhaps civic drones would snare them

poate că dronele civile le-ar prinde

and drag them off to a bomb disposal facility.

și le-ar duce către o locație de dezactivare a bombelor.

But notice, this is more an immune system

Observați, e mai mult un sistem de imunitate,

than a weapons system.

decât unul armat.

It would allow us to avail ourselves of the use

Ne-ar permite să ne folosim de

of autonomous vehicles and drones

vehiculele și dronele autonome,

while still preserving our open, civil society.

fără a ne pierde societatea civilă transparentă.

We must ban the deployment and development

Trebuie interzisă folosirea și crearea

of killer robots.

de roboți ucigași.

Let's not succumb to the temptation to automate war.

Să nu cedăm tentației de a automatiza războiul.

Autocratic governments and criminal organizations

Guvernele autocrate și organizațiile criminale

undoubtedly will, but let's not join them.

o vor face, dar noi să nu ne alăturăm.

Autonomous robotic weapons

Armele robotice autonome

would concentrate too much power

ar concentra prea multă putere

in too few unseen hands,

în mâinile a prea puțini oameni,

and that would be corrosive to representative government.

iar asta ar degrada guvernul reprezentativ.

Let's make sure, for democracies at least,

Să ne asigurăm, măcar de dragul democrației,

killer robots remain fiction.

că roboții ucigași vor rămâne ficțiune.

Thank you.

Mulțumesc.

(Applause)

(Aplauze)

Thank you. (Applause)

Mulțumesc. (Aplauze)