Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez: La decisión de matar no la debe tomar un robot

Translator: Joseph Geni Reviewer: Morton Bast

Traductor: Máximo Hdez Revisor: Katherine Belloso

I write fiction sci-fi thrillers,

Escribo novelas de suspenso de ciencia ficción,

so if I say "killer robots,"

así que si digo "robots asesinos",

you'd probably think something like this.

probablemente podrían pensar en algo así.

But I'm actually not here to talk about fiction.

Pero en realidad no estoy aquí para hablar de ficción.

I'm here to talk about very real killer robots,

Estoy aquí para hablar de robots asesinos muy reales,

autonomous combat drones.

"drones" de combate autónomos.

Now, I'm not referring to Predator and Reaper drones,

Y no me refiero a robots depredadores ni exterminadores,

which have a human making targeting decisions.

que tienen a un humano tomando decisiones de sus objetivos.

I'm talking about fully autonomous robotic weapons

Estoy hablando de armas robóticas totalmente autónomas

that make lethal decisions about human beings

que toman decisiones letales sobre seres humanos

all on their own.

por su propia cuenta.

There's actually a technical term for this: lethal autonomy.

De hecho existe un término técnico para esto: autonomía letal.

Now, lethally autonomous killer robots

Ahora, los robots asesinos letales autónomos

would take many forms -- flying, driving,

pueden actuar de muchas formas: volando, conduciendo,

or just lying in wait.

o simplemente esperando al acecho.

And actually, they're very quickly becoming a reality.

Y la verdad es que se están convirtiendo rápidamente en una realidad.

These are two automatic sniper stations

Estas son dos estaciones automáticas de disparo

currently deployed in the DMZ between North and South Korea.

desplegadas actualmente en la zona desmilitarizada entre Corea del Norte y del Sur

Both of these machines are capable of automatically

Ambas máquinas son capaces de identificar

identifying a human target and firing on it,

automáticamente un objetivo humano y disparar contra él,

the one on the left at a distance of over a kilometer.

la de la izquierda a una distancia de más de un kilómetro.

Now, in both cases, there's still a human in the loop

En ambos casos, todavía hay un ser humano en el proceso

to make that lethal firing decision,

para tomar esa decisión de disparo letal

but it's not a technological requirement. It's a choice.

pero no es un requisito tecnológico, es una opción.

And it's that choice that I want to focus on,

Y es en esa opción en la que quiero centrarme,

because as we migrate lethal decision-making

porque cuando desplazamos la toma de decisiones letales

from humans to software,

de los humanos al software,

we risk not only taking the humanity out of war,

corremos el riesgo no sólo de sacar a la humanidad de la guerra,

but also changing our social landscape entirely,

sino también el de cambiar nuestro panorama social completamente,

far from the battlefield.

lejos del campo de batalla.

That's because the way humans resolve conflict

Eso es porque la manera en que los humanos resolvemos los conflictos

shapes our social landscape.

moldea nuestro panorama social.

And this has always been the case, throughout history.

Y así ha sido siempre a lo largo de la historia.

For example, these were state-of-the-art weapons systems

Por ejemplo, estos eran los sistemas de armamento más avanzados

in 1400 A.D.

en 1400 D.C.

Now they were both very expensive to build and maintain,

El costo de la construcción y el mantenimiento de ambos era muy elevados,

but with these you could dominate the populace,

pero con ellos se podía dominar a la población,

and the distribution of political power in feudal society reflected that.

y eso se reflejaba en la distribución del poder político en la sociedad feudal.

Power was focused at the very top.

El poder ocupó un lugar primordial.

And what changed? Technological innovation.

Y ¿qué cambió? La innovación tecnológica.

Gunpowder, cannon.

Pólvora, cañón.

And pretty soon, armor and castles were obsolete,

Y muy pronto, la armadura y los castillos fueron obsoletos,

and it mattered less who you brought to the battlefield

e importó menos a quién se traía al campo de batalla

versus how many people you brought to the battlefield.

versus cuánta gente se traía al campo de batalla.

And as armies grew in size, the nation-state arose

Y conforme los ejércitos crecieron en tamaño, los Estado-naciones surgieron

as a political and logistical requirement of defense.

como un requisito político y logístico de defensa.

And as leaders had to rely on more of their populace,

Y conforme los líderes tuvieron que depender más de su población,

they began to share power.

empezaron a compartir el poder.

Representative government began to form.

Se comenzó a formar el gobierno representativo.

So again, the tools we use to resolve conflict

Repito, las herramientas que utilizamos para resolver conflictos

shape our social landscape.

dan forma a nuestro panorama social.

Autonomous robotic weapons are such a tool,

Las armas robóticas autónomas son esas herramientas,

except that, by requiring very few people to go to war,

salvo que, al exigir que muy pocas personas vayan a la guerra,

they risk re-centralizing power into very few hands,

se corre el riesgo de re-centralizar el poder en muy pocas manos,

possibly reversing a five-century trend toward democracy.

posiblemente revirtiendo una tendencia de cinco siglos hacia la democracia.

Now, I think, knowing this,

Creo que, sabiendo esto,

we can take decisive steps to preserve our democratic institutions,

podemos tomar medidas decisivas para preservar nuestras instituciones democráticas,

to do what humans do best, which is adapt.

para hacer lo que los seres humanos saben hacer mejor, que es adaptarse.

But time is a factor.

Pero el tiempo es un factor.

Seventy nations are developing remotely-piloted

Setenta naciones están desarrollando sus propios robots

combat drones of their own,

de combate controlados a distancia

and as you'll see, remotely-piloted combat drones

y como veremos, los drones de combate controlados remotamente

are the precursors to autonomous robotic weapons.

son los precursores de las armas robóticas autónomas.

That's because once you've deployed remotely-piloted drones,

Eso es porque una vez se han desplegado drones piloteados remotamente

there are three powerful factors pushing decision-making

hay tres factores poderosos que influyen en la toma de decisiones

away from humans and on to the weapon platform itself.

lejos de los humanos y en la misma plataforma del arma.

The first of these is the deluge of video that drones produce.

El primero de ellos es el diluvio de vídeos que producen los robots.

For example, in 2004, the U.S. drone fleet produced

Por ejemplo, en 2004, la flota de drones de los Estados Unidos produjo

a grand total of 71 hours of video surveillance for analysis.

un total de 71 horas de vigilancia con video para el análisis.

By 2011, this had gone up to 300,000 hours,

En el 2011, ésta se había elevado a 300 mil horas,

outstripping human ability to review it all,

superando la capacidad humana para revisarla toda,

but even that number is about to go up drastically.

y aun ese número está a punto de subir drásticamente.

The Pentagon's Gorgon Stare and Argus programs

El Gorgon Stare y los programas Argus del Pentágono

will put up to 65 independently operated camera eyes

pondrán hasta 65 cámaras que operan independientemente

on each drone platform,

en cada plataforma de los drones,

and this would vastly outstrip human ability to review it.

y esto superaría enormemente la capacidad humana para revisarlas.

And that means visual intelligence software will need

Y eso significa que se necesitará software de inteligencia visual

to scan it for items of interest.

para escanear elementos de interés.

And that means very soon

Y eso significa que muy pronto

drones will tell humans what to look at,

los drones dirán a los humanos qué mirar,

not the other way around.

y no al revés.

But there's a second powerful incentive pushing

Pero hay un segundo incentivo poderoso que aleja

decision-making away from humans and onto machines,

la toma de decisiones de los humanos y la acerca a las máquinas,

and that's electromagnetic jamming,

y es la interferencia electromagnética,

severing the connection between the drone

cortando la conexión entre el robot

and its operator.

y su operador.

Now we saw an example of this in 2011

Vimos un ejemplo de esto en 2011

when an American RQ-170 Sentinel drone

Cuando un dron RQ-170 Sentinel norteamericano

got a bit confused over Iran due to a GPS spoofing attack,

se confundió en Irán debido a un ataque de "suplantación" de GPS,

but any remotely-piloted drone is susceptible to this type of attack,

pero cualquier robot controlado remotamente es susceptible a este tipo de ataques,

and that means drones

y eso significa que los drones

will have to shoulder more decision-making.

tendrán que asumir más la toma de decisiones.

They'll know their mission objective,

Sabrán el objetivo de la misión,

and they'll react to new circumstances without human guidance.

y reaccionarán a nuevas circunstancias sin ayuda humana.

They'll ignore external radio signals

Ignorarán las señales de radio externas

and send very few of their own.

y enviarán muy pocas suyas.

Which brings us to, really, the third

Lo que nos lleva, realmente, al tercer

and most powerful incentive pushing decision-making

y más poderoso incentivo de llevar la toma de decisiones

away from humans and onto weapons:

de los seres humanos a las armas:

plausible deniability.

negación plausible.

Now we live in a global economy.

Vivimos en una economía global.

High-tech manufacturing is occurring on most continents.

La fabricación de alta tecnología ocurre en la mayoría de los continentes.

Cyber espionage is spiriting away advanced designs

El ciberespionaje está impulsando diseños muy avanzados

to parts unknown,

a lugares desconocidos,

and in that environment, it is very likely

y en ese ambiente, es muy probable

that a successful drone design will be knocked off in contract factories,

que un diseño exitoso de drones se reproduzca en fábricas contratadas,

proliferate in the gray market.

y prolifere en el mercado negro.

And in that situation, sifting through the wreckage

Y en esa situación, al investigar en los restos

of a suicide drone attack, it will be very difficult to say

de un ataque suicida de drone, será muy difícil decir

who sent that weapon.

quién envió esa arma.

This raises the very real possibility

Esto plantea la posibilidad muy real

of anonymous war.

de una guerra anónima.

This could tilt the geopolitical balance on its head,

Esto podría poner el equilibrio geopolítico de cabeza,

make it very difficult for a nation to turn its firepower

y que a una nación le resulte muy difícil activar su potencia de ataque

against an attacker, and that could shift the balance

contra un atacante, lo cual podría inclinar la balanza

in the 21st century away from defense and toward offense.

en el siglo XXI de la defensa hacia la ofensiva.

It could make military action a viable option

Podría hacer de la acción militar una opción viable

not just for small nations,

no sólo para las naciones pequeñas,

but criminal organizations, private enterprise,

sino para las organizaciones criminales, las empresas privadas,

even powerful individuals.

e incluso para individuos poderosos.

It could create a landscape of rival warlords

Podría crear un paisaje de caudillos rivales

undermining rule of law and civil society.

socavando el estado de derecho y la sociedad civil.

Now if responsibility and transparency

Si la responsabilidad y la transparencia

are two of the cornerstones of representative government,

son dos de los pilares del gobierno representativo,

autonomous robotic weapons could undermine both.

las armas robóticas autónomas podrían socavar a ambos.

Now you might be thinking that

Pueden estar pensando que

citizens of high-tech nations

los ciudadanos de naciones con alta tecnología

would have the advantage in any robotic war,

tendrían la ventaja en cualquier guerra robótica,

that citizens of those nations would be less vulnerable,

que los ciudadanos de esas naciones serían menos vulnerables,

particularly against developing nations.

particularmente contra los países en desarrollo.

But I think the truth is the exact opposite.

Pero creo que en realidad es exactamente lo contrario.

I think citizens of high-tech societies

Creo que los ciudadanos de las sociedades de alta tecnología

are more vulnerable to robotic weapons,

son más vulnerables a las armas robóticas,

and the reason can be summed up in one word: data.

y la razón puede resumirse en una palabra: datos.

Data powers high-tech societies.

Los datos empoderan a las sociedades de alta tecnología.

Cell phone geolocation, telecom metadata,

Geolocalización por teléfono celular, metadatos de telecomunicaciones,

social media, email, text, financial transaction data,

redes sociales, correo electrónico, mensajes de texto, datos de transacciones financieras,

transportation data, it's a wealth of real-time data

datos de transporte, es una riqueza de datos en tiempo real

on the movements and social interactions of people.

sobre los movimientos y las interacciones sociales de las personas.

In short, we are more visible to machines

En resumen, somos más visibles para las máquinas

than any people in history,

que ninguna otra persona en la historia, y esto se adapta

and this perfectly suits the targeting needs of autonomous weapons.

perfectamente a las necesidades de selección de las armas autónomas.

What you're looking at here

Lo que están viendo aquí

is a link analysis map of a social group.

es un mapa de análisis de los vínculos de un grupo social.

Lines indicate social connectedness between individuals.

Las líneas indican la conectividad social entre individuos.

And these types of maps can be automatically generated

Y estos tipos de mapas se pueden generar automáticamente

based on the data trail modern people leave behind.

basados en la la estela de datos que la gente moderna deja.

Now it's typically used to market goods and services

Esto se utiliza normalmente para el mercadeo de bienes y servicios

to targeted demographics, but it's a dual-use technology,

a un grupo objetivo específico, pero esta es una tecnología de doble uso,

because targeting is used in another context.

porque se define un grupo objetivo en otro contexto.

Notice that certain individuals are highlighted.

Tenga en cuenta que ciertos individuos sobresalen.

These are the hubs of social networks.

Estos son los ejes de las redes sociales.

These are organizers, opinion-makers, leaders,

Estos son los organizadores, los creadores de opinión, los líderes,

and these people also can be automatically identified

y a estas personas también se les puede identificar automáticamente

from their communication patterns.

por sus patrones de comunicación.

Now, if you're a marketer, you might then target them

En el caso de un vendedor, este podría seleccionarlos

with product samples, try to spread your brand

con muestras de productos, intentando difundir su marca

through their social group.

a través de su grupo social.

But if you're a repressive government

Pero un gobierno represivo

searching for political enemies, you might instead remove them,

buscando enemigos políticos podría en cambio removerlos,

eliminate them, disrupt their social group,

eliminarlos, destruir su grupo social,

and those who remain behind lose social cohesion

y aquellos que queden perderían cohesión social

and organization.

y organización.

Now in a world of cheap, proliferating robotic weapons,

En un mundo en que proliferan las armas robóticas baratas,

borders would offer very little protection

las fronteras ofrecerían muy poca protección

to critics of distant governments

a los críticos de los gobiernos distantes

or trans-national criminal organizations.

o de organizaciones criminales transnacionales.

Popular movements agitating for change

Los movimientos populares que buscan el cambio

could be detected early and their leaders eliminated

puede detectarse tempranamente para eliminar a sus líderes

before their ideas achieve critical mass.

antes de que sus ideas adquieran masa crítica.

And ideas achieving critical mass

Y de lo que se trata en un gobierno popular es

is what political activism in popular government is all about.

que las ideas alcancen masa critica.

Anonymous lethal weapons could make lethal action

Las armas letales anónimas podrían hacer de la acción letal

an easy choice for all sorts of competing interests.

una opción fácil para todo tipo de intereses en juego.

And this would put a chill on free speech

Y esto pondría en jaque a la libertad de expresión

and popular political action, the very heart of democracy.

y a la acción política popular, la esencia de la democracia.

And this is why we need an international treaty

Y por esta razón necesitamos un tratado internacional

on robotic weapons, and in particular a global ban

sobre las armas robóticas y en particular una prohibición mundial

on the development and deployment of killer robots.

sobre el desarrollo y el despliegue de robots asesinos.

Now we already have international treaties

Ya tenemos tratados internacionales

on nuclear and biological weapons, and, while imperfect,

sobre armas nucleares y biológicas, que aunque imperfectos,

these have largely worked.

han funcionado en gran medida.

But robotic weapons might be every bit as dangerous,

Pero las armas robóticas pueden ser igual de peligrosas,

because they will almost certainly be used,

porque muy seguramente se utilizarán,

and they would also be corrosive to our democratic institutions.

y también serían dañinas para nuestras instituciones democráticas.

Now in November 2012 the U.S. Department of Defense

En noviembre de 2012, el Departamento de Defensa de los Estados Unidos

issued a directive requiring

emitió una directiva que exige

a human being be present in all lethal decisions.

que un ser humano esté presente en todas las decisiones letales.

This temporarily effectively banned autonomous weapons in the U.S. military,

Esto prohibió efectiva aunque temporalmente las armas autónomas en el ejército estadounidense,

but that directive needs to be made permanent.

pero dicha directiva debe hacerse permanente.

And it could set the stage for global action.

Y podría sentar las bases para la acción global.

Because we need an international legal framework

Porque necesitamos un marco jurídico internacional

for robotic weapons.

sobre armas robóticas.

And we need it now, before there's a devastating attack

Y lo necesitamos ahora, antes de un ataque devastador

or a terrorist incident that causes nations of the world

o un incidente terrorista que haga que las naciones del mundo

to rush to adopt these weapons

se vean obligadas a adoptar estas armas

before thinking through the consequences.

antes de pensar en las consecuencias.

Autonomous robotic weapons concentrate too much power

Las armas robóticas autónomas concentran demasiado poder

in too few hands, and they would imperil democracy itself.

en muy pocas manos y pondría en peligro la propia democracia.

Now, don't get me wrong, I think there are tons

No me malinterpreten, creo que hay toneladas

of great uses for unarmed civilian drones:

de aplicaciones geniales para los drones civiles desarmados:

environmental monitoring, search and rescue, logistics.

control ambiental, búsqueda y rescate, logística.

If we have an international treaty on robotic weapons,

Si tenemos un tratado internacional sobre armas robóticas,

how do we gain the benefits of autonomous drones

¿cómo obtenemos los beneficios de los drones y vehículos

and vehicles while still protecting ourselves

autónomos y al mismo tiempo nos protegernos

against illegal robotic weapons?

contra las armas robóticas ilegales?

I think the secret will be transparency.

Creo que el secreto será la transparencia.

No robot should have an expectation of privacy

No debería existir una expectativa de privacidad de un robot

in a public place.

en un lugar público.

(Applause)

(Aplausos)

Each robot and drone should have

Cada robot y drone deben tener

a cryptographically signed I.D. burned in at the factory

una identificación de fábrica firmada criptográficamente

that can be used to track its movement through public spaces.

que pueda utilizarse para seguir sus movimientos en los espacios públicos.

We have license plates on cars, tail numbers on aircraft.

Tenemos placas en los coches, números de matricula en los aviones.

This is no different.

Esto no es diferente.

And every citizen should be able to download an app

Y todos los ciudadanos deberían poder descargar una aplicación

that shows the population of drones and autonomous vehicles

que muestre la población de drones y vehículos autónomos

moving through public spaces around them,

moviéndose a través de espacios públicos alrededor de ellos,

both right now and historically.

tanto en ese momento como en un histórico.

And civic leaders should deploy sensors and civic drones

Y los líderes civiles deben desplegar sensores y drones civiles

to detect rogue drones,

para detectar los drones no autorizados,

and instead of sending killer drones of their own up to shoot them down,

y en lugar de enviar drones asesinos propios para derribarlos,

they should notify humans to their presence.

deben notificar a los humanos de su presencia.

And in certain very high-security areas,

Y en ciertas áreas de muy alta seguridad,

perhaps civic drones would snare them

tal vez los drones civiles deban capturarlos

and drag them off to a bomb disposal facility.

y arrastrarlos a una instalación de eliminación de explosivos.

But notice, this is more an immune system

Pero tengan en cuenta que esto es más un sistema inmunológico

than a weapons system.

que un sistema de armas.

It would allow us to avail ourselves of the use

Esto nos permitiría valernos del uso

of autonomous vehicles and drones

de drones y vehículos autónomos

while still preserving our open, civil society.

y al mismo tiempo salvaguardar nuestra abierta sociedad civil.

We must ban the deployment and development

Hay que prohibir el despliegue y desarrollo

of killer robots.

de robots asesinos.

Let's not succumb to the temptation to automate war.

No caigamos en la tentación de automatizar la guerra.

Autocratic governments and criminal organizations

Los gobiernos autocráticos y las organizaciones criminales

undoubtedly will, but let's not join them.

sin duda lo harán, pero nosotros no.

Autonomous robotic weapons

Las armas robóticas autónomas

would concentrate too much power

concentrarían demasiado poder

in too few unseen hands,

en muy pocas manos invisibles,

and that would be corrosive to representative government.

y eso sería corrosivo para un gobierno representativo.

Let's make sure, for democracies at least,

Asegurémonos de que al menos para las democracias,

killer robots remain fiction.

los robots asesinos sigan siendo ficción.

Thank you.

Gracias.

(Applause)

(Aplausos)

Thank you. (Applause)

Gracias. (Aplausos)