Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Tradutor: Mário Canudo Revisora: Margarida Ferreira

I write fiction sci-fi thrillers,

Eu escrevo "thrillers" de ficção científica,

so if I say "killer robots,"

por isso, se disser "robôs assassinos"

you'd probably think something like this.

provavelmente pensarão em algo deste género.

But I'm actually not here to talk about fiction.

Mas, na verdade, não estou aqui para falar sobre ficção.

I'm here to talk about very real killer robots,

Estou aqui para falar de robôs assassinos muito reais,

autonomous combat drones.

"drones" de combate autónomos.

Now, I'm not referring to Predator and Reaper drones,

Não me estou a referir aos "drones" Predator e Reaper,

which have a human making targeting decisions.

que têm um ser humano a decidir os alvos.

I'm talking about fully autonomous robotic weapons

Estou a falar de armas robóticas totalmente autónomas

that make lethal decisions about human beings

que tomam decisões letais sobre seres humanos

all on their own.

por si mesmas.

There's actually a technical term for this: lethal autonomy.

Existe mesmo um termo técnico: autonomia letal.

Now, lethally autonomous killer robots

Os robôs assassinos com autonomia letal

would take many forms -- flying, driving,

podem assumir várias formas — a voar, a conduzir,

or just lying in wait.

ou simplesmente imóveis, à espera.

And actually, they're very quickly becoming a reality.

Na verdade, estão rapidamente a tornar-se uma realidade.

These are two automatic sniper stations

Isto são duas estações automáticas de tiro,

currently deployed in the DMZ between North and South Korea.

utilizadas hoje na zona desmilitarizada entre a Coreia do Norte e a do Sul.

Both of these machines are capable of automatically

Estas duas máquinas podem identificar automaticamente

identifying a human target and firing on it,

um alvo humano e disparar sobre ele,

the one on the left at a distance of over a kilometer.

o da esquerda, a uma distância de mais de um quilómetro.

Now, in both cases, there's still a human in the loop

Em ambos os casos, ainda há um ser humano no meio

to make that lethal firing decision,

que toma a decisão letal de disparar,

but it's not a technological requirement. It's a choice.

mas não é um requisito tecnológico, é uma opção.

And it's that choice that I want to focus on,

É nessa opção que me quero focar

because as we migrate lethal decision-making

porque, à medida que mudamos a tomada de decisão letal

from humans to software,

de seres humanos para "software",

we risk not only taking the humanity out of war,

arriscamos retirar a humanidade da guerra

but also changing our social landscape entirely,

e ainda mudar inteiramente o nosso panorama social,

far from the battlefield.

longe do campo de batalha.

That's because the way humans resolve conflict

Isto porque a maneira com que os seres humanos resolvem conflitos

shapes our social landscape.

molda o nosso panorama social.

And this has always been the case, throughout history.

Foi sempre assim, em toda a História.

For example, these were state-of-the-art weapons systems

Por exemplo, estes eram sistemas de armas de última geração

in 1400 A.D.

no início do século XV.

Now they were both very expensive to build and maintain,

Tinham ambos custos de construção e manutenção muito altos

but with these you could dominate the populace,

mas, com eles, podia-se dominar o povo

and the distribution of political power in feudal society reflected that.

e a distribuição do poder político na sociedade feudal reflectia isso.

Power was focused at the very top.

O poder estava concentrado no topo.

And what changed? Technological innovation.

O que mudou? A inovação tecnológica.

Gunpowder, cannon.

A pólvora, o canhão.

And pretty soon, armor and castles were obsolete,

Rapidamente, a armadura e os castelos tornaram-se obsoletos.

and it mattered less who you brought to the battlefield

Passou a contar menos quem ia para o campo de batalha

versus how many people you brought to the battlefield.

e a contar mais quantos iam para o campo de batalha.

And as armies grew in size, the nation-state arose

À medida que os exércitos aumentavam, surgiu o estado-nação

as a political and logistical requirement of defense.

como um requisito político e logístico de defesa.

And as leaders had to rely on more of their populace,

Como os líderes dependiam mais do povo,

they began to share power.

começaram a partilhar o poder.

Representative government began to form.

Começou a surgir o governo representativo.

So again, the tools we use to resolve conflict

Portanto, as ferramentas que usamos para resolver os conflitos

shape our social landscape.

moldam o nosso panorama social.

Autonomous robotic weapons are such a tool,

As armas robóticas autónomas são uma dessas ferramentas,

except that, by requiring very few people to go to war,

com a diferença de que, como são precisas muito poucas pessoas na guerra,

they risk re-centralizing power into very few hands,

corre-se o risco de voltar a centralizar o poder numa minoria,

possibly reversing a five-century trend toward democracy.

possivelmente invertendo uma tendência de cinco séculos para a democracia.

Now, I think, knowing this,

Penso que, sabendo isto,

we can take decisive steps to preserve our democratic institutions,

podemos tomar medidas decisivas para preservar

as nossas instituições democráticas,

to do what humans do best, which is adapt.

para fazer o que os seres humanos fazem melhor, ou seja adaptarem-se.

But time is a factor.

Mas o tempo é um factor.

Seventy nations are developing remotely-piloted

Há 70 nações a desenvolver os seus próprios "drones" de combate

combat drones of their own,

pilotados por controlo remoto.

and as you'll see, remotely-piloted combat drones

Como verão, os "drones" de combate, pilotados por controlo remoto,

are the precursors to autonomous robotic weapons.

são os precursores das armas robóticas autónomas.

That's because once you've deployed remotely-piloted drones,

Porque quando se utilizam "drones" com controlo remoto,

there are three powerful factors pushing decision-making

há três fortes factores que forçam o afastamento da tomada de decisões

away from humans and on to the weapon platform itself.

dos seres humanos e a deslocam para a plataforma da arma.

The first of these is the deluge of video that drones produce.

O primeiro deles é a grande quantidade de vídeo que os "drones" produzem.

For example, in 2004, the U.S. drone fleet produced

Por exemplo, em 2004, a frota de "drones" do EUA

a grand total of 71 hours of video surveillance for analysis.

produziu um total de 71 horas de vídeo-vigilância para serem analisadas.

By 2011, this had gone up to 300,000 hours,

Em 2011, este número subiu para as 300 000 horas,

outstripping human ability to review it all,

ultrapassando a capacidade humana de analisar tudo.

but even that number is about to go up drastically.

Apesar disso, este número está a subir drasticamente.

The Pentagon's Gorgon Stare and Argus programs

Os programas Gorgon Stare e Argus, do Pentágono

will put up to 65 independently operated camera eyes

vão pôr 65 câmaras a funcionar independentemente

on each drone platform,

em cada plataforma de "drone".

and this would vastly outstrip human ability to review it.

Isso vai ultrapassar a capacidade humana de analisar tudo.

And that means visual intelligence software will need

Significa que o "software" de informações visuais

to scan it for items of interest.

vai precisar de o analisar, à procura de itens de interesse.

And that means very soon

Significa que muito em breve

drones will tell humans what to look at,

os "drones" irão dizer aos seres humanos para onde olhar,

not the other way around.

e não o contrário.

But there's a second powerful incentive pushing

Mas há um segundo forte incentivo

decision-making away from humans and onto machines,

que força a passagem da tomada de decisões dos seres humanos para as máquinas,

and that's electromagnetic jamming,

é a interferência electromagnética,

severing the connection between the drone

que corta a ligação entre o "drone" e o seu operador.

and its operator.

Now we saw an example of this in 2011

Vimos um exemplo disto em 2011

when an American RQ-170 Sentinel drone

quando um "drone" RQ-170 Sentinel norte-americano

got a bit confused over Iran due to a GPS spoofing attack,

ficou confuso, ao sobrevoar o Irão, devido a um ataque ao GPS,

but any remotely-piloted drone is susceptible to this type of attack,

mas qualquer "drone" pilotado por controlo remoto

está sujeito a este tipo de ataque,

and that means drones

e isso significa que os "drones"

will have to shoulder more decision-making.

vão ter de assumir mais tomadas de decisão.

They'll know their mission objective,

Vão saber o objectivo da sua missão,

and they'll react to new circumstances without human guidance.

e vão reagir a novas circunstâncias sem orientação humana.

They'll ignore external radio signals

Vão ignorar sinais de rádio externos

and send very few of their own.

e vão enviar muito poucos.

Which brings us to, really, the third

O que nos leva ao terceiro e mais poderoso incentivo

and most powerful incentive pushing decision-making

que força a passagem da tomada de decisões

away from humans and onto weapons:

dos seres humanos para as armas:

plausible deniability.

a negação plausível.

Now we live in a global economy.

Vivemos numa economia global.

High-tech manufacturing is occurring on most continents.

Produz-se alta tecnologia na maioria dos continentes.

Cyber espionage is spiriting away advanced designs

A espionagem cibernética está a avançar

to parts unknown,

para áreas desconhecidas.

and in that environment, it is very likely

Neste ambiente é muito provável

that a successful drone design will be knocked off in contract factories,

que o projecto de um "drone" seja copiado e fabricado em fábricas contratadas

proliferate in the gray market.

e prolifere no mercado negro.

And in that situation, sifting through the wreckage

Nessa situação, mesmo analisando os destroços

of a suicide drone attack, it will be very difficult to say

de um ataque suicida de um "drone"

vai ser muito difícil dizer quem enviou aquela arma.

who sent that weapon.

This raises the very real possibility

Isso suscita a possibilidade, muito real

of anonymous war.

de guerra anónima.

This could tilt the geopolitical balance on its head,

Isso poderá desequilibrar o equilíbrio geopolítico

make it very difficult for a nation to turn its firepower

tornando muito difícil que uma nação use o seu poder de fogo

against an attacker, and that could shift the balance

contra um agressor.

Isso pode mudar o equilíbrio no século XXI, passando-se da defesa para a ofensiva.

in the 21st century away from defense and toward offense.

It could make military action a viable option

Pode tornar viável a opção da intervenção militar

not just for small nations,

não só para as pequenas nações

but criminal organizations, private enterprise,

mas também para organizações criminosas, empresas privadas

even powerful individuals.

e até para indivíduos poderosos.

It could create a landscape of rival warlords

Pode criar um cenário de senhores da guerra rivais

undermining rule of law and civil society.

a desestabilizar a força da lei e a sociedade civil.

Now if responsibility and transparency

Se a responsabilidade e a transparência

are two of the cornerstones of representative government,

são duas bases fundamentais de um governo representativo,

autonomous robotic weapons could undermine both.

as armas robóticas autónomas poderão subverter as duas coisas.

Now you might be thinking that

Podem pensar que

citizens of high-tech nations

os cidadãos de nações com alta tecnologia

would have the advantage in any robotic war,

terão vantagem em qualquer guerra robótica

that citizens of those nations would be less vulnerable,

que os cidadãos dessas nações estarão menos vulneráveis

particularly against developing nations.

particularmente contra nações em desenvolvimento.

But I think the truth is the exact opposite.

Mas penso que a verdade é exactamente o oposto.

I think citizens of high-tech societies

Penso que os cidadãos de sociedades com alta tecnologia

are more vulnerable to robotic weapons,

são mais vulneráveis a armas robóticas.

and the reason can be summed up in one word: data.

A razão para isso pode resumir-se numa palavra: dados.

Data powers high-tech societies.

Os dados dão poder às sociedades de alta tecnologia.

Cell phone geolocation, telecom metadata,

Geolocalização por telemóvel, metadados de telecomunicações,

social media, email, text, financial transaction data,

redes sociais, email, mensagens de texto, dados de transacções financeiras,

transportation data, it's a wealth of real-time data

dados de transportes, há uma riqueza de dados em tempo real

on the movements and social interactions of people.

sobre os movimentos e interacções sociais das pessoas.

In short, we are more visible to machines

Em poucas palavras, somos mais visíveis para as máquinas

than any people in history,

do que qualquer outro povo na História.

and this perfectly suits the targeting needs of autonomous weapons.

Isso encaixa perfeitamente nas necessidades de alvos das armas autónomas.

What you're looking at here

O que veem aqui

is a link analysis map of a social group.

é um mapa de análise de um grupo social.

Lines indicate social connectedness between individuals.

As linhas indicam ligações sociais entre indivíduos.

And these types of maps can be automatically generated

Estes mapas podem ser criados automaticamente

based on the data trail modern people leave behind.

a partir do rasto de dados que as pessoas modernas deixam.

Now it's typically used to market goods and services

É usado hoje para comercializar bens e serviços

to targeted demographics, but it's a dual-use technology,

dirigidos a perfis demográficos alvo, mas é uma tecnologia com dois usos,

because targeting is used in another context.

porque a criação de alvos é usada noutro contexto.

Notice that certain individuals are highlighted.

Reparem que certos indivíduos estão destacados.

These are the hubs of social networks.

Estes são os centros das redes sociais.

These are organizers, opinion-makers, leaders,

São os organizadores, os formadores de opinião, os líderes.

and these people also can be automatically identified

Estas pessoas também podem ser automaticamente identificadas

from their communication patterns.

através dos seus padrões de comunicação.

Now, if you're a marketer, you might then target them

Se formos vendedores, podemos enviar-lhes

with product samples, try to spread your brand

amostras de produtos, tentar espalhar a nossa marca

through their social group.

no grupo social deles.

But if you're a repressive government

Mas se for um governo repressivo

searching for political enemies, you might instead remove them,

à procura de inimigos políticos, pode, em vez disso, removê-los,

eliminate them, disrupt their social group,

eliminá-los, destruir o seu grupo social.

and those who remain behind lose social cohesion

Os que ficarem para trás perdem a coerência social

and organization.

e organização.

Now in a world of cheap, proliferating robotic weapons,

Num mundo de proliferação de armas robóticas baratas,

borders would offer very little protection

as fronteiras oferecerão muito pouca protecção

to critics of distant governments

a críticos de governos distantes

or trans-national criminal organizations.

ou de organizações criminais transnacionais.

Popular movements agitating for change

Os movimentos populares que reivindicam mudanças

could be detected early and their leaders eliminated

podem ser detectados cedo e os seus líderes eliminados

before their ideas achieve critical mass.

antes que as suas ideias se propaguem às massas.

And ideas achieving critical mass

E as ideias a propagar para atingirem as massas

is what political activism in popular government is all about.

são a base do activismo politico num governo popular.

Anonymous lethal weapons could make lethal action

As armas letais anónimas podem fazer com que a acção letal

an easy choice for all sorts of competing interests.

seja uma escolha fácil para todo o tipo de interesses em competição.

And this would put a chill on free speech

Isto limitará a liberdade de expressão

and popular political action, the very heart of democracy.

e a acção política popular, o coração da democracia.

And this is why we need an international treaty

É por isso que precisamos de um acordo internacional sobre armas robóticas

on robotic weapons, and in particular a global ban

e, em especial, uma proibição global

on the development and deployment of killer robots.

para o desenvolvimento e uso no campo de robôs assassinos.

Now we already have international treaties

Já temos tratados internacionais

on nuclear and biological weapons, and, while imperfect,

sobre armas nucleares e biológicas que, apesar de imperfeitos,

these have largely worked.

têm funcionado bem.

But robotic weapons might be every bit as dangerous,

Mas as armas robóticas podem ser muito perigosas

because they will almost certainly be used,

porque quase certamente irão ser usadas

and they would also be corrosive to our democratic institutions.

e também serão corrosivas para as nossas instituições democráticas.

Now in November 2012 the U.S. Department of Defense

Em novembro de 2012 o Departamento de Defesa dos EUA

issued a directive requiring

emitiu uma directiva que requeria

a human being be present in all lethal decisions.

um ser humano presente em todas as tomadas de decisão letais.

This temporarily effectively banned autonomous weapons in the U.S. military,

Isto baniu, temporariamente, de forma eficaz,

as armas autónomas nas forças armadas dos EUA

but that directive needs to be made permanent.

mas é preciso que essa directiva passe a ser permanente.

And it could set the stage for global action.

E podia servir de exemplo para uma acção mundial.

Because we need an international legal framework

Porque precisamos de um enquadramento legal internacional

for robotic weapons.

para as armas robóticas.

And we need it now, before there's a devastating attack

Precisamos disso já, antes que haja um ataque devastador

or a terrorist incident that causes nations of the world

ou um incidente terrorista que faça com que as nações em todo o mundo

to rush to adopt these weapons

adotem estas armas à pressa

before thinking through the consequences.

antes de pensarem nas consequências.

Autonomous robotic weapons concentrate too much power

As armas robóticas autónomas concentram demasiado poder em poucas mãos,

in too few hands, and they would imperil democracy itself.

e colocarão em perigo a democracia.

Now, don't get me wrong, I think there are tons

Não me interpretem mal, acredito que existem

of great uses for unarmed civilian drones:

muitos usos óptimos para "drones" civis sem armas:

environmental monitoring, search and rescue, logistics.

monitorização ambiental, procura e salvamento, logística.

If we have an international treaty on robotic weapons,

Se tivermos um tratado internacional sobre armas robóticas,

how do we gain the benefits of autonomous drones

como é que obtemos os benefícios de "drones" e veículos autónomos

and vehicles while still protecting ourselves

enquanto nos protegemos das armas robóticas ilegais?

against illegal robotic weapons?

I think the secret will be transparency.

Acho que o segredo será a transparência.

No robot should have an expectation of privacy

Nenhum robô deveria ter uma expectativa de privacidade

in a public place.

num local público.

(Applause)

(Aplausos)

Each robot and drone should have

Cada robô e "drone" devia ter um B.I.

a cryptographically signed I.D. burned in at the factory

atribuído de maneira críptica na fábrica

that can be used to track its movement through public spaces.

que possa ser usado para seguir os seus movimentos em zonas públicas.

We have license plates on cars, tail numbers on aircraft.

Temos matrículas nos carros, números de série nos aviões.

This is no different.

Isto não é diferente.

And every citizen should be able to download an app

Todos os cidadãos deviam poder usar uma aplicação

that shows the population of drones and autonomous vehicles

que mostre a população de "drones" e de veículos autónomos

moving through public spaces around them,

a mover-se pelas zonas públicas à sua volta

both right now and historically.

tanto agora como no passado.

And civic leaders should deploy sensors and civic drones

E líderes cívicos deveriam implementar sensores e "drones" civis

to detect rogue drones,

para detectar "drones" não autorizados

and instead of sending killer drones of their own up to shoot them down,

e em vez de enviar os seus "drones" assassinos para os abater

they should notify humans to their presence.

deviam notificar as pessoas quanto à sua presença.

And in certain very high-security areas,

E em certas áreas de alta segurança

perhaps civic drones would snare them

talvez os "drones" civis fossem capturá-los

and drag them off to a bomb disposal facility.

e levá-los para uma instalação de neutralização de bombas.

But notice, this is more an immune system

Mas notem, isto é mais um sistema imunitário

than a weapons system.

do que um sistema de armas.

It would allow us to avail ourselves of the use

Permitir-nos-ia o uso de veículos autónomos e de "drones"

of autonomous vehicles and drones

while still preserving our open, civil society.

e, ao mesmo tempo, preservar a nossa sociedade aberta e civil.

We must ban the deployment and development

Temos de banir o uso e desenvolvimento de robôs assassinos.

of killer robots.

Let's not succumb to the temptation to automate war.

Não podemos cair na tentação de automatizar a guerra.

Autocratic governments and criminal organizations

Os governos autocráticos e as organizações criminosas

undoubtedly will, but let's not join them.

fá-lo-ão, sem dúvida, mas não nos juntaremos a eles.

Autonomous robotic weapons

As armas robóticas autónomas

would concentrate too much power

irão concentrar demasiado poder

in too few unseen hands,

em poucas mãos invisíveis

and that would be corrosive to representative government.

e isso será corrosivo para um governo representativo.

Let's make sure, for democracies at least,

Vamos garantir que, pelo menos para as democracias,

killer robots remain fiction.

os robôs assassinos continuem a ser ficção.

Thank you.

Obrigado.

(Applause)

(Aplausos)

Thank you. (Applause)