Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez: A decisão de matar não deve ser de um robô

Translator: Joseph Geni Reviewer: Morton Bast

Tradutor: Isabel Villan Revisor: Diogo Germano

I write fiction sci-fi thrillers,

Escrevo livros de suspense e ficção científica,

so if I say "killer robots,"

portanto, se eu disser "robôs assassinos",

you'd probably think something like this.

você provavelmente pensa em algo assim.

But I'm actually not here to talk about fiction.

Mas, na verdade, não estou aqui para falar de ficção.

I'm here to talk about very real killer robots,

Estou aqui para falar sobre robôs assassinos muito reais,

autonomous combat drones.

drones de combate autônomos.

Now, I'm not referring to Predator and Reaper drones,

Não me refiro aos drones Predator e Reaper,

which have a human making targeting decisions.

que têm um humano tomando decisões sobre o alvo.

I'm talking about fully autonomous robotic weapons

Estou falando de armas robóticas completamente autônomas

that make lethal decisions about human beings

que tomam decisões letais sobre seres humanos

all on their own.

por si mesmas.

There's actually a technical term for this: lethal autonomy.

Há na verdade um termo técnico para isso: autonomia letal.

Now, lethally autonomous killer robots

Bem, robôs assassinos com autonomia letal

would take many forms -- flying, driving,

tomariam muitas formas -- voar, dirigir

or just lying in wait.

ou apenas ficar à espreita.

And actually, they're very quickly becoming a reality.

E, na verdade, eles estão se tornando realidade muito rapidamente.

These are two automatic sniper stations

Estas são duas estações automáticas de tiro

currently deployed in the DMZ between North and South Korea.

atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.

Both of these machines are capable of automatically

Essas duas máquinas são capazes de automaticamente

identifying a human target and firing on it,

identificar um alvo humano e atirar nele,

the one on the left at a distance of over a kilometer.

aquela, à esquerda, a uma distância de mais de um quilômetro.

Now, in both cases, there's still a human in the loop

Agora, em ambos os casos, ainda há um humano no circuito

to make that lethal firing decision,

para tomar a decisão letal de atirar,

but it's not a technological requirement. It's a choice.

mas isso não é um requisito tecnológico. É uma escolha.

And it's that choice that I want to focus on,

E é nessa escolha em que quero focar,

because as we migrate lethal decision-making

porque, à medida que transferimos a decisão letal

from humans to software,

dos humanos para um programa de computador,

we risk not only taking the humanity out of war,

colocamos em risco não só tirar a humanidade da guerra,

but also changing our social landscape entirely,

mas também alterar nossa paisagem social inteiramente,

far from the battlefield.

longe do campo de batalha.

That's because the way humans resolve conflict

Isso ocorre porque a maneira como os humanos resolvem conflitos

shapes our social landscape.

dá forma à nossa paisagem social.

And this has always been the case, throughout history.

E o caso foi sempre esse, através da história.

For example, these were state-of-the-art weapons systems

Por exemplo, estes eram sistemas de armamento de primeira linha

in 1400 A.D.

em 1400 d.C.

Now they were both very expensive to build and maintain,

Agora, eles eram muito caros para construir e manter,

but with these you could dominate the populace,

mas com eles você poderia dominar a população,

and the distribution of political power in feudal society reflected that.

e a distribuição do poder político na sociedade feudal refletiu isso.

Power was focused at the very top.

O poder estava focado bem no topo.

And what changed? Technological innovation.

E o que mudou? Inovação tecnológica.

Gunpowder, cannon.

Pólvora, canhões.

And pretty soon, armor and castles were obsolete,

Logo armaduras e castelos estavam obsoletos,

and it mattered less who you brought to the battlefield

e importava menos quem você trazia para o campo de batalha

versus how many people you brought to the battlefield.

do que quantas pessoas você trazia para o campo de batalha.

And as armies grew in size, the nation-state arose

E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado

as a political and logistical requirement of defense.

como um requisito político e logístico de defesa .

And as leaders had to rely on more of their populace,

E, à medida que os líderes tiveram que confiar em uma parcela maior da população,

they began to share power.

eles começaram a compartilhar o poder.

Representative government began to form.

O governo representativo começou a se formar.

So again, the tools we use to resolve conflict

Outra vez, as ferramentas que usamos para resolver conflitos

shape our social landscape.

dão forma à nossa paisagem social.

Autonomous robotic weapons are such a tool,

Armas robóticas autônomas são ferramentas,

except that, by requiring very few people to go to war,

apesar de que, ao exigirem poucas pessoas numa guerra,

they risk re-centralizing power into very few hands,

colocam em risco 'recentralizar' o poder em muito poucas mãos,

possibly reversing a five-century trend toward democracy.

possivelmente revertendo uma tendência de cinco séculos em direção à democracia.

Now, I think, knowing this,

Agora, penso que, conhecendo isto,

we can take decisive steps to preserve our democratic institutions,

podemos dar passos decisivos para preservar nossas instituições democráticas,

to do what humans do best, which is adapt.

fazendo o que os humanos fazem melhor, que é adaptar-se.

But time is a factor.

Mas o tempo é um fator.

Seventy nations are developing remotely-piloted

Setenta nações estão desenvolvendo, por conta própria,

combat drones of their own,

drones de combate pilotados remotamente,

and as you'll see, remotely-piloted combat drones

e, como vocês verão, drones de combate pilotados remotamente

are the precursors to autonomous robotic weapons.

são os precursores das armas robóticas autônomas.

That's because once you've deployed remotely-piloted drones,

Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,

there are three powerful factors pushing decision-making

há três fatores poderosos agindo no sentido de que a tomada de decisão

away from humans and on to the weapon platform itself.

passe dos humanos para a própria plataforma de armas.

The first of these is the deluge of video that drones produce.

O primeiro deles é a inundação de vídeos que os drones produzem.

For example, in 2004, the U.S. drone fleet produced

Por exemplo, em 2004, a frota de drones dos E.U.A. produziu

a grand total of 71 hours of video surveillance for analysis.

um total de 71 horas de vídeos de vigilância para análise.

By 2011, this had gone up to 300,000 hours,

Em 2011, isso tinha aumentado para 300.000 horas,

outstripping human ability to review it all,

superando a capacidade humana de revisá-los todos,

but even that number is about to go up drastically.

mas mesmo esse número deve aumentar drasticamente.

The Pentagon's Gorgon Stare and Argus programs

Os programas Gorgon Stare e Argus do Pentagono,

will put up to 65 independently operated camera eyes

colocarão 65 câmeras operadas independentemente

on each drone platform,

em cada plataforma de drones,

and this would vastly outstrip human ability to review it.

e isto superará e muito a capacidade humana de revisá-las.

And that means visual intelligence software will need

Isso significa que software visual inteligente precisará

to scan it for items of interest.

verificá-las para itens de interesse.

And that means very soon

Isso significa que muito em breve

drones will tell humans what to look at,

os drones dirão aos humanos o que olhar,

not the other way around.

não o contrário.

But there's a second powerful incentive pushing

Mas há um segundo incentivo poderoso agindo para que

decision-making away from humans and onto machines,

a tomada de decisão passe dos humanos para as máquinas,

and that's electromagnetic jamming,

que é o congestionamento eletromagnético

severing the connection between the drone

interrompendo a conexão entre o drone

and its operator.

e seu operador.

Now we saw an example of this in 2011

Vimos um exemplo disso, em 2011,

when an American RQ-170 Sentinel drone

quando o drone Sentinel RQ-170

got a bit confused over Iran due to a GPS spoofing attack,

ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,

but any remotely-piloted drone is susceptible to this type of attack,

mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,

and that means drones

e isso significa que os drones

will have to shoulder more decision-making.

terão que ter maior poder de decisão.

They'll know their mission objective,

Eles conhecerão o objetivo da missão,

and they'll react to new circumstances without human guidance.

e reagirão a novas circunstâncias sem a supervisão humana.

They'll ignore external radio signals

Eles ignorarão sinais externos de rádio

and send very few of their own.

e enviarão muito poucos deles.

Which brings us to, really, the third

O que nos traz, de fato, ao terceiro

and most powerful incentive pushing decision-making

e mais poderoso incentivo para transferir a tomada de decisão

away from humans and onto weapons:

dos humanos para as máquinas:

plausible deniability.

negação plausível.

Now we live in a global economy.

Atualmente vivemos em uma economia global.

High-tech manufacturing is occurring on most continents.

A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.

Cyber espionage is spiriting away advanced designs

A espionagem cibernética está espalhando projetos avançados

to parts unknown,

para partes desconhecidas,

and in that environment, it is very likely

e, neste ambiente, é muito provável

that a successful drone design will be knocked off in contract factories,

que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,

proliferate in the gray market.

prolifere no mercado paralelo.

And in that situation, sifting through the wreckage

E, nessa situação, vasculhando os escombros

of a suicide drone attack, it will be very difficult to say

de um ataque sucida de drones, será muito difícil dizer

who sent that weapon.

quem enviou aquela arma.

This raises the very real possibility

Isto levanta a possibilidade muito realista

of anonymous war.

de guerra anônima.

This could tilt the geopolitical balance on its head,

Isso poderia inclinar o equilíbrio geopolítico no topo,

make it very difficult for a nation to turn its firepower

tornar muito difícil para uma nação mirar seu poder de fogo

against an attacker, and that could shift the balance

contra um atacante, e isso poderia alterar o equilíbrio,

in the 21st century away from defense and toward offense.

no século XXI, da defesa para a ofensa.

It could make military action a viable option

Poderia tornar a ação militar uma opção viável

not just for small nations,

não apenas para nações pequenas,

but criminal organizations, private enterprise,

mas também para organizações criminosas, empresas privadas,

even powerful individuals.

até mesmo para indivíduos poderosos.

It could create a landscape of rival warlords

Poderia criar uma paisagem de senhores da guerra rivais

undermining rule of law and civil society.

enfraquecendo a prevalência da lei e a sociedade civil.

Now if responsibility and transparency

Agora, se responsabilidade e transparência

are two of the cornerstones of representative government,

são as duas pedras fundamentais do governo representativo,

autonomous robotic weapons could undermine both.

armas robóticas autônomas poderiam enfraquecer ambas.

Now you might be thinking that

Bem, vocês podem estar pensando que

citizens of high-tech nations

cidadãos de nações com alta tecnologia

would have the advantage in any robotic war,

teriam uma vantagem em qualquer guerra robótica,

that citizens of those nations would be less vulnerable,

que cidadãos dessas nações seriam menos vulneráveis,

particularly against developing nations.

particularmente em relação a nações em desenvolvimento.

But I think the truth is the exact opposite.

Mas, penso que a verdade é exatamente o oposto.

I think citizens of high-tech societies

Penso que cidadãos de sociedades de alta tecnologia

are more vulnerable to robotic weapons,

são mais vulneráveis a armas robóticas,

and the reason can be summed up in one word: data.

e a razão pode ser resumida em uma palavra: informação.

Data powers high-tech societies.

A informação dá poder a sociedades de alta tecnologia.

Cell phone geolocation, telecom metadata,

Geolocalização por celular, metadados de telecomunicação,

social media, email, text, financial transaction data,

mídia social, email, mensagem de texto, dados de transações financeiras,

transportation data, it's a wealth of real-time data

dados de transportes, é uma riqueza de dados em tempo real

on the movements and social interactions of people.

dos movimentos e interações sociais das pessoas.

In short, we are more visible to machines

Em resumo, somos mais visíveis para as máquinas

than any people in history,

que qualquer outro povo na história,

and this perfectly suits the targeting needs of autonomous weapons.

e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.

What you're looking at here

O que estão vendo aqui

is a link analysis map of a social group.

é um mapa com a análise das ligações de um grupo social.

Lines indicate social connectedness between individuals.

As linhas indicam a conectividade social entre indivíduos.

And these types of maps can be automatically generated

E esses tipos de mapas podem ser gerados automaticamente

based on the data trail modern people leave behind.

baseados no rastro de dados que as pessoas modernas deixam para trás.

Now it's typically used to market goods and services

Agora, isso é tipicamente usado para propaganda de bens e serviços

to targeted demographics, but it's a dual-use technology,

para populações alvo, mas é uma tecnologia de uso duplo

because targeting is used in another context.

porque o alvo é usado em outro contexto.

Notice that certain individuals are highlighted.

Observe que certos indivíduos estão destacados.

These are the hubs of social networks.

Estes são os centros de redes sociais.

These are organizers, opinion-makers, leaders,

Eles são organizadores, formadores de opinião, líderes,

and these people also can be automatically identified

e essas pessoas também podem ser automaticamente identificadas

from their communication patterns.

pelos seus padrões de comunicação.

Now, if you're a marketer, you might then target them

Agora, se você é um marqueteiro, você pode atingi-las

with product samples, try to spread your brand

com amostras de produtos, tentar espalhar sua marca

through their social group.

através do grupo social deles.

But if you're a repressive government

Mas, se você é um governo repressor

searching for political enemies, you might instead remove them,

procurando inimigos políticos, você pode ao invés removê-los,

eliminate them, disrupt their social group,

eliminá-los, destruir o grupo social deles,

and those who remain behind lose social cohesion

e aqueles que restarem perdem a coesão social

and organization.

e a organização.

Now in a world of cheap, proliferating robotic weapons,

Agora, em um mundo onde proliferam armas robóticas baratas,

borders would offer very little protection

as fronteiras ofereceriam muito pouca proteção

to critics of distant governments

para críticos de governos distantes

or trans-national criminal organizations.

ou organizações criminosas transnacionais.

Popular movements agitating for change

Movimentos populares se agitando por mudança

could be detected early and their leaders eliminated

poderiam ser detectados logo, e seus líderes eliminados

before their ideas achieve critical mass.

antes que suas ideias atinjam massa crítica.

And ideas achieving critical mass

E ideias atingindo massa crítica

is what political activism in popular government is all about.

tem tudo a ver com ativismo político em governos populares.

Anonymous lethal weapons could make lethal action

Armas letais anônimas poderiam tornar a ação letal

an easy choice for all sorts of competing interests.

uma escolha fácil para todos os tipos de interesses concorrentes.

And this would put a chill on free speech

E isso congelaria o discurso livre

and popular political action, the very heart of democracy.

e a ação política popular, o próprio coração da democracia.

And this is why we need an international treaty

E é por isto que precisamos de um tratado internacional

on robotic weapons, and in particular a global ban

sobre armas robóticas, e, em particular, o banimento global

on the development and deployment of killer robots.

do desenvolvimento e implantação de robôs assassinos.

Now we already have international treaties

Agora, nós já temos tratados internacionais

on nuclear and biological weapons, and, while imperfect,

sobre armas nucleares e biológicas, e, ainda que imperfeitos,

these have largely worked.

eles têm funcionado amplamente.

But robotic weapons might be every bit as dangerous,

Mas as armas robóticas podem ser um pouco mais perigosas,

because they will almost certainly be used,

porque elas serão usadas quase que com certeza,

and they would also be corrosive to our democratic institutions.

e elas também seriam corrosivas para nossas instituições democráticas.

Now in November 2012 the U.S. Department of Defense

Agora, em novembro de 2012, o Departamento de Defesa dos EUA

issued a directive requiring

emitiu uma diretriz exigindo

a human being be present in all lethal decisions.

que um ser humano esteja presente em todas as decisões letais.

This temporarily effectively banned autonomous weapons in the U.S. military,

Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,

but that directive needs to be made permanent.

mas essa diretriz precisa tornar-se permanente.

And it could set the stage for global action.

E ela poderia preparar o palco para a ação global.

Because we need an international legal framework

Porque precisamos de uma estrutura legal internacional

for robotic weapons.

para armas robóticas.

And we need it now, before there's a devastating attack

E precisamos disto agora, antes que haja um ataque devastador

or a terrorist incident that causes nations of the world

ou um incidente terrorista que provoque uma corrida

to rush to adopt these weapons

entre as nações do mundo para adotar essas armas,

before thinking through the consequences.

antes de pensar nas consequências.

Autonomous robotic weapons concentrate too much power

Armas robóticas autônomas concentram poder demais

in too few hands, and they would imperil democracy itself.

em poucas mãos, e poderiam pôr em risco a própria democracia.

Now, don't get me wrong, I think there are tons

Agora, não me entendam mal, penso que há toneladas

of great uses for unarmed civilian drones:

de ótimos usos para drones civis desarmados:

environmental monitoring, search and rescue, logistics.

monitoramento ambiental, busca e resgate, logística.

If we have an international treaty on robotic weapons,

Se tivermos um tratado internacional sobre armas robóticas,

how do we gain the benefits of autonomous drones

como obtemos os benefícios de drones e veículos autônomos

and vehicles while still protecting ourselves

e ainda nos protegemos

against illegal robotic weapons?

contra armas robóticas ilegais?

I think the secret will be transparency.

Penso que o segredo será a transparência.

No robot should have an expectation of privacy

Nenhum robô deveria ter expectativa de privacidade

in a public place.

em local público.

(Applause)

(Aplausos)

Each robot and drone should have

Cada robô e drone deveriam ter

a cryptographically signed I.D. burned in at the factory

uma assinatura de identificação criptografada e marcada na fábrica

that can be used to track its movement through public spaces.

que pudesse ser usada para rastrear seus movimentos em espaços públicos.

We have license plates on cars, tail numbers on aircraft.

Temos placas em carros, números em aeronaves.

This is no different.

Isto não é diferente.

And every citizen should be able to download an app

E cada cidadão deveria ser capaz de baixar um aplicativo

that shows the population of drones and autonomous vehicles

que mostrasse a população de drones e veículos autônomos

moving through public spaces around them,

transitando em espaços públicos ao redor delas,

both right now and historically.

tanto naquele momento quanto o histórico dessa movimentação.

And civic leaders should deploy sensors and civic drones

E líderes civis deveriam instalar sensores e drones civis

to detect rogue drones,

para detectar drones intrusos,

and instead of sending killer drones of their own up to shoot them down,

que, em vez de enviar drones assassinos próprios para abatê-los,

they should notify humans to their presence.

deveriam notificar os humanos da presença deles.

And in certain very high-security areas,

E, em certas áreas de segurança máxima,

perhaps civic drones would snare them

talvez drones civis pudessem emboscá-los

and drag them off to a bomb disposal facility.

e arrastá-los para instalações de descarte de bombas.

But notice, this is more an immune system

Mas vejam, isto é mais um sistema imunológico

than a weapons system.

que um sistema de armamento.

It would allow us to avail ourselves of the use

Ele nos permitiria o benefício do uso

of autonomous vehicles and drones

de veículos autônomos e drones

while still preserving our open, civil society.

e ainda a preservação de nossa sociedade civil e aberta.

We must ban the deployment and development

Devemos banir a instalação e o desenvolvimento

of killer robots.

de robôs assassinos.

Let's not succumb to the temptation to automate war.

Não vamos sucumbir à tentação de automatizar a guerra.

Autocratic governments and criminal organizations

Governos autocráticos e organizações criminosas,

undoubtedly will, but let's not join them.

sem dúvida, vão, mas não vamos nos juntar a eles.

Autonomous robotic weapons

Armas robóticas autônomas

would concentrate too much power

concentrariam poder demais

in too few unseen hands,

em poucas mãos não vistas,

and that would be corrosive to representative government.

e isso seria corrosivo para o governo representativo.

Let's make sure, for democracies at least,

Vamos nos certificar, para democracias ao menos,

killer robots remain fiction.

de que robôs assassinos continuem sendo ficção.

Thank you.

Obrigado.

(Applause)

(Aplausos)

Thank you. (Applause)

Obrigado. (Aplausos)