Daniel Suarez: The kill decision shouldn't belong to a robot

Дэниэл Суарес: Смертный приговор не должен выноситься роботами

Translator: Joseph Geni Reviewer: Morton Bast

Переводчик: Anastasia Yastrebtseva Редактор: Anastasia Johnston

I write fiction sci-fi thrillers,

Я пишу научно-фантастические триллеры,

so if I say "killer robots,"

поэтому когда я говорю о «роботах-убийцах»,

you'd probably think something like this.

вам, вероятно, представляется что-то вот в таком роде.

But I'm actually not here to talk about fiction.

Но сегодня речь пойдёт не о фантастике.

I'm here to talk about very real killer robots,

Я хочу рассказать о вполне реальных роботах-убийцах:

autonomous combat drones.

беспилотных боевых самолётах.

Now, I'm not referring to Predator and Reaper drones,

Не о дронах типа «Predator» или «Reaper»,

which have a human making targeting decisions.

где наведение на цель контролируется человеком,

I'm talking about fully autonomous robotic weapons

а о полностью автономном роботизированном оружии,

that make lethal decisions about human beings

самостоятельно принимающем смертоносные решения

all on their own.

в отношении людей.

There's actually a technical term for this: lethal autonomy.

Для этого даже есть специальный термин: смертельная автономия.

Now, lethally autonomous killer robots

Смертельно автономные роботы-убийцы

would take many forms -- flying, driving,

могут управлять самолётами, водить автомобили

or just lying in wait.

или просто сидеть в засаде.

And actually, they're very quickly becoming a reality.

Они стремительно входят в нашу действительность.

These are two automatic sniper stations

Перед вами две автоматические снайперские установки,

currently deployed in the DMZ between North and South Korea.

установленные в демилитаризованной зоне между Северной и Южной Кореей.

Both of these machines are capable of automatically

Обе эти машины способны автоматически определять

identifying a human target and firing on it,

человеческую цель и открывать по ней огонь.

the one on the left at a distance of over a kilometer.

Радиус действия левой установки составляет более километра.

Now, in both cases, there's still a human in the loop

Здесь в обоих случаях всё ещё задействован человек,

to make that lethal firing decision,

принимающий решение о стрельбе на поражение,

but it's not a technological requirement. It's a choice.

но это не часть технической спецификации. Это выбор.

And it's that choice that I want to focus on,

И я хочу сегодня поговорить об этом выборе,

because as we migrate lethal decision-making

потому что чем чаще мы передаём принятие

from humans to software,

смертоносных решений от человека к компьютерной программе,

we risk not only taking the humanity out of war,

тем больше мы рискуем не только лишить войну человеческого лица,

but also changing our social landscape entirely,

но и полностью изменить социальную картину мира.

far from the battlefield.

Того мира, что находится вдали от поля боя.

That's because the way humans resolve conflict

Потому что методы разрешения конфликтов

shapes our social landscape.

формируют социальную картину мира.

And this has always been the case, throughout history.

И так было в истории всегда.

For example, these were state-of-the-art weapons systems

Например, вот так выглядели самые совершенные

in 1400 A.D.

виды оружия в 1400 году нашей эры.

Now they were both very expensive to build and maintain,

Они были очень дорогостоящи в производстве и обслуживании,

but with these you could dominate the populace,

но с их помощью было легко управлять массами,

and the distribution of political power in feudal society reflected that.

и расклад политических сил в феодальном обществе — лучшее тому доказательство.

Power was focused at the very top.

Власть была сосредоточена у самой верхушки.

And what changed? Technological innovation.

Что же изменилось? Появились новые технологии.

Gunpowder, cannon.

Порох, пушки.

And pretty soon, armor and castles were obsolete,

Доспехи и замки быстро устарели,

and it mattered less who you brought to the battlefield

и стало уже не так важно, кто пришёл сражаться на твоей стороне,

versus how many people you brought to the battlefield.

а важно, сколько человек вышло на поле сражения.

And as armies grew in size, the nation-state arose

Численность армий росла, и возникло понятие государства-нации,

as a political and logistical requirement of defense.

как необходимой политической и тыловой оборонной составляющей.

And as leaders had to rely on more of their populace,

И поскольку главам государств всё больше приходилось

they began to share power.

полагаться на свой народ, они стали делиться властью.

Representative government began to form.

Появилось понятие представительного правления.

So again, the tools we use to resolve conflict

Таким образом, методы разрешения конфликтов

shape our social landscape.

формируют социальную картину нашего мира.

Autonomous robotic weapons are such a tool,

Автономное роботизированное оружие — один из таких методов.

except that, by requiring very few people to go to war,

Но есть одно «но». Для его использования не нужно много военных,

they risk re-centralizing power into very few hands,

а значит есть риск снова сосредоточить власть в руках немногих,

possibly reversing a five-century trend toward democracy.

повернув тем самым вспять пять веков движения к демократии.

Now, I think, knowing this,

Если мы отдадим себе в этом отчёт, мы сможем предпринять

we can take decisive steps to preserve our democratic institutions,

решительные действия по защите наших демократических ценностей

to do what humans do best, which is adapt.

и адаптироваться, что у людей всегда получалось очень хорошо.

But time is a factor.

Но у нас не так много времени.

Seventy nations are developing remotely-piloted

Сегодня 70 государств занимаются разработкой собственных

combat drones of their own,

дистанционно-пилотируемых боевых дронов.

and as you'll see, remotely-piloted combat drones

Такие дистанционно-пилотируемые боевые дроны —

are the precursors to autonomous robotic weapons.

предвестники автономного роботизированного оружия.

That's because once you've deployed remotely-piloted drones,

Как только эти дроны вступают в строй,

there are three powerful factors pushing decision-making

появляется три серьёзных основания передать принятие решений

away from humans and on to the weapon platform itself.

от человека непосредственно на оружейную платформу.

The first of these is the deluge of video that drones produce.

Во-первых, поток видеоинформации, производимой дронами.

For example, in 2004, the U.S. drone fleet produced

В 2004 году, например, весь парк американских дронов собрал

a grand total of 71 hours of video surveillance for analysis.

в общей сложности 71 час видеонаблюдений для анализа.

By 2011, this had gone up to 300,000 hours,

К 2011 году это число выросло до 300 000 часов.

outstripping human ability to review it all,

Обработать столько информации людям не под силу.

but even that number is about to go up drastically.

Но и это число кардинально вырастет в ближайшее время.

The Pentagon's Gorgon Stare and Argus programs

Такие программы Пентагона, как «Взгляд Горгоны» и «Аргус»,

will put up to 65 independently operated camera eyes

нацелены на установку на каждом дроне

on each drone platform,

до 65 независимо работающих видеокамер.

and this would vastly outstrip human ability to review it.

Людям не под силу будет обработать столько видеоданных.

And that means visual intelligence software will need

Понадобится программное обеспечение видеоразведки

to scan it for items of interest.

для отслеживания интересующей информации.

And that means very soon

А значит, что очень скоро дроны начнут

drones will tell humans what to look at,

указывать людям, на что обращать внимание,

not the other way around.

а не наоборот.

But there's a second powerful incentive pushing

Но есть и вторая серьёзная причина для передачи

decision-making away from humans and onto machines,

принятия решений от человека к машине.

and that's electromagnetic jamming,

Она связана с электромагнитными помехами,

severing the connection between the drone

которые обрывают связь между дроном

and its operator.

и его оператором.

Now we saw an example of this in 2011

Мы видели пример тому в 2011 году,

when an American RQ-170 Sentinel drone

когда американский дрон «RQ-170 Sentinel» растерялся

got a bit confused over Iran due to a GPS spoofing attack,

в иранском воздушном пространстве из-за спуфинг-атаки на GPS.

but any remotely-piloted drone is susceptible to this type of attack,

Любой дистанционно-управляемый дрон может быть подвержен

and that means drones

атакам подобного типа, а значит дроны должны будут

will have to shoulder more decision-making.

брать на себя больше работы по принятию решений.

They'll know their mission objective,

Понимая стоящую перед ними задачу, они должны будут

and they'll react to new circumstances without human guidance.

реагировать на изменившуюся ситуацию без участия человека.

They'll ignore external radio signals

Они должны будут игнорировать внешние радиосигналы

and send very few of their own.

и посылать минимальное количество собственных сигналов.

Which brings us to, really, the third

Что приводит нас к третьей, самой серьёзной причине

and most powerful incentive pushing decision-making

для передачи принятия решений

away from humans and onto weapons:

от человека к оружию:

plausible deniability.

убедительное отрицание.

Now we live in a global economy.

Мы сегодня живём в условиях мировой экономики.

High-tech manufacturing is occurring on most continents.

Производства на основе высоких технологий развиты на большинстве континентов.

Cyber espionage is spiriting away advanced designs

При помощи кибершпионажа самые новейшие разработки

to parts unknown,

исчезают в никуда,

and in that environment, it is very likely

и с таким положением дел очень может оказаться,

that a successful drone design will be knocked off in contract factories,

что украденный удачный дизайн дрона, сделанного на подпольной фабрике,

proliferate in the gray market.

заполонит серый рынок.

And in that situation, sifting through the wreckage

И в таком случае, разбирая завалы,

of a suicide drone attack, it will be very difficult to say

оставленные после атаки дрона-самоубийцы,

who sent that weapon.

трудно будет сказать, кем он был послан.

This raises the very real possibility

Тут возникает реальная угроза

of anonymous war.

анонимной войны.

This could tilt the geopolitical balance on its head,

Это может перевернуть геополитический баланс с ног на голову,

make it very difficult for a nation to turn its firepower

усложнить государствам открытие ответного огня против агрессора,

against an attacker, and that could shift the balance

и в 21-ом веке сместить баланс

in the 21st century away from defense and toward offense.

от обороны в сторону нападения.

It could make military action a viable option

Таким образом, война становится доступной

not just for small nations,

не только для небольших государств,

but criminal organizations, private enterprise,

но и для криминальных структур, частных предпринимателей,

even powerful individuals.

или для просто очень влиятельных людей.

It could create a landscape of rival warlords

Такая ситуация может открыть дорогу воинствующим боевикам,

undermining rule of law and civil society.

подрывающим устои закона и гражданского общества.

Now if responsibility and transparency

Сознание ответственности и открытость —

are two of the cornerstones of representative government,

два краеугольных камня представительного правления.

autonomous robotic weapons could undermine both.

Но оба могут быть подорваны с появлением автономного роботизированного оружия.

Now you might be thinking that

Вам может показаться, что жители стран

citizens of high-tech nations

с хорошо развитой индустрией высоких технологий

would have the advantage in any robotic war,

будут иметь преимущество в роботизированной войне,

that citizens of those nations would be less vulnerable,

что они будут менее уязвимы,

particularly against developing nations.

особенно по сравнению с развивающимися странами.

But I think the truth is the exact opposite.

Но мне кажется, что справедливо как раз обратное.

I think citizens of high-tech societies

Общества с наиболее развитыми высокими технологиями

are more vulnerable to robotic weapons,

и являются наиболее уязвимыми для роботизированного оружия.

and the reason can be summed up in one word: data.

Причину можно суммировать один словом: информация.

Data powers high-tech societies.

Информация — двигатель любого высокотехнологичного общества.

Cell phone geolocation, telecom metadata,

Мобильные службы геолокации, метаданные операторов связи,

social media, email, text, financial transaction data,

социальные сети, электронная почта, текстовые сообщения,

transportation data, it's a wealth of real-time data

данные о финансовых операциях и перевозках — изобилие информации

on the movements and social interactions of people.

о взаимодействии и перемещении людей в реальном времени.

In short, we are more visible to machines

Сегодня машины знают про нас всё.

than any people in history,

Значительно больше, чем когда-либо в истории человечества.

and this perfectly suits the targeting needs of autonomous weapons.

И это идеально отвечает прицельным нуждам автономного оружия.

What you're looking at here

Перед вами графический анализ связей

is a link analysis map of a social group.

некой социальной группы людей.

Lines indicate social connectedness between individuals.

Линии обозначают социальные связи между людьми.

And these types of maps can be automatically generated

Такие графики можно автоматически построить,

based on the data trail modern people leave behind.

используя информационный след, оставляемый современными людьми.

Now it's typically used to market goods and services

Обычно эти данные используются для продажи товаров и услуг

to targeted demographics, but it's a dual-use technology,

целевой аудитории, но это технология двойного назначения,

because targeting is used in another context.

потому что существует и другое определение цели.

Notice that certain individuals are highlighted.

Обратите внимание, что некоторые точки выделены на графике.

These are the hubs of social networks.

Эти люди — центры своих социальных сетей.

These are organizers, opinion-makers, leaders,

Эти люди — организаторы, лидеры общественного мнения.

and these people also can be automatically identified

Их можно автоматически выделить

from their communication patterns.

по их манере общения.

Now, if you're a marketer, you might then target them

Если вы маркетолог, вы будете стараться привлечь их внимание,

with product samples, try to spread your brand

давая им образцы вашей продукции и тем самым продвигая

through their social group.

ваш бренд внутри их социальной группы.

But if you're a repressive government

Но если вы — репрессивный режим, занятый поиском

searching for political enemies, you might instead remove them,

политических врагов, вы будете заинтересованы в том,

eliminate them, disrupt their social group,

чтобы убрать их, избавиться от них, нарушить их социальную группировку,

and those who remain behind lose social cohesion

таким образом, что оставшиеся члены группы

and organization.

потеряют единство и организацию.

Now in a world of cheap, proliferating robotic weapons,

В мире, где дешёвое роботизированное оружие

borders would offer very little protection

будет широко распространено, границы не смогут защитить

to critics of distant governments

критиков удалённых правительств

or trans-national criminal organizations.

или транснациональных преступных организаций.

Popular movements agitating for change

Народные движения, требующие перемен,

could be detected early and their leaders eliminated

можно будет подавить на ранних стадиях, избавиться от их лидеров,

before their ideas achieve critical mass.

прежде чем их идеи достигнут критической массы.

And ideas achieving critical mass

Достижение идеями критической массы —

is what political activism in popular government is all about.

основная цель любого политического движения в демократическом обществе.

Anonymous lethal weapons could make lethal action

Анонимное смертоносное оружие может облегчить выбор в пользу смертоносной силы

an easy choice for all sorts of competing interests.

самыми разными соперничающими группировками.

And this would put a chill on free speech

А это заморозит свободу слова и гражданскую

and popular political action, the very heart of democracy.

политическую активность — самое сердце демократии.

And this is why we need an international treaty

Именно поэтому нам необходимо международное законодательство

on robotic weapons, and in particular a global ban

о применении роботизированного оружия, а также

on the development and deployment of killer robots.

повсеместный запрет на производство и распространение роботов-убийц.

Now we already have international treaties

У нас уже есть международные договоры об использовании

on nuclear and biological weapons, and, while imperfect,

ядерного и биологического оружия. Они могут быть несовершенны,

these have largely worked.

но они в большинстве своём работают.

But robotic weapons might be every bit as dangerous,

Роботизированное оружие настолько же опасно,

because they will almost certainly be used,

потому что его будут использовать,

and they would also be corrosive to our democratic institutions.

и последствия будут разрушительны для наших демократических устоев.

Now in November 2012 the U.S. Department of Defense

В ноябре 2012 года министерство обороны США

issued a directive requiring

выпустило распоряжение, требующее

a human being be present in all lethal decisions.

обязательного присутствия человека при принятии любых смертоносных решений.

This temporarily effectively banned autonomous weapons in the U.S. military,

Этот указ ввёл временный запрет на использование автономного оружия вооружёнными силами США,

but that directive needs to be made permanent.

но запрет этот должен стать постоянным.

And it could set the stage for global action.

И он должен послужить толчком для действий на международной арене.

Because we need an international legal framework

Потому что нам необходим международный свод законов

for robotic weapons.

об использовании роботизированного оружия.

And we need it now, before there's a devastating attack

И эти законы нужны уже сейчас, не дожидаясь пока на нас нападут

or a terrorist incident that causes nations of the world

или пока очередная угроза терроризма не заставит государства во всём мире

to rush to adopt these weapons

в спешном порядке внедрять это оружие,

before thinking through the consequences.

не задумываясь о последствиях.

Autonomous robotic weapons concentrate too much power

Автономное роботизированное оружие сосредоточивает слишком большую власть

in too few hands, and they would imperil democracy itself.

в руках немногих и угрожает демократии.

Now, don't get me wrong, I think there are tons

Не поймите меня неправильно: я считаю, что есть много

of great uses for unarmed civilian drones:

замечательных примеров использования гражданских невооружённых дронов.

environmental monitoring, search and rescue, logistics.

Охрана окружающей среды, поисково-спасательные работы, транспортировка и снабжение.

If we have an international treaty on robotic weapons,

При наличии международного законодательства об использовании

how do we gain the benefits of autonomous drones

роботизированного оружия, как мы можем воспользоваться преимуществами

and vehicles while still protecting ourselves

беспилотных дронов и автомобилей, и в то же время

against illegal robotic weapons?

защитить себя от нелегального роботизированного оружия?

I think the secret will be transparency.

Я считаю, что нам поможет политика открытости.

No robot should have an expectation of privacy

У робота не может быть права на секреты

in a public place.

в общественном месте.

(Applause)

(Аплодисменты)

Each robot and drone should have

У каждого робота или дрона должна быть шифрованная маркировка,

a cryptographically signed I.D. burned in at the factory

поставленная на заводе, которую можно будет использовать

that can be used to track its movement through public spaces.

для отслеживания его передвижений в общественных местах.

We have license plates on cars, tail numbers on aircraft.

У наших машин и самолётов есть номерные знаки.

This is no different.

Здесь должно быть то же самое.

And every citizen should be able to download an app

И любой человек должен иметь доступ к приложению,

that shows the population of drones and autonomous vehicles

которое бы показывало ему все дроны и беспилотные автомобили

moving through public spaces around them,

и их местоположение и траекторию движения в общественных местах

both right now and historically.

в реальном времени или в прошлом.

And civic leaders should deploy sensors and civic drones

Общественные деятели должны установить сенсорные датчики

to detect rogue drones,

и иметь в распоряжении гражданские дроны для отслеживания неисправных машин,

and instead of sending killer drones of their own up to shoot them down,

но не посылать при этом свои дроны, чтобы их уничтожить,

they should notify humans to their presence.

а вместо этого предупреждать людей об их присутствии.

And in certain very high-security areas,

И только в зонах повышенной безопасности

perhaps civic drones would snare them

возможно гражданские дроны будут ловить такие машины

and drag them off to a bomb disposal facility.

и отвозить их на свалки оружия для захоронения.

But notice, this is more an immune system

Обратите внимание, что это больше похоже на иммунную систему,

than a weapons system.

чем на систему вооружений.

It would allow us to avail ourselves of the use

Это позволит нам извлекать выгоду из использования

of autonomous vehicles and drones

беспилотных машин и дронов,

while still preserving our open, civil society.

при этом сохраняя наше открытое гражданское общество.

We must ban the deployment and development

Мы должны запретить производство и распространение

of killer robots.

роботов-убийц.

Let's not succumb to the temptation to automate war.

Давайте не будем поддаваться соблазну автоматизировать военные действия.

Autocratic governments and criminal organizations

Вне всякого сомнения, что диктатуры и криминальные структуры

undoubtedly will, but let's not join them.

этим воспользуются, но давайте не будем им уподобляться.

Autonomous robotic weapons

Автономное роботизированное оружие

would concentrate too much power

сосредоточит слишком много власти

in too few unseen hands,

в невидимых руках немногих,

and that would be corrosive to representative government.

что будет разрушительно для представительного правления.

Let's make sure, for democracies at least,

Давайте же постараемся, чтобы по крайней мере в демократическом обществе

killer robots remain fiction.

роботы-убийцы оставались только на страницах книг.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)

Thank you. (Applause)

Спасибо. (Аплодисменты)