Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

Перекладач: Iryna Druts Утверджено: Igor Korobko

I write fiction sci-fi thrillers,

Я пишу науково-фантастичні трилери,

so if I say "killer robots,"

тож коли я кажу “роботи-вбивці”,

you'd probably think something like this.

ви мабуть уявляєте щось таке.

But I'm actually not here to talk about fiction.

Та я тут не для того, щоб говорити про фантастику.

I'm here to talk about very real killer robots,

Я тут, щоб розповісти вам про справжніх роботів-убивць,

autonomous combat drones.

автономних бойових дронів.

Now, I'm not referring to Predator and Reaper drones,

Я не маю на увазі безпілотних літаків типу Predator [Хижак] чи Reaper [Жатка],

which have a human making targeting decisions.

де наведення на ціль здійснює людина.

I'm talking about fully autonomous robotic weapons

Я веду мову про повністю автономну роботизовану зброю,

that make lethal decisions about human beings

яка ухвалює смертоносні рішення щодо життя людей

all on their own.

самостійно.

There's actually a technical term for this: lethal autonomy.

Насправді, для цього є навіть технічне поняття: смертельна автономність.

Now, lethally autonomous killer robots

Смертельно-автономні роботи-вбивці

would take many forms -- flying, driving,

можуть літати, їздити

or just lying in wait.

або ж просто сидіти в засідці.

And actually, they're very quickly becoming a reality.

І вони, насправді, дуже швидко стають реальністю.

These are two automatic sniper stations

Перед вами дві автоматичні снайперські установки,

currently deployed in the DMZ between North and South Korea.

розташовані в демілітаризованій зоні між Північною та Південною Кореєю.

Both of these machines are capable of automatically

Обидві ці машини здатні автоматично

identifying a human target and firing on it,

ідентифікувати людину як мішень і відкривати по ній вогонь.

the one on the left at a distance of over a kilometer.

Радіус дії машини зліва становить понад кілометр.

Now, in both cases, there's still a human in the loop

Проте діями обох машин все ще керує людина,

to make that lethal firing decision,

яка й приймає смертоносне рішення,

but it's not a technological requirement. It's a choice.

хоча це й не технічна вимога. Це вибір.

And it's that choice that I want to focus on,

І саме на цьому виборі я хочу зосередити вашу увагу,

because as we migrate lethal decision-making

адже коли ми передамо прийняття смертоносних рішень

from humans to software,

від людини до комп’ютерної програми,

we risk not only taking the humanity out of war,

ми ризикуємо не тільки вивести людину з війни,

but also changing our social landscape entirely,

але й повністю змінити соціальну картину світу,

far from the battlefield.

того світу, що знаходиться далеко від поля бою.

That's because the way humans resolve conflict

Адже саме способи вирішення конфліктів людьми

shapes our social landscape.

формують соціальну картину світу.

And this has always been the case, throughout history.

І так в історії було завжди.

For example, these were state-of-the-art weapons systems

Наприклад, ось так виглядали найпередовіші види зброї

in 1400 A.D.

в 1400 році нашої ери.

Now they were both very expensive to build and maintain,

Треба було багато грошей, щоб їх побудувати, а потім утримувати,

but with these you could dominate the populace,

проте з їх допомогою можна було легко управляти народом,

and the distribution of political power in feudal society reflected that.

і це підтверджує розподіл політичної сили в феодальному суспільстві.

Power was focused at the very top.

Влада зосереджувалась на самій верхівці.

And what changed? Technological innovation.

Що ж змінилось? З’явились технологічні інновації.

Gunpowder, cannon.

Порох, гармати.

And pretty soon, armor and castles were obsolete,

І вже дуже скоро обладунки та замки вийшли з ужитку,

and it mattered less who you brought to the battlefield

і те, кого ти привів на поле бою, стало менш важливим

versus how many people you brought to the battlefield.

проти того, скільки людей прийшло на поле бою.

And as armies grew in size, the nation-state arose

Коли чисельність армії зросла, з’явилось поняття нація-держава

as a political and logistical requirement of defense.

як складова політичного та тилового захисту.

And as leaders had to rely on more of their populace,

Лідери були змушені щораз більше покладатись на свій народ

they began to share power.

і тому стали ділитись владою.

Representative government began to form.

Так почала формуватись представницька влада.

So again, the tools we use to resolve conflict

Тож, як бачите, способи вирішення конфліктів

shape our social landscape.

формують соціальну картину світу.

Autonomous robotic weapons are such a tool,

Автономна роботизована зброя є одним із таких способів,

except that, by requiring very few people to go to war,

проте використовуючи його, не потрібно багато військових,

they risk re-centralizing power into very few hands,

тож є ризик, що влада зосередиться в руках кількох людей,

possibly reversing a five-century trend toward democracy.

а це може змінити п’ятсотлітній напрям руху до демократії.

Now, I think, knowing this,

Я думаю, що знаючи це,

we can take decisive steps to preserve our democratic institutions,

ми можемо здійснити рішучі кроки для збереження наших інститутів демократії

to do what humans do best, which is adapt.

і зробити те, що у людей виходить найкраще – адаптуватися.

But time is a factor.

Проте у нас не так багато часу.

Seventy nations are developing remotely-piloted

70 країн нині розробляють власних

combat drones of their own,

дистанційно-пілотованих бойових дронів.

and as you'll see, remotely-piloted combat drones

І, як ви розумієте, дистанційно-пілотовані бойові дрони

are the precursors to autonomous robotic weapons.

стануть попередниками автономної роботизованої зброї.

That's because once you've deployed remotely-piloted drones,

І тому, як тільки ви застосували дистанційно-пілотовані дрони,

there are three powerful factors pushing decision-making

з’являється три вагомі причини передати ухвалення рішення

away from humans and on to the weapon platform itself.

від людини збройній платформі.

The first of these is the deluge of video that drones produce.

Першою з них є потік відеозображення, який надають безпілотні літаки.

For example, in 2004, the U.S. drone fleet produced

Для прикладу, в 2004 році весь американський флот дронів зібрав

a grand total of 71 hours of video surveillance for analysis.

в загальному підсумку 71 годину відеоспостереження для аналізу.

By 2011, this had gone up to 300,000 hours,

До 2011 року це число зросло до 300 000 годин,

outstripping human ability to review it all,

хоча опрацювати таку кількість людині не під силу.

but even that number is about to go up drastically.

Проте і це число різко зросте найближчим часом.

The Pentagon's Gorgon Stare and Argus programs

Такі програми Пентагону як Gorgon Stare [Погляд Горгони] та Argus [Арґус]

will put up to 65 independently operated camera eyes

мають на меті встановити 65 незалежно працюючих камер

on each drone platform,

на кожній платформі для дронів.

and this would vastly outstrip human ability to review it.

Опрацювати таку кількість відеоінформації людині точно не вдасться.

And that means visual intelligence software will need

А це означає, що знадобиться програмне забезпечення відеорозвідки,

to scan it for items of interest.

яке б відстежувало потрібну інформацію.

And that means very soon

Тож, вже дуже скоро

drones will tell humans what to look at,

саме дрони вказуватимуть людині, на що дивитись,

not the other way around.

а не навпаки.

But there's a second powerful incentive pushing

Проте є і друга серйозна причина,

decision-making away from humans and onto machines,

яка спонукає передати прийняття рішення від людини машині,

and that's electromagnetic jamming,

і це електромагнітні перешкоди,

severing the connection between the drone

що розривають зв’язок між дроном

and its operator.

та його оператором.

Now we saw an example of this in 2011

Ми бачили приклад цього в 2011 році,

when an American RQ-170 Sentinel drone

коли американський безпілотний літак RQ -170 Sentinel [Вартовий]

got a bit confused over Iran due to a GPS spoofing attack,

трохи збився з курсу над Іраном через підміну хакерами даних GPS.

but any remotely-piloted drone is susceptible to this type of attack,

Кожен дистанційно-пілотований дрон є вразливим до такого типу атаки,

and that means drones

тож, це означає,

will have to shoulder more decision-making.

що дрони мусять взяти на себе більше відповідальності за прийняття рішень.

They'll know their mission objective,

Знаючи свою місію,

and they'll react to new circumstances without human guidance.

вони зможуть діяти відповідно до нових обставин без людського втручання.

They'll ignore external radio signals

Вони ігноруватимуть зовнішні радіосигнали

and send very few of their own.

і надсилатимуть дуже мало своїх.

Which brings us to, really, the third

Саме це підвело нас до третьої

and most powerful incentive pushing decision-making

найвагомішої причини передачі прийняття рішення

away from humans and onto weapons:

від людини до машини:

plausible deniability.

вагоме заперечення.

Now we live in a global economy.

Ми живемо в умовах глобальної економіки.

High-tech manufacturing is occurring on most continents.

Високотехнологічне виробництво здійснюється на більшості континентів.

Cyber espionage is spiriting away advanced designs

За допомогою кібершпигунства

to parts unknown,

кудись зникають найновіші розробки,

and in that environment, it is very likely

а в таких умовах украй імовірно,

that a successful drone design will be knocked off in contract factories,

що вдалий дизайн дрона, зробленого на підпільній фабриці,

proliferate in the gray market.

швидко заполонить чорний ринок.

And in that situation, sifting through the wreckage

У такій ситуації, розбираючи завали

of a suicide drone attack, it will be very difficult to say

після атаки дрона-самогубця, буде важко з’ясувати,

who sent that weapon.

хто його відправив.

This raises the very real possibility

А це підвищує цілком реальну можливість

of anonymous war.

анонімної війни.

This could tilt the geopolitical balance on its head,

Це може повністю змінити геополітичний баланс,

make it very difficult for a nation to turn its firepower

оскільки стане неможливим відкрити вогонь

against an attacker, and that could shift the balance

по агресору, що змістить пріорітети

in the 21st century away from defense and toward offense.

в 21 столітті від захисту до нападу.

It could make military action a viable option

Таким чином, військові дії стануть цілком доступними

not just for small nations,

не тільки для малих народів,

but criminal organizations, private enterprise,

а й для кримінальних та приватних організацій

even powerful individuals.

чи навіть для впливових людей.

It could create a landscape of rival warlords

А це, своєю чергою, тільки сприятиме конкуруючим воєначальникам,

undermining rule of law and civil society.

підриваючи верховенство закону і громадянського суспільства.

Now if responsibility and transparency

Відповідальність та прозорість

are two of the cornerstones of representative government,

є двома наріжними каменями представницької влади,

autonomous robotic weapons could undermine both.

проте автономна роботизована зброя може підірвати обидва з них.

Now you might be thinking that

Ви, мабуть, думаєте,

citizens of high-tech nations

що жителі з технологічно розвинутих країн

would have the advantage in any robotic war,

будуть мати перевагу в роботизованій війні,

that citizens of those nations would be less vulnerable,

що жителі цих країн будуть менш вразливими

particularly against developing nations.

порівняно з жителями країн, що розвиваються.

But I think the truth is the exact opposite.

Та на мою думку, все буде якраз навпаки.

I think citizens of high-tech societies

Я вважаю, що жителі технологічно розвинутих країн

are more vulnerable to robotic weapons,

є вразливішими до роботизованої зброї

and the reason can be summed up in one word: data.

і причину можна підсумувати одним словом: інформація.

Data powers high-tech societies.

Інформація – це рушій технологічно розвинутих країн.

Cell phone geolocation, telecom metadata,

Мобільна служба геолокації, метадані операторів зв’язку,

social media, email, text, financial transaction data,

соціальні мережі, електронна пошта, текстові повідомлення, дані про фінансові операції

transportation data, it's a wealth of real-time data

та перевезення – це надзвичайно великі обсяги інформації

on the movements and social interactions of people.

про переміщення та взаємодію людей в реальному часі.

In short, we are more visible to machines

Іншими словами, сьогодні машини стежать за нами так,

than any people in history,

як ніколи раніше за всю історію людства,

and this perfectly suits the targeting needs of autonomous weapons.

що чудово відповідає потребам прицілювання автономної зброї.

What you're looking at here

Те, що ви зараз тут бачите -

is a link analysis map of a social group.

це графічний аналіз зв’язків соціальної групи людей.

Lines indicate social connectedness between individuals.

Лінії позначають соціальний зв’язок між людьми.

And these types of maps can be automatically generated

Подібні графіки можна автоматично побудувати

based on the data trail modern people leave behind.

на основі інформаційного сліду, що його залишають сучасні люди.

Now it's typically used to market goods and services

Зазвичай вони використовуються для продажу товарів та послуг

to targeted demographics, but it's a dual-use technology,

цільовому населенню, проте ця технологія має подвійне призначення,

because targeting is used in another context.

оскільки її можна використовувати і для інших цілей.

Notice that certain individuals are highlighted.

Зверніть увагу, що деякі особи виділяються.

These are the hubs of social networks.

Ці люди – центри уваги в соціальних мережах.

These are organizers, opinion-makers, leaders,

Це організатори, творці громадської думки, лідери.

and these people also can be automatically identified

Усіх їх можна автоматично ідентифікувати

from their communication patterns.

за їхньою манерою спілкування.

Now, if you're a marketer, you might then target them

Тож, якщо ви маркетолог, ви можете орієнтуватись на них,

with product samples, try to spread your brand

виготовляючи зразки своєї продукції, а також поширювати свою марку

through their social group.

через їхню соціальну групу.

But if you're a repressive government

Проте якщо ви репресивний уряд,

searching for political enemies, you might instead remove them,

що розшукує політичного ворога, ви навпаки захочете їх усунути,

eliminate them, disrupt their social group,

позбутись, підірвати засади їхньої соціальної групи,

and those who remain behind lose social cohesion

і ті, хто залишиться за її межами втратять соціальну єдність

and organization.

та організацію.

Now in a world of cheap, proliferating robotic weapons,

У світі, де швидко поширюється дешева роботизована зброя,

borders would offer very little protection

кордони не стануть на захист

to critics of distant governments

критиків віддалених урядів

or trans-national criminal organizations.

і транснаціональних кримінальних організацій.

Popular movements agitating for change

Народні рухи, що агітуватимуть за зміни,

could be detected early and their leaders eliminated

виявлять ще на ранніх стадіях, а їхніх лідерів усунуть

before their ideas achieve critical mass.

ще до того, як їхні ідеї досягнуть критичної маси.

And ideas achieving critical mass

Проте саме ідеї, які досягли критичної маси,

is what political activism in popular government is all about.

становлять основу політичного руху в демократичному суспільстві.

Anonymous lethal weapons could make lethal action

Анонімна смертоносна зброя може перехилити шальки терезів

an easy choice for all sorts of competing interests.

на користь смертоносних дій для різних конкуруючих угрупувань

And this would put a chill on free speech

Це також заморозить свободу слова

and popular political action, the very heart of democracy.

та громадську політичну діяльність, тобто саме серце демократії.

And this is why we need an international treaty

Саме тому необхідно створити міжнародний договір

on robotic weapons, and in particular a global ban

щодо використання роботизованої зброї, а також глобальної заборони на

on the development and deployment of killer robots.

створення та поширення роботів-вбивць.

Now we already have international treaties

Зараз ми вже маємо міжнародні договори

on nuclear and biological weapons, and, while imperfect,

щодо використання ядерної та біологічної зброї, і хоч вони не є досконалі,

these have largely worked.

та все ж в основному вони працюють.

But robotic weapons might be every bit as dangerous,

Роботизована зброя може бути така ж небезпечна,

because they will almost certainly be used,

тому що її точно використовуватимуть,

and they would also be corrosive to our democratic institutions.

а також вона може стати руйнівною для наших інститутів демократії.

Now in November 2012 the U.S. Department of Defense

У листопаді 2012 року Міністерство оборони США

issued a directive requiring

видало директиву, яка вимагає

a human being be present in all lethal decisions.

присутності людини при ухваленні всіх смертоносних рішень.

This temporarily effectively banned autonomous weapons in the U.S. military,

Ця директива також тимчасово забороняє використання автономної зброї збройними силами США,

but that directive needs to be made permanent.

проте це розпорядження має стати постійним.

And it could set the stage for global action.

Також це може послужити поштовхом для міжнародних дій.

Because we need an international legal framework

Адже ми потребуємо встановлення міжнародних правових рамок

for robotic weapons.

щодо використання роботизованої зброї.

And we need it now, before there's a devastating attack

І ми потребуємо цього тепер, поки на нас не напали,

or a terrorist incident that causes nations of the world

або ж не стався терористичний акт, який би змусив держави у всьому світі

to rush to adopt these weapons

поспішно використовувати цю зброю,

before thinking through the consequences.

не задумуючись про наслідки.

Autonomous robotic weapons concentrate too much power

Автономна роботизована зброя дає можливість концентрувати занадто багато сили

in too few hands, and they would imperil democracy itself.

в руках кількох людей, а це загрожує демократії.

Now, don't get me wrong, I think there are tons

Проте не зрозумійте мене неправильно - на мою думку, є сотні

of great uses for unarmed civilian drones:

віріантів використання цивільних неозброєних дронів:

environmental monitoring, search and rescue, logistics.

моніторинг довкілля, пошуково-рятувальні роботи, логістика.

If we have an international treaty on robotic weapons,

Маючи міжнародній договір щодо використання роботизованої зброї,

how do we gain the benefits of autonomous drones

як ми зможемо користуватись перевагами автономних дронів

and vehicles while still protecting ourselves

та машин і водночас захищати себе

against illegal robotic weapons?

від нелегальної роботизованої зброї?

I think the secret will be transparency.

Я думаю, що тут нам допомогла б політика прозорості.

No robot should have an expectation of privacy

Робот не повинен мати право на анонімність

in a public place.

в громадському місці.

(Applause)

(Оплески)

Each robot and drone should have

Кожен робот та безпілотний літак мусить мати

a cryptographically signed I.D. burned in at the factory

криптографічне маркування, поставлене ще на заводі,

that can be used to track its movement through public spaces.

яке можна було б використовувати, щоб відстежити його рух громадськими місцями.

We have license plates on cars, tail numbers on aircraft.

Номерні знаки мають машини та літаки.

This is no different.

Тут теж не повинно бути винятків.

And every citizen should be able to download an app

Кожен житель мусить мати змогу завантажити додаток,

that shows the population of drones and autonomous vehicles

який би показував йому рух всіх дронів та автономних машин

moving through public spaces around them,

громадськими місцями

both right now and historically.

в реальному часі та в минулому.

And civic leaders should deploy sensors and civic drones

Громадські діячі повинні розмістити сенсорні датчики і мати в своєму розпорядженні цивільні дрони

to detect rogue drones,

для виявлення ворожих дронів,

and instead of sending killer drones of their own up to shoot them down,

проте замість того, щоб відправляти дронів-вбивць для їх знешкодження,

they should notify humans to their presence.

попереджати людей про їхню присутність.

And in certain very high-security areas,

І тільки в зонах підвищеної безпеки

perhaps civic drones would snare them

допускається, щоб цивільні дрони виловлювали їх

and drag them off to a bomb disposal facility.

і відвозили на звалище для знешкодження.

But notice, this is more an immune system

Проте зверніть увагу, що це більше схоже на імунну систему,

than a weapons system.

ніж на збройну систему.

It would allow us to avail ourselves of the use

Це дозволить нам отримувати певну користь

of autonomous vehicles and drones

від автономних машин та дронів

while still preserving our open, civil society.

і водночас зберегти наше громадянське суспільство відкритим.

We must ban the deployment and development

Нам варто заборонити виробництво та розвиток

of killer robots.

роботів-вбивць.

Let's not succumb to the temptation to automate war.

Не піддаваймося спокусі зробити війну автоматизованою.

Autocratic governments and criminal organizations

Без сумніву, диктаторські уряди та кримінальні організації

undoubtedly will, but let's not join them.

піддадуться, проте не приєднуймося до них.

Autonomous robotic weapons

Автономна роботизована зброя

would concentrate too much power

сконцентрує занадто багато сили

in too few unseen hands,

у кількох невидимих руках,

and that would be corrosive to representative government.

а це матиме руйнівний вплив на представницьку владу.

Let's make sure, for democracies at least,

Постараймося, щоб хоча б у демократичному суспільстві

killer robots remain fiction.

роботи-вбивці залишались вигадкою.

Thank you.

Дякую.

(Applause)

(Оплески)

Thank you. (Applause)

Дякую. (Оплески)