Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez: Quyết định " giết " không nên thuộc về robot

Translator: Joseph Geni Reviewer: Morton Bast

Translator: Nga Pham Reviewer: Quang Hải Đinh

I write fiction sci-fi thrillers,

Tôi viết tiểu thuyết, truyện khoa học viễn tưởng

so if I say "killer robots,"

nên nếu tôi nói tới "rô-bốt sát thủ"

you'd probably think something like this.

các bạn sẽ nghĩ đó là viễn tưởng

But I'm actually not here to talk about fiction.

Nhưng thực tế, tôi tới đây không phải để nói về viễn tưởng

I'm here to talk about very real killer robots,

mà để nói về rô-bốt sát thủ có thực

autonomous combat drones.

máy bay chiến không người lái

Now, I'm not referring to Predator and Reaper drones,

Tôi không nói tới loại Predator và Reaper

which have a human making targeting decisions.

do con người cài lệnh sẵn từ xa

I'm talking about fully autonomous robotic weapons

Tôi đang nói tới những vũ khí rô-bốt

that make lethal decisions about human beings

đưa ra quyết định sống hay chết cho con người

all on their own.

hoàn toàn tự động.

There's actually a technical term for this: lethal autonomy.

Thuật ngữ của nó là "tự động hóa giết chóc"

Now, lethally autonomous killer robots

Thời nay, rô-bốt sát thủ tự động

would take many forms -- flying, driving,

hẳn sẽ có rất nhiều dạng - bay, lái

or just lying in wait.

hoặc mai phục

And actually, they're very quickly becoming a reality.

Đúng vậy, chúng đã sớm trở thành hiện thực

These are two automatic sniper stations

Hiện tại có hai trạm bắn tỉa

currently deployed in the DMZ between North and South Korea.

đặt tại vùng phi quân sự giữa Hàn Quốc và Triều Tiên

Both of these machines are capable of automatically

Cả hai hệ thống này đều có khả năng

identifying a human target and firing on it,

tự động nhắm và bắn mục tiêu con người

the one on the left at a distance of over a kilometer.

Chiếc bên trái có thể bắn ở khoảng cách hơn 1 km

Now, in both cases, there's still a human in the loop

Cả hai trường hợp này vẫn có con người đứng sau

to make that lethal firing decision,

để điều khiển lệnh bắn

but it's not a technological requirement. It's a choice.

nhưng không phải vì yêu cầu kỹ thuật Mà là sự lựa chọn

And it's that choice that I want to focus on,

Đó cũng chính là điều mà tôi muốn nhấn mạnh

because as we migrate lethal decision-making

Vì khi con người chuyển quyền quyết định giết người

from humans to software,

sang hệ thống phần mềm

we risk not only taking the humanity out of war,

ta không chỉ loại bỏ con người khỏi chiến tranh

but also changing our social landscape entirely,

mà còn thay đổi hoàn toàn hình thái xã hội

far from the battlefield.

còn hơn cả chiến trường

That's because the way humans resolve conflict

Bởi vì cách con người giải quyết mâu thuẫn

shapes our social landscape.

hình thành nên hình thái xã hội

And this has always been the case, throughout history.

Và điều này luôn luôn đúng trong mọi thời đại

For example, these were state-of-the-art weapons systems

Ví dụ, đây là những hệ thống vũ khí tối tân

in 1400 A.D.

năm 1400 TCN

Now they were both very expensive to build and maintain,

Ngày nay, chế tạo và bảo trì chúng rất tốn kém

but with these you could dominate the populace,

nhưng nếu có chúng, bạn có thể thống trị công chúng

and the distribution of political power in feudal society reflected that.

Điều này cũng được phản ánh trong chế độ phân bổ quyền lực chính trị thời phong kiến

Power was focused at the very top.

Quyền lực tập trung vào các ông lớn

And what changed? Technological innovation.

Điều gì đã thay đổi ? Đổi mới công nghệ

Gunpowder, cannon.

Thuốc súng, pháo

And pretty soon, armor and castles were obsolete,

Tiếp đó không lâu, áo giáp và lâu đài trở nên lỗi thời.

and it mattered less who you brought to the battlefield

Việc bạn đưa ai ra chiến trường cũng không quan trọng bằng việc

versus how many people you brought to the battlefield.

bạn đưa bao nhiêu người ra chiến trường

And as armies grew in size, the nation-state arose

Khi quy mô quân đội lớn mạnh, nhà nước bắt đầu

as a political and logistical requirement of defense.

yêu cầu bảo vệ chính trị và hậu cần

And as leaders had to rely on more of their populace,

Và khi các nhà lãnh đạo phải phụ thuộc vào dân chúng của mình

they began to share power.

họ bắt đầu chia sẻ quyền lực

Representative government began to form.

Chính phủ đại diện bắt đầu hình thành

So again, the tools we use to resolve conflict

Một lần nữa, công cụ để giải quyết mâu thuẫn

shape our social landscape.

tạo nên hình thái xã hội của chúng ta

Autonomous robotic weapons are such a tool,

Vũ khí rô-bốt tự động là loại công cụ như thế

except that, by requiring very few people to go to war,

Ngoại trừ lợi ích yêu cầu ít người tham gia chiến đấu hơn

they risk re-centralizing power into very few hands,

họ đồng thời lại đặt quyền lực tập trung vào một vài cá nhân như trước

possibly reversing a five-century trend toward democracy.

có thể đảo ngược khuynh hướng dân chủ tới 5 thế kỷ

Now, I think, knowing this,

Tôi nghĩ, biết được điều này

we can take decisive steps to preserve our democratic institutions,

ta có thể duy trì chế độ dân chủ

to do what humans do best, which is adapt.

để thực hiện điều tốt nhất, là sự thích nghi

But time is a factor.

Nhưng thời gian là một nhân tố

Seventy nations are developing remotely-piloted

70 quốc gia đang tự mình phát triển

combat drones of their own,

máy bay chiến đấu, điều khiển từ xa

and as you'll see, remotely-piloted combat drones

Như các bạn thấy, máy bay chiến đấu điều khiển từ xa

are the precursors to autonomous robotic weapons.

chính là tiền thân của vũ khí rô-bốt tự động

That's because once you've deployed remotely-piloted drones,

Vì một khi bạn triển khai loại máy bay này,

there are three powerful factors pushing decision-making

sẽ có ba nhân tố tác động mạnh, đẩy quyết định

away from humans and on to the weapon platform itself.

từ con người sang hệ điều khiển của vũ khí

The first of these is the deluge of video that drones produce.

Nhân tố đầu tiên là lượng video khổng lồ mà loại máy bay này quay được

For example, in 2004, the U.S. drone fleet produced

Ví dụ, năm 2004, phi đội máy bay không người lái Hoa Kỳ quay được

a grand total of 71 hours of video surveillance for analysis.

video giám sát dài tổng số 74 tiếng để phân tích

By 2011, this had gone up to 300,000 hours,

Năm 2011, con số này lên tới 300.000 giờ

outstripping human ability to review it all,

vượt quá mức khả năng theo dõi của con người

but even that number is about to go up drastically.

tuy nhiên, con số đó vẫn có xu hướng tăng lên đáng kể

The Pentagon's Gorgon Stare and Argus programs

Chương trình Gorgon Stare và Argus của Pentagon

will put up to 65 independently operated camera eyes

lắp đặt 65 mắt camera hoạt động độc lập

on each drone platform,

trên hệ điều khiển của từng chiếc máy bay

and this would vastly outstrip human ability to review it.

và điều này cũng vượt quá khả năng theo dõi của con người

And that means visual intelligence software will need

Có nghĩa phần mềm thu nhận hình ảnh phải có thể

to scan it for items of interest.

rà quét những mục quan trọng

And that means very soon

Đồng nghĩa rằng máy bay không người lái

drones will tell humans what to look at,

sẽ sớm chỉ cho con người những gì đáng xem

not the other way around.

chứ không chỉ những thứ xung quanh

But there's a second powerful incentive pushing

Nhân tố thứ hai thúc đẩy con người

decision-making away from humans and onto machines,

chuyển quyền quyết định lên máy móc

and that's electromagnetic jamming,

chính là sự tắc nghẽn điện từ

severing the connection between the drone

kết nối giữa máy bay không người lái

and its operator.

với người điều hành của nó.

Now we saw an example of this in 2011

Chúng ta đã chứng kiến ví dụ năm 2011

when an American RQ-170 Sentinel drone

khi chiếc RQ-170 Sentinel của Hoa Kỳ

got a bit confused over Iran due to a GPS spoofing attack,

xảy ra nhầm lẫn ở I-ran do bị đánh lừa GPS

but any remotely-piloted drone is susceptible to this type of attack,

nhưng hầu hết máy bay không người lái đều rất nhạy cảm với loại tấn công này

and that means drones

Nghĩa là máy bay không người lái

will have to shoulder more decision-making.

sẽ phải quyết định nhiều hơn.

They'll know their mission objective,

Chúng xác định được mục tiêu nhiệm vụ của mình

and they'll react to new circumstances without human guidance.

và phản ứng lại các trường hợp mới, không cần con người hướng dẫn

They'll ignore external radio signals

Chúng không nhận tín hiệu vô tuyến từ bên ngoài

and send very few of their own.

và phát đi rất ít tín hiệu

Which brings us to, really, the third

Điều này dẫn ta tới tác nhân thứ ba

and most powerful incentive pushing decision-making

tác động mạnh nhất, đẩy quyền quyết định

away from humans and onto weapons:

từ con người lên vũ khí:

plausible deniability.

Sự từ chối khôn ngoan.

Now we live in a global economy.

Chúng ta đang sống trong nền kinh tế toàn cầu

High-tech manufacturing is occurring on most continents.

Sản xuất công nghệ cao diễn ra trên khắp các lục địa

Cyber espionage is spiriting away advanced designs

Hoạt động tình báo siêu hạng đang chuyển từ các thiết kế công nghệ cao

to parts unknown,

sang các phần mục ẩn danh

and in that environment, it is very likely

và trong môi trường đó, có khả năng

that a successful drone design will be knocked off in contract factories,

loại máy bay không người hiệu quả sẽ đắt hàng tại xí nghiệp làm hợp đồng

proliferate in the gray market.

nhân rộng trên thị trường khan hiếm

And in that situation, sifting through the wreckage

Trong tình hình náy, sàng lọc mảnh vụn từ

of a suicide drone attack, it will be very difficult to say

đợt tấn công tự sát bằng máy bay không người lái, rất khó để nói

who sent that weapon.

ai đã gửi đi vũ khí này

This raises the very real possibility

Điều này cho thấy khả năng cao

of anonymous war.

của chiến tranh giấu mặt

This could tilt the geopolitical balance on its head,

Nó làm mất cân bằng địa lý chính trị

make it very difficult for a nation to turn its firepower

khiến quốc gia gặp khó khăn khi dùng hỏa lực

against an attacker, and that could shift the balance

chống lại kẻ tấn công, và cũng có thể làm mất cân bằng thế kỷ 21

in the 21st century away from defense and toward offense.

và dần chuyển từ phòng thủ sang tấn công

It could make military action a viable option

Điều này tăng tính khả thi của hoạt động quân sự

not just for small nations,

không chỉ dành cho các quốc gia nhỏ

but criminal organizations, private enterprise,

mà còn cho các tổ chức tội phạm, doanh nghiệp tư nhân

even powerful individuals.

thậm chí các cá nhân có quyền lực nữa.

It could create a landscape of rival warlords

Nó có thể tạo ra cảnh quan của những thủ lĩnh đối đầu

undermining rule of law and civil society.

làm bào mòn pháp trị và xã hội dân sự

Now if responsibility and transparency

Nếu trách nhiệm và sự minh bạch

are two of the cornerstones of representative government,

là hai viên đá nền tảng của chính phủ đại diện,

autonomous robotic weapons could undermine both.

thì vũ khí rô-bốt tự động có thể bào mòn cả hai

Now you might be thinking that

Nếu bạn nghĩ rằng

citizens of high-tech nations

công dân quốc gia công nghệ cao

would have the advantage in any robotic war,

sẽ có lợi thế trong cuộc chiến rô-bốt,

that citizens of those nations would be less vulnerable,

họ sẽ ít chịu tổn thương hơn

particularly against developing nations.

đặc biệt khi so sánh với các quốc gia đang phát triển

But I think the truth is the exact opposite.

Nhưng tôi nghĩ sự thật lại hoàn toàn trái ngược

I think citizens of high-tech societies

Công dân của những xã hội công nghệ cao

are more vulnerable to robotic weapons,

dễ chịu tổn thương nhiều hơn từ vũ khí rô-bốt

and the reason can be summed up in one word: data.

Lý do có thể nói gọn trong từ "dữ liệu"

Data powers high-tech societies.

Dữ liệu thống trị xã hội công nghệ cao

Cell phone geolocation, telecom metadata,

Vị trí địa lý di động, lý lịch dữ liệu viễn thông

social media, email, text, financial transaction data,

truyền thông xã hội, email, văn bản. dữ liệu giao dịch tài chính

transportation data, it's a wealth of real-time data

dự liệu giao thông, đó là tài sản của dữ liệu thời gian thực

on the movements and social interactions of people.

về hoạt động và tương tác xã hội của con người

In short, we are more visible to machines

Tóm lại, máy móc có thể nhận diện chúng ta

than any people in history,

dễ dàng hơn bao giờ hết,

and this perfectly suits the targeting needs of autonomous weapons.

Điều này tương thích hoàn hảo với nhu cầu xác định mục tiêu của vũ khí tự động

What you're looking at here

Hình ảnh các bạn đang xem ở đây

is a link analysis map of a social group.

là bản đồ phân tích kết nối của một nhóm xã hội.

Lines indicate social connectedness between individuals.

Các đường kẻ chỉ sự kết nối giữa các cá nhân.

And these types of maps can be automatically generated

Loại bản đồ này có thể tự động thiết lập

based on the data trail modern people leave behind.

dựa trên vết dữ liệu mà người hiện đại bỏ lại

Now it's typically used to market goods and services

Ngày nay, nó được chuyên dùng cho dịch vụ và hàng hóa thị trường

to targeted demographics, but it's a dual-use technology,

để hướng tới số liệu thống kê nhân khẩu học, nhưng nó là công nghệ có hai mặt

because targeting is used in another context.

vì việc xác định mục tiêu có thể được áp dụng trong một ngữ cảnh khác

Notice that certain individuals are highlighted.

Lưu ý rằng cần nêu bật các cá nhân nhất định

These are the hubs of social networks.

Họ là trung tâm của mạng lưới xã hội.

These are organizers, opinion-makers, leaders,

Họ là các nhà tổ chức, tham vấn, các nhà lãnh đạo

and these people also can be automatically identified

và họ có thể được tự động nhận diện

from their communication patterns.

từ cách thức giao tiếp.

Now, if you're a marketer, you might then target them

Nếu bạn là tiếp thị viên, bạn hẳn sẽ giới thiệu

with product samples, try to spread your brand

các sản phẩm mẫu tới họ, mở rộng thương hiệu của mình

through their social group.

qua các mối quan hệ xã hội của họ.

But if you're a repressive government

Tuy nhiên nếu bạn là chính phủ đại diện

searching for political enemies, you might instead remove them,

đang tìm kiếm đối thủ chính trị, bạn ắt sẽ loại bỏ họ,

eliminate them, disrupt their social group,

trừ khử họ, phả hủy mối quan hệ xã hội của họ

and those who remain behind lose social cohesion

Và những ai thụt lại phía sau sẽ mất đi liên hệ

and organization.

và tổ chức xã hội

Now in a world of cheap, proliferating robotic weapons,

Trong thế giới vũ khí rô-bốt giá rẻ, tràn lan,

borders would offer very little protection

biên giới cũng sẽ không còn có tác dụng gì nhiều

to critics of distant governments

đối với sự hằn thù của các chính phủ bên ngoài

or trans-national criminal organizations.

hoặc các tổ chức tội phạm xuyên quốc gia

Popular movements agitating for change

Phong trào quần chúng đòi cách tân

could be detected early and their leaders eliminated

có thể sớm bị phát giác và các lãnh đạo gia dập tan chúng

before their ideas achieve critical mass.

trước khi ý tưởng của họ đạt mức tới hạn.

And ideas achieving critical mass

Các ý tưởng đạt mức tới hạn

is what political activism in popular government is all about.

là chủ nghĩa tích cực chính trị trong chính quyền quần chúng

Anonymous lethal weapons could make lethal action

Vũ khí giết người vô danh biến việc sát hại con người

an easy choice for all sorts of competing interests.

trở thành một lựa chọn dễ dàng cho mọi lợi ịch cạnh tranh.

And this would put a chill on free speech

Điều này sẽ hạn chế các phát ngôn tự do

and popular political action, the very heart of democracy.

và hành động chính trị của quần chúng - trọng tâm của nền dân chủ

And this is why we need an international treaty

Chính vì thế, ta cần một hiệp ước quốc tế

on robotic weapons, and in particular a global ban

về vũ khí rô-bốt, đặc biệt là lệnh cấm toàn cầu

on the development and deployment of killer robots.

triển khai và phát triển loại vũ khí sát thủ này.

Now we already have international treaties

Chúng ta đã có các hiệp ước quốc tế

on nuclear and biological weapons, and, while imperfect,

về vũ khí hạt nhân, sinh học và

these have largely worked.

chúng vẫn đang rất hiệu quả

But robotic weapons might be every bit as dangerous,

Tuy nhiên, vũ khí rô-bốt vẫn sẽ luôn nguy hiểm

because they will almost certainly be used,

vì chúng gần như chắc chắn sẽ được sử dụng

and they would also be corrosive to our democratic institutions.

và bào mòn dần các cơ quan dân chủ của ta.

Now in November 2012 the U.S. Department of Defense

Tháng 11 năm 2012, bộ Quốc phòng Hoa Kỳ

issued a directive requiring

đã ban hành chỉ thị yêu cầu

a human being be present in all lethal decisions.

con người phải hiện diện trong tất cả các quyết định giết người

This temporarily effectively banned autonomous weapons in the U.S. military,

Chỉ thị này tạm thời nghiêm cấm hiệu quả vũ khí tự động trong quân đội Mỹ

but that directive needs to be made permanent.

nhưng cần thực hiện lâu dài, cố định.

And it could set the stage for global action.

Nó có thể đặt nền tảng cho hành động toàn cầu.

Because we need an international legal framework

Vì chúng ta cần một khung pháp lý quốc tế

for robotic weapons.

đối với vũ khí rô-bốt.

And we need it now, before there's a devastating attack

Ta cần nó ngay, trước khi có cuộc tấn công tàn phá

or a terrorist incident that causes nations of the world

hay một vụ khủng bố khiến các quốc gia

to rush to adopt these weapons

đua nhau sử dụng loại vũ khí này

before thinking through the consequences.

trước khi lường tới hậu quả của chúng.

Autonomous robotic weapons concentrate too much power

Vũ khí rô-bốt tự động tập trung quá nhiều quyền lực

in too few hands, and they would imperil democracy itself.

vào một vài cá nhân, và chúng sẽ tự phá hủy nền dân chủ

Now, don't get me wrong, I think there are tons

Tôi nghĩ có hàng tấn lợi ích

of great uses for unarmed civilian drones:

từ máy bay dân sự không người lái, phi vũ khí:

environmental monitoring, search and rescue, logistics.

quán lý môi trường, tìm kiếm và cứu hộ, hậu cần.

If we have an international treaty on robotic weapons,

Nếu có hiệp ước quốc tế về vũ khi rô-bốt,

how do we gain the benefits of autonomous drones

làm thế nào để thu được lợi ích từ máy bay

and vehicles while still protecting ourselves

và phương tiện tự động mà vẫn tự vệ

against illegal robotic weapons?

khỏi vũ khí rô-bốt phi pháp được?

I think the secret will be transparency.

Tôi nghĩ bí mật khá rõ ràng

No robot should have an expectation of privacy

Không có rô-bốt nào được phép đòi hỏi quyền riêng tư

in a public place.

tại nơi công cộng cả.

(Applause)

(Vỗ tay)

Each robot and drone should have

Rô-bốt và máy bay không người lái cần có

a cryptographically signed I.D. burned in at the factory

ID hiệu mật mã tại nhà máy

that can be used to track its movement through public spaces.

để theo dõi di chuyển của nó ngoài không gian công cộng

We have license plates on cars, tail numbers on aircraft.

Chúng ta có biển số xe hơi, số đuôi máy bay

This is no different.

Điều này cũng không có gì khác.

And every citizen should be able to download an app

Mọi công dân nên có thể tải một ứng dụng

that shows the population of drones and autonomous vehicles

mô tả số lượng máy bay không người lái và phương tiện tự động

moving through public spaces around them,

di chuyển trong không gian xung quanh chúng ta

both right now and historically.

cả ở hiện tại và trong quá khứ.

And civic leaders should deploy sensors and civic drones

Các nhà lãnh đạo nên triển khai máy cảm biến và máy bay dân sự không người lái

to detect rogue drones,

để xác định máy bay xấu

and instead of sending killer drones of their own up to shoot them down,

và gửi rô-bốt sát thủ của mình tới tiêu diệt chúng,

they should notify humans to their presence.

chúng cần xác định sự hiện diện của con người.

And in certain very high-security areas,

Trong khu vực an ninh cao,

perhaps civic drones would snare them

máy bay dân sự không người lái có thể sẽ cài bẫy

and drag them off to a bomb disposal facility.

và dụ chúng đến một cơ sở chuyên để loại bỏ mỗi nguy hại

But notice, this is more an immune system

Nhưng lưu ý, đây là hệ thống miễn dịch

than a weapons system.

chứ không phải hệ thống vũ khí

It would allow us to avail ourselves of the use

Nó giúp ta thu lợi nhờ sử dụng

of autonomous vehicles and drones

phương tiện và máy bay tự động,

while still preserving our open, civil society.

đồng thời vẫn duy trì nền xã hội dân sự.

We must ban the deployment and development

Ta phải nghiêm cấm khiển khai và phát triển

of killer robots.

rô-bốt sát thủ.

Let's not succumb to the temptation to automate war.

Đừng để cám dỗ bởi chiến tranh tự động

Autocratic governments and criminal organizations

Chính phủ chuyên quyền và tổ chức tội phạm

undoubtedly will, but let's not join them.

chắc chắn sẽ làm theo cám dỗ, nhưng ta đừng làm theo họ

Autonomous robotic weapons

Vũ khí rô-bốt tự động

would concentrate too much power

tập trung quá nhiều quyền lực

in too few unseen hands,

vào một vài bàn tay vô hình

and that would be corrosive to representative government.

và có thể phá hủy chính phủ đại diện

Let's make sure, for democracies at least,

Hãy chắc chắn rằng, ít nhất là với nền dân chủ,

killer robots remain fiction.

rô-bốt sát thủ chỉ là điều viễn tưởng.

Thank you.

Xin cảm ơn.

(Applause)

(Vỗ tay)

Thank you. (Applause)

Cảm ơn. (Vỗ tay)