Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

번역: Jeong-Lan Kinser 검토: Juhyeon Kim

I write fiction sci-fi thrillers,

저는 공상과학 스릴러 소설을 씁니다.

so if I say "killer robots,"

그래서 제가 '살인 로봇'이라고 하면

you'd probably think something like this.

여러분은 아마 이런 것을 떠올리실 테지만,

But I'm actually not here to talk about fiction.

저는 공상을 얘기하기 위해 이 자리에 선 것이 아닙니다.

I'm here to talk about very real killer robots,

저는 진짜 실존하는 살인 로봇에 대해 말하려 합니다.

autonomous combat drones.

자동화된 전투용 드론 말입니다.

Now, I'm not referring to Predator and Reaper drones,

사람이 목표물을 결정하는

which have a human making targeting decisions.

프레데터나 리퍼 드론을 뜻하는게 아닙니다.

I'm talking about fully autonomous robotic weapons

완전히 자율적인 로봇 무기를 말하는 겁니다.

that make lethal decisions about human beings

사람의 생사에 대해 치명적인 결정을

all on their own.

직접 내리는 무기 말입니다.

There's actually a technical term for this: lethal autonomy.

이를 지칭하는 기술 용어도 있습니다. 바로 치명적 자율성입니다.

Now, lethally autonomous killer robots

현재 치명적 자율성을 가진 살인 로봇에는

would take many forms -- flying, driving,

다양한 형태가 있습니다. 날거나 달리거나,

or just lying in wait.

또는 그저 놓여있기도 합니다.

And actually, they're very quickly becoming a reality.

실제로 그것들은 빠르게 현실화되고 있습니다.

These are two automatic sniper stations

이것은 두 개의 자동 저격 기지입니다.

currently deployed in the DMZ between North and South Korea.

현재 남한과 북한 사이의 DMZ에 배치되어 있습니다.

Both of these machines are capable of automatically

둘 다 사람을 자동으로 식별하여

identifying a human target and firing on it,

발포하는 것이 가능한 기계들입니다.

the one on the left at a distance of over a kilometer.

왼쪽 것의 사정거리는 1km가 넘습니다.

Now, in both cases, there's still a human in the loop

현재, 두 경우 모두 사람이 맨 위에서

to make that lethal firing decision,

살상 발포 결정을 내리고 있지만,

but it's not a technological requirement. It's a choice.

그게 기술적으로 필수사항은 아니며 그저 선택사항이죠.

And it's that choice that I want to focus on,

저는 오늘 그 선택에 주목하고자 합니다.

because as we migrate lethal decision-making

우리가 살상 결정권을 사람으로부터

from humans to software,

소프트웨어로 옮긴다면

we risk not only taking the humanity out of war,

우리는 전쟁에서 인간성을 배제하게 될 뿐 아니라

but also changing our social landscape entirely,

우리 사회의 모습을 완전히 전장에서 멀리 떨어지게

far from the battlefield.

바꾸어버리는 위험에 처합니다.

That's because the way humans resolve conflict

왜냐하면 사람들이 분쟁을 풀어나가는 방식이

shapes our social landscape.

우리 사회의 모습을 형성하기 때문입니다.

And this has always been the case, throughout history.

역사적으로 항상 이러했습니다.

For example, these were state-of-the-art weapons systems

예를 들면, 이것들은 서기 1400년 즈음의

in 1400 A.D.

최신 무기 시스템이었습니다.

Now they were both very expensive to build and maintain,

만들고 유지하는데 많은 돈이 들었지만

but with these you could dominate the populace,

이걸로 백성들을 다스릴 수 있었습니다.

and the distribution of political power in feudal society reflected that.

봉건사회 내에서 정치적 힘의 분배가 그 사실을 반영합니다.

Power was focused at the very top.

권력은 최상류층에 집중되어 있었습니다.

And what changed? Technological innovation.

그런데 무슨 일이 벌어졌을까요? 기술 혁신입니다.

Gunpowder, cannon.

화약과 대포입니다.

And pretty soon, armor and castles were obsolete,

금새 갑옷과 성은 쓸모가 없어져 버렸죠.

and it mattered less who you brought to the battlefield

그리고 전쟁터에 누구를 데려오는지보다

versus how many people you brought to the battlefield.

얼마나 많이 데려오는지가 중요해졌죠.

And as armies grew in size, the nation-state arose

군대의 규모가 커지면서 국민국가가 부상하여

as a political and logistical requirement of defense.

정치적, 군사적 방어요건이 되었습니다.

And as leaders had to rely on more of their populace,

지배자들은 더욱 국민들에게 의존해야 했기에

they began to share power.

힘을 공유하기 시작했어요.

Representative government began to form.

대의 정치가 형성되기 시작했습니다.

So again, the tools we use to resolve conflict

다시 말씀드리는데, 분쟁을 해결하는데 사용하는 도구가

shape our social landscape.

우리 사회의 모습을 형성합니다.

Autonomous robotic weapons are such a tool,

무인 로봇 무기가 그런 도구입니다.

except that, by requiring very few people to go to war,

다만, 매우 소수의 사람들만 전쟁에 투입함으로써

they risk re-centralizing power into very few hands,

권력을 극소수에게 다시 집중시키는 것이죠.

possibly reversing a five-century trend toward democracy.

민주주의를 향해 온 500년의 흐름을 뒤집는 것일 수 있습니다.

Now, I think, knowing this,

제 생각엔, 이것을 안다면,

we can take decisive steps to preserve our democratic institutions,

우리는 단호한 조처를 취해 민주주의 제도를 보호하고,

to do what humans do best, which is adapt.

인류가 가장 잘 하는 일인 적응을 할 수 있습니다.

But time is a factor.

하지만 시간이 변수입니다.

Seventy nations are developing remotely-piloted

70개 국가에서 원격 조종 전투용 드론을

combat drones of their own,

자체 개발하고 있고,

and as you'll see, remotely-piloted combat drones

여러분이 보시듯 원격 조종 전투용 드론은

are the precursors to autonomous robotic weapons.

무인 로봇 무기의 전 단계입니다.

That's because once you've deployed remotely-piloted drones,

일단 원격 조종 드론을 배치하고 나면

there are three powerful factors pushing decision-making

세가지 강력한 요인으로 인해 의사 결정권이

away from humans and on to the weapon platform itself.

인간에게서 무기 플랫폼으로 옮겨질 것이기 때문입니다.

The first of these is the deluge of video that drones produce.

그 첫번째 요인은 드론이 생산하는 녹화 영상이 엄청나다는 겁니다.

For example, in 2004, the U.S. drone fleet produced

예를 들면, 2004년에 미국의 무인항공기는

a grand total of 71 hours of video surveillance for analysis.

71시간 분량의 감시 비디오를 녹화했습니다.

By 2011, this had gone up to 300,000 hours,

2011년엔 이것이 30만 시간으로 늘어났습니다.

outstripping human ability to review it all,

인간의 능력으로 전부 검토할 수 없을 정도죠.

but even that number is about to go up drastically.

그럼에도 불구하고 그 숫자는 대폭 늘어날 전망입니다.

The Pentagon's Gorgon Stare and Argus programs

미 국방부의 고르곤 스테어(영상 녹화), 아르고스(광역 감시) 프로그램은

will put up to 65 independently operated camera eyes

최대 65개의 각각 작동하는 카메라를

on each drone platform,

각 드론 플랫폼에 설치할 것입니다.

and this would vastly outstrip human ability to review it.

이것은 인간의 검토 능력을 엄청나게 초과할 것입니다.

And that means visual intelligence software will need

이것이 의미하는 바는 시각 지능 소프트웨어가

to scan it for items of interest.

검토가 필요한 화면을 골라내야 한다는 것입니다.

And that means very soon

즉 드론이 인간에게

drones will tell humans what to look at,

뭘 봐야 하는지 알려주게 되겠죠.

not the other way around.

거꾸로 되는 거죠.

But there's a second powerful incentive pushing

두번째 강력한 요인은 더더욱

decision-making away from humans and onto machines,

의사 결정권을 인간으로부터 기계로 옮기고 있습니다.

and that's electromagnetic jamming,

그것은 전자기 전파방해입니다.

severing the connection between the drone

이것은 드론과 그 조종사 사이의 연결을

and its operator.

끊어 버립니다.

Now we saw an example of this in 2011

2011년의 사례를 볼 수 있습니다.

when an American RQ-170 Sentinel drone

미국의 RQ-170 센티넬 드론이

got a bit confused over Iran due to a GPS spoofing attack,

GPS 스푸핑(위장) 공격으로 인해 이란에서 약간의 혼동을 겪었습니다.

but any remotely-piloted drone is susceptible to this type of attack,

원격 조종 드론은 이러한 유형의 공격에 취약합니다.

and that means drones

그 말인 즉, 드론은

will have to shoulder more decision-making.

더욱 많은 의사 결정의 책임을 져야 한다는 거죠.

They'll know their mission objective,

드론은 임무의 목적을 알게 될 것이며

and they'll react to new circumstances without human guidance.

또한 인간의 지도가 없는 새로운 상황에 반응할 것입니다.

They'll ignore external radio signals

외부의 전파신호를 무시하고

and send very few of their own.

자체의 신호는 거의 내보내지 않을 것입니다.

Which brings us to, really, the third

이것은 곧 세번째 요인을 초래하게 되는데

and most powerful incentive pushing decision-making

이는 인간의 의사 결정권을

away from humans and onto weapons:

무기로 옮기는 가장 강력한 요인입니다.

plausible deniability.

타당한 거부권이죠.

Now we live in a global economy.

지금 우리는 지구촌 경제에서 살고 있습니다.

High-tech manufacturing is occurring on most continents.

첨단 기술 제조업은 대부분의 대륙에서 이뤄지고 있습니다.

Cyber espionage is spiriting away advanced designs

사이버 스파이는 앞선 디자인을 몰래 빼돌려

to parts unknown,

미지의 곳으로 가져갑니다.

and in that environment, it is very likely

그런 환경 속에서, 가능성이 높은 일은

that a successful drone design will be knocked off in contract factories,

성공한 드론 디자인이 위탁 제조 공장에서 털리고

proliferate in the gray market.

암시장에서 확산되는 것입니다.

And in that situation, sifting through the wreckage

그런 상황에서는, 자살 공격 드론의

of a suicide drone attack, it will be very difficult to say

잔해를 조사하더라도, 누가 보낸 무기인지

who sent that weapon.

단언하기 어려울 것입니다.

This raises the very real possibility

이것은 익명 전쟁을 실제 현실로

of anonymous war.

만들 수 있습니다.

This could tilt the geopolitical balance on its head,

이는 지정학적 균형을 한쪽으로 기울게 하여

make it very difficult for a nation to turn its firepower

한 나라가 공격자에 대해 화력으로 대응하기 어렵게 하고,

against an attacker, and that could shift the balance

그로 인해 21세기의 균형이

in the 21st century away from defense and toward offense.

방어에서 공격 위주로 바뀔 수 있습니다.

It could make military action a viable option

군사적 행동이 실행 가능한 선택이 되는데,

not just for small nations,

이는 작은 국가 뿐만 아니라

but criminal organizations, private enterprise,

범죄 집단, 민간 기업,

even powerful individuals.

심지어 권력있는 개인에게도 해당됩니다.

It could create a landscape of rival warlords

이는 군벌 경쟁의 구조를 형성하고

undermining rule of law and civil society.

법치와 시민사회를 훼손할 수 있습니다.

Now if responsibility and transparency

만약 책임과 투명성이

are two of the cornerstones of representative government,

대의 정치의 두 가지 주춧돌이라고 한다면,

autonomous robotic weapons could undermine both.

무인 로봇 무기는 둘 다 훼손할 수 있습니다.

Now you might be thinking that

여러분은 이렇게 생각할 수도 있겠죠.

citizens of high-tech nations

첨단기술 국가의 국민이

would have the advantage in any robotic war,

어떤 로봇 전쟁에서나 더 유리할 것이고

that citizens of those nations would be less vulnerable,

그런 국가의 국민은 덜 위험할 거라고요.

particularly against developing nations.

특히 개발도상국에 비해서 말이죠.

But I think the truth is the exact opposite.

그러나 실제는 그 반대입니다.

I think citizens of high-tech societies

제 생각엔 첨단기술 사회의 시민이

are more vulnerable to robotic weapons,

로봇 무기에 더 취약합니다.

and the reason can be summed up in one word: data.

그 이유는 한 단어로 요약할 수 있죠. 데이터.

Data powers high-tech societies.

데이터는 첨단기술 사회의 동력입니다.

Cell phone geolocation, telecom metadata,

휴대전화 위치정보, 통신 메타데이터,

social media, email, text, financial transaction data,

소셜미디어, 이메일, 문자메세지, 금융 거래 데이터,

transportation data, it's a wealth of real-time data

교통 정보 등 풍부한 실시간 데이터가

on the movements and social interactions of people.

사람들의 행동과 사회적 상호 작용을 나타냅니다.

In short, we are more visible to machines

간단히 말해, 우리는 역사상 그 누구보다도

than any people in history,

기계에 더 많이 노출되고 있단 겁니다.

and this perfectly suits the targeting needs of autonomous weapons.

무인 무기의 표적 지정에 필요한 것에 꼭 들어맞습니다.

What you're looking at here

여기 여러분이 보고 계신 것은

is a link analysis map of a social group.

한 사회 그룹의 관련성 분석 지도입니다.

Lines indicate social connectedness between individuals.

선은 개인 간의 사회적 연결망을 나타냅니다.

And these types of maps can be automatically generated

이런 유형의 지도는 자동으로 생성될 수 있습니다.

based on the data trail modern people leave behind.

현대인들이 남겨놓은 데이터 흔적에 바탕해서요.

Now it's typically used to market goods and services

현재 이 데이터는 보통 상품과 서비스를 특정 인구에게

to targeted demographics, but it's a dual-use technology,

파는데 사용되지만, 이는 민군 겸용의 기술입니다.

because targeting is used in another context.

'목표물 지정'은 또 다른 상황에서도 쓰이니까요.

Notice that certain individuals are highlighted.

일부 개인들이 강조된 게 보이십니까?

These are the hubs of social networks.

이들은 소셜 네트워크의 중추입니다.

These are organizers, opinion-makers, leaders,

이들은 조직자, 여론 형성자, 리더들이며

and these people also can be automatically identified

이 사람들은 커뮤니케이션 패턴에 의해

from their communication patterns.

자동으로 식별되죠.

Now, if you're a marketer, you might then target them

만약 당신이 마케팅 담당자라면 그들을 목표로 삼아서

with product samples, try to spread your brand

제품 샘플을 건네고 그들의 사회 집단을 통해

through their social group.

당신의 브랜드를 알리려 할 거에요.

But if you're a repressive government

하지만 만약 당신이 억압적 정부이고

searching for political enemies, you might instead remove them,

정적을 찾고 있다면, 그들을 쫓아내거나 제거하여

eliminate them, disrupt their social group,

그들의 사회 집단을 무너뜨릴 수 있으며

and those who remain behind lose social cohesion

그로 인해 그 뒤에 남은 사람들은

and organization.

조직과 화합을 잃어버릴 것입니다.

Now in a world of cheap, proliferating robotic weapons,

이제 저렴해지고 급증하는 로봇 무기의 세계에선

borders would offer very little protection

멀리서 정부나 초국가적인 범죄 단체를

to critics of distant governments

비판하는 사람들을

or trans-national criminal organizations.

국경이 보호하지 못하게 됩니다.

Popular movements agitating for change

변화를 요구하는 민중 운동은

could be detected early and their leaders eliminated

일찌감치 발각되고, 그들의 리더들은

before their ideas achieve critical mass.

그들의 생각이 임계점에 도달하기 전에 제거될 거에요.

And ideas achieving critical mass

임계점에 도달하는 아이디어는

is what political activism in popular government is all about.

민주 정치에서 정치 활동의 핵심입니다.

Anonymous lethal weapons could make lethal action

익명의 치명적 무기는 모든 경쟁상대가

an easy choice for all sorts of competing interests.

치명적 행동을 쉽게 선택하게 만듭니다.

And this would put a chill on free speech

이것은 민주주의의 핵심인 언론의 자유나

and popular political action, the very heart of democracy.

민중의 정치적 운동을 냉각시켜 버릴 겁니다.

And this is why we need an international treaty

이 때문에 우리는 로봇 무기에 대한

on robotic weapons, and in particular a global ban

국제 조약을 필요로 하며, 특히 국제적으로

on the development and deployment of killer robots.

살인 로봇의 개발과 배포를 금지시켜야 합니다.

Now we already have international treaties

현재 우리는 이미 핵무기와 생화학 무기에 대한

on nuclear and biological weapons, and, while imperfect,

국제조약이 있습니다. 비록 완벽하지는 않지만,

these have largely worked.

이들은 큰 역할을 했습니다.

But robotic weapons might be every bit as dangerous,

하지만 로봇 무기도 그에 못지않게 위험합니다.

because they will almost certainly be used,

사용될 것이 거의 확실하고,

and they would also be corrosive to our democratic institutions.

민주적 기구들을 좀먹을 것이기 때문이죠.

Now in November 2012 the U.S. Department of Defense

2012년 11월, 미국 국방부는

issued a directive requiring

지시문을 발행하여

a human being be present in all lethal decisions.

모든 살상 결정에 인간이 참여할 것을 요구했습니다.

This temporarily effectively banned autonomous weapons in the U.S. military,

이는 일시적이지만 효과적으로 미군의 무인 무기 사용을 막았습니다만,

but that directive needs to be made permanent.

그 지시문은 영구화되어야 합니다.

And it could set the stage for global action.

이로써 국제적 입법의 기초를 마련할 수 있습니다.

Because we need an international legal framework

왜냐하면 우리는 로봇 무기에 관한 국제적인 법률 체계가

for robotic weapons.

필요하기 때문이죠.

And we need it now, before there's a devastating attack

지금 당장 필요합니다. 엄청난 공격이나

or a terrorist incident that causes nations of the world

테러리스트의 습격으로 인해 세계 국가들이

to rush to adopt these weapons

결과를 고려하지 않고

before thinking through the consequences.

이런 무기를 사용하게 되기 전에 말입니다.

Autonomous robotic weapons concentrate too much power

무인 로봇 무기가 극소수에게 너무 큰 힘을 실어주고

in too few hands, and they would imperil democracy itself.

민주주의 자체를 위태롭게 할 수 있습니다.

Now, don't get me wrong, I think there are tons

오해하지는 마세요. 저는

of great uses for unarmed civilian drones:

비무장 민간 드론의 쓰임새는 아주 많다고 생각합니다.

environmental monitoring, search and rescue, logistics.

환경 감시, 수색과 구조, 물류지원 말이에요.

If we have an international treaty on robotic weapons,

만약 로봇 무기에 대한 국제조약이 있다면,

how do we gain the benefits of autonomous drones

우리가 무인 드론과 무인 차량을

and vehicles while still protecting ourselves

잘 사용하면서, 우리 자신을

against illegal robotic weapons?

불법 로봇 무기로부터 보호하는 방법은 뭘까요?

I think the secret will be transparency.

그 비밀은 투명성이라고 생각합니다.

No robot should have an expectation of privacy

어떤 로봇도 공공장소에서

in a public place.

개인 정보를 수집해서는 안됩니다.

(Applause)

(박수)

Each robot and drone should have

각각의 로봇과 드론은

a cryptographically signed I.D. burned in at the factory

공장에서 새긴 암호화된 아이디가 있어야 합니다.

that can be used to track its movement through public spaces.

공공장소에서 로봇의 움직임을 추적할 수 있도록 말이죠.

We have license plates on cars, tail numbers on aircraft.

자동차에 번호판이 있고 항공기에 고유번호가 있는 것과

This is no different.

전혀 다를 게 없습니다.

And every citizen should be able to download an app

그리고 모든 시민이 앱을 다운로드하여

that shows the population of drones and autonomous vehicles

주위의 공공장소에서 작동되는 드론과 무인 차량의

moving through public spaces around them,

수량을 확인할 수 있어야 합니다.

both right now and historically.

지금이나 역사적으로나 말이죠.

And civic leaders should deploy sensors and civic drones

시민 지도자는 센서와 민간 드론을 배치하여

to detect rogue drones,

악당 드론을 탐지해야 하고,

and instead of sending killer drones of their own up to shoot them down,

그걸 알아서 쏴 버릴 킬러 드론을 배치하는 대신

they should notify humans to their presence.

사람들에게 그들의 존재를 알려야 합니다.

And in certain very high-security areas,

보안이 매우 철저한 특정구역에서는

perhaps civic drones would snare them

아마도 민간 무인기가 그걸 잡아서

and drag them off to a bomb disposal facility.

폭탄 처리 공장에 버릴 수 있겠죠.

But notice, this is more an immune system

주의할 것은, 이것은 무기 체계라기보단

than a weapons system.

면역 체계에 더 가깝다는 점입니다.

It would allow us to avail ourselves of the use

이는 우리가 무인 차량 및 드론을 사용하는데

of autonomous vehicles and drones

도움이 되는 동시에

while still preserving our open, civil society.

열린 시민사회를 유지하도록 해줄 거에요.

We must ban the deployment and development

우리는 살인 로봇의 개발과 배포를

of killer robots.

금지해야 합니다.

Let's not succumb to the temptation to automate war.

자동화 전쟁의 유혹에 굴복하지 맙시다.

Autocratic governments and criminal organizations

독재 정부와 범죄 조직은

undoubtedly will, but let's not join them.

틀림없이 그럴 테지만, 거기에 합류하지 맙시다.

Autonomous robotic weapons

무인 로봇 무기는

would concentrate too much power

극소수의 보이지 않는 손에

in too few unseen hands,

너무 많은 힘을 쥐어 줄 것입니다.

and that would be corrosive to representative government.

그리고 이것은 대의 정치를 부식시킵니다.

Let's make sure, for democracies at least,

이것만 확실히 합시다. 적어도 민주주의를 위하여,

killer robots remain fiction.

살인 로봇은 공상으로 남아야 합니다.

Thank you.

감사합니다.

(Applause)

(박수)

Thank you. (Applause)

감사합니다. (박수)