Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

المترجم: Nawar Altrk المدقّق: Ayman Mahmoud

I write fiction sci-fi thrillers,

أنا كاتب خيال علميّ،

so if I say "killer robots,"

لذا عندما أقول "روبوتات قاتلة"،

you'd probably think something like this.

ستظنون على الأرجح أنّني أتحدث عن شيء كتبته.

But I'm actually not here to talk about fiction.

ولكنني هذه المرة لا أتحدّث عن الخيال.

I'm here to talk about very real killer robots,

أنا أتحدّث عن روبوتات قاتلة حقيقية،

autonomous combat drones.

الطائرات القتالية ذات التحكم الذاتي.

Now, I'm not referring to Predator and Reaper drones,

أنا لا أشير إلى "المطارد" و الطائرات بدون طيار "الحاصد"،

which have a human making targeting decisions.

التي يقوم فيها الإنسان باتخاذ قرارات الهجوم.

I'm talking about fully autonomous robotic weapons

أنا أتحدّث عن أسلحة روبوتية ذاتية التحكم تماما

that make lethal decisions about human beings

تقوم باتّخاذ قرارات قاتلة للبشر

all on their own.

وحدها.

There's actually a technical term for this: lethal autonomy.

هناك في الواقع مصطلح تقني لهذا: التّحكم الذاتي الفتاك.

Now, lethally autonomous killer robots

إنّ الروبوتات القاتلة الذاتيّة التّحكم

would take many forms -- flying, driving,

قادرة على اتّخاذ أشكال عديدة - الطيران، و القيادة،

or just lying in wait.

و غيرها ..

And actually, they're very quickly becoming a reality.

وفي الواقع، فهي سرعان ما تصبح حقيقة واقعة.

These are two automatic sniper stations

هذه وحدتين للقنص التلقائي

currently deployed in the DMZ between North and South Korea.

الموجودة حاليا في المنطقة المجردة من السلاح بين كوريا الشمالية وكوريا الجنوبية.

Both of these machines are capable of automatically

كل من هذه الآلات القادرة على

identifying a human target and firing on it,

تحديد أهداف بشرية وإطلاق النار عليها تلقائياً،

the one on the left at a distance of over a kilometer.

الموجود على اليسار مداها أكثر من كيلومتر.

Now, in both cases, there's still a human in the loop

في كلتا الحالتين، لا يزال هناك إنسان في الوسط

to make that lethal firing decision,

لاتخاذ القرار القاتل بإطلاق النار،

but it's not a technological requirement. It's a choice.

و لكنه ليس متطلّبا تكنولوجيّا، بل خيار.

And it's that choice that I want to focus on,

و ذلك الخيار هو الذي أرغب في التركيز عليه،

because as we migrate lethal decision-making

لأنّها و خلال عمليّة نقل القرارات المميتة

from humans to software,

من البشر للبرمجيات،

we risk not only taking the humanity out of war,

فنحن نخاطر ليس فقط بإخراج البشرية من الحرب،

but also changing our social landscape entirely,

ولكن أيضا بتغير المشهد الاجتماعي لدينا تماما،

far from the battlefield.

بعيداً عن ميدان المعركة.

That's because the way humans resolve conflict

وهذا لأنّ طريقة البشر في حلّ النزاع

shapes our social landscape.

تشكّل المشهد الاجتماعي لدينا.

And this has always been the case, throughout history.

كما كان الحال دائما، على مر التاريخ.

For example, these were state-of-the-art weapons systems

على سبيل المثال،هذا ما كان يمثل احسن الأسلحة لدولة

in 1400 A.D.

في 1400 ميلادي

Now they were both very expensive to build and maintain,

وكلاهما مكلف جدا للبناء وللتصليح

but with these you could dominate the populace,

ولكن بهذه الأدوات يمكنك السيطرة على الجماهير،

and the distribution of political power in feudal society reflected that.

وتعكس توزيع السلطة السياسية في المجتمع الإقطاعي الذي.

Power was focused at the very top.

تتركز السلطة فيه بأعلى الهرم.

And what changed? Technological innovation.

وما الذي تغير؟ الابتكار التكنولوجي.

Gunpowder, cannon.

البارود، المدفع.

And pretty soon, armor and castles were obsolete,

ومن فترة قريبة الدروع والقلاع قد عفا عليها الزمن،

and it mattered less who you brought to the battlefield

وأصبحت أهمية من تحضر الى المعركة أقل

versus how many people you brought to the battlefield.

مقابل كم من الناس تحضر إلى ساحة المعركة.

And as armies grew in size, the nation-state arose

وكلما نمت الجيوش في الحجم، ترتفع أهمية الدولة

as a political and logistical requirement of defense.

كشرط سياسي ولوجستي للدفاع.

And as leaders had to rely on more of their populace,

وكان على القادة الاعتماد على المزيد من جماهيرهم،

they began to share power.

وعندها بدأت تقاسمهم السلطة.

Representative government began to form.

وبدأت حكومة النيابية بالتشكل.

So again, the tools we use to resolve conflict

لذا مرة أخرى، الأدوات التي نستخدمها لحل الصراع

shape our social landscape.

تشكل صورة مشهد مجتمعنا.

Autonomous robotic weapons are such a tool,

الأسلحة الروبوتية ذاتية التحكم أداة من هذا القبيل،

except that, by requiring very few people to go to war,

فيما عدا ذلك، بتطلب عدد قليل من الناس للذهاب إلى الحرب،

they risk re-centralizing power into very few hands,

نواجه خطر إعادة تركيز السلطة في أيادي قليلة،

possibly reversing a five-century trend toward democracy.

ربما عكس اتجاه القرن الخامس في الميل نحو الديمقراطية.

Now, I think, knowing this,

الآن، أعتقد،

we can take decisive steps to preserve our democratic institutions,

أنه يمكننا اتخاذ خطوات حاسمة للحفاظ على مؤسساتنا الديمقراطية،

to do what humans do best, which is adapt.

للقيام بأفضل ما لدى البشر، والذي هو التكييف.

But time is a factor.

ولكن الوقت هو عامل حاسم.

Seventy nations are developing remotely-piloted

سبعين دولة تقوم بتطوير طائرات بدون طيار

combat drones of their own,

طائرات قتالية خاصة بهم،

and as you'll see, remotely-piloted combat drones

وكما سترى، إن الطائرات دون طيار القتالية

are the precursors to autonomous robotic weapons.

هي بشير للأسلحة الروبوتية ذاتية الحكم.

That's because once you've deployed remotely-piloted drones,

وذلك بسبب أنه عند انتشار الطائرات دون طيار

there are three powerful factors pushing decision-making

ظهرت ثلاثة عوامل قوية لدفع عملية صنع القرار

away from humans and on to the weapon platform itself.

بعيداً عن البشر إلى منصة الأسلحة بنفسها.

The first of these is the deluge of video that drones produce.

وأولها هو الكم الكبير من الفيديو الذي تنتجه طائرات بلا طيار

For example, in 2004, the U.S. drone fleet produced

على سبيل المثال، في عام 2004، أنتج أسطول الطائرات بدون طيار في الولايات المتحدة

a grand total of 71 hours of video surveillance for analysis.

ما يبلغ 71 ساعة من فيديوهات المراقبة ولذلك لتحليلها

By 2011, this had gone up to 300,000 hours,

بحلول عام 2011، زادت إلى 300,000 ساعة

outstripping human ability to review it all,

ذلك يفوق القدرة البشرية على مراجعتها،

but even that number is about to go up drastically.

ولكن حتى هذا العدد على وشك الارتفاع بشكل كبير.

The Pentagon's Gorgon Stare and Argus programs

ببرامج جورجون للمراقبة والرصد التابعة للبنتاجون

will put up to 65 independently operated camera eyes

سيتم تركيب 65 كاميرا تعمل بشكل مستقل

on each drone platform,

على الطائرات بدون طيار،

and this would vastly outstrip human ability to review it.

وهذا سوف يفوق بحد كبير القدرة البشرية لمراجعته.

And that means visual intelligence software will need

وهذا يعني الحاجة إلى برامج ذكية للتحليل المرئي

to scan it for items of interest.

لإتمام عملية المسح للعناصر ذات الأهمية.

And that means very soon

وهذا يعني أنه قريبا جداً

drones will tell humans what to look at,

طائرات بدون طيار سوف تملي للبشر مالذي تراه مناسب

not the other way around.

لا العكس.

But there's a second powerful incentive pushing

ولكن هناك عامل ثان مؤثر للدفع

decision-making away from humans and onto machines,

بعملية صنع القرار بعيداً عن البشر وعن الآلات

and that's electromagnetic jamming,

والذي هو التشويش الكهرومغناطيسي،

severing the connection between the drone

قطع الاتصال بين الطائرات بدون طيار

and its operator.

عن مشغلاتها

Now we saw an example of this in 2011

رأينا مثال على هذا في 2011

when an American RQ-170 Sentinel drone

الطائرة بدون طيار آر كيو 170 الامريكية

got a bit confused over Iran due to a GPS spoofing attack,

أصابها تشويش بنظام تحديد المواقع فوق ايران بسبب هجوم تعرضت له

but any remotely-piloted drone is susceptible to this type of attack,

إن أي طائرة بدون طيار هي عرضه لهذا النوع من الهجوم،

and that means drones

وهذا يعني أن الطائرات بدون طيار

will have to shoulder more decision-making.

سيكون عليها تحمل المزيد من عبء اتخاذ القرار.

They'll know their mission objective,

وسيعرفون هدف مهمتهم

and they'll react to new circumstances without human guidance.

وسيتفاعلون مع الظروف الجديدة دون توجيه بشري.

They'll ignore external radio signals

وستتجاهل إشارات راديو الخارجية

and send very few of their own.

وإرسال القليل من اشاراتها.

Which brings us to, really, the third

والذي يقودنا إلى العامل الثالث

and most powerful incentive pushing decision-making

وهو أقوى عامل لدفع عملية اتخاذ القرار

away from humans and onto weapons:

بعيداً عن البشر وعن الأسلحة:

plausible deniability.

الإنكار الحقيقة

Now we live in a global economy.

نحن نعايش اقتصاد عالمي.

High-tech manufacturing is occurring on most continents.

تُصنّع التكنولوجيا العالية في عدة قارات

Cyber espionage is spiriting away advanced designs

السيبرانية التجسس يبعد التصميمات المتقدمة

to parts unknown,

إلى نواحي مجهولة،

and in that environment, it is very likely

وفي تلك البيئة، من المحتمل جداً

that a successful drone design will be knocked off in contract factories,

يسيطر تصميم الطائرة بدون طيار الناجح على المصانع،

proliferate in the gray market.

وتنتشر في السوق الرمادية.

And in that situation, sifting through the wreckage

وفي تلك الحالة، غربلة للحطام

of a suicide drone attack, it will be very difficult to say

كهجوم طائرة بدون طيار انتحاري، سيكون من الصعب جداً القول

who sent that weapon.

من أرسل تلك الطائرات.

This raises the very real possibility

هذا الأمر يرفع من إمكانية حدوث

of anonymous war.

حرب مجهولة الأطراف.

This could tilt the geopolitical balance on its head,

ويعمل على خلخلة التوازن السياسي،

make it very difficult for a nation to turn its firepower

تجعل من الصعب جداً على دولة لتوجيه نيرانها

against an attacker, and that could shift the balance

نحو المهاجم، والذي يؤدي إلى إزاحة التوازن

in the 21st century away from defense and toward offense.

في القرن الواحد والعشرين بعيداً عن الحماية باتجاه الجريمة.

It could make military action a viable option

و تجعل العمل العسكري خياراً قابلاً للتطبيق

not just for small nations,

ليس فقط للدول الصغيرة،

but criminal organizations, private enterprise,

ولكن للمنظمات الإجرامية، والمؤسسات الخاصة،

even powerful individuals.

وحتى الشخصيات الهامة

It could create a landscape of rival warlords

ويؤدي الى إنشاء مشهد من القادة الحرب المتصارعين

undermining rule of law and civil society.

ويقوض سيادة القانون والمجتمع المدني.

Now if responsibility and transparency

الآن إذا كانت المسؤولية والشفافية

are two of the cornerstones of representative government,

وهما من الركائز الأساسية لحكومة منتخبة،

autonomous robotic weapons could undermine both.

فإن الأسلحة الروبوتية تعمل على تقويضهما

Now you might be thinking that

الآن قد تفكر بالأمر

citizens of high-tech nations

بأن مواطني الدول ذات التكنولوجيا المتقدمة

would have the advantage in any robotic war,

ستكون لديهم الأفضلية في أي حرب الروبوتية،

that citizens of those nations would be less vulnerable,

إن مواطني تلك الدول سوف تكون أقل عرضة للخطر،

particularly against developing nations.

لا سيما ضد الدول النامية.

But I think the truth is the exact opposite.

ولكن أعتقد أن الحقيقة هي عكس ذلك تماما.

I think citizens of high-tech societies

وأعتقد أن مواطني المجتمعات ذات التكنولوجيا العالية

are more vulnerable to robotic weapons,

هم أكثر عرضة للأسلحة الروبوتية،

and the reason can be summed up in one word: data.

والسبب الذي يمكن تلخيصه في كلمة واحدة: البيانات.

Data powers high-tech societies.

بيانات هي قوة المجتمعات المتقدمة.

Cell phone geolocation, telecom metadata,

تحديد الموقع باستخدام الهواتف، اتصالات البيانات التبادلية،

social media, email, text, financial transaction data,

وسائل الإعلام الاجتماعية، البريد الإلكتروني، بيانات المعاملات المالية،

transportation data, it's a wealth of real-time data

نقل البيانات،جمعيها تشكل ثروة من البيانات في الوقت الحقيقي

on the movements and social interactions of people.

للتحركات والتفاعلات الاجتماعية للناس.

In short, we are more visible to machines

وباختصار، نحن أكثر وضوحاً لآلات

than any people in history,

من أي شعب في التاريخ،

and this perfectly suits the targeting needs of autonomous weapons.

وهذا يناسب تماما الاحتياجات الأسلحة الروبوتية لتحديد اهدافها.

What you're looking at here

ما تشاهده هنا هو

is a link analysis map of a social group.

عبارة عن خريطة تحليل لارتباط مجموعة اجتماعية.

Lines indicate social connectedness between individuals.

تشير الخطوط الى الترابط الاجتماعي بين الأفراد.

And these types of maps can be automatically generated

وهذا النوع من الخرائط يمكن إنشأه تلقائيا

based on the data trail modern people leave behind.

وتعتمد على البيانات التي يتركها الناس خلفهم

Now it's typically used to market goods and services

وهذا ما يتم استخدامه لتسويق السلع والخدمات

to targeted demographics, but it's a dual-use technology,

لاستهداف أنواع من الناس ،لكنها تقنية مزدوجة الاستخدام

because targeting is used in another context.

لأنه يتم استخدام الاستهداف في سياق آخر.

Notice that certain individuals are highlighted.

لاحظ بعض الأفراد المحددين.

These are the hubs of social networks.

هؤلاء هم نقاط وصل للشبكات الاجتماعية.

These are organizers, opinion-makers, leaders,

هؤلاء هم المنظمين وصانعي الرأي و القادة،

and these people also can be automatically identified

وهؤلاء يمكن التعرف عليهم تلقائيا

from their communication patterns.

من أنماط اتصالاتهم.

Now, if you're a marketer, you might then target them

الآن، إذا كنت مسوق، ستعمل على استهدافهم

with product samples, try to spread your brand

من خلال عينات منتجك، محاولا نشر علامتك التجارية

through their social group.

الى مجموعاتهم الاجتماعية.

But if you're a repressive government

لكن إذا كنت تمثل حكومة قمعية

searching for political enemies, you might instead remove them,

باحثا عن الأعداء السياسيين، يمكن بدلا من ذلك ازالتهم،

eliminate them, disrupt their social group,

أو القضاء عليهم أوتعطيل هذه مجموعاتهم الاجتماعية

and those who remain behind lose social cohesion

وهؤلاء هم السبب في فقدان التماسك الاجتماعي

and organization.

وتنظيمه.

Now in a world of cheap, proliferating robotic weapons,

الآن في عالم التكلفة الرخيصة، تنتشر الأسلحة الروبوتية،

borders would offer very little protection

الحدود لن توفر سوى حماية ضعيفة جداً

to critics of distant governments

من معادين الحكومات

or trans-national criminal organizations.

أو المنظمات الإجرامية الدولية.

Popular movements agitating for change

الحركات الشعبية الثائرة للتغيير

could be detected early and their leaders eliminated

يمكن أن تكشف مبكرا، ويتم القضاء على قادتها

before their ideas achieve critical mass.

قبل أن تحقق أفكارها المطلوبة.

And ideas achieving critical mass

وتحقيق تلك الأفكار

is what political activism in popular government is all about.

هو كل شيء للنشاط السياسي في الحكومة الشعبية

Anonymous lethal weapons could make lethal action

الأسلحة الفتاكة المجهولة يمكن أن تجعل العمل مميت

an easy choice for all sorts of competing interests.

وخيار سهل لكل من المصالح المتنافسة.

And this would put a chill on free speech

وهذا من شأنه وضع حد لحرية التعبير

and popular political action, the very heart of democracy.

والعمل السياسي الشعبي،هو جوهر الديمقراطية.

And this is why we need an international treaty

ولهذا السبب إننا بحاجة إلى معاهدة دولية

on robotic weapons, and in particular a global ban

للحد من الأسلحة الروبوتية، وفرض حظر جزئي عالمي

on the development and deployment of killer robots.

على تطوير ونشر الروبوتات القتالية.

Now we already have international treaties

الآن لدينا بالفعل معاهدات دولية

on nuclear and biological weapons, and, while imperfect,

على الأسلحة النووية والبيولوجية،

these have largely worked.

وقد عملت إلى حد كبير.

But robotic weapons might be every bit as dangerous,

ولكن قد تكون الأسلحة الروبوتية خطيرة لحد ما،

because they will almost certainly be used,

لأنه من المؤكد أنها ستستخدم

and they would also be corrosive to our democratic institutions.

وسيكون لها دور في تقويض مؤسساتنا الديمقراطية

Now in November 2012 the U.S. Department of Defense

في تشرين الثاني/نوفمبر 2012 وزارة الدفاع الأميركية

issued a directive requiring

أصدرت توجيه تتطلب

a human being be present in all lethal decisions.

وجود إنسان عند إتخاذ القرارات القاتلة

This temporarily effectively banned autonomous weapons in the U.S. military,

وهذا يمنع مؤقتا فعالية الروبوتات القتالية في الجيش الأميركي

but that directive needs to be made permanent.

ولكن هذا التوجيه يحتاج إلى إجراء دائم.

And it could set the stage for global action.

وأن يمهد لحدث عالمي.

Because we need an international legal framework

نظراً لأننا بحاجة إلى إطار عمل قانوني دولي

for robotic weapons.

للأسلحة الروبوتية.

And we need it now, before there's a devastating attack

ونحن بحاجته بالحال، قبل وقوع أي هجوم مدمر

or a terrorist incident that causes nations of the world

أو عمل إرهابي يتسبب باندفاع دول العالم

to rush to adopt these weapons

لاعتماد هذه الأسلحة

before thinking through the consequences.

قبل التفكير في العواقب.

Autonomous robotic weapons concentrate too much power

الأسلحة الروبوتية ذاتية التحكم تركز السلطة

in too few hands, and they would imperil democracy itself.

في أيدي قليلة جداً، وإنها ستهدد الديمقراطية نفسها.

Now, don't get me wrong, I think there are tons

لا تفهموني خطأ، أعتقد أن هناك الكثير

of great uses for unarmed civilian drones:

من الاستخدامات المفيدة لطائرات دون الطيار للمدنيين العزل:

environmental monitoring, search and rescue, logistics.

الرصد البيئي والبحث والإنقاذ والنقل والإمداد.

If we have an international treaty on robotic weapons,

إذا كان لدينا معاهدة دولية لحد الأسلحة الروبوتية،

how do we gain the benefits of autonomous drones

كم من الفوائد التي سنحصل عليها من الطائرات بدون طيار

and vehicles while still protecting ourselves

والمركبات والتي ما تزال توفر حماية لنا

against illegal robotic weapons?

ضد الأسلحة الروبوتية غير المشروعة؟

I think the secret will be transparency.

أعتقد أن السر ألا يخبأ.

No robot should have an expectation of privacy

لا يجب السماح للروبوتات باقتحام الخصوصية

in a public place.

في الأماكن العامة.

(Applause)

(تصفيق)

Each robot and drone should have

ينبغي أن يكون لكل روبوت وطائرة بدون طيار

a cryptographically signed I.D. burned in at the factory

ترميز مسجل للتعريف عن هويتها يعطى من قبل المصنع

that can be used to track its movement through public spaces.

الذي يستخدم لتعقب حركتها في الأماكن العامة.

We have license plates on cars, tail numbers on aircraft.

لدينا لوحات التسجيل للسيارات وأرقام التسجيل الطائرات.

This is no different.

لا يوجد اختلاف .

And every citizen should be able to download an app

وينبغي لكل مواطن القدرة على تحميل تطبيق

that shows the population of drones and autonomous vehicles

والذي يعرض تعداد الطائرات دون الطيار والمركبات الذاتية

moving through public spaces around them,

التي تتحرك بالقرب منهم.

both right now and historically.

ذلك سيكون تاريخيا.

And civic leaders should deploy sensors and civic drones

وينبغي نشر قادة مدنيين و أجهزة تحسس وطائرات دون طيار مدنية

to detect rogue drones,

للكشف عن الطائرات الشريرة

and instead of sending killer drones of their own up to shoot them down,

وبدلا من ارسال الطائرات لإطلاق النار عليهم

they should notify humans to their presence.

ينبغي أولا تنبيه البشر لوجودهم.

And in certain very high-security areas,

وفي بعض المناطق الأمنية مشددة جداً،

perhaps civic drones would snare them

وتنصب لهم الطائرات دون طيار المدنية الفخ

and drag them off to a bomb disposal facility.

واستدراجها بعيدا للتخلص منها وإبطال مفعولها

But notice, this is more an immune system

ولاحظ أن هذا النظام أكثر حصانة

than a weapons system.

من النظام المسلح.

It would allow us to avail ourselves of the use

إنها تسمح لنا من استخدام

of autonomous vehicles and drones

المركبات الذاتية والطائرات بدون طيار

while still preserving our open, civil society.

للحفاظ على مجتمعنا المدني.

We must ban the deployment and development

علينا أن نحظر من نشر والتطوير

of killer robots.

الروبوتات القاتلة.

Let's not succumb to the temptation to automate war.

دعونا لا نستسلم لإغراء أتمتة الحرب.

Autocratic governments and criminal organizations

الحكومات المستبدة والمنظمات الإجرامية

undoubtedly will, but let's not join them.

بلا شك, ولكن أن لا ننضم إليهم.

Autonomous robotic weapons

الأسلحة الروبوتية ذاتية الحكم

would concentrate too much power

ستركز الكثير من السلطة

in too few unseen hands,

في أيدي قليلة جداً ومخفية،

and that would be corrosive to representative government.

وستعمل على تقويض الحكومة المنتخبة.

Let's make sure, for democracies at least,

دعونا نتأكد، من أجل ديمقراطيات على الأقل،

killer robots remain fiction.

أن الروبوتات القتالية ستبقى من الخيال.

Thank you.

شكرا.

(Applause)

(تصفيق)

Thank you. (Applause)

شكرا. (تصفيق)