Daniel Suarez: The kill decision shouldn't belong to a robot

Translator: Joseph Geni Reviewer: Morton Bast

מתרגם: Yael BST מבקר: Ido Dekkers

I write fiction sci-fi thrillers,

אני כותב מותחנים של מדע בדיוני,

so if I say "killer robots,"

אז אם אני אומר "רובוטים רצחניים",

you'd probably think something like this.

אתם בטח חושבים על משהו כמו זה.

But I'm actually not here to talk about fiction.

אבל האמת היא שאני כאן לא בכדי לדבר על מדע בדיוני.

I'm here to talk about very real killer robots,

אני כאן בכדי לדבר על רובוטים רצחניים מאוד אמיתיים,

autonomous combat drones.

כטב"מים אוטונומיים קרביים.

Now, I'm not referring to Predator and Reaper drones,

עכשיו, אני לא מדבר על הכטב"מים "פרדטור" ו"ריפר" ,

which have a human making targeting decisions.

שבהם האדם הוא שמחליט לגבי המטרות.

I'm talking about fully autonomous robotic weapons

אני מדבר על כלי נשק רובוטיים לגמרי אוטונומיים

that make lethal decisions about human beings

שמקבלים החלטות קטלניות על בני אדם

all on their own.

לגמרי בעצמם.

There's actually a technical term for this: lethal autonomy.

יש למעשה מונח טכני לזה: אוטונומיה קטלנית.

Now, lethally autonomous killer robots

עכשיו, רובוטים קטלניים אוטונומיים

would take many forms -- flying, driving,

לובשים צורות רבות: טסים, נוהגים,

or just lying in wait.

או סתם נמצאים במארב.

And actually, they're very quickly becoming a reality.

ולמעשה, הם נהפכים למציאות מהר מאוד.

These are two automatic sniper stations

אלו שתי תחנות צליפה אוטומטית

currently deployed in the DMZ between North and South Korea.

שמוצבות כיום באזור המפורז שבין צפון קוריאה לדרום קוריאה.

Both of these machines are capable of automatically

לשתי המערכות יכולות אוטונומיות

identifying a human target and firing on it,

לזיהוי מטרה אנושית ויירוטה,

the one on the left at a distance of over a kilometer.

זו משמאל ממרחק של למעלה מקילומטר.

Now, in both cases, there's still a human in the loop

עכשיו, בשני המקרים, יש עדיין בן אדם באמצע

to make that lethal firing decision,

שמקבל את ההחלטה הקטלנית לירות,

but it's not a technological requirement. It's a choice.

אבל זו אינה דרישה טכנית. זו בחירה.

And it's that choice that I want to focus on,

ובדיוק בבחירה הזו אני רוצה להתמקד,

because as we migrate lethal decision-making

כי בזמן שאנחנו מעבירים את קבלת ההחלטות הקטלניות

from humans to software,

מבני האדם לתוכנה,

we risk not only taking the humanity out of war,

אנחנו מסתכנים לא רק בכך שנוציא את האנושיות מהמלחמה,

but also changing our social landscape entirely,

אלא גם בכך שאנחנו נשנה לחלוטין את הנוף החברתי שלנו,

far from the battlefield.

גם הרבה מעבר לשדה הקרב.

That's because the way humans resolve conflict

וזאת כי האופן שבו בני אדם פותרים סיכסוכים

shapes our social landscape.

מעצב את הנוף החברתי שלנו.

And this has always been the case, throughout history.

וכך זה היה תמיד, לאורך כל ההיסטוריה.

For example, these were state-of-the-art weapons systems

למשל, אלו היו כלי הנשק הכי מתקדמים

in 1400 A.D.

ב-1400 לספירה.

Now they were both very expensive to build and maintain,

הם היו מאוד יקרים הן לבניה והן לתחזוקה,

but with these you could dominate the populace,

אבל באמצעותם יכולת לשלוט בעם,

and the distribution of political power in feudal society reflected that.

והפיזור של הכוח הפוליטי בחברה הפיאודלית שיקף זאת.

Power was focused at the very top.

הכוח היה מרוכז ממש בקודקוד.

And what changed? Technological innovation.

ומה השתנה? חדשנות טכנולוגית.

Gunpowder, cannon.

אבק השריפה, תותחים.

And pretty soon, armor and castles were obsolete,

ומהר מאוד, השריון והטירות הפכו מיושנים,

and it mattered less who you brought to the battlefield

וכבר היה חשוב פחות את מי הבאת לשדה הקרב

versus how many people you brought to the battlefield.

לעומת כמה אנשים הבאת לשדה הקרב.

And as armies grew in size, the nation-state arose

וככל שצבאות גדלו במספרים, קמו מדינות-הלאום

as a political and logistical requirement of defense.

כצורך פוליטי ולוגיסטי של ההגנה.

And as leaders had to rely on more of their populace,

וככל שמנהיגים נאלצו לסמוך על יותר מבני העם שלהם,

they began to share power.

כך הם החלו לחלוק בכוח.

Representative government began to form.

ממשלים ייצוגיים החלו להיווצר.

So again, the tools we use to resolve conflict

אז שוב, הכלים בהם אנחנו משתמשים כדי לפתור סכסוכים

shape our social landscape.

מעצבים את הנוף החברתי שלנו.

Autonomous robotic weapons are such a tool,

כלי נשק רובוטיים אוטונומיים הם כלי כזה,

except that, by requiring very few people to go to war,

אלא שבכך שהם מצריכים מעט מאוד אנשים שיצאו למלחמה,

they risk re-centralizing power into very few hands,

הם יוצרים את הסיכון שהכוח ישוב ויתרכז בקרב מעט מאוד ידיים,

possibly reversing a five-century trend toward democracy.

ואולי אף יחזירו אחורה מגמה בת 500 שנה של התקדמות לעבר דמוקרטיה.

Now, I think, knowing this,

עכשיו, לדעתי, כשיודעים את זה,

we can take decisive steps to preserve our democratic institutions,

אפשר לנקוט בצעדים החלטיים כדי לשמר את המוסדות הדמוקרטיים שלנו,

to do what humans do best, which is adapt.

ולעשות את מה שבני האדם עושים הכי טוב, וזה להסתגל.

But time is a factor.

אבל הזמן הוא מרכיב חשוב.

Seventy nations are developing remotely-piloted

שבעים אומות מפתחות בעצמן כטב"מים

combat drones of their own,

שנשלטים מרחוק,

and as you'll see, remotely-piloted combat drones

וכפי שתראו, כטב"מים קרביים שנשלטים מרחוק

are the precursors to autonomous robotic weapons.

הם נושאי הבשורה לכלי הנשק הרובוטיים האוטונומיים.

That's because once you've deployed remotely-piloted drones,

וזה כי מרגע שפרסת כטב"מים בשליטה מרחוק,

there are three powerful factors pushing decision-making

ישנם שלושה גורמים מרכזיים שדוחקים את קבלת ההחלטות

away from humans and on to the weapon platform itself.

מידי בני האדם ואל מערכת הנשק עצמה.

The first of these is the deluge of video that drones produce.

הראשון שבהם הוא מבול הווידיאו שהכטב"מים מייצרים.

For example, in 2004, the U.S. drone fleet produced

למשל, ב-2004, צי הכטב"מים של ארה"ב הפיק

a grand total of 71 hours of video surveillance for analysis.

בסה"כ 71 שעות של צילומי מעקב לניתוח.

By 2011, this had gone up to 300,000 hours,

ב-2011, הנתון עלה ל 300,000 שעות,

outstripping human ability to review it all,

ובכך עקף את היכולת האנושית לצפייה בכל זה,

but even that number is about to go up drastically.

אבל אפילו המספר הזה עוד יעלה משמעותית.

The Pentagon's Gorgon Stare and Argus programs

התוכניות של הפנטגון "גורגון סטר" וארגוס"

will put up to 65 independently operated camera eyes

יציבו כ-65 עדשות מצלמה שמנוהלות כל אחת בנפרד

on each drone platform,

על הפלטפורמה של כל כטב"ם,

and this would vastly outstrip human ability to review it.

וזה יעלה משמעותית על היכולת האנושית לצפות בתוצרים.

And that means visual intelligence software will need

והמשמעות היא שידרשו תוכנות בינה ויזואלית

to scan it for items of interest.

על מנת לסרוק ולאתר מוקדי עניין.

And that means very soon

וזה אומר שבקרוב מאוד

drones will tell humans what to look at,

כטב"מים יגידו לבני האדם על מה להסתכל,

not the other way around.

ולא להיפך.

But there's a second powerful incentive pushing

אבל יש תמריץ חזק שני שדוחף

decision-making away from humans and onto machines,

את קבלת ההחלטות מידי בני האדם לעבר המכונות,

and that's electromagnetic jamming,

וזה השיבוש האלקטרומגנטי,

severing the connection between the drone

שמנתק את הקשר שבין הכטב"ם

and its operator.

למפעיל שלו.

Now we saw an example of this in 2011

ראינו דוגמה לזה ב- 2011

when an American RQ-170 Sentinel drone

כאשר הכטב"ם סנטינל RQ-170 האמריקאי

got a bit confused over Iran due to a GPS spoofing attack,

התבלבל קצת מעל איראן בשל מתקפת שיבוש GPS,

but any remotely-piloted drone is susceptible to this type of attack,

אבל כל כטב"ם הנשלט מרחוק חשוף לסוג כזה של מתקפה,

and that means drones

וזה אומר שכטב"מים

will have to shoulder more decision-making.

יצטרכו לקבל יותר אחריות על קבלת החלטות.

They'll know their mission objective,

הם ידענו מה מטרת המשימה,

and they'll react to new circumstances without human guidance.

והם יגיבו לנסיבות חדשות ללא קבלת הנחיות מבן אנוש.

They'll ignore external radio signals

הם יתעלמו מאותות רדיו חיצוניים

and send very few of their own.

וישלחו מעט מאוד אותות משלהם.

Which brings us to, really, the third

מה שמביא אותנו, למעשה, לתמריץ השלישי

and most powerful incentive pushing decision-making

והחזק ביותר שדוחק את קבלת ההחלטות

away from humans and onto weapons:

מידי בני האדם ולעבר כלי הנשק:

plausible deniability.

הכחשה סבירה.

Now we live in a global economy.

אנחנו חיים כיום בכלכלה גלובלית.

High-tech manufacturing is occurring on most continents.

ברוב היבשות מתקיים ייצור של טכנולוגיה מתקדמת.

Cyber espionage is spiriting away advanced designs

ריגול קיברנטי מוביל לתפוצה של תוכניות פיתוח

to parts unknown,

למקומות בלתי ידועים,

and in that environment, it is very likely

ובאווירה כזו, מאוד סביר

that a successful drone design will be knocked off in contract factories,

שתוכנית ייצור של כטב"ם מוצלח תועתק במפעלים השותפים,

proliferate in the gray market.

ותשגשג במהירות בשוק האפור.

And in that situation, sifting through the wreckage

ובמצב כזה, בחיפוש בין ההריסות

of a suicide drone attack, it will be very difficult to say

של מתקפת כטב"ם מתאבד, יהיה מאוד קשה לומר

who sent that weapon.

מי שלח את כלי הנשק הזה.

This raises the very real possibility

זה מעלה את האפשרות המאוד ממשית

of anonymous war.

של מלחמה אנונימית.

This could tilt the geopolitical balance on its head,

זה יכול להטות לחלוטין את המאזן הגיאופולטי,

make it very difficult for a nation to turn its firepower

ולהקשות מאוד על מדינה להפנות את כוחה הצבאי

against an attacker, and that could shift the balance

כנגד התוקף, וזה עשוי להטות את האיזון

in the 21st century away from defense and toward offense.

במאה ה-21 מהגנה להתקפה.

It could make military action a viable option

זה עשוי להפוך את הפעולה הצבאית לאפשרות מעשית

not just for small nations,

לא רק עבור מדינות קטנות,

but criminal organizations, private enterprise,

אלא גם עבור ארגוני פשע, תאגידים פרטיים,

even powerful individuals.

ואפילו אזרחים פרטיים בעלי כוח.

It could create a landscape of rival warlords

זה עשוי ליצור נוף של אדוני מלחמה יריבים

undermining rule of law and civil society.

שמערערים את שלטון החוק ואת החברה האזרחית.

Now if responsibility and transparency

עכשיו אם אחריות ושקיפות

are two of the cornerstones of representative government,

הן אבני הפינה של השלטון הייצוגי,

autonomous robotic weapons could undermine both.

כלי נשק רובוטיים אוטונומיים עלולים לערער את שתי אלו.

Now you might be thinking that

עכשיו אתם אולי חושבים

citizens of high-tech nations

שלאזרחים במדינות בעלות טכנולוגיה מתקדמת

would have the advantage in any robotic war,

יהיה יתרון בכל מלחמה רובוטית,

that citizens of those nations would be less vulnerable,

שאזרחים במדינות כאלו יהיו פגיעים פחות,

particularly against developing nations.

בעיקר מול מדינות מתפתחות.

But I think the truth is the exact opposite.

אבל אני חושב שהאמת היא בדיוק הפוכה.

I think citizens of high-tech societies

אני חושב שאזרחים במדינות בעלות טכנולוגיה מתקדמת

are more vulnerable to robotic weapons,

חשופים יותר לפגיעה של כלי נשק רובוטיים,

and the reason can be summed up in one word: data.

והסיבה לכך היא במילה אחת: נתונים.

Data powers high-tech societies.

נתונים הם המנוע של חברות טכנולוגיות.

Cell phone geolocation, telecom metadata,

מיקום גיאוגרפי בטלפונים ניידים, נתוני טלקומוניקציה,

social media, email, text, financial transaction data,

מדיה חברתית, דוא"ל, נתוני עסקות פיננסיות,

transportation data, it's a wealth of real-time data

נתוני שינוע, זהו עושר של נתונים בזמן אמת

on the movements and social interactions of people.

על תנועות ואינטראקציות חברתיות בין אנשים.

In short, we are more visible to machines

בקצרה, אנחנו יותר נראים למכונות

than any people in history,

בהשוואה לכל אדם בהיסטוריה,

and this perfectly suits the targeting needs of autonomous weapons.

וזה מתאים במדויק לצרכי איתור המטרה של כלי הנשק האוטונומיים.

What you're looking at here

מה שאתם רואים כאן

is a link analysis map of a social group.

זה מפת ניתוח קשרים של קבוצה חברתית.

Lines indicate social connectedness between individuals.

הקווים מעידים על קישור חברתי בין פרטים.

And these types of maps can be automatically generated

ומפות מסוג כזה אפשר לחולל אוטומטית

based on the data trail modern people leave behind.

על בסיס עקבות המידע שהאדם המודרני משאיר אחריו.

Now it's typically used to market goods and services

עכשיו בדר"כ זה משמש לשיווק סחורות ושירותים

to targeted demographics, but it's a dual-use technology,

לקבוצת אוכלוסייה ייעודית, אבל זו טכנולוגיה דו-שימושית,

because targeting is used in another context.

כי איתור מטרה משמש גם בהקשר אחר.

Notice that certain individuals are highlighted.

שימו לב שחלק מהפרטים מודגשים.

These are the hubs of social networks.

אלו הם מעין מוקדים של רשתות חברתיות.

These are organizers, opinion-makers, leaders,

אלו הם מארגנים, קובעי דעת-קהל, מנהיגים,

and these people also can be automatically identified

וגם האנשים האלו יכולים להיות מזוהים אוטומטית

from their communication patterns.

על פי דפוסי התקשורת שלהם.

Now, if you're a marketer, you might then target them

עכשיו, אם אתה משווק, אתה יכול להפוך אותם למטרה

with product samples, try to spread your brand

לדוגמיות של מוצרים, לנסות להפיץ את המותג שלך

through their social group.

דרך הקבוצה החברתית שלהם.

But if you're a repressive government

אבל אם אתה משטר דיכוי

searching for political enemies, you might instead remove them,

שמחפש אויבים פוליטיים, אתה עלול במקום זה להוריד אותם,

eliminate them, disrupt their social group,

לחסל אותם, לזעזע את הקבוצה החברתית שלהם,

and those who remain behind lose social cohesion

והנותרים מאבדים את הלכידות החברתית

and organization.

ואת הארגון.

Now in a world of cheap, proliferating robotic weapons,

עכשיו בעולם של נשק רובוטי זול ונפוץ,

borders would offer very little protection

גבולות יוכלו לספק מעט מאוד הגנה

to critics of distant governments

למבקרים של ממשלות רחוקות

or trans-national criminal organizations.

או ארגוני פשע חוצי-עולם.

Popular movements agitating for change

קבוצות עממיות שפועלות למען שינוי

could be detected early and their leaders eliminated

יהיו ניתנות לזיהוי מוקדם והמנהיגים שלהם יחוסלו

before their ideas achieve critical mass.

לפני שהרעיונות שלהם יצברו מאסה קריטית.

And ideas achieving critical mass

השגת מאסה קריטית לרעיונות

is what political activism in popular government is all about.

זו המהות של אקטיביזם פוליטי בשלטון עממי.

Anonymous lethal weapons could make lethal action

כלי נשק קטלניים אנונימיים עשויים להפוך פעולה קטלנית

an easy choice for all sorts of competing interests.

לאפשרות קלה עבור כל מני אינטרסים מתחרים.

And this would put a chill on free speech

וזה ייבש את חופש הביטוי

and popular political action, the very heart of democracy.

ופעילות פוליטית עממית, שהם לב ליבה של הדמוקרטיה.

And this is why we need an international treaty

וזו הסיבה לכך שאנחנו צריכים אמנה בינלאומית

on robotic weapons, and in particular a global ban

בנושא נשק רובוטי, ובפרט איסור גלובלי

on the development and deployment of killer robots.

על פיתוח ופריסה של רובוטים קטלניים.

Now we already have international treaties

יש לנו כבר אמנות בינלאומיות

on nuclear and biological weapons, and, while imperfect,

בנושא נשק גרעיני וביולוגי, ולמרות שהן לא מושלמות,

these have largely worked.

בגדול הן עובדות.

But robotic weapons might be every bit as dangerous,

אבל כלי נשק רובוטיים עלולים להיות מסוכנים לא פחות,

because they will almost certainly be used,

כי כמעט בוודאות ייעשה בהם שימוש,

and they would also be corrosive to our democratic institutions.

והם יהיו הרסניים גם למוסדות הדמוקרטיים שלנו.

Now in November 2012 the U.S. Department of Defense

בנובמבר 2012 מחלקת ההגנה של ארה"ב

issued a directive requiring

פירסמה הנחיה שדורשת

a human being be present in all lethal decisions.

שבן אדם יהיה נוכח בכל ההחלטות הקטלניות.

This temporarily effectively banned autonomous weapons in the U.S. military,

למעשה זה אסר באופן זמני שימוש בכלי נשק אוטונומיים בצבא ארה"ב,

but that directive needs to be made permanent.

אבל ההנחיה הזו צריכה להפוך לקבועה.

And it could set the stage for global action.

והיא יכולה לשמש כפתיח לפעולה גלובלית.

Because we need an international legal framework

כי אנחנו זקוקים למסגרת חוקית בינלאומית

for robotic weapons.

לכלי נשק רובוטיים.

And we need it now, before there's a devastating attack

ואנחנו זקוקים לה עכשיו, לפני שתהיה מתקפה הרסנית

or a terrorist incident that causes nations of the world

או אירוע טרור שיגרום לאומות העולם

to rush to adopt these weapons

למהר ולאמץ את כלי הנשק הללו

before thinking through the consequences.

לפני שהספיקו לחשוב לעומק על ההשלכות.

Autonomous robotic weapons concentrate too much power

כלי נשק רובוטיים אוטונומיים מרכזים יותר מדי כוח

in too few hands, and they would imperil democracy itself.

בקרב מעט מדי ידיים, והם מעמידים בסכנה את הדמוקרטיה עצמה.

Now, don't get me wrong, I think there are tons

עכשיו, אל תבינו אותי לא נכון, אני חושב שיש המון

of great uses for unarmed civilian drones:

שימושים נפלאים לכטב"מים אזרחיים לא חמושים:

environmental monitoring, search and rescue, logistics.

ניטור סביבתי, חיפוש והצלה, לוגיסטיקה.

If we have an international treaty on robotic weapons,

אם תהיה לנו אמנה בינלאומית בנושא כלי נשק רובוטיים,

how do we gain the benefits of autonomous drones

איך נשיג את התועלות שבכטב"מים אוטונומיים

and vehicles while still protecting ourselves

וכלי רכב תוך הגנה על עצמנו

against illegal robotic weapons?

מפני נשק רובוטי בלתי חוקי?

I think the secret will be transparency.

אני חושב שהסוד יהיה בשקיפות.

No robot should have an expectation of privacy

אסור שאף רובוט יצפה לפרטיות

in a public place.

במקום ציבורי.

(Applause)

(מחיאות כפיים)

Each robot and drone should have

לכל רובוט וכטב"ם צריך להיות

a cryptographically signed I.D. burned in at the factory

זיהוי של חתימה מוצפנת שנצרב בו במפעל

that can be used to track its movement through public spaces.

ושיכול לשמש למעקב אחר תנועתו במרחב הציבורי.

We have license plates on cars, tail numbers on aircraft.

יש לנו לוחות רישוי על רכבים, מספר זנב על כלי טיס.

This is no different.

זה לא שונה.

And every citizen should be able to download an app

ולכל אזרח צריכה להיות האפשרות להוריד אפליקציה

that shows the population of drones and autonomous vehicles

שמציגה את אוכלוסיית הכטב"מים האוטונומיים

moving through public spaces around them,

שנעים במרחב הציבורי שמסביבו,

both right now and historically.

גם עכשיו וגם בעבר.

And civic leaders should deploy sensors and civic drones

ומנהיגים אזרחיים צריכים לפרוס סנסורים וכטב"מים אזרחיים

to detect rogue drones,

שיזהו כטב"מים אסורים,

and instead of sending killer drones of their own up to shoot them down,

ובמקום לשלוח כטב"ם קטלני משלהם כדי ליירט אותם,

they should notify humans to their presence.

הם צריכים ליידע את בני האדם על נוכחותם.

And in certain very high-security areas,

ובאזורים ביטחוניים מסוימים,

perhaps civic drones would snare them

כטבמים אזרחיים אולי יציבו להם מלכודת

and drag them off to a bomb disposal facility.

וימשכו אותם לעבר מתקן מיוחד לסילוק פצצות.

But notice, this is more an immune system

אבל שימו לב, זה יותר מערכת חיסון

than a weapons system.

מאשר מערכת נשק.

It would allow us to avail ourselves of the use

היא תאפשר לנו להפיק תועלת מהשימוש

of autonomous vehicles and drones

בכלים אוטונומיים וכטב"מים

while still preserving our open, civil society.

ובו בזמן לשמר את החברה האזרחית הפתוחה שלנו.

We must ban the deployment and development

אנחנו חייבים לאסור את הפריסה והפיתוח

of killer robots.

של רובוטים קטלניים.

Let's not succumb to the temptation to automate war.

בואו לא ניכנע לפיתוי של מיכון המלחמות.

Autocratic governments and criminal organizations

ממשלות אוטוקרטיות וארגוני פשיעה

undoubtedly will, but let's not join them.

ללא ספק יעשו זאת, אבל בואו לא נצטרף אליהם.

Autonomous robotic weapons

כלי נשק רובוטיים אוטונומיים

would concentrate too much power

ירכזו יותר מדי כוח

in too few unseen hands,

בקרב מספר מועט מדי של ידיים בלתי נראות,

and that would be corrosive to representative government.

וזה יהיה הרסני לשלטון הייצוגי.

Let's make sure, for democracies at least,

בואו נוודא, לפחות לגבי דמוקרטיות,

killer robots remain fiction.

שרובוטים קטלניים יישארו בגדר מדע בדיוני.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)

Thank you. (Applause)

תודה לכם. (מחיאות כפיים)