What moral decisions should driverless cars make? | Iyad Rahwan

מתרגם: Zeeva Livshitz מבקר: hila scherba

Today I'm going to talk about technology and society.

היום אני רוצה לדבר על טכנולוגיה וחברה.

The Department of Transport estimated that last year

משרד התחבורה העריך שבשנה שעברה

35,000 people died from traffic crashes in the US alone.

35,000 אנשים נהרגו בתאונות דרכים, בארה"ב בלבד.

Worldwide, 1.2 million people die every year in traffic accidents.

ברחבי העולם, 1.2 מיליון אנשים נהרגים מדי שנה בתאונות דרכים.

If there was a way we could eliminate 90 percent of those accidents,

אם היתה דרך למנוע 90% מהתאונות,

would you support it?

הייתם תומכים בזה?

Of course you would.

כמובן שכן.

This is what driverless car technology promises to achieve

זה מה שהטכנולוגיה של המכונית האוטונומית מבטיחה להשיג

by eliminating the main source of accidents --

על ידי מניעת המקור העיקרי לתאונות --

human error.

טעות אנוש.

Now picture yourself in a driverless car in the year 2030,

עכשיו דמיינו את עצמכם במכונית אוטונומית בשנת 2030.

sitting back and watching this vintage TEDxCambridge video.

נשענים אחורה וצופים בוידאו משובח זה של TEDxCambridge .

(Laughter)

(צחוק)

All of a sudden,

לפתע פתאום,

the car experiences mechanical failure and is unable to stop.

המכונית חווה תקלה מכנית ואינה מסוגלת לעצור.

If the car continues,

אם המכונית ממשיכה,

it will crash into a bunch of pedestrians crossing the street,

היא תתנגש בחבורת הולכי רגל שחוצים את הכביש,

but the car may swerve,

אבל המכונית יכולה לסטות,

hitting one bystander,

ולפגוע בעובר אורח,

killing them to save the pedestrians.

להרוג אותו, כדי להציל את הולכי הרגל.

What should the car do, and who should decide?

מה על המכונית לעשות, ומי צריך להחליט?

What if instead the car could swerve into a wall,

מה אם במקום זה המכונית תסטה ותיתקע בקיר.

crashing and killing you, the passenger,

תתרסק ותהרוג אותך, הנוסע,

in order to save those pedestrians?

כדי להציל את הולכי הרגל?

This scenario is inspired by the trolley problem,

תרחיש זה הינו בהשראה של בעיית העגלה,

which was invented by philosophers a few decades ago

שהומצאה על ידי פילוסופים לפני כמה עשורים

to think about ethics.

תוך חשיבה על אתיקה.

Now, the way we think about this problem matters.

כעת, הדרך בה אנחנו חושבים על בעיה זו היא חשובה.

We may for example not think about it at all.

אנו יכולים למשל לא לחשוב על זה בכלל.

We may say this scenario is unrealistic,

אנו יכולים לומר שתרחיש זה אינו מציאותי,

incredibly unlikely, or just silly.

מאוד לא סביר, או פשוט טיפשי.

But I think this criticism misses the point

אבל אני חושב שהביקורת הזאת מחמיצה את הנקודה

because it takes the scenario too literally.

כי היא בוחנת את התרחיש באופן מילולי מדי.

Of course no accident is going to look like this;

כמובן ששום תאונה לא תיראה כך;

no accident has two or three options

לשום תאונה אין שתיים או שלוש אפשרויות

where everybody dies somehow.

שבה כולם מתים איכשהו.

Instead, the car is going to calculate something

במקום זה, המכונית הולכת לחשב משהו

like the probability of hitting a certain group of people,

כמו ההסתברות לפגוע בקבוצה מסוימת של אנשים,

if you swerve one direction versus another direction,

אם אתם סוטים בכיוון אחד ולא לכיוון אחר,

you might slightly increase the risk to passengers or other drivers

אתם עלולים להגדיל מעט את הסיכון לנוסעים או לנהגים אחרים

versus pedestrians.

לעומת הולכי רגל.

It's going to be a more complex calculation,

זה הולך להיות חישוב מורכב יותר,

but it's still going to involve trade-offs,

אבל זה עדיין יהיה כרוך בבחירת חלופות,

and trade-offs often require ethics.

ובחירת חלופות נזקקת לעתים קרובות לאתיקה

We might say then, "Well, let's not worry about this.

אפשר לומר אם כן, "טוב, בואו לא נדאג בקשר לזה.

Let's wait until technology is fully ready and 100 percent safe."

בואו נחכה עד שהטכנולוגיה תהיה מוכנה לחלוטין ו 100% בטוחה."

Suppose that we can indeed eliminate 90 percent of those accidents,

נניח שאנחנו יכולים באמת למנוע 90% מהתאונות האלו,

or even 99 percent in the next 10 years.

או אפילו 99 אחוזים ב -10 השנים הבאות.

What if eliminating the last one percent of accidents

מה אם מניעת האחוז האחרון של התאונות

requires 50 more years of research?

תדרוש עוד 50 שנים של מחקר?

Should we not adopt the technology?

האם עלינו לא לאמץ את הטכנולוגיה?

That's 60 million people dead in car accidents

זה 60 מיליון אנשים שנהרגים בתאונות דרכים

if we maintain the current rate.

אם משמרים את הקצב הנוכחי

So the point is,

אז הנקודה היא,

waiting for full safety is also a choice,

שהמתנה לבטיחות מלאה היא גם בחירה,

and it also involves trade-offs.

והיא גם כרוכה בבחירת חלופות.

People online on social media have been coming up with all sorts of ways

אנשים במדיה החברתית ברשת מצאו כל מיני דרכים

to not think about this problem.

כיצד לא לחשוב על בעיה זו.

One person suggested the car should just swerve somehow

אדם אחד הציע שעל המכונית רק לסטות איכשהו

in between the passengers --

אל בין הנוסעים --

(Laughter)

(צחוק)

and the bystander.

ועובר האורח.

Of course if that's what the car can do, that's what the car should do.

כמובן, שאם זה מה שהמכונית יכולה לעשות, זה מה שעליה לעשות.

We're interested in scenarios in which this is not possible.

אנו מעוניינים בתרחישים שבהם זה אינו אפשרי.

And my personal favorite was a suggestion by a blogger

והמועדפת האישית שלי היתה של בלוגר שהציע

to have an eject button in the car that you press --

שיהיה כפתור חילוץ במכונית, שלוחצים עליו --

(Laughter)

(צחוק)

just before the car self-destructs.

ממש לפני שהמכונית משמידה את עצמה.

(Laughter)

(צחוק)

So if we acknowledge that cars will have to make trade-offs on the road,

אז אם אנחנו מודים שהמכוניות האלו יצטרכו לבחור חלופות על הכביש,

how do we think about those trade-offs,

איך אנו חושבים על אותן חלופות.

and how do we decide?

וכיצד אנו מחליטים?

Well, maybe we should run a survey to find out what society wants,

טוב, אולי כדאי שערוך סקר כדי לברר מה החברה רוצה,

because ultimately,

כי בסופו של דבר,

regulations and the law are a reflection of societal values.

התקנות והחוק הם השתקפות של ערכים חברתיים.

So this is what we did.

אז זה מה שעשינו.

With my collaborators,

עם שותפיי לעבודה,

Jean-François Bonnefon and Azim Shariff,

ז'אן פרנסואה בונפון ועזים שריף,

we ran a survey

הרצנו סקר

in which we presented people with these types of scenarios.

שבו הצגנו בפני אנשים סוגים אלה של תרחישים.

We gave them two options inspired by two philosophers:

נתנו להם שתי אפשרויות בהשראת שני פילוסופים:

Jeremy Bentham and Immanuel Kant.

ג'רמי בנת'ם ועמנואל קאנט.

Bentham says the car should follow utilitarian ethics:

בנת'ם אומר שהמכונית צריכה לעקוב אחר האתיקה התועלתנית:

it should take the action that will minimize total harm --

צריך שהיא תבחר בפעולה שתפחית עד למינימום את הנזק הכולל -

even if that action will kill a bystander

גם אם פעולה זו תהרוג עובר אורח

and even if that action will kill the passenger.

וגם אם פעולה זו תהרוג את הנוסע.

Immanuel Kant says the car should follow duty-bound principles,

עמנואל קאנט אומר שהמכונית צריכה לעקוב אחר עקרונות מחייבים,

like "Thou shalt not kill."

כמו "לא תרצח".

So you should not take an action that explicitly harms a human being,

אז לא צריך לנקוט פעולה שפוגעת במפורש בבני אדם,

and you should let the car take its course

וצריך לאפשר למכונית לקחת את המסלול שלה

even if that's going to harm more people.

גם אם זה יפגע ביותר אנשים.

What do you think?

מה אתם חושבים?

Bentham or Kant?

בנת'ם או קאנט?

Here's what we found.

הנה מה שמצאנו.

Most people sided with Bentham.

רוב האנשים צידדו עם בנת'ם.

So it seems that people want cars to be utilitarian,

אז נראה שאנשים רוצים שהמכוניות יהיו תועלתניות,

minimize total harm,

מזעור של הנזק הכולל,

and that's what we should all do.

וזה מה שכולנו צריכים לעשות.

Problem solved.

הבעיה נפתרה.

But there is a little catch.

אבל יש מלכוד קטן.

When we asked people whether they would purchase such cars,

כששאלנו אנשים אם הם ירכשו מכוניות כאלה,

they said, "Absolutely not."

הם אמרו, "בהחלט לא".

(Laughter)

{צחוק}

They would like to buy cars that protect them at all costs,

הם רוצים לקנות מכוניות שיגנו עליהם בכל מחיר,

but they want everybody else to buy cars that minimize harm.

אבל הם רוצים שכל האחרים יקנו מכוניות שימזערו את הנזק.

(Laughter)

(צחוק)

We've seen this problem before.

ראינו את הבעיה הזו בעבר.

It's called a social dilemma.

היא נקראת דילמה חברתית.

And to understand the social dilemma,

וכדי להבין את הדילמה החברתית,

we have to go a little bit back in history.

אנחנו צריכים ללכת קצת חזרה להיסטוריה

In the 1800s,

במאה ה 19,

English economist William Forster Lloyd published a pamphlet

הכלכלן האנגלי ויליאם פורסטר לויד פרסם חוברת

which describes the following scenario.

שמתארת את התרחיש הבא.

You have a group of farmers --

יש לכם קבוצה של חקלאים -

English farmers --

חקלאים אנגלים --

who are sharing a common land for their sheep to graze.

שחולקים קרקע משותפת שמשמשת מרעה לכבשים שלהם.

Now, if each farmer brings a certain number of sheep --

אם כל חקלאי מביא מספר מסוים של כבשים --

let's say three sheep --

שלוש כבשים למשל -

the land will be rejuvenated,

הקרקע תתחדש,

the farmers are happy,

החקלאים יהיו מרוצים,

the sheep are happy,

הכבשים תהיינה מרוצות,

everything is good.

הכל טוב.

Now, if one farmer brings one extra sheep,

עכשיו, אם אחד החקלאים מביא כבשה נוספת,

that farmer will do slightly better, and no one else will be harmed.

אותו איכר ישפר מעט את מצבו, ואף אחד אחר לא ייפגע.

But if every farmer made that individually rational decision,

אבל אם כל חקלאי יקבל החלטה אינדיווידואלית רציונלית זו,

the land will be overrun, and it will be depleted

האדמה תהיה עמוסה ותידלדל

to the detriment of all the farmers,

מה שיפגע בכל החקלאים,

and of course, to the detriment of the sheep.

וכמובן, יפגע בכבשים.

We see this problem in many places:

אנו רואים בעיה זו במקומות רבים:

in the difficulty of managing overfishing,

בקושי של ניהול דיג בהיקף מוגזם,

or in reducing carbon emissions to mitigate climate change.

או בהפחתת פליטת הפחמן כדי להקל על שינויי האקלים.

When it comes to the regulation of driverless cars,

כשמדובר ברגולציה של מכוניות אוטונומיות,

the common land now is basically public safety --

הקרקע המשותפת עכשיו הוא ביסודו של דבר בטוחה לציבור -

that's the common good --

זה הטוב המשותף -

and the farmers are the passengers

והחקלאים הם הנוסעים

or the car owners who are choosing to ride in those cars.

או בעלי המכוניות שבוחרים לנסוע במכוניות אלה.

And by making the individually rational choice

ועל ידי עשיית בחירה אישית הגיונית

of prioritizing their own safety,

של מתן עדיפות לביטחונם,

they may collectively be diminishing the common good,

הם עשויים לגרום יחד להפחתת הטוב המשותף,

which is minimizing total harm.

שהוא מזעור הנזק המוחלט.

It's called the tragedy of the commons,

זה נקרא הטרגדיה של נחלת הכלל,

traditionally,

באופן מסורתי,

but I think in the case of driverless cars,

אבל אני חושב שבמקרה של מכוניות אוטונומיות,

the problem may be a little bit more insidious

הבעיה עשויה להיות קצת יותר ערמומית

because there is not necessarily an individual human being

כי אין כאן בהכרח אדם יחיד

making those decisions.

שמקבל החלטות אלה.

So car manufacturers may simply program cars

כך שיצרני הרכב יכולים פשוט לתכנת מכוניות

that will maximize safety for their clients,

שימקסמו את הבטיחות עבור הלקוחות שלהם,

and those cars may learn automatically on their own

והמכוניות האלה עשויות ללמוד באופן אוטומטי בעצמן

that doing so requires slightly increasing risk for pedestrians.

שעשייה כזו דורשת מעט הגדלת סיכון להולכי רגל.

So to use the sheep metaphor,

אז אם נשתמש במטפורת הכבשים,

it's like we now have electric sheep that have a mind of their own.

זה כאילו שיש לנו עכשיו כבשים חשמליות שיש להן חשיבה משל עצמן.

(Laughter)

(צחוק)

And they may go and graze even if the farmer doesn't know it.

והן יכולות ללכת ולרעות גם אם האיכר אינו יודע על כך.

So this is what we may call the tragedy of the algorithmic commons,

אז זה מה שאנחנו יכולים לקרוא לו הטרגדיה של נחלת הכלל האלגוריתמית,

and if offers new types of challenges.

והיא מציעה סוגים חדשים של אתגרים.

Typically, traditionally,

בדרך כלל, באופן מסורתי,

we solve these types of social dilemmas using regulation,

אנו פותרים סוגים אלה של דילמות חברתיות באמצעות רגולציה,

so either governments or communities get together,

אז או שהממשלות או שהקהילות נפגשות,

and they decide collectively what kind of outcome they want

ומחליטות ביחד באיזו סוג של תוצאה הם מעונינים

and what sort of constraints on individual behavior

ואיזה סוג של אילוצים על התנהגות אישית

they need to implement.

הם צריכים ליישם.

And then using monitoring and enforcement,

ואז באמצעות ניטור ואכיפה,

they can make sure that the public good is preserved.

הם יכולים לוודא שטובת הכלל נשמרת.

So why don't we just,

אז למה אנחנו איננו פשוט,

as regulators,

כרגולטורים,

require that all cars minimize harm?

דורשים מכל המכוניות למזער נזק?

After all, this is what people say they want.

אחרי הכל, זה מה שאנשים אומרים שהם רוצים.

And more importantly,

וחשוב יותר,

I can be sure that as an individual,

אני יכול להיות בטוח כי כאדם יחיד,

if I buy a car that may sacrifice me in a very rare case,

אם אני קונה מכונית שאולי תקריב אותי במקרה נדיר מאוד,

I'm not the only sucker doing that

אני לא הפראייר היחיד שעושה את זה

while everybody else enjoys unconditional protection.

בעוד כל האחרים נהנים מהגנה בלתי מותנית.

In our survey, we did ask people whether they would support regulation

בסקר שלנו, שאלנו אנשים אם הם יתמכו ברגולציה

and here's what we found.

והנה מה שמצאנו.

First of all, people said no to regulation;

ראשית, אנשים אמרו לא לרגולציה;

and second, they said,

ושנית, הם אמרו,

"Well if you regulate cars to do this and to minimize total harm,

"אם תהיה תקנה שהמכוניות יעשו זאת, וכדי למזער את הנזק הכולל,

I will not buy those cars."

אני לא אקנה את המכוניות האלו".

So ironically,

אז באופן אירוני,

by regulating cars to minimize harm,

על ידי הסדרת המכוניות כדי למזער נזק,

we may actually end up with more harm

אנו עשויים למעשה לסיים עם יותר נזק

because people may not opt into the safer technology

כי אנשים עשויים לא לבחור בטכנולוגיה הבטוחה יותר

even if it's much safer than human drivers.

גם אם זה הרבה יותר בטוח מנהגים אנושיים

I don't have the final answer to this riddle,

אין לי את התשובה הסופית לחידה זו,

but I think as a starting point,

אבל לדעתי, כנקודת מוצא,

we need society to come together

אנחנו צריכים שהחברה תתאחד

to decide what trade-offs we are comfortable with

כדי להחליט מהן החלופות שאיתן אנו מרגישים בנוח

and to come up with ways in which we can enforce those trade-offs.

ולמצוא דרכים שבעזרתן נוכל לאכוף אותן.

As a starting point, my brilliant students,

כנקודת מוצא, הסטודנטים המבריקים שלי,

Edmond Awad and Sohan Dsouza,

אדמונד עוואד וסוהאן דסוזה,

built the Moral Machine website,

בנו את אתר האינטרנט "מכונת המוסר",

which generates random scenarios at you --

שמייצר תרחישים אקראיים -

basically a bunch of random dilemmas in a sequence

בעצם מקבץ של דילמות אקראיות ברצף

where you have to choose what the car should do in a given scenario.

שבהן תצטרכו לבחור מה המכונית צריכה לעשות בתרחיש נתון.

And we vary the ages and even the species of the different victims.

ואנחנו משנים את הגילאים ואפילו את המין של הקורבנות השונים.

So far we've collected over five million decisions

עד כה אספנו מעל 5 מיליון החלטות

by over one million people worldwide

של יותר ממיליון אנשים ברחבי העולם

from the website.

מהאתר.

And this is helping us form an early picture

וזה עוזר לנו ליצור תמונה מוקדמת

of what trade-offs people are comfortable with

של החלופות שלאנשים נוח איתן

and what matters to them --

ומה חשוב להם -

even across cultures.

אפילו באופן שחוצה תרבויות.

But more importantly,

אבל חשוב יותר,

doing this exercise is helping people recognize

לעשות את התרגיל הזה עוזר לאנשים לזהות

the difficulty of making those choices

את הקושי שבקבלת החלטות אלה

and that the regulators are tasked with impossible choices.

וכי על הרגולטורים מוטלות בחירות בלתי אפשריות.

And maybe this will help us as a society understand the kinds of trade-offs

ואולי זה יעזור לנו כחברה להבין את סוגי החלופות

that will be implemented ultimately in regulation.

שייושמו בסופו של דבר.

And indeed, I was very happy to hear

ואכן, שמחתי מאוד לשמוע

that the first set of regulations

שמערכת התקנות הראשונה

that came from the Department of Transport --

שהגיעה ממשרד התחבורה --

announced last week --

הודיעה בשבוע שעבר --

included a 15-point checklist for all carmakers to provide,

שהיא כללה רשימה של 15 נקודות שעל כל יצרן מכוניות לספק,

and number 14 was ethical consideration --

ומספר 14 היה שיקול מוסרי -

how are you going to deal with that.

איך אתם מתכוונים להתמודד עם זה.

We also have people reflect on their own decisions

אנחנו גם משקפים לאנשים את ההחלטות שלהם

by giving them summaries of what they chose.

על ידי הצגת סיכומים של מה שהם בחרו.

I'll give you one example --

אתן לכם דוגמה אחת --

I'm just going to warn you that this is not your typical example,

אני רק עומד להזהיר אתכם שזו לא דוגמה טיפוסית שלכם,

your typical user.

המשתמש הטיפוסי שלכם.

This is the most sacrificed and the most saved character for this person.

אלו הדמות שהכי נשמרה וזו שהכי הוקרבה אצל אדם מסוים.

(Laughter)

(צחוק)

Some of you may agree with him,

אחדים מכם עשויים להסכים איתו,

or her, we don't know.

או איתה, איננו יודעים.

But this person also seems to slightly prefer passengers over pedestrians

אבל נראה שאדם זה מעדיף במקצת את הנוסעים על פני הולכי רגל

in their choices

בבחירות שלהם.

and is very happy to punish jaywalking.

והוא שמח מאוד להעניש את אלה שחוצים כביש ברשלנות.

(Laughter)

(צחוק)

So let's wrap up.

אז בואו ונסכם.

We started with the question -- let's call it the ethical dilemma --

התחלנו עם השאלה - שנקרא לה הדילמה האתית -

of what the car should do in a specific scenario:

של מה שהמכונית צריכה לעשות בתרחיש ספציפי:

swerve or stay?

לסטות או להישאר?

But then we realized that the problem was a different one.

אבל אז הבנו שהבעיה היתה שונה.

It was the problem of how to get society to agree on and enforce

זו היתה הבעיה של איך לגרום לחברה להסכים ולאכוף

the trade-offs they're comfortable with.

את החלופות שהם מרגישים איתן נוח.

It's a social dilemma.

זו דילמה חברתית.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

בשנות הארבעים, איזק אסימוב כתב את החוקים המפורסמים של הרובוטיקה -

the three laws of robotics.

את שלושת חוקי הרובוטיקה.

A robot may not harm a human being,

רובוט לא רשאי לפגוע בבני אדם,

a robot may not disobey a human being,

אסור לרובוט לא להישמע לאדם,

and a robot may not allow itself to come to harm --

ורובוט לא יכול להרשות לעצמו לבוא כדי לפגוע -

in this order of importance.

על פי סדר חשיבות זה.

But after 40 years or so

אבל אחרי 40 שנה בערך

and after so many stories pushing these laws to the limit,

ואחרי כל כך הרבה סיפורים שדוחקים חוקים אלה עד קצה גבול התחום המותר,

Asimov introduced the zeroth law

אסימוב הציג את חוק האפס

which takes precedence above all,

שנותן קדימות מעל לכל,

and it's that a robot may not harm humanity as a whole.

לכך שהרובוט לא יפגע באנושות בכללותה.

I don't know what this means in the context of driverless cars

אינני יודע מה זה אומר בהקשר למכוניות אוטונומיות

or any specific situation,

או למצב ספציפי כלשהו,

and I don't know how we can implement it,

ואינני יודע איך אנחנו יכולים ליישם את זה,

but I think that by recognizing

אבל אני חושב שעל ידי הכרה בכך

that the regulation of driverless cars is not only a technological problem

שהרגולציה של מכוניות אוטונומיות אינה רק בעיה טכנולוגית

but also a societal cooperation problem,

אלא גם בעיה של שיתוף פעולה חברתי,

I hope that we can at least begin to ask the right questions.

אני מקווה שנוכל לפחות להתחיל לשאול את השאלות הנכונות.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)