What moral decisions should driverless cars make? | Iyad Rahwan

المترجم: Lalla Khadija Tigha المدقّق: Riyad Almubarak

Today I'm going to talk about technology and society.

سأتحدث اليوم عن التكنولوجيا والمجتمع.

The Department of Transport estimated that last year

قدّرت هيئة المواصلات أنه في السنة الماضية

35,000 people died from traffic crashes in the US alone.

توفي 35000 شخص إثر حوادث سير في الولايات المتحدة وحدها.

Worldwide, 1.2 million people die every year in traffic accidents.

على مستوى العالم، يموت 1.2 مليون شخص سنويًا إثر حوادث سير.

If there was a way we could eliminate 90 percent of those accidents,

إن كانت هناك طريقة تستطيع تجنب 90 في المئة من هذه الحوادث،

would you support it?

هل كنت لتدعمها؟

Of course you would.

بالطبع ستفعل.

This is what driverless car technology promises to achieve

هذا ما تطمح السيارات ذاتية القيادة للوصول إليه

by eliminating the main source of accidents --

عن طريق حذف السبب الرئيس للحوادث --

human error.

وهو الخطأ البشري.

Now picture yourself in a driverless car in the year 2030,

تخيل نفسك الآن في سيارة ذاتية القيادة سنة 2030،

sitting back and watching this vintage TEDxCambridge video.

وأنت تجلس في الخلف وتشاهد هذا الشريط القديم ل TEDxCambridge.

(Laughter)

(ضحك)

All of a sudden,

وفجأة،

the car experiences mechanical failure and is unable to stop.

تتعرض السيارة لخلل ميكانيكي ولا تستطيع التوقف.

If the car continues,

إن استمرت السيارة في التقدم،

it will crash into a bunch of pedestrians crossing the street,

ستصطدم بمجموعة من الراجلين وهم يقطعون الطريق،

but the car may swerve,

لكن السيارة تنحرف،

hitting one bystander,

لتصطدم بشخص واقف،

killing them to save the pedestrians.

لتقتله وتنقذ الراجلين.

What should the car do, and who should decide?

ما الذي يجب على السيارة فعله، ومن عليه أن يقرر؟

What if instead the car could swerve into a wall,

ماذا لو انحرفت السيارة في اتجاه الحائط

crashing and killing you, the passenger,

لتسحقك وتقتلك، أنت الراكب فيها،

in order to save those pedestrians?

لتنقذ هؤلاء الراجلين؟

This scenario is inspired by the trolley problem,

تم استلهام هذا السيناريو من مشكلة الترولي،

which was invented by philosophers a few decades ago

والتي تم اختراعها من طرف فلاسفة قبل عقود قليلة

to think about ethics.

للتفكير حول الأخلاقيات.

Now, the way we think about this problem matters.

الآن، الطريقة التي نفكر بها في هذا المشكل مهمة.

We may for example not think about it at all.

يمكننا مثلًا ألا نفكر فيه إطلاقًا.

We may say this scenario is unrealistic,

يمكننا أن نقول أن هذا السيناريو غير واقعي،

incredibly unlikely, or just silly.

غير ممكن بتاتًا، أو أنه تافه.

But I think this criticism misses the point

لكن أعتقد أن هذا الانتقاد يغفل المغزى

because it takes the scenario too literally.

لأنه ينظر إلى السيناريو بطريقة بسيطة.

Of course no accident is going to look like this;

بالطبع، لايمكن لحادثة أن تكون هكذا،

no accident has two or three options

ليس هناك احتمالان أو ثلاثة لحادثة

where everybody dies somehow.

حيث يموت الجميع بطريقة أو بأخرى.

Instead, the car is going to calculate something

عوضا عن ذلك، ستقوم السيارة بحساب ما

like the probability of hitting a certain group of people,

مثل احتمال الاصطدام بمجموعة معينة من الناس،

if you swerve one direction versus another direction,

حين تنحرف إلى اتجاه دون آخر،

you might slightly increase the risk to passengers or other drivers

يمكن أن ترفع الخطر بشكل ضئيل على الركاب أو السائقين الآخرين

versus pedestrians.

في مقابل الراجلين.

It's going to be a more complex calculation,

ستكون عبارة عن حسابات معقدة،

but it's still going to involve trade-offs,

لكنها ستشمل دائمًا نوعا من المقايضة،

and trade-offs often require ethics.

وغالبا مما تتطلب المقايضة حضور الأخلاقيات.

We might say then, "Well, let's not worry about this.

يمكننا أن نقول حينها، "حسنا، لمَ لا نترك القلق جانيًا.

Let's wait until technology is fully ready and 100 percent safe."

فلننتظر حتى تصير التكنولوجيا جاهزة وآمنة 100 بالمئة."

Suppose that we can indeed eliminate 90 percent of those accidents,

لنفترض أننا فعلا نستطيع حذف 90 في المئة من هذه الحوادث،

or even 99 percent in the next 10 years.

أو حتى 99 في المئة منها خلال 10 سنوات المقبلة.

What if eliminating the last one percent of accidents

ماذا لو كان يتطلب حذف العشر في المئة المتبقية من الحوادث

requires 50 more years of research?

50 سنة أخرى من البحث؟

Should we not adopt the technology?

أليس علينا أن نتبنى التكنولوجيا؟

That's 60 million people dead in car accidents

سيكون لدينا 60 مليون حالة وفاة من حوادث السير

if we maintain the current rate.

إذا حافظنا على المعدل الحالي.

So the point is,

فالفكرة هنا،

waiting for full safety is also a choice,

التريث حتى نصل للسلامة الكاملة هو اختيار أيضا،

and it also involves trade-offs.

ويشمل مقايضات أيضا.

People online on social media have been coming up with all sorts of ways

قام الناس على مواقع التواصل الاجتماعية باختلاق كل الطرق الممكنة

to not think about this problem.

لعدم التفكير في هذا المشكل.

One person suggested the car should just swerve somehow

اقترح شخص أن على السيارة أن تنحرف في اتجاه ما فحسب

in between the passengers --

بين الركاب --

(Laughter)

(ضحك)

and the bystander.

والشخص الواقف.

Of course if that's what the car can do, that's what the car should do.

بالطبع، إن كانت السيارة تستطبع فعل ذلك، فعليها فعل ذلك.

We're interested in scenarios in which this is not possible.

نحن مهتمون بإيجاد سيناريوهات حيث لا يكون هذا ممكنا.

And my personal favorite was a suggestion by a blogger

والاقتراح المفضل لدي شخصيا كان من مدون

to have an eject button in the car that you press --

بأن تضع زر إخراج في السيارة، حيث يمكنك الضغط عليه --

(Laughter)

(ضحك)

just before the car self-destructs.

قبل أن تدمر السيارة نفسها.

(Laughter)

(ضحك)

So if we acknowledge that cars will have to make trade-offs on the road,

إذن حين نعترف أنه من الممكن للسيارات أن تقوم بمقايضات على الطريق،

how do we think about those trade-offs,

كيف يمكننا التفكير حيال هذه المقايضات،

and how do we decide?

وكيف لنا أن نقرر؟

Well, maybe we should run a survey to find out what society wants,

حسنا، ربما علينا إجراء استقصاء لنعرف ما الذي يريده المجتمع،

because ultimately,

لأنه في النهاية،

regulations and the law are a reflection of societal values.

القوانين هي انعكاس للقيم المجتمعية.

So this is what we did.

إذن فهذا ما قمنا به.

With my collaborators,

مع زملائي،

Jean-François Bonnefon and Azim Shariff,

جون فرونسوا بونفون وأزيم شريف،

we ran a survey

أجرينا استقصاءً

in which we presented people with these types of scenarios.

حيث قدمنا للناس هذه الأنواع من السيناريوهات.

We gave them two options inspired by two philosophers:

قدمنا لهم احتمالين مستلهمين من فيلسوفين:

Jeremy Bentham and Immanuel Kant.

جيرمي بينتام وإيمانويل كانت.

Bentham says the car should follow utilitarian ethics:

يقول بينتام أن على السيارة أن تتبع الأخلاقيات النفعية:

it should take the action that will minimize total harm --

عليها أن تخطو الخطوة التي ستقلل مجموع الضرر --

even if that action will kill a bystander

حتى وإن كانت ستقتل الرجل الواقف

and even if that action will kill the passenger.

حتى وإن كانت هذه الخطوة ستقتل الراكب.

Immanuel Kant says the car should follow duty-bound principles,

يقول إيمانويل كارت أن على السيارة أن تتبع مبادئ الواجب الملزم،

like "Thou shalt not kill."

"عليك ألا تقتل."

So you should not take an action that explicitly harms a human being,

إذن فعليك ألا تتخذ خطوة ستضر بها عنوة شخصا ما،

and you should let the car take its course

وعليك أن تترك السيارة تأخذ مسارها

even if that's going to harm more people.

حتى وإن كانت ستلحق الضرر بأشخاص أكثر.

What do you think?

ماذا تعتقدون؟

Bentham or Kant?

بيتم أو كانت؟

Here's what we found.

إليكم ماوجدنا.

Most people sided with Bentham.

معظم الناس وقفوا إلى جانب بينتام.

So it seems that people want cars to be utilitarian,

لذا يبدو أن الناس يريدون أن تكون السيارات نفعية،

minimize total harm,

وتقلل مجموع الضرر،

and that's what we should all do.

وهذا ماعلينا أن نقوم به جميعا.

Problem solved.

تم حل المشكلة.

But there is a little catch.

لكن هناك نقطة صغيرة.

When we asked people whether they would purchase such cars,

حين سألنا الناس إن كانوا سيشترون مثل هذه السيارات،

they said, "Absolutely not."

قالوا "بالطبع لا."

(Laughter)

(ضحك)

They would like to buy cars that protect them at all costs,

هم يريدون أن يشتروا سيارات تحميهم بأي ثمن،

but they want everybody else to buy cars that minimize harm.

لكنهم يريدون أن يشتري الآخرون سيارات تقلل من الضرر.

(Laughter)

(ضحك)

We've seen this problem before.

لقد رأينا هذا المشكل من قبل.

It's called a social dilemma.

وهو يدعى المعضلة الاجتماعية.

And to understand the social dilemma,

ولفهم المعضلة الاجتماعية

we have to go a little bit back in history.

علينا أن نعود قليلا إلى التاريخ.

In the 1800s,

في القرن 19،

English economist William Forster Lloyd published a pamphlet

نشر خبير الاقتصاد البريطاني ويليام فورستر لويد كتيبا

which describes the following scenario.

يصف فيه السيناريو الآتي.

You have a group of farmers --

لديك مجموعة من المزارعين --

English farmers --

مزارعون بريطانيون --

who are sharing a common land for their sheep to graze.

يتقاسمون أرضا مشتركة لترعى بها أغنامهم.

Now, if each farmer brings a certain number of sheep --

الآن، إذا قام كل مزارع بجلب عدد معين من الأغنام --

let's say three sheep --

لنقل ثلاثة أغنام --

the land will be rejuvenated,

ستزدهر الأرض،

the farmers are happy,

وسيفرح المزارعون،

the sheep are happy,

وستفرح الأغنام،

everything is good.

كل شيء على ما يرام.

Now, if one farmer brings one extra sheep,

الآن، إذا قام مزارع بجلب خروف إضافي،

that farmer will do slightly better, and no one else will be harmed.

سيكون ذلك المزارع ناجحا بقدر يسير، ولن يتضرر أحد من هذا.

But if every farmer made that individually rational decision,

لكن إن أخذ كل مزارع هذا القرار الفردي المنطقي،

the land will be overrun, and it will be depleted

سيتم استغلال الأرض بشكل جائر وستُستنزف

to the detriment of all the farmers,

ولن يستفيد المزارعون جميعهم.

and of course, to the detriment of the sheep.

وبالتأكيد، لن تستفيد الأغنام.

We see this problem in many places:

نرى هذا المشكل في كل مكان:

in the difficulty of managing overfishing,

في صعوبة إدلرة الصيد الجائر،

or in reducing carbon emissions to mitigate climate change.

أو تقليل انبعاث الكربون للتعامل مع التغير المناخي.

When it comes to the regulation of driverless cars,

حين يتعلق الأمر بتقنين السيارات ذاتية القيادة،

the common land now is basically public safety --

فالأرض المشتركة الآن هي بالأساس السلامة العامة --

that's the common good --

هذا هو الشيء المشترك --

and the farmers are the passengers

والمزارعون هم الركاب

or the car owners who are choosing to ride in those cars.

أو أصحاب السيارات الذيم يختارون أن يتجولوا بهذه السيارات.

And by making the individually rational choice

وباتخاذ اختيار منطقي فردي

of prioritizing their own safety,

أو إعطاء الأولوية للسلامة الشخصية،

they may collectively be diminishing the common good,

فقد يكونون بصدد إلحاق الضرر بالشيء المشترك،

which is minimizing total harm.

والذي هو تقليل مجموع الضرر.

It's called the tragedy of the commons,

وهذا مايسمى بتراجيديا المشاع،

traditionally,

بشكل تقليدي،

but I think in the case of driverless cars,

لكنني أعتقد أنه في حالة السيارات ذاتية القيادة،

the problem may be a little bit more insidious

فإن المشكلة قد تكون أكثر تعقيدًا

because there is not necessarily an individual human being

لأنه ليس هناك بالضرورة شخص واحد

making those decisions.

يقوم بهذه القرارات.

So car manufacturers may simply program cars

إذ يمكن لمصنعي السيارات ببساطة أن يبرمجوا سيارات

that will maximize safety for their clients,

تعطي حماية قصوى لعملائهم،

and those cars may learn automatically on their own

ويمكن لهذه السيارات أن تتعلم تلقائيا بمفردها

that doing so requires slightly increasing risk for pedestrians.

أن القيام بذلك يتطلب زيادة الخطر بالنسبة للراجلين.

So to use the sheep metaphor,

وباستخدام مثال الأغنام،

it's like we now have electric sheep that have a mind of their own.

فهذا أشبه بخروف كهربائي له عقله الخاص.

(Laughter)

(ضحك)

And they may go and graze even if the farmer doesn't know it.

ويمكنه أن يذهب ويرعى دون أن يدري المزارع.

So this is what we may call the tragedy of the algorithmic commons,

وهذا مايمكننا أن نسميه تراجيديا المشاع الخوارزمية،

and if offers new types of challenges.

وهي تقدم أنواعا جديدة من التحديات.

Typically, traditionally,

عادة، وبشكل تقليدي،

we solve these types of social dilemmas using regulation,

نحل هذا النوع من المعضلات الاجتماعية عن طريق القوانين،

so either governments or communities get together,

حيث تجتمع الحكومات أو المجتمعات

and they decide collectively what kind of outcome they want

ليقرروا جماعيا ما نوع النتائج التي يريدونها

and what sort of constraints on individual behavior

وما نوع العوائق على مستوى السلوك الفردي

they need to implement.

التي يجب عليهم تنفيذها.

And then using monitoring and enforcement,

وبعد ذلك، باستخدام المراقبة والفرض،

they can make sure that the public good is preserved.

يمكنهم ضمان الحفاظ على الصالح العام.

So why don't we just,

لذا، لم لا نقوم،

as regulators,

كواضعي قوانين،

require that all cars minimize harm?

بإجبار السيارات على تقليل الضرر؟

After all, this is what people say they want.

في جميع الأحوال، هذا ما يريده الناس.

And more importantly,

والأهم من هذا،

I can be sure that as an individual,

يمكنني أن أكون متأكدا كفرد،

if I buy a car that may sacrifice me in a very rare case,

إن اشتريت سيارة يمكنها أن تضحي بي في حالة نادرة جدا،

I'm not the only sucker doing that

فلن أكون الأبله الوحيد الذي يقوم بهذا

while everybody else enjoys unconditional protection.

بينما يتمتع الجميع بحماية لامحدودة.

In our survey, we did ask people whether they would support regulation

في استقصائنا، سألنا الناس فيما إن كانوا سيدعمون القوانين

and here's what we found.

وإليكم ماوجدنا.

First of all, people said no to regulation;

أولا، رفض الناس القوانين،

and second, they said,

ثانيا، قالوا،

"Well if you regulate cars to do this and to minimize total harm,

"حسنا، إن قننتم السيارات لتقوم بهذا وتقلل مجموع الضرر،

I will not buy those cars."

فلن أشتري هذه السيارة."

So ironically,

لذا، من المضحك،

by regulating cars to minimize harm,

أنه بتقنين السيارات لتقليل الضرر،

we may actually end up with more harm

ربما سينتهي بنا المطاف بالمزيد من الضرر

because people may not opt into the safer technology

لأن الناس لن يختاروا التكنولوجيا الأكثر أمنا

even if it's much safer than human drivers.

حتى وإن كانت أكثر أمنا من الأشخاص السائقين.

I don't have the final answer to this riddle,

ليست لدي إجابة نهائية لهذا اللغز،

but I think as a starting point,

لكنني أعتقد كبداية،

we need society to come together

نريد أن يجتمع المجتمع

to decide what trade-offs we are comfortable with

لنقرر ما هي المقايضات التي نرتاح لها

and to come up with ways in which we can enforce those trade-offs.

ونجد طرقا يمكننا بها فرض هذه المقايضات.

As a starting point, my brilliant students,

وكنقطة بداية، بنى طلابي الأذكياء،

Edmond Awad and Sohan Dsouza,

إدموند عواد و سوهان دسوزا،

built the Moral Machine website,

موقع Moral Machine،

which generates random scenarios at you --

الذي يخرج سيناريوهات عشوائية لكم --

basically a bunch of random dilemmas in a sequence

مجموعة من المعضلات العشوائية بتسلسل

where you have to choose what the car should do in a given scenario.

حيث يمكنك أن تختار ما الذي يجب أن تقوم به السيارة في سيناريو معين.

And we vary the ages and even the species of the different victims.

ونقوم بتغيير الأعمار وأنواع الضحايا المختلفة.

So far we've collected over five million decisions

ولحد الآن فقد جمعنا 5 ملايين قرار

by over one million people worldwide

من ما يفوق مليون شخص حول العالم

from the website.

من الموقع.

And this is helping us form an early picture

وهذا يساعدنا على تكوين صورة مبكرة

of what trade-offs people are comfortable with

عن ماهية المقايضات التي يرتاح لها الناس

and what matters to them --

وما هي الأشياء المهمة بالنسبة لهم --

even across cultures.

حتى وإن اختلفت الثقافات.

But more importantly,

لكن الأمر الأهم،

doing this exercise is helping people recognize

يساعد هذا التمرين الناس على التعرف

the difficulty of making those choices

على صعوبة اتخاذ هذه الاختيارات

and that the regulators are tasked with impossible choices.

وأن أمام واضعي القوانين مهمة صعبة ذات اختيارات مستحيلة.

And maybe this will help us as a society understand the kinds of trade-offs

وهذا سيساعدنا كمجتمع على أن نفهم أنواع المقايضات

that will be implemented ultimately in regulation.

التس سيتم تطبيقها في النهاية في القوانين.

And indeed, I was very happy to hear

وبالفعل، كنت سعيدا جدا حينما سمعت

that the first set of regulations

بأن الدفعة الأول من القوانين

that came from the Department of Transport --

التي صدرت عن هيئة المواصلات --

announced last week --

أُعلِن عنها الأسبوع الماضي --

included a 15-point checklist for all carmakers to provide,

تتضمن لائحة من 15 نقطة على كل مصنعي السيارات توفيرها،

and number 14 was ethical consideration --

والنقطة رقم 14 كانت ذات اعتبار أخلاقي --

how are you going to deal with that.

كيف ستقوم بالتعامل مع هذا.

We also have people reflect on their own decisions

لقد جعلنا الناس يفكرون في قراراتهم الخاصة

by giving them summaries of what they chose.

من خلال إعطائهم ملخصات عما اختاروه.

I'll give you one example --

سأعطيكم مثالًا --

I'm just going to warn you that this is not your typical example,

وعلي أن أحذركم أن هذا ليس مثالا اعتدتم عليه،

your typical user.

كمستعمل اعتيادي

This is the most sacrificed and the most saved character for this person.

هذه هي الشخصية التي يتم إنقاذها بكثرة وهذه هي التي يتم التضحية بها

(Laughter)

(ضحك)

Some of you may agree with him,

قد يتفق بعضكم معه،

or her, we don't know.

أو معها، لا ندري.

But this person also seems to slightly prefer passengers over pedestrians

لكن يبدو أن هذا الشخص يفضل قليلا الركاب على الراجلين

in their choices

في اختياره

and is very happy to punish jaywalking.

وهو سعيد بأن يعاقب كل من لا يحترم إشارة المرور .

(Laughter)

(ضحك)

So let's wrap up.

إذن لنلخص ما سبق.

We started with the question -- let's call it the ethical dilemma --

فقد بدأنا بسؤال -- لنسمه المعضلة الأخلاقية --

of what the car should do in a specific scenario:

ما الذي يجب على السيارة أن تقوم به في حالة معينة:

swerve or stay?

أن تنحرف أو لا؟

But then we realized that the problem was a different one.

لكن بعدها أدركنا أن المشكل كان مختلفًا.

It was the problem of how to get society to agree on and enforce

كان المشكل عن كيفية جعل المجتمع يوافق ويفرض

the trade-offs they're comfortable with.

المقايضات التي يرتاح لها.

It's a social dilemma.

هذه معضلة اجتماعية.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

في الأربعينيات، كتب إسحاق عظيموف قوانينه الشهيرة عن الروبوتات --

the three laws of robotics.

قوانين الروبوتات الثلاث --

A robot may not harm a human being,

الروبوت لن يضر الإنسان،

a robot may not disobey a human being,

الروبوت لن يعصي الإنسان،

and a robot may not allow itself to come to harm --

ولن يسمح الروبوت لنفسه بأن يأتي الضرر --

in this order of importance.

بهذا التسلسل حسب الأهمية.

But after 40 years or so

لكن بعد 40 سنة ونيف

and after so many stories pushing these laws to the limit,

وبعد العديد من القصص التي دفعت هذه القوانين لتظهر ضعفها،

Asimov introduced the zeroth law

قدم عظيموف القانون الصفري للترموديناميك

which takes precedence above all,

والذي كانت له الأولوية قبل كل شيء،

and it's that a robot may not harm humanity as a whole.

وهي أن الروبوت لن يضر الإنسانية جمعاء.

I don't know what this means in the context of driverless cars

لست أدري ما الذي يعنيه هذا في سياق السيارات ذاتية القيادة

or any specific situation,

أو أي حالة معينة،

and I don't know how we can implement it,

ولست أدري كيف يمكننا تطبيق هذا،

but I think that by recognizing

لكنني أعتقد أنه من خلال الإدراك

that the regulation of driverless cars is not only a technological problem

أن تقنين السيارات ذاتية القيادة ليس مشكلا تكنولوجيا فقط

but also a societal cooperation problem,

ولكنه مشكل تعاون مجتمعي،

I hope that we can at least begin to ask the right questions.

آمل أن يكون بمقدرونا أن نبدأ على الأقل في طرح الأسئلة المناسبة

Thank you.

شكرا لكم.

(Applause)

(تصفيق)