What moral decisions should driverless cars make? | Iyad Rahwan

Translator: Iman Mirzadeh Reviewer: Leila Ataei

Today I'm going to talk about technology and society.

امروز قراره درباره تکنولوژی و جامعه صحبت کنم.

The Department of Transport estimated that last year

دپارتمان حمل و نقل، در سال گذشته تخمین زد که

35,000 people died from traffic crashes in the US alone.

فقط در آمریکا، ۳۵،۰۰۰ نفر به علت تصادفات ترافیکی مرده‌اند.

Worldwide, 1.2 million people die every year in traffic accidents.

در سراسر جهان هر ساله ۱.۲ میلیون نفر به خاطر سوانح ترافیکی میمیرند.

If there was a way we could eliminate 90 percent of those accidents,

اگه راهی بود که میتونسیتم باهاش ۹۰ درصد این تصادف‌ها رو حذف کنیم،

would you support it?

آیا ازش حمایت میکردین؟

Of course you would.

البته که میکردین.

This is what driverless car technology promises to achieve

این چیزیه که تکنولوژی ماشین خودران ( بدونِ راننده) وعده میده که بهش به

by eliminating the main source of accidents --

به وسیله منبع اصلی تصادفات میرسه--

human error.

خطای انسان.

Now picture yourself in a driverless car in the year 2030,

حالا خودتون رو تصور کنید که در سال ۲۰۳۰ در یک ماشین خودران نشستید،

sitting back and watching this vintage TEDxCambridge video.

و دارین این ویدیو قدیمی TEDxCambrdige رو میبینین.

(Laughter)

(خنده حاضرین)

All of a sudden,

ناگهان،

the car experiences mechanical failure and is unable to stop.

ماشین به مشکل مکانیکی میخوره و نمیتونه متوقف شه.

If the car continues,

اگه ماشین ادامه بده،

it will crash into a bunch of pedestrians crossing the street,

به عده‌ای از عابرین پیاده که در حال عبور از خیابان هستند خواهد زد.

but the car may swerve,

ولی ممکنه ماشین منحرف بشه،

hitting one bystander,

و به یکی از افراد داخل پیاده رو بزنه،

killing them to save the pedestrians.

و اونا رو برای نجات جان عابران پیاده بکشه.

What should the car do, and who should decide?

ماشین باید چیکار کنه و چه کسی باید تصمیم بگیره؟

What if instead the car could swerve into a wall,

اگه به جای اینکار ماشین بتونه به سمت دیوار منحرف شه،

crashing and killing you, the passenger,

و تصادف کنه و شما که سرنشین هستین رو بکشه،

in order to save those pedestrians?

برای نجات اون عابران پیاده، اونوقت چی؟

This scenario is inspired by the trolley problem,

این سناریو از مشکل قطار برقی الهام گرفته است،

which was invented by philosophers a few decades ago

که چندین دهه پیش توسط فلاسفه اختراع شد

to think about ethics.

تا درباره اخلاق فکر کنند.

Now, the way we think about this problem matters.

حالا، جوری که ما به این مساله فکر میکنیم مهمه.

We may for example not think about it at all.

مثلا ممکنه اصلاً بهش فکر نکنیم.

We may say this scenario is unrealistic,

ممکنه بگید این سناریو غیر واقعیه،

incredibly unlikely, or just silly.

یا غیر محتمل، یا احمقانه.

But I think this criticism misses the point

ولی من فکر میکنم این انتقاد از نکته اصلی غافل میشه

because it takes the scenario too literally.

چون سناریو رو خیلی سطحی بررسی میکنه.

Of course no accident is going to look like this;

البته که هیچ تصادفی این شکلی نیست،

no accident has two or three options

هیچ تصادفی دو یا سه گزینه نداره

where everybody dies somehow.

که توش هرکی به طریقی میمیره.

Instead, the car is going to calculate something

به جاش، ماشین میره سراغ حساب کردن

like the probability of hitting a certain group of people,

چیزی مثل احتمال اصابت به گروهی از مردم،

if you swerve one direction versus another direction,

وقتی به جهتی منحرف بشین نسبت به یک جهت دیگه،

you might slightly increase the risk to passengers or other drivers

شاید اندکی ریسک رو برای سرنشینان یا سایر رانندگان

versus pedestrians.

نسبت به عابران پیاده زیاد کنین.

It's going to be a more complex calculation,

این محاسبات پیچیده‌تر هم خواهد شد،

but it's still going to involve trade-offs,

ولی همچنان شامل بده‌ بستان‌هایی خواهد بود،

and trade-offs often require ethics.

و بده بستان‌ها غالباً نیازمند اخلاقیات هستند.

We might say then, "Well, let's not worry about this.

ممکنه بگیم، "خب، بیا نگران این مساله نباشیم.

Let's wait until technology is fully ready and 100 percent safe."

بیاین صبر کنیم تا تکنولوژی کاملاً آماده و صد درصد امن بشه."

Suppose that we can indeed eliminate 90 percent of those accidents,

فرض کنید ما بتونیم واقعاً ۹۰ درصد این تصادفات رو حذف کنیم،

or even 99 percent in the next 10 years.

یا حتی ۹۹ درصدشون رو طی ۱۰ سال آینده.

What if eliminating the last one percent of accidents

اگه حذف کردن اون ۱ درصدِ باقی مونده از تصادفات

requires 50 more years of research?

به ۵۰ سال تحقیق نیاز داشته باشه، اونوقت تکلیف چیه؟

Should we not adopt the technology?

آیا باید قید این تکنولوژی رو بزنیم؟

That's 60 million people dead in car accidents

که یعنی ۶۰ میلیون مرگ در تصادفات رانندگی

if we maintain the current rate.

اگر که با همین نرخ تصادفات پیش بریم.

So the point is,

منظورم اینه که،

waiting for full safety is also a choice,

صبر کردن برای رسیدن به ایمنی کامل یک گزینه هست،

and it also involves trade-offs.

ولی بده-بستانهای خودش رو داره.

People online on social media have been coming up with all sorts of ways

مردم در رسانه‌های اجتماعی به انواع مختلفی از روش‌ها رسیدن که

to not think about this problem.

به این مشکل فکر نکنیم.

One person suggested the car should just swerve somehow

یه نفر پیشنهاد داده بود که ماشین باید به سمتی منحرف بشه

in between the passengers --

که ماشین بخوره به جایی بین سرنشین‌ها --

(Laughter)

(خنده حاضرین)

and the bystander.

و عابر پیاده.

Of course if that's what the car can do, that's what the car should do.

البته اگه این کاریه که ماشین میتونه بکنه، باید همین کار رو بکنه.

We're interested in scenarios in which this is not possible.

ولی ما درباره سناریو‌هایی کنجکاویم که نمیشه این کار رو کرد.

And my personal favorite was a suggestion by a blogger

و راه مورد علاقه خودم پیشنهاد یک بلاگ‌نویس هستش

to have an eject button in the car that you press --

که داخل ماشین یک دکمه پرتاب به بیرون باشه که فشارش بدین --

(Laughter)

(خنده حاضرین)

just before the car self-destructs.

درست قبل از خود نابودسازی ماشین.

(Laughter)

(خنده حاضرین)

So if we acknowledge that cars will have to make trade-offs on the road,

پس اگه ما قبول کنیم که ماشین‌ها بده‌-بستان‌هایی رو در جاده خواهند داشت،

how do we think about those trade-offs,

تکلیف این بده بستانها چیه،

and how do we decide?

و چطور تصمیم میگیریم؟

Well, maybe we should run a survey to find out what society wants,

خب، شاید باید یه نظرسنجی برگزار کنیم تا ببینیم جامعه چی میخواد،

because ultimately,

چون در نهایت،

regulations and the law are a reflection of societal values.

قوانین و مقررات بازتابی از ارزش‌های اجتماعی هستند.

So this is what we did.

ما هم همین کارو کردیم.

With my collaborators,

با همکارانم،

Jean-François Bonnefon and Azim Shariff,

عظیم شریف و‌ ژان-فرانیوا بونفون

we ran a survey

یک نظرسنجی برگزار کردیم

in which we presented people with these types of scenarios.

که توش به مردم این سناریوها رو نشون میدادیم.

We gave them two options inspired by two philosophers:

بهشون دوتا حق انتخاب میدادیم که الهام گرفته از دو فیلسوف بودن:

Jeremy Bentham and Immanuel Kant.

امانوئل کانت و جرمی بنتهام.

Bentham says the car should follow utilitarian ethics:

بنتهام میگه که ماشین باید از اخلاق سودگرایانه پیروی کنه:

it should take the action that will minimize total harm --

باید کاری کنه که مجموعِ ضرر کمینه بشه --

even if that action will kill a bystander

حتی اگه این کار باعث کشته شدن یک عابر پیاده بشه

and even if that action will kill the passenger.

حتی اگه این کار یک سرنشین رو بکشه.

Immanuel Kant says the car should follow duty-bound principles,

امانوئل کانت میگه ماشین باید از اصول تکلیفی پیروی کنه،

like "Thou shalt not kill."

مثل فرمان "نباید به قتل برسانی."

So you should not take an action that explicitly harms a human being,

پس شما نباید کاری کنین که به صراحت به یک انسان آسیب بزنین،

and you should let the car take its course

و باید بذارین که ماشین به مسیرش ادامه بده

even if that's going to harm more people.

حتی اگه به مردم بیشتری آسیب بزنه.

What do you think?

شما نظرتون چیه؟

Bentham or Kant?

بنتهام درست میگه یا کانت؟

Here's what we found.

ما به این نتیجه رسیدیم.

Most people sided with Bentham.

بیشتر مردم میگن بنتهام.

So it seems that people want cars to be utilitarian,

به نظر میرسه مردم میخوان که ماشین سودمندگرا باشه،

minimize total harm,

مجموع ضرر رو کمینه کنه،

and that's what we should all do.

و این کاریه که همه باید بکنیم.

Problem solved.

مشکل حل شد.

But there is a little catch.

ولی یک گیر کوچیک اینجا هست.

When we asked people whether they would purchase such cars,

وقتی ما از مردم پرسیدیم که آیا شما اینجور ماشین‌ها رو میخرین،

they said, "Absolutely not."

گفتن: "قطعا نه."

(Laughter)

(خنده حاضرین)

They would like to buy cars that protect them at all costs,

مردم میخوان ماشین‌ها رو بخرن که تحت هر شرایطی ازشون محافظت کنه،

but they want everybody else to buy cars that minimize harm.

ولی میخوان بقیه ماشینی رو بخرن که ضرر رو کمینه کنه.

(Laughter)

(خنده حاضرین)

We've seen this problem before.

ما این مشکل رو قبلاً هم دیده‌ایم.

It's called a social dilemma.

بهش میگن دوراهی اجتماعی.

And to understand the social dilemma,

و برای اینکه دوراهی اجتماعی رو درک کنین،

we have to go a little bit back in history.

باید در تاریخ یه ذره به عقب برگردیم.

In the 1800s,

حدود سال ۱۸۰۰ میلادی،

English economist William Forster Lloyd published a pamphlet

اقتصاددان انگلیسی ویلیام فورستر للوید رساله‌ای رو منتشر کرد

which describes the following scenario.

که این سناریو‌ها رو توش توضیح میداد.

You have a group of farmers --

فرض کنید گروهی از چوپان‌ها دارین --

English farmers --

چوپان‌های انگلیسی --

who are sharing a common land for their sheep to graze.

که زمین مشترکی برای چروندن گوسفنداشون دارن.

Now, if each farmer brings a certain number of sheep --

حالا، اگه هر چوپان تعداد مشخصی گوسفند‌ بیاره --

let's say three sheep --

مثلاً هرکی ۳ تا گوسفند --

the land will be rejuvenated,

زمین سالم میمونه و کاریش نمیشه،

the farmers are happy,

چوپان‌ها خوشحالن،

the sheep are happy,

گوسفند‌ها خوشحالن،

everything is good.

همه چی خوبه.

Now, if one farmer brings one extra sheep,

حالا اگه یکی از چوپان‌ها یه گوسفند اضافی بیاره،

that farmer will do slightly better, and no one else will be harmed.

اون چوپان‌ یکم وضعش بهتر میشه، و هیچکس ضرر نمیکنه.

But if every farmer made that individually rational decision,

ولی اگه همه چوپان‌ها این تصمیم فردی رو که برای هرکدومشون منطقیه بگیرن،

the land will be overrun, and it will be depleted

زمین بیش از اندازه بهش فشار میاد، و خراب میشه.

to the detriment of all the farmers,

چوپان‌ها ضرر میکنن،

and of course, to the detriment of the sheep.

و البته گوسفند‌ها هم ضرر میکنن.

We see this problem in many places:

این مشکل رو خیلی جاها میبینیم:

in the difficulty of managing overfishing,

مشکل حل ماهیگیری بیش از اندازه،

or in reducing carbon emissions to mitigate climate change.

یا کاهش انتشار کربن، برای کند کردن روند تغییرات اقلیمی.

When it comes to the regulation of driverless cars,

وقتی این مشکل به مقررات ماشین‌های بدون راننده(خودران) میرسه،

the common land now is basically public safety --

زمین مشترک برای چَرا همون امنیت عمومی میشه --

that's the common good --

که ارزش مشترک هست --

and the farmers are the passengers

و چوپان‌ها همون سرنشین‌ها میشن

or the car owners who are choosing to ride in those cars.

یا صاحبان ماشین‌ها که دارن رانندگی میکنن.

And by making the individually rational choice

و تصمیم فردی عاقلانه

of prioritizing their own safety,

که اولیت دادن به امنیت خود شخص هست،

they may collectively be diminishing the common good,

ممکنه به صورت جمعی در حال تخریب مال مشترکشون(زمین چَرا) باشن،

which is minimizing total harm.

که کمینه کردن کل ضرر هست.

It's called the tragedy of the commons,

بهش میگن تراژدی اشتراکها،

traditionally,

به طور سنتی،

but I think in the case of driverless cars,

ولی من فکر میکنم در مورد ماشین‌های بدون راننده(خودران)،

the problem may be a little bit more insidious

شاید مشکل یه ذره ظریف‌تر باشه

because there is not necessarily an individual human being

چون حتماً اونی که تصمیم رو میگیره،

making those decisions.

یک انسان نیست.

So car manufacturers may simply program cars

ممکنه سازندگان ماشین خودرو‌ها رو طوری برنامه‌ریزی کنن،

that will maximize safety for their clients,

که امنیت مشتریانشون رو بیشینه کنه،

and those cars may learn automatically on their own

و اون ماشین‌ها شاید خودشون یاد بگیرن که به صورت اتوماتیک

that doing so requires slightly increasing risk for pedestrians.

انجام این کار خطراتی رو برای عابرین پیاده داره.

So to use the sheep metaphor,

مثلاً توی مثال گوسفند‌ها،

it's like we now have electric sheep that have a mind of their own.

یک گوسفند الکتریکی داشته باشیم که ذهن خودش رو داره.

(Laughter)

(خنده حاضرین)

And they may go and graze even if the farmer doesn't know it.

و گوسفند‌ها شاید برن و بِچرند در حالی که چوپان نمیدونه.

So this is what we may call the tragedy of the algorithmic commons,

این چیزیه که اسمش رو میذاریم تراژدی اشتراکات الگورتیمی،

and if offers new types of challenges.

که چالش‌های جدیدی رو در خودش داره.

Typically, traditionally,

معمولاً و به طور سنتی،

we solve these types of social dilemmas using regulation,

ما این نوع دوراهی‌های اجتماعی رو با استفاده از مقررات حل میکنیم،

so either governments or communities get together,

پس حکومت‌ها یا جوامع گِرد هم میان،

and they decide collectively what kind of outcome they want

و تصمیم میگیرن که چه نتیجه‌ای رو میخوان،

and what sort of constraints on individual behavior

و چه محدودیت‌هایی روی رفتارهای فردی

they need to implement.

باید اعمال کنند.

And then using monitoring and enforcement,

و بعدش با استفاده از نظارت و الزام،

they can make sure that the public good is preserved.

میتونن مطمئن شن که منافع عمومی حفظ میشه.

So why don't we just,

پس چرا نیایم،

as regulators,

به عنوان قانون گذاران،

require that all cars minimize harm?

بخوایم که همه ماشین‌ها ضرر رو کمینه کنن؟

After all, this is what people say they want.

به هرحال، این چیزیه که همه ادعا میکنن میخوانش.

And more importantly,

و مهمتر از اون،

I can be sure that as an individual,

مطمئناً منِ نوعی،

if I buy a car that may sacrifice me in a very rare case,

اگه یه ماشین بخرم که ممکن باشه من رو در یه حالت خیلی خاص قربانی کنه،

I'm not the only sucker doing that

من تنها احمقی نیستم که این کار رو میکنه

while everybody else enjoys unconditional protection.

در حالی که بقیه از محافظت بی‌قید و شرط لذت میبرن.

In our survey, we did ask people whether they would support regulation

در نظرسنجی ما، از مردم پرسیدیم که آیا از قانون گذاری حمایت میکنن یا نه

and here's what we found.

و به این نتایج رسیدیم.

First of all, people said no to regulation;

اول از همه، مردم به قانون گذاری نه گفتند.

and second, they said,

و دوم، اونا گفتن

"Well if you regulate cars to do this and to minimize total harm,

"خب اگه شما برای ماشین‌ها قانون بذارین که این‌ کار رو بکنن و ضرر رو کمینه کنن،

I will not buy those cars."

من اون ماشین‌ها رو نمیخرم."

So ironically,

پس به طرز مسخره‌ای،

by regulating cars to minimize harm,

با قانون‌گذاری برای ماشین‌ها برای کمینه کردن ضرر،

we may actually end up with more harm

ما بیشتر ضرر میکنیم!

because people may not opt into the safer technology

چون مردم نمیخوان که از تکنولوژی امن‌تر استفاده کنن

even if it's much safer than human drivers.

حتی اگه خیلی خیلی امن‌تر از رانندگان انسانی باشه.

I don't have the final answer to this riddle,

من جواب نهایی این معما رو نمیدونم،

but I think as a starting point,

ولی فکر میکنم به عنوان یک نقطه شروع،

we need society to come together

ما لازم داریم که همه جمع شیم،

to decide what trade-offs we are comfortable with

تا تصمیم بگیریم که چه بده-بستون‌هایی رو باهاش کنار میایم

and to come up with ways in which we can enforce those trade-offs.

و به راه‌هایی برسیم که بتونیم اون بده-بستون‌ها رو اجرایی کنیم.

As a starting point, my brilliant students,

به عنوان یک نقطه شروع، دانشجویان فوق‌العاده من،

Edmond Awad and Sohan Dsouza,

ادموند اواد و سوهن دئسوزا.

built the Moral Machine website,

سایت ماشین با اخلاق رو ساختند،

which generates random scenarios at you --

-- که سناریوهای تصادفی برای شما تولید میکنه

basically a bunch of random dilemmas in a sequence

اساساً دنباله‌ای از تعدادی مساله تصادفی

where you have to choose what the car should do in a given scenario.

که شما باید تصمیم بگیرین که ماشین در سناریو گفته شده چه کار باید بکنه.

And we vary the ages and even the species of the different victims.

و ما حتی سن و نوع قربانی‌ها رو عوض میکنیم.

So far we've collected over five million decisions

تا اینجا ما بیش از ۵ میلیون تصمیم از این سایت برای این سناریو‌ها جمع کردیم

by over one million people worldwide

توسط یک میلیون نفر در سرتاسر جهان

from the website.

و این کمک میکنه که یک تصویر ابتدایی داشته باشیم

And this is helping us form an early picture

of what trade-offs people are comfortable with

از اینکه مردم با چه بده-بستان‌هایی کنار میان

and what matters to them --

و چه چیزهایی براشون مهمه --

even across cultures.

حتی در فرهنگ‌های مختلف.

But more importantly,

ولی مهمتر از این،

doing this exercise is helping people recognize

انجام این کار، به مردم کمک میکنه که

the difficulty of making those choices

دشوار این تصمیم گرفتن‌ها رو بشناسن

and that the regulators are tasked with impossible choices.

و اینکه قانون‌گذاران با تصمیم‌های غیرممکن روبرو هستند.

And maybe this will help us as a society understand the kinds of trade-offs

و شاید این به ما به عنوان یک جامعه کمک کنه انواع بده-بستانها رو درک کنیم

that will be implemented ultimately in regulation.

که بالاخره در مقررات به کار خواهد رفت.

And indeed, I was very happy to hear

و در واقع، من خیلی خوشحالم که میشنوم

that the first set of regulations

اولین مجموعه قوانین و مقرارت

that came from the Department of Transport --

توسط وزارت حمل و نقل --

announced last week --

هفته پیش اعلام شد --

included a 15-point checklist for all carmakers to provide,

شامل یک چک لیست ۱۵ امتیازی برای تمام خودروسازان،

and number 14 was ethical consideration --

و شماره ۱۴ یک ملاحظه اخلاقی بود --

how are you going to deal with that.

با آن چطوری کنار خواهید آمد.

همچنین ما افرادی رو داریم که با دادن خلاصه‌‌ای از آنچه انتخاب کرده‌اند

We also have people reflect on their own decisions

by giving them summaries of what they chose.

تصمیماتشون رو بازتاب میدن.

I'll give you one example --

بهتون یک مثال نشون میدم --

I'm just going to warn you that this is not your typical example,

فقط بهتون هشدار میدم که این یک مثال عادی نیست،

your typical user.

یا کاربر عادی.

This is the most sacrificed and the most saved character for this person.

این مثال بیشترین قربانی و بیشترین نجات توسط این آدم رو نشون میده.

(Laughter)

(خنده حاضرین)

Some of you may agree with him,

بعضی از شما شاید با نظر این مرد موافق باشین،

or her, we don't know.

یا شایدم نظر این زن، نمیدونم.

But this person also seems to slightly prefer passengers over pedestrians

ولی به نظر میرسه این فرد یکم سرنشین‌ها رو نسبت به عابرین پیاده

in their choices

توی انتخاب‌هاش ترجیح میده

and is very happy to punish jaywalking.

و از تنبیه کردن عابرین داخل خیابون خوشحال میشه.

(Laughter)

(خنده حاضرین)

So let's wrap up.

حالا بیاین جمع بندی کنیم.

We started with the question -- let's call it the ethical dilemma --

ما با یک سوال که اسمش رو دوراهی اخلاقی میذاریم، شروع کردیم --

of what the car should do in a specific scenario:

که ماشین توی سناریو خاص چه کار باید بکنه:

swerve or stay?

منحرف بشه یا ادامه بده؟

But then we realized that the problem was a different one.

ولی بعدش فهمیدیم که این مساله دیگه‌ای بود.

It was the problem of how to get society to agree on and enforce

مساله، هم‌نظر کردن جامعه و اجرای بده-بستان‌هایی بود

the trade-offs they're comfortable with.

که جامعه باهاش کنار میاد.

It's a social dilemma.

که یک معمای اجتماعی هست.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

در سال ۱۹۴۰، ایزاک آسیموف قوانین مشهورش برای ربات‌ها را نوشت --

the three laws of robotics.

سه قانون برای ربات‌ها.

A robot may not harm a human being,

ربات نباید به انسان آسیب بزنه،

a robot may not disobey a human being,

ربات نباید از انسان سرپیچی کنه،

and a robot may not allow itself to come to harm --

و ربات نباید به خودش اجازه بده که آسیب بزنه --

in this order of importance.

به ترتیب اهمیت از اول به سوم.

But after 40 years or so

ولی بعد از گذشت حدود ۴۰ سال

and after so many stories pushing these laws to the limit,

و بعد داستان‌های زیادی که به این قوانین فشار آوردن،

Asimov introduced the zeroth law

آسیموف قانون صفرم رو مطرح کرد

which takes precedence above all,

که بر هر سه قانون قبلی تقدم داره،

and it's that a robot may not harm humanity as a whole.

و اون این بود که ربات نباید به کلیت انسان‌ها آسیب بزنه.

I don't know what this means in the context of driverless cars

من نمیدونم مصداق این قانون در زمینه ماشین‌های خودران چی میشه

or any specific situation,

یا هر حالت خاصی،

and I don't know how we can implement it,

و نمیدونم که ما چطوری میخوایم اجراش کنیم،

but I think that by recognizing

ولی فکر میکنم که با فهمیدنِ اینکه

that the regulation of driverless cars is not only a technological problem

مقررات ماشین‌های خودران تنها یک مساله مرتبط با تکنولوژی نیست

but also a societal cooperation problem,

و یک مساله همکاری اجتماعی هم هست،

I hope that we can at least begin to ask the right questions.

میتونم امیدوار باشم که حداقل شروع به پرسیدن سوالات درست کنیم.

Thank you.

سپاس گزارم.

(Applause)

(تشویق حاضرین)