What moral decisions should driverless cars make? | Iyad Rahwan

Reviewer: Nguyen Minh

Hôm nay tôi sẽ nói về công nghệ và xã hội.

Bộ giao thông vận tải

ước tính rằng năm ngoái

Today I'm going to talk about technology and society.

35,000 người ở Mỹ chết vì tai nạn giao thông

The Department of Transport estimated that last year

Trên thế giới mỗi năm có 1.2 triệu người

35,000 people died from traffic crashes in the US alone.

chết vì tai nạn giao thông.

Nếu có cách để loại trừ 90% những tai nạn trên,

Worldwide, 1.2 million people die every year in traffic accidents.

bạn có ủng hộ không?

Tất nhiên là có.

Những gì công nghệ xe không người lái

If there was a way we could eliminate 90 percent of those accidents,

hứa hẹn đạt được

bằng cách loại trừ nguyên nhân chính

would you support it?

gây tai nạn--

Of course you would.

sự vô ý của con người.

This is what driverless car technology promises to achieve

Bây giờ hãy đặt mình

vào một chiếc xe không người lái trong năm 2030.

by eliminating the main source of accidents --

Thư giãn và xem video cổ điển này

human error.

của TEDxCambridge.

Now picture yourself in a driverless car in the year 2030,

(Cười)

Đột nhiên,

chiếc xe gặp sự cố và không thể dừng lại.

sitting back and watching this vintage TEDxCambridge video.

(Laughter)

Nếu tiếp tục chạy,

All of a sudden,

nó sẽ tông vào một nhóm

the car experiences mechanical failure and is unable to stop.

người đi bộ đang qua đường,

nhưng nó có thể chuyển hướng,

If the car continues,

tông vào một người ngoài cuộc,

it will crash into a bunch of pedestrians crossing the street,

và người này sẽ thay chỗ

của những khách bộ hành trên.

Chiếc xe nên làm gì, và ai nên quyết định?

but the car may swerve,

hitting one bystander,

Điều gì sẽ xảy ra nếu

killing them to save the pedestrians.

thay vào đó chiếc xe tông vào một bức tường,

giết chết bạn, hành khách,

What should the car do, and who should decide?

để cứu lấy những khách bộ hành kia?

What if instead the car could swerve into a wall,

Viễn cảnh này lấy cảm hứng

crashing and killing you, the passenger,

từ thí nghiệm "xe đẩy mất phanh",

được sáng chế bởi các triết gia

in order to save those pedestrians?

vài thập kỉ trước

để tư duy về đạo đức.

This scenario is inspired by the trolley problem,

Cách chúng ta nghĩ về vấn đề này

which was invented by philosophers a few decades ago

cũng khá quan trọng.

Chúng ta có lẽ không băn khoăn gì về chúng cả.

to think about ethics.

Chúng ta có thể nói viễn cảnh này là không thực tế,

Now, the way we think about this problem matters.

khó tin, hoặc đơn giản là ngớ ngẩn.

We may for example not think about it at all.

Nhưng tôi nghĩ những đánh giá đó không đúng cho lắm

We may say this scenario is unrealistic,

bởi lẽ nó làm viễn cảnh ấy quá chân thực.

incredibly unlikely, or just silly.

Tất nhiên, không một tai nạn nào sẽ diễn ra như vậy;

But I think this criticism misses the point

không tai nạn nào có hai hoặc ba lựa chọn

because it takes the scenario too literally.

cho việc người ta chết như thế nào.

Of course no accident is going to look like this;

Thay vào đó, chiếc xe sẽ tính toán một số thứ

no accident has two or three options

như khả năng tông vào một nhóm người nhất định,

where everybody dies somehow.

nếu nó chuyển từ hướng này sang hướng khác

Instead, the car is going to calculate something

like the probability of hitting a certain group of people,

nó có thể gây nguy hiểm cho hành khách hay tài xế khác

hơn là cho người đi bộ.

if you swerve one direction versus another direction,

Có lẽ nó sẽ tính toán phức tạp hơn nữa

nhưng cuối cùng nó vẫn sẽ dính vào các thỏa hiệp

you might slightly increase the risk to passengers or other drivers

versus pedestrians.

và thỏa hiệp thì thường yêu cầu đạo đức

It's going to be a more complex calculation,

Chúng ta có thể nói rằng, “Đừng lo lắng về điều đó nữa,

but it's still going to involve trade-offs,

cứ chờ đến khi công nghệ hoàn toàn thích hợp và 100% an toàn”.

and trade-offs often require ethics.

We might say then, "Well, let's not worry about this.

Giả sử chúng ta có thể thực sự giảm thiểu 90% ca tai nạn

Let's wait until technology is fully ready and 100 percent safe."

hoặc thậm chí là 99% trong 10 năm tới.

Suppose that we can indeed eliminate 90 percent of those accidents,

Nhưng nếu việc loại bỏ hoàn toàn 1% còn lại đó

cần thêm hơn 50 năm để nghiên cứu?

or even 99 percent in the next 10 years.

Chúng ta không nên tiếp thu công nghệ?

What if eliminating the last one percent of accidents

Sẽ có 60 triệu người chết vì tai nạn xe hơi

requires 50 more years of research?

nếu chúng ta duy trì tỉ lệ hiện tại.

Should we not adopt the technology?

That's 60 million people dead in car accidents

Vấn đề là,

chờ đợi sự an toàn tuyệt đối là một sự lựa chọn

if we maintain the current rate.

và nó cũng có trong đó sự đánh đổi.

So the point is,

waiting for full safety is also a choice,

Cư dân mạng đã tìm ra một số cách

and it also involves trade-offs.

để không nghĩ về vấn đề này.

Có người đề nghị chiếc xe nên chuyển hướng vào nơi nào đó

People online on social media have been coming up with all sorts of ways

giữa những người đi bộ

(Cười)

to not think about this problem.

và người đứng xem.

One person suggested the car should just swerve somehow

Tất nhiên, nếu chiếc xe có thể làm điều đó.

in between the passengers --

Chúng ta đang tính đến viễn cảnh mà điều đó không xảy ra.

(Laughter)

and the bystander.

Và đề xuất mà tôi ưa thích là của một blogger

Of course if that's what the car can do, that's what the car should do.

We're interested in scenarios in which this is not possible.

về nút bung dù mà bạn có thể nhấn

And my personal favorite was a suggestion by a blogger

(Cười)

ngay trước khi chiếc xe tự hủy.

(Cười)

to have an eject button in the car that you press --

Vậy nếu ta biết đến những đánh đổi mà chiếc xe đã cân nhắc đưa ra,

(Laughter)

just before the car self-destructs.

(Laughter)

chúng ta nghĩ gì về các đánh đổi ấy,

So if we acknowledge that cars will have to make trade-offs on the road,

và chúng ta sẽ quyết định thế nào?

Có lẽ chúng ta nên làm một cuộc khảo sát để xem thử xã hội muốn gì,

bởi vì cuối cùng,

how do we think about those trade-offs,

quy tắc và luật lệ phản ánh những giá trị xã hội.

and how do we decide?

Well, maybe we should run a survey to find out what society wants,

Vậy nên đây là những thứ chúng ta đã làm.

because ultimately,

Với những cộng tác viên của tôi,

regulations and the law are a reflection of societal values.

Jean-François Bonnefon và Azim Shariff,

chúng tôi thực hiện khảo sát

So this is what we did.

trong đó chúng tôi đưa ra những viễn cảnh trên.

With my collaborators,

Chúng tôi cho họ hai lựa chọn được lấy cảm hứng từ hai triết gia:

Jean-François Bonnefon and Azim Shariff,

we ran a survey

Jeremy Bentham và Immanuel Kant.

in which we presented people with these types of scenarios.

Bentham nói rằng chiếc xe nên làm theo đạo đức thực tế

We gave them two options inspired by two philosophers:

nó nên hành động nhằm giảm thiểu tổng thiệt hại

Jeremy Bentham and Immanuel Kant.

thậm chí nếu hành động đó giết chết một người đi đường

Bentham says the car should follow utilitarian ethics:

hay giết chết hành khách.

it should take the action that will minimize total harm --

Immanuel Kant nói rằng chiếc xe nên tuân theo mệnh lệnh tuyệt đối,

even if that action will kill a bystander

and even if that action will kill the passenger.

như " Người đó sẽ không bị giết".

Vì thế bạn không nên thực hiện hành động mà rõ ràng nó gây hại đến con người,

Immanuel Kant says the car should follow duty-bound principles,

và bạn nên để chiếc xe đi theo hướng cũ

like "Thou shalt not kill."

dù rằng nó có thể gây hại cho nhiều người hơn.

So you should not take an action that explicitly harms a human being,

Bạn nghĩ thế nào?

Bentham hay Kant?

and you should let the car take its course

Đây là những điều chúng tôi tìm được.

even if that's going to harm more people.

Nhiều người ủng hộ Bentham.

What do you think?

Do vậy có vẻ như những người này muốn chiếc xe phải thực tế,

Bentham or Kant?

Here's what we found.

tối thiểu thiệt hại,

Most people sided with Bentham.

và đó là tất cả những gì ta nên làm.

Vấn đề đã được giải quyết.

So it seems that people want cars to be utilitarian,

Nhưng có một vấn đề nhỏ.

minimize total harm,

Khi chúng tôi hỏi một số người liệu họ có muốn mua chiếc xe như vậy,

and that's what we should all do.

Problem solved.

họ nói, "Chắc chắn không".

(Cười)

But there is a little catch.

When we asked people whether they would purchase such cars,

Họ sẽ muốn mua những chiếc xe bảo vệ họ bằng mọi giá,

they said, "Absolutely not."

Nhưng họ lại muốn những người khác mua chiếc xe có thể giảm thiểu thiệt hại.

(Laughter)

(Cười)

They would like to buy cars that protect them at all costs,

Chúng tôi đã thấy vấn đề này trước đây.

but they want everybody else to buy cars that minimize harm.

Nó gọi là tình huống tiến thoái lưỡng nan của xã hội.

Và để hiểu được vấn đề xã hội này,

(Laughter)

chúng ta phải trở về quá khứ một chút.

We've seen this problem before.

Trong những năm 1800,

It's called a social dilemma.

And to understand the social dilemma,

nhà kinh tế học người Anh William Forster Lloyd

we have to go a little bit back in history.

đã xuất bản một quyển sách nói về tình huống sau:

In the 1800s,

Bạn có một nhóm nông dân -

những nông dân người Anh

English economist William Forster Lloyd published a pamphlet

đang chia sẻ một mảnh đất chung để chăn cừu.

which describes the following scenario.

Nếu mỗi người nông dân mang đến một số lượng cừu nhất định

You have a group of farmers --

ví dụ ba con cừu

English farmers --

who are sharing a common land for their sheep to graze.

mảnh đất trở nên sống động hơn,

người nông dân sẽ vui lên,

cừu cũng vui lên,

Now, if each farmer brings a certain number of sheep --

mọi thứ sẽ tốt đẹp.

let's say three sheep --

Bây giờ, nếu một người nông dân mang thêm một con cừu nữa,

the land will be rejuvenated,

the farmers are happy,

người nông dân đó sẽ làm tốt hơn một chút, và không ai khác bị tổn hại.

the sheep are happy,

everything is good.

Now, if one farmer brings one extra sheep,

Nhưng nếu người nông dân nào cũng chỉ muốn được lợi cho mình

that farmer will do slightly better, and no one else will be harmed.

mảnh đất sẽ bị tàn phá, và nó sẽ gây ra

But if every farmer made that individually rational decision,

tổn thất cho những người nông dân,

và tất nhiên, tổn thất cho đàn cừu.

the land will be overrun, and it will be depleted

Chúng ta thấy vấn đề này trong nhiều nơi:

to the detriment of all the farmers,

trong khó khăn của việc quản lí khai thác cá quá mức,

and of course, to the detriment of the sheep.

hoặc trong việc cắt giảm khí thải CO2 để hạn chế biến đổi khí hậu.

We see this problem in many places:

in the difficulty of managing overfishing,

Khi nói đến quy tắc của xe không người lái

or in reducing carbon emissions to mitigate climate change.

mảnh đất chung giờ đây là sự an toàn của cộng đồng

When it comes to the regulation of driverless cars,

đó là điểm tốt chung

và người nông dân là hành khách

the common land now is basically public safety --

hoặc người chủ xe người mà đang chọn lái những chiếc xe đó.

that's the common good --

Và bằng cách chọn những quyết định có lợi cho bản thân mình

and the farmers are the passengers

or the car owners who are choosing to ride in those cars.

hoặc nói cách khác, ưu tiên cho sự an toàn của chính họ,

họ có thể loại bỏ điểm tốt chung

And by making the individually rational choice

cái mà tối thiểu tổng thiệt hại.

of prioritizing their own safety,

Nó được gọi là “Bi kịch của mảnh đất công”,

they may collectively be diminishing the common good,

thường là vậy,

which is minimizing total harm.

nhưng tôi nghĩ trong trường hợp của những chiếc xe không người lái,

vấn đề có một chút hóc búa hơn

It's called the tragedy of the commons,

bởi lẽ không cần một cá nhân riêng rẽ nào

traditionally,

but I think in the case of driverless cars,

quyết định những quyết định đó.

the problem may be a little bit more insidious

Vì vậy các nhà sản xuất xe hơi chỉ đơn thuần lập trình chiếc xe

because there is not necessarily an individual human being

có thể tối đa hóa sự an toàn cho khách hàng của họ,

making those decisions.

và những chiếc xe đó có thể tự học

So car manufacturers may simply program cars

rằng làm vậy sẽ gia tăng nguy hiểm cho người đi bộ.

that will maximize safety for their clients,

Sử dụng phép ẩn dụ con cừu,

and those cars may learn automatically on their own

coi như chúng ta có một chú cừu điện có bộ óc của riêng nó.

that doing so requires slightly increasing risk for pedestrians.

(cười)

Và chúng có lẽ tự đi gặm cỏ mà người nông dân không hề hay biết.

So to use the sheep metaphor,

it's like we now have electric sheep that have a mind of their own.

Vì vậy đây là cái mà chúng tôi gọi là “Bi kịch ‘thuật toán’ công”

(Laughter)

And they may go and graze even if the farmer doesn't know it.

khi cung cấp các thử thách mới.

So this is what we may call the tragedy of the algorithmic commons,

and if offers new types of challenges.

Một cách tiêu biểu, truyền thống,

chúng ta giải quyết những vấn đề xã hội này bằng cách sử dụng luật lệ,

vì thế cả chính quyền và cộng đồng hợp lại,

Typically, traditionally,

và họ cùng quyết định loại hậu quả nào họ muốn

we solve these types of social dilemmas using regulation,

và hạn chế nào đối với các hành vi cá nhân

so either governments or communities get together,

họ cần bổ sung.

and they decide collectively what kind of outcome they want

Và sau đó sử dụng phép kiểm tra và ép buộc,

họ có thể đảm bảo rằng lợi ích công đồng được bảo toàn.

and what sort of constraints on individual behavior

they need to implement.

Vì thế tại sao chúng ta không chỉ,

một cách máy móc,

And then using monitoring and enforcement,

yêu cầu tất cả xe hơi giảm thiểu thiệt hại?

they can make sure that the public good is preserved.

Rốt cuộc, đây là những gì mọi người nói rằng họ muốn.

So why don't we just,

as regulators,

Và quan trọng hơn,

require that all cars minimize harm?

tôi có thể chắc chắn rằng, với tư cách một cá nhân,

After all, this is what people say they want.

nếu tôi mua một chiếc xe mà cần hi sinh bản thân trong rất ít các trường hợp,

And more importantly,

Tôi không phải thằng ngu duy nhất

I can be sure that as an individual,

trong khi những người khác tận hưởng sự bảo vệ vô điều kiện.

if I buy a car that may sacrifice me in a very rare case,

Trong khảo sát, tôi đã hỏi liệu họ có ủng hộ các quy tắc đó không

I'm not the only sucker doing that

và đây là kết quả.

while everybody else enjoys unconditional protection.

Trước tiên, con người nói không với luật lệ;

In our survey, we did ask people whether they would support regulation

và thứ hai, họ nói,

and here's what we found.

“Nếu bạn đặt luật cho xe hơi làm vậy và tối thiểu thiệt hại,

First of all, people said no to regulation;

tôi sẽ không mua những chiếc xe đó."

Trớ trêu thay,

and second, they said,

"Well if you regulate cars to do this and to minimize total harm,

bằng cách kiểm soát những chiếc xe để tối thiểu thiệt hại,

chúng ta có thể sẽ kết thúc với nhiều thiệt hại hơn

I will not buy those cars."

bởi con người có thể sẽ chẳng chọn công nghệ an toàn

So ironically,

by regulating cars to minimize harm,

thậm chí nếu nó an toàn hơn tài xế thông thường.

we may actually end up with more harm

Tôi không có câu trả lời cuối cùng cho câu đố này,

because people may not opt into the safer technology

nhưng tôi nghĩ khi ở điểm bắt đầu,

even if it's much safer than human drivers.

chúng ta cần xã hội chung tay lại

I don't have the final answer to this riddle,

để quyết định sự thỏa hiệp nào chúng ta cảm thấy thoải mái

but I think as a starting point,

và tìm ra cách mà chúng ta có thể thúc ép những thỏa hiệp đó.

we need society to come together

to decide what trade-offs we are comfortable with

Khi ở điểm bắt đầu, những học sinh xuất sắc của tôi,

Edmond Awad và Sohan Dsouza,

and to come up with ways in which we can enforce those trade-offs.

xây dựng trang web Đạo đức máy móc,

nơi tập họp những viễn cảnh ngẫu nhiên mà bạn--

As a starting point, my brilliant students,

Edmond Awad and Sohan Dsouza,

về cơ bản là một chuỗi các rắc rối.

built the Moral Machine website,

nơi mà bạn phải lựa chọn chiếc xe phải làm gì trong tình huống cho trước.

which generates random scenarios at you --

Và chúng ta thay đổi tuổi và thậm chí là loại nạn nhân khác nhau.

basically a bunch of random dilemmas in a sequence

where you have to choose what the car should do in a given scenario.

Khi chúng tôi thu được trên năm triệu quyết định

And we vary the ages and even the species of the different victims.

bởi hơn một triệu người trên toàn thế giới

từ trang web.

So far we've collected over five million decisions

Và nó giúp chúng ta định hình bức tranh ban đầu

by over one million people worldwide

về những đánh đổi mà người ta có thể thỏa hiệp

và điều gì không thể với họ--

from the website.

thậm chí là vượt qua văn hóa.

And this is helping us form an early picture

Nhưng quan trọng hơn,

of what trade-offs people are comfortable with

thực hiện bài tập này đang giúp người ta nhận ra

and what matters to them --

khó khăn của việc quyết định

even across cultures.

và người lập trình đang được giao nhiệm vụ bất khả thi.

But more importantly,

doing this exercise is helping people recognize

the difficulty of making those choices

Có lẽ điều này sẽ giúp chúng ta cũng như việc xã hội hiểu về sự đánh đổi

and that the regulators are tasked with impossible choices.

sẽ được thực hiện một cách tuyệt đối theo các quy tắc.

Và thực sự, tôi rất vui khi nghe rằng

And maybe this will help us as a society understand the kinds of trade-offs

bộ quy tắc đầu tiên

đến từ Bộ Giao thông vận tải

that will be implemented ultimately in regulation.

được thông báo tuần qua--

bao gồm một danh sách 15 điều các nhà sản xuất cần đáp ứng,

And indeed, I was very happy to hear

that the first set of regulations

that came from the Department of Transport --

announced last week --

và điều số 14 là cân nhắc đạo đức --

included a 15-point checklist for all carmakers to provide,

Bạn dự định sẽ đối phó với điều này như thế nào?

and number 14 was ethical consideration --

Chúng tôi cũng có những người phản ánh quyết định của họ

bằng cách cho họ bản tóm tắt những gì họ chọn.

how are you going to deal with that.

Tôi sẽ đưa ra một ví dụ --

We also have people reflect on their own decisions

Tôi chỉ cảnh báo bạn rằng đây không phải là phản hồi của các bạn,

by giving them summaries of what they chose.

của chính các bạn.

Đây là những thứ người này chọn hi sinh và cứu

I'll give you one example --

I'm just going to warn you that this is not your typical example,

(cười)

your typical user.

This is the most sacrificed and the most saved character for this person.

Sẽ có người đồng ý với anh ta,

(Laughter)

hoặc cô ta, chúng ta không biết được.

Nhưng người này có khuynh hướng nghiêng về cứu hành khách hơn là người qua đường

Some of you may agree with him,

or her, we don't know.

trong lựa chọn của mình

But this person also seems to slightly prefer passengers over pedestrians

và rất hào hứng trừng phạt người qua đường ẩu.

(cười)

in their choices

and is very happy to punish jaywalking.

Vì thế hãy nghĩ thế này,

Chúng ta đã bắt đầu với câu hỏi -- gọi nó là vấn đề đạo đức--

(Laughter)

về điều mà chiếc xe nên làm trong một tình huống cụ thể:

chuyển hướng hay giữ nguyên?

So let's wrap up.

We started with the question -- let's call it the ethical dilemma --

Sau đó ta nhận ra rằng vấn đề lại hoàn toàn khác.

of what the car should do in a specific scenario:

Đó là vấn đề của việc làm thế nào để khiến xã hội đồng thuận và thực hiện

swerve or stay?

thỏa thuận mà họ cảm thấy thoải mái

But then we realized that the problem was a different one.

Đó là một vấn đề xã hội.

It was the problem of how to get society to agree on and enforce

Vào thập niên 1940, Isaac Asimov đã viết bộ luật nổi tiếng về người máy --

the trade-offs they're comfortable with.

ba bộ luật robot.

It's a social dilemma.

Một người máy không được gây hại cho con người,

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

một người máy không được không phục tùng con người,

và một người máy không được để bản thân nó hư hại --

the three laws of robotics.

A robot may not harm a human being,

quan trọng xếp theo thứ tự này.

a robot may not disobey a human being,

Nhưng sau 40 năm hoặc hơn

and a robot may not allow itself to come to harm --

và sau nhiều câu chuyện đẩy những luật đó đến giới hạn,

in this order of importance.

Asimov giới thiệu luật thứ không

But after 40 years or so

Luật này được ưu tiên hơn cả,

and after so many stories pushing these laws to the limit,

Và nó tuyên bố: người máy không được gây hại cho toàn thể loài người

Asimov introduced the zeroth law

Tôi không biết điều này có nghĩa gì với xe không người lái

which takes precedence above all,

and it's that a robot may not harm humanity as a whole.

hoặc bất kì tình huống rõ ràng nào khác,

Và tôi không biết làm thế nào để ta thực hiện nó,

I don't know what this means in the context of driverless cars

Nhưng tôi cho rằng bằng cách nhận ra

rằng các quy tắc của xe không người lái không chỉ là vấn đề về công nghệ

or any specific situation,

and I don't know how we can implement it,

but I think that by recognizing

mà còn là vấn đề về sự tương tác với xã hội.

that the regulation of driverless cars is not only a technological problem

Tôi hy vọng rằng ít nhất chúng ta có thể bắt đầu hỏi những câu hỏi đúng đắn.

Cảm ơn.

but also a societal cooperation problem,

(Vỗ tay)

I hope that we can at least begin to ask the right questions.

Thank you.

(Applause)