What moral decisions should driverless cars make? | Iyad Rahwan

Çeviri: Esra Çakmak Gözden geçirme: Ramazan Şen

Today I'm going to talk about technology and society.

Bugün, teknoloji ve toplum hakkında konuşacağım.

The Department of Transport estimated that last year

Ulaştırma Bakanlığı verilere göre geçen sene yalnızca ABD'de

35,000 people died from traffic crashes in the US alone.

35.000 insanın trafik kazalarında yaşamını yitirdiğini bildirdi.

Worldwide, 1.2 million people die every year in traffic accidents.

Dünya çapında, her yıl 1.2 milyon insan trafik kazalarında hayatını kaybediyor.

If there was a way we could eliminate 90 percent of those accidents,

Bu kazaların yüzde 90'ını ortadan kaldırabileceğimiz bir yöntem olsaydı,

would you support it?

bunu destekler miydiniz?

Of course you would.

Elbette desteklerdiniz.

This is what driverless car technology promises to achieve

Sürücüsüz araba teknolojisi işte bunu vadediyor;

by eliminating the main source of accidents --

kazaların ana sebebini, yani insan hatasını

human error.

ortadan kaldırmayı.

Now picture yourself in a driverless car in the year 2030,

Şimdi kendinizi 2030 yılında sürücüsüz bir araba içerisinde hayal edin,

sitting back and watching this vintage TEDxCambridge video.

arkada oturuyor ve bu nostaljik TEDxCambridge videosunu izliyorsunuz.

(Laughter)

(Gülüşmeler)

All of a sudden,

Aniden,

the car experiences mechanical failure and is unable to stop.

arabada mekanik bir arıza oluyor ve duramıyor.

If the car continues,

Araba sürüşe devam ederse,

it will crash into a bunch of pedestrians crossing the street,

yoldan geçen bir grup insana çarpacak,

but the car may swerve,

fakat araç direksiyon kırabilir,

hitting one bystander,

görgü tanıklarından birine çarpar

killing them to save the pedestrians.

ve böylece daha çok yaya kurtulmuş olur.

What should the car do, and who should decide?

Araba ne yapmalı ve buna kim karar vermeli?

What if instead the car could swerve into a wall,

Farz edelim ki, araba direksiyonu bir duvara kırıyor,

crashing and killing you, the passenger,

diğer yayaları kurtarmak adına,

duvara çarparak arabadaki yolcuyu yani sizi öldürüyor.

in order to save those pedestrians?

This scenario is inspired by the trolley problem,

Bu senaryo, bundan 30-40 yıl önce

which was invented by philosophers a few decades ago

ahlak kuramını irdelemek adına filozoflarca yaratılan tren ikileminden

to think about ethics.

esinlenerek ortaya konmuş.

Now, the way we think about this problem matters.

Bu probleme bakış açımız önem taşıyor.

We may for example not think about it at all.

Mesela, hiç üzerine kafa yormayabiliriz.

We may say this scenario is unrealistic,

Bu senaryonun gerçekçi olmadığını, son derece olağan dışı olduğunu

incredibly unlikely, or just silly.

veya aptalca olduğunu düşünebiliriz.

But I think this criticism misses the point

Fakat bu eleştirinin, işin özünü kaçırdığını düşünüyorum,

because it takes the scenario too literally.

çünkü senaryoyu fazla direkt yorumluyorlar.

Of course no accident is going to look like this;

Elbette hiçbir kaza bu şekilde olmaz,

no accident has two or three options

herkesin o veya bu şekilde öldüğü

where everybody dies somehow.

iki üç olasılığa indirgenemez.

Instead, the car is going to calculate something

Buna karşın araba,

like the probability of hitting a certain group of people,

vuracağı kişi sayısı gibi kendi içinde hesaplamalara gidecek,

if you swerve one direction versus another direction,

direksiyonu çevireceği yönleri kıyaslayarak

you might slightly increase the risk to passengers or other drivers

yolcu veya diğer sürücülere vereceği hasarı, yayalara oranla

versus pedestrians.

nispeten arttırabilir.

It's going to be a more complex calculation,

Çok daha karmaşık bir hesaplama olacaktır,

but it's still going to involve trade-offs,

ama yine de risk oranını hesaba katmış olacaktır

and trade-offs often require ethics.

ve risk oranları, sıklıkla ahlak kuramı içindedir.

We might say then, "Well, let's not worry about this.

Şu şekilde düşünebiliriz, ''Peki, o hâlde daha fazla uzatmayalım.

Let's wait until technology is fully ready and 100 percent safe."

Teknolojinin tamamen hazır olmasını, %100 güvenli hâle gelmesini bekleyelim.''

Suppose that we can indeed eliminate 90 percent of those accidents,

Gelecek 10 yılda, bu kazaların %90'ını

or even 99 percent in the next 10 years.

ve hatta %99'unu önleyebildiğimizi farz edelim.

What if eliminating the last one percent of accidents

Peki ya diğer %10'luk kaza dilimini önleyebilmek,

requires 50 more years of research?

50 yıllık bir çalışma daha gerektiriyor olsaydı?

Should we not adopt the technology?

Teknolojiyi uyarlamamız gerekmez mi?

That's 60 million people dead in car accidents

Mevcut oranı korursak, bu 60 milyon insanın araba kazalarında

if we maintain the current rate.

canlarını yitirdiği anlamına geliyor.

So the point is,

Demek istediğim şu ki,

waiting for full safety is also a choice,

tamamen güvenliği sağlamak için beklemek bir seçenek,

and it also involves trade-offs.

fakat aynı zamanda, kendi içinde risk taşıyor.

People online on social media have been coming up with all sorts of ways

Sosyal medyada insanlar, bu problemi düşünmemek için

to not think about this problem.

türlü fikirler öne sürüyorlar.

One person suggested the car should just swerve somehow

Bir kişi arabanın bir şekilde, yaya ile tanık arasından

geçmesi fikrini

in between the passengers --

(Laughter)

(Gülüşmeler)

and the bystander.

öne sürdü.

Of course if that's what the car can do, that's what the car should do.

Elbette araba eğer bunu yapabiliyorsa, bunu yapması gerekir.

We're interested in scenarios in which this is not possible.

Böyle bir çözümün mümkün olmadığı senaryolardan bahsediyoruz.

And my personal favorite was a suggestion by a blogger

Bir blog yazarınca öne sürülen, şahsen benim en sevdiğim öneride,

to have an eject button in the car that you press --

arabada basılabilen fırlatma tuşu ile

(Laughter)

(Gülüşmeler)

just before the car self-destructs.

arabanın devamında kendini imha etmesi çözümüydü.

(Laughter)

(Gülüşmeler)

So if we acknowledge that cars will have to make trade-offs on the road,

Arabaların trafikte risk oranı tahlili yapacağını kabul edecek olursak,

how do we think about those trade-offs,

bu risk oranı tahlilleri hakkında nasıl düşüneceğiz

and how do we decide?

ve nasıl karar vereceğiz?

Well, maybe we should run a survey to find out what society wants,

Belki de toplumun ne istediğini anlamak için bir anket düzenlemeliyiz,

because ultimately,

çünkü nihayetinde,

regulations and the law are a reflection of societal values.

düzenlemeler ve yasalar toplumsal değerlerin bir yansımasıdır.

So this is what we did.

Böyle yaptık.

With my collaborators,

Ekip arkadaşlarım ile birlikte,

Jean-François Bonnefon and Azim Shariff,

Jean-François Bonnefon ve Azim Shariff,

we ran a survey

bir anket yaptık

in which we presented people with these types of scenarios.

ve bu ankette insanlara bu tarz senaryolar sunduk.

We gave them two options inspired by two philosophers:

Onlara, iki filozoftan ilham aldığımız iki seçenek sunduk:

Jeremy Bentham and Immanuel Kant.

Jeremy Bentham ve Immanuel Kant.

Bentham says the car should follow utilitarian ethics:

Bentham'a göre, araba faydacı bir etiğe göre hareket etmeli:

it should take the action that will minimize total harm --

büyük çaptaki hasarı en aza indirgeyecek şekilde hareket etmeli,

even if that action will kill a bystander

bu eylem bir tanığı öldürecek olsa da,

and even if that action will kill the passenger.

bu eylem bir yolcuyu öldürecek olsa da.

Immanuel Kant says the car should follow duty-bound principles,

Immanuel Kant'a göre araba, vazifesinin icabına göre hareket etmeli,

like "Thou shalt not kill."

''Öldürmeyeceksin'' gibi.

So you should not take an action that explicitly harms a human being,

Bariz bir şekilde, bir insana zarar verecek şekilde hareket etmemeli

and you should let the car take its course

ve araba kendi hâline bırakılmalı,

even if that's going to harm more people.

daha fazla insana zarar verecek olsa bile.

What do you think?

Siz ne düşünüyorsunuz?

Bentham or Kant?

Bentham mı, Kant mı?

Here's what we found.

Bizim bulgumuzu paylaşayım.

Most people sided with Bentham.

Çoğu insan Bentham'a hak verdi.

So it seems that people want cars to be utilitarian,

Öyle ki, insanlar arabaların faydacı olmalarını istiyorlar gibi görünüyor,

minimize total harm,

toplam zararı en aza indirgemesini,

and that's what we should all do.

ki bu hepimizin yapması gereken şey aslında.

Problem solved.

Sorun çözüldü.

But there is a little catch.

Dikkat etmemiz gereken bir nokta var.

When we asked people whether they would purchase such cars,

İnsanlara bu tarz arabaları satın alma durumlarını sorduğumuzda,

they said, "Absolutely not."

''Kesinlikle hayır.'' dediler.

(Laughter)

(Gülüşmeler)

They would like to buy cars that protect them at all costs,

Kendilerini her an koruyan arabalar satın almak isterken,

but they want everybody else to buy cars that minimize harm.

diğer herkesin zararı en aza indirgeyen arabalardan almalarını istiyorlar.

(Laughter)

(Gülüşmeler)

We've seen this problem before.

Bu problemle daha önce karşılaşmıştık.

It's called a social dilemma.

Buna ''toplumsal ikilem'' deniyor.

And to understand the social dilemma,

Toplumsal ikilemi anlayabilmek için,

we have to go a little bit back in history.

biraz eskilere gitmemiz gerekir.

In the 1800s,

1800'lerde,

English economist William Forster Lloyd published a pamphlet

İngiliz iktisatçı William Forster Lloyd,

şu senaryoyu aktaran bir broşür yayınladı:

which describes the following scenario.

You have a group of farmers --

Bir grup çiftçi var,

English farmers --

İngiliz çiftçiler,

who are sharing a common land for their sheep to graze.

koyunlarını otlatmak için umumi bir araziyi paylaşıyorlar.

Now, if each farmer brings a certain number of sheep --

Her bir çiftçi, belirli sayıda koyun getirirse

let's say three sheep --

- 3 koyun diyelim -

the land will be rejuvenated,

toprak yenilenmiş olacak,

the farmers are happy,

çiftçiler mutlu,

the sheep are happy,

koyunlar mutlu,

everything is good.

her şey iyi olacak.

Now, if one farmer brings one extra sheep,

Fakat bir çiftçi, fazladan bir koyun daha getirirse,

that farmer will do slightly better, and no one else will be harmed.

o çiftçinin işleri için daha iyi olacak ve bu kimseye zarar vermeyecek.

But if every farmer made that individually rational decision,

Ama her bir çiftçi, bireysel olarak bu mantıklı kararı verecek olursa,

the land will be overrun, and it will be depleted

alan istilaya uğramış olacak ve yeşillik tükenecek,

to the detriment of all the farmers,

bu da her çiftçinin zararına olacak

and of course, to the detriment of the sheep.

ve tabii ki koyunların da zararına olacak.

We see this problem in many places:

Bu sorun ile birçok kez karşılaşıyoruz:

in the difficulty of managing overfishing,

aşırı balık avlanması hususunda,

or in reducing carbon emissions to mitigate climate change.

ya da iklim değişikliğini azaltmak adına karbon salınımını azaltmada.

When it comes to the regulation of driverless cars,

Sürücüsüz araba hukukuna baktığımızda,

the common land now is basically public safety --

umumi alan toplum güvenliği oluyor

that's the common good --

- yani kamu yararı -

and the farmers are the passengers

ve çiftçiler yolcular oluyor

or the car owners who are choosing to ride in those cars.

veya o arabaları kullanmayı tercih eden araç sahipleri oluyor.

And by making the individually rational choice

Ve kendi güvenliklerine öncelik tanıyan,

of prioritizing their own safety,

bireysel mantıklı seçimlerini yaparak

they may collectively be diminishing the common good,

hep birlikte genelin iyiliğini azaltarak

which is minimizing total harm.

toplam zarar riskini aza indirgemeyi düşürüyor olabilirler.

It's called the tragedy of the commons,

Buna bilindiği üzere ortak malların trajedisi

traditionally,

deniyor,

but I think in the case of driverless cars,

fakat bana kalırsa, sürücüsüz araba hususunda

the problem may be a little bit more insidious

sorun biraz daha derin olabilir,

because there is not necessarily an individual human being

çünkü temelde bu kararları veren

making those decisions.

bir insan söz konusu değil.

So car manufacturers may simply program cars

Araba imalatçıları, müşterileri için üst düzey güvenlik önlemleri alan

that will maximize safety for their clients,

araba programlayabilirler

and those cars may learn automatically on their own

ve bu arabalar, otomatik olarak bu seçimleri yapmanın

that doing so requires slightly increasing risk for pedestrians.

yayalar için riskleri bir nebze de olsa arttırdığını öğrenebilir.

So to use the sheep metaphor,

Koyun benzetmesine dönecek olursak,

it's like we now have electric sheep that have a mind of their own.

şu anda kendi fikirlerini verebilen elektrikli koyunlara sahibiz diyebiliriz.

(Laughter)

(Gülüşmeler)

And they may go and graze even if the farmer doesn't know it.

Ve kendi başlarına kaçıp çiftçinin haberi olmadan otlanabilirler.

So this is what we may call the tragedy of the algorithmic commons,

Bunu da şu şekilde ifade edebiliriz: algoritmik ortak malların trajedisi.

and if offers new types of challenges.

Beraberinde yeni zorluklar getiriyor.

Typically, traditionally,

Genellikle, çoğunlukla,

we solve these types of social dilemmas using regulation,

bu tür toplumsal ikilemleri yasalar nezdinde çözüme kavuştururuz;

so either governments or communities get together,

ya hükümet ya da topluluklar bir araya gelir

and they decide collectively what kind of outcome they want

ve hep birlikle ne tür bir sonuç elde etmek istediklerine karar verirler

and what sort of constraints on individual behavior

ve bireysel davranışlarda, ne tür kısıtlamalara gidilmesi gerektiğini

they need to implement.

kararlaştırırlar.

And then using monitoring and enforcement,

Gözlem ve yürürlülüğü kullanarak

they can make sure that the public good is preserved.

kamu yararının korunduğuna emin olurlar.

So why don't we just,

Düzenleyiciler olarak,

as regulators,

neden bütün arabalara

require that all cars minimize harm?

zararı en aza indirgeme statüsü kazandırmıyoruz?

After all, this is what people say they want.

Nihayetinde, herkes bunu istediğini dile getiriyor.

And more importantly,

Daha da önemlisi,

I can be sure that as an individual,

bir birey olarak eminim ki

if I buy a car that may sacrifice me in a very rare case,

çok nadir bir durumda beni gözden çıkarabilecek bir araba alırsam,

I'm not the only sucker doing that

diğer herkes

koşulsuz korumanın keyfini çıkarırken bunu yapan tek keriz ben olmam.

while everybody else enjoys unconditional protection.

In our survey, we did ask people whether they would support regulation

Ankette insanlara, yasal düzenlemeye destek verip vermeyeceklerini sorduk

and here's what we found.

ve sonuç şu şekildeydi.

First of all, people said no to regulation;

İlk önce, insanlar yasaya hayır dediler

and second, they said,

ve sonra dediler ki,

"Well if you regulate cars to do this and to minimize total harm,

''Arabaları bunun için ve toplam zararı en aza indirgemek için düzenlersek,

I will not buy those cars."

bu arabaları satın almam.''

So ironically,

İşe bakın ki,

by regulating cars to minimize harm,

zararı en aza indirgemek için arabaları düzenleyerek

we may actually end up with more harm

daha fazla zarara sebebiyet verebiliriz,

because people may not opt into the safer technology

çünkü insanlar daha güvenli olan bu teknolojiye dahil olmak istemeyebilirler,

even if it's much safer than human drivers.

insan sürücülerden daha güvenli olsa bile.

I don't have the final answer to this riddle,

Bu bilmeceye nihai bir cevabım yok,

but I think as a starting point,

ama başlangıç noktası olarak,

we need society to come together

toplumun bir araya gelip

to decide what trade-offs we are comfortable with

risk oranı dengesinde ortak bir noktada karara varması gerekir

and to come up with ways in which we can enforce those trade-offs.

ve bu denge unsurunun uygulamasında izleyeceğimiz yol belirlenebilir.

As a starting point, my brilliant students,

Başlangıç noktası olarak, benim parlak öğrencilerim

Edmond Awad and Sohan Dsouza,

Edmond Awad ve Sohan Dsouza,

built the Moral Machine website,

Ahlak Makinesi internet sitesini kurdu.

which generates random scenarios at you --

Bu site size rastgele senaryolar sunuyor,

basically a bunch of random dilemmas in a sequence

bir dizi ikilemler yöneltiyor

where you have to choose what the car should do in a given scenario.

ve verilen bu senaryoda, arabanın ne yapması gerektiğine karar veriyorsun.

And we vary the ages and even the species of the different victims.

Yaşları ve hatta farklı kurbanların türlerini bile çeşitlendirdik.

So far we've collected over five million decisions

Şu ana kadar, site üzerinden dünya genelinde

bir milyonu aşkın insan tarafından beş milyonun üzerinde

by over one million people worldwide

from the website.

karar topladık.

And this is helping us form an early picture

Bu bulgular, kültürler arası bile

of what trade-offs people are comfortable with

insanların neleri feda edebileceklerini

ve onlar için önem arz eden şeyleri anlayıp

and what matters to them --

bir temel oluşturmamızda yardımcı oluyor.

even across cultures.

But more importantly,

Ama daha önemlisi,

doing this exercise is helping people recognize

bu araştırma insanlara, bu seçimleri yapmanın

the difficulty of making those choices

ne kadar zor olduğunu

and that the regulators are tasked with impossible choices.

ve yasal düzenlemelerin, imkânsız seçimler ile çevrelendiğini hatırlatıyor.

And maybe this will help us as a society understand the kinds of trade-offs

Bu belki de toplum olarak, nihayetinde yasalara işlenecek türde

that will be implemented ultimately in regulation.

risk oranı tahlilini anlamamıza yardımcı olabilir.

And indeed, I was very happy to hear

Geçtiğimiz hafta,

that the first set of regulations

Ulaştırma Bakanlığı tarafından yapılan

that came from the Department of Transport --

ilk yasal düzenlemelerden

announced last week --

haberdar olduğuma çok sevindim.

included a 15-point checklist for all carmakers to provide,

Tüm araba üreticilerinin sağlaması gereken 15 maddelik bir kontrol listesine sahip

and number 14 was ethical consideration --

ve 14. madde işin ahlaki boyutu ile alakalıydı,

bu sorumluluğu nasıl taşıyabileceğimizle alakalıydı.

how are you going to deal with that.

We also have people reflect on their own decisions

İnsanlara, seçimlerinin sonuçlarını özet şeklinde sunarak

by giving them summaries of what they chose.

kendi kararlarının getirilerini gösterdik.

I'll give you one example --

Sizlere bir örnek vereceğim.

I'm just going to warn you that this is not your typical example,

Belirtmeliyim ki bu genel bir örnek,

your typical user.

genel bir kullanıcı değil.

This is the most sacrificed and the most saved character for this person.

Bu kişi için en çok kurtarılan (kedi) ve feda edilen (bebek) görüldüğü gibi.

(Laughter)

(Gülüşmeler)

Some of you may agree with him,

Bazılarınız bu kişiye katılıyor olabilir,

or her, we don't know.

bilmiyoruz.

But this person also seems to slightly prefer passengers over pedestrians

Bu kişi aynı zamanda seçimlerinde, yayalara karşın yolcuları daha çok tutuyor

in their choices

gibi gözüküyor

and is very happy to punish jaywalking.

ve kırmızı ışıkta geçenleri cezalandırmaktan memnuniyet duyuyor.

(Laughter)

(Gülüşmeler)

So let's wrap up.

Konuyu toparlayalım.

We started with the question -- let's call it the ethical dilemma --

Arabanın belirli bir senaryoda ne yapması gerektiğini irdeleyen bir soruyla,

of what the car should do in a specific scenario:

daha doğrusu ahlaki bir ikilemle başladık:

swerve or stay?

dönecek mi, kalacak mı?

But then we realized that the problem was a different one.

Fakat sonra, sorunun farklı bir şey olduğunu fark ettik.

It was the problem of how to get society to agree on and enforce

Toplum olarak, risk durumunda insanların nelerden fedakarlık yapabileceklerine

the trade-offs they're comfortable with.

uzlaşma ve uygulama sorunu.

It's a social dilemma.

Toplumsal bir ikilemden bahsediyoruz.

In the 1940s, Isaac Asimov wrote his famous laws of robotics --

1940'larda, Isaac Asimov o meşhur Üç Robot Yasasını

the three laws of robotics.

kaleme aldı.

A robot may not harm a human being,

Robot, bir insana zarar veremez,

a robot may not disobey a human being,

robot bir insana itaatsizlik edemez

and a robot may not allow itself to come to harm --

ve robot kendisini gelecek zararlardan korumakla yükümlüdür,

in this order of importance.

bu önem sırasına göre.

But after 40 years or so

40 yıl kadar sonra,

and after so many stories pushing these laws to the limit,

bu yasaların sınırlarını zorlayan birçok hikâyenin ardından Asimov,

Asimov introduced the zeroth law

diğer bütün yasalara üstünlük gösteren

which takes precedence above all,

sıfırıncı yasasını yayınladı;

and it's that a robot may not harm humanity as a whole.

bu yasa bir robotun genel olarak insanlığa zarar veremeyeceğini belirtiyor.

I don't know what this means in the context of driverless cars

Bu yasanın, sürücüsüz arabalar konusunda

or any specific situation,

veya belirli bir durumdaki yerini bilmiyorum.

and I don't know how we can implement it,

Bunu nasıl yürürlüğe koyacağımızı da bilmiyorum,

but I think that by recognizing

fakat sürücüsüz araba düzenlemesinin,

that the regulation of driverless cars is not only a technological problem

yalnızca bir teknolojik problem olduğunu değil de, aynı zamanda toplumsal uzlaşma

but also a societal cooperation problem,

problemi olduğunu kabul edersek,

I hope that we can at least begin to ask the right questions.

umuyorum ki, en azından sonunda doğru soruları sormaya başlayabileceğiz.

Thank you.

Teşekkürler.

(Applause)

(Alkışlar)