Machine intelligence makes human morals more important | Zeynep Tufekci

Çeviri: Selda Yener Gözden geçirme: Cihan Ekmekçi

So, I started my first job as a computer programmer

Bilgisayar programcısı olarak ilk çalışmaya başladığımda

in my very first year of college --

üniversite birinci sınıftaydım,

basically, as a teenager.

yani yeni yetme sayılırdım.

Soon after I started working,

Bir şirkette program yazma göreviyle

writing software in a company,

işe girdikten kısa süre sonra

a manager who worked at the company came down to where I was,

şirkette çalışan bir müdür yanıma geldi

and he whispered to me,

ve fısıltıyla sordu:

"Can he tell if I'm lying?"

"Yalan söylediğimi anlayabilir mi?"

There was nobody else in the room.

Odada başka kimse yoktu.

"Yalanı kim anlayabilir mi? Ayrıca neden fısıldaşıyoruz?" dedim.

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

Müdür, odada bulunan bilgisayarı gösterdi.

"Can he tell if I'm lying?"

"Yalan söyleyip söylemediğimi anlar mı?"

Well, that manager was having an affair with the receptionist.

Bu müdür danışmada çalışan biriyle ilişki yaşıyordu.

(Laughter)

(Gülüşmeler)

Ben de yeni yetmeyim tabii.

And I was still a teenager.

So I whisper-shouted back to him,

Fısıltıyla bağırır gibi cevap verdim:

"Yes, the computer can tell if you're lying."

"Evet, yalan söylerseniz bilgisayar anlar." dedim.

(Gülüşmeler)

(Laughter)

Well, I laughed, but actually, the laugh's on me.

Gülüyordum ama aslında gülünmesi gereken bendim.

Nowadays, there are computational systems

Günümüzde insan yüzlerini

that can suss out emotional states and even lying

işlemden geçirerek ruh hâlini ve hatta yalan söylediğini

from processing human faces.

tespit eden bilgisayar programları var.

Advertisers and even governments are very interested.

Reklamcılar, hatta devletler de çok ilgi duyuyor.

I had become a computer programmer

Matematik ve fen bilgisini çok seven

because I was one of those kids crazy about math and science.

bir çocuk olduğum için bilgisayar programcısı olmuştum.

But somewhere along the line I'd learned about nuclear weapons,

Fakat o sıralarda nükleer silahlara dair bilgi edinmiş

ve bilim etiğine de çok ilgi duymaya başlamıştım.

and I'd gotten really concerned with the ethics of science.

Sorunlarım vardı.

I was troubled.

However, because of family circumstances,

Ne yazık ki ailevi durumlar yüzünden

I also needed to start working as soon as possible.

mümkün olduğu kadar çabuk işe girmem gerekiyordu.

So I thought to myself, hey, let me pick a technical field

Kendi kendime düşündüm; kolaylıkla iş bulabileceğim

where I can get a job easily

teknik bir alan seçeyim ki

and where I don't have to deal with any troublesome questions of ethics.

sıkıcı etik problemlerle uğraşmak zorunda kalmayayım dedim.

Böylelikle bilgisayarı seçtim.

So I picked computers.

(Laughter)

(Gülüşmeler)

Well, ha, ha, ha! All the laughs are on me.

Ha, ha, ha! Herkes bana gülüyordur.

Günümüzde bilgisayar uzmanları her gün milyarlarca insanın

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

göreceği şeyleri kontrol eden programlar kuruyor.

Kime çarpacağına karar verebilecek arabalar geliştiriyorlar.

They're developing cars that could decide who to run over.

They're even building machines, weapons,

Savaşta insanları öldürecek türden

that might kill human beings in war.

makineler, silahlar bile geliştiriyorlar.

It's ethics all the way down.

Etik tamamen ortadan kalkıyor.

Machine intelligence is here.

Makine zekâsı işin içinde.

We're now using computation to make all sort of decisions,

Artık herhangi bir karar verirken bilgisayar kullanıyoruz,

but also new kinds of decisions.

üstelik yeni kararlar alırken bile.

We're asking questions to computation that have no single right answers,

Bilgisayara tek bir doğru cevabı olmayan, öznel,

that are subjective

açık uçlu ve değer yüklü

and open-ended and value-laden.

sorular soruyoruz.

Mesela şu gibi sorular:

We're asking questions like,

"Who should the company hire?"

"Şirket kimi işe almalı?"

"Hangi arkadaştan hangi güncellemeyi görmelisiniz?"

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

"Hangi mahkûm tekrar suç işlemeye yatkın?"

"Which news item or movie should be recommended to people?"

"İnsanlara hangi haber ya da film tavsiye edilmeli?"

Look, yes, we've been using computers for a while,

Bakın, evet bir süredir bilgisayar kullanıyoruz,

but this is different.

ama bu farklı bir durum.

This is a historical twist,

Bu tarihi bir hata,

because we cannot anchor computation for such subjective decisions

çünkü böyle öznel kararlarda bilgisayara güvenemeyiz,

the way we can anchor computation for flying airplanes, building bridges,

bilgisayara uçak uçurmada, köprü inşa etmede, aya gitmede

going to the moon.

güvendiğimiz gibi güvenemeyiz.

Are airplanes safer? Did the bridge sway and fall?

Uçaklar daha güvenli mi? Köprü sallanıp çöker miydi?

There, we have agreed-upon, fairly clear benchmarks,

Burada üzerinde anlaşılan, açık ölçütler ve bize yol gösteren doğa kanunları

and we have laws of nature to guide us.

olduğu konusunda hemfikiriz.

We have no such anchors and benchmarks

Karmaşık insan ilişkilerinde karar verirken

for decisions in messy human affairs.

bu tür dayanak ve ölçütler yok.

To make things more complicated, our software is getting more powerful,

İşleri daha çetrefilli hâle getirmek için yazılımımız gittikçe güçleniyor,

but it's also getting less transparent and more complex.

fakat aynı zamanda daha az şeffaflaşıp daha karmaşık oluyor.

Recently, in the past decade,

Son on yıl içerisinde,

complex algorithms have made great strides.

kompleks algoritmalar büyük aşamalar katetti.

They can recognize human faces.

İnsan yüzlerini tanıyabiliyorlar.

They can decipher handwriting.

El yazılarını çözebiliyorlar.

They can detect credit card fraud

Kredi kartı dolandırıcılığını tespit edip

and block spam

spam postaları engelliyor

and they can translate between languages.

ve diller arası çeviri yapabiliyorlar.

They can detect tumors in medical imaging.

Tıbbi görüntülemelerde tümörleri teşhis edebiliyorlar.

They can beat humans in chess and Go.

Go ve satrançta insanları yenebiliyorlar.

Much of this progress comes from a method called "machine learning."

Bu gelişmelerin çoğu "makine öğrenimi" denilen bir yöntemden geliyor.

Makine öğrenimi, bilgisayara detaylı, doğru ve itinalı

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

talimatlar verdiğiniz geleneksel programlamadan farklıdır.

It's more like you take the system and you feed it lots of data,

Daha çok sistemi kavrayıp onu dijital yaşamlarımızda ürettiğimiz türden

including unstructured data,

yapısal olmayan veri dahil

like the kind we generate in our digital lives.

bir sürü veriyle desteklemeniz gibidir.

And the system learns by churning through this data.

Sistem bu bilgileri baştan sona karıştırarak öğrenir.

And also, crucially,

Ayrıca en önemlisi

these systems don't operate under a single-answer logic.

bu sistemlerin tek cevaplı mantıkla çalışmadığıdır.

They don't produce a simple answer; it's more probabilistic:

Tek bir cevap üretmezler, daha çok olasılık vardır:

"This one is probably more like what you're looking for."

"Belki de aradığınız şey bu olabilir."

Şimdi avantajı şu: Bu yöntem gerçekten çok güçlüdür.

Now, the upside is: this method is really powerful.

Google'ın Yapay Zeka'sının dediği gibi

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

"verinin akıl almaz etkinliği"dir.

The downside is,

Dezavantajı ise,

we don't really understand what the system learned.

sistemin ne öğrendiğini tam olarak anlamıyor olmamızdır.

In fact, that's its power.

Aslında bu onun gücü.

This is less like giving instructions to a computer;

Bu, bir bilgisayara talimat vermek gibi değildir;

it's more like training a puppy-machine-creature

nasıl kontrol edeceğimizi bilmediğimiz bir içecek sıkma makinesini

we don't really understand or control.

çalıştırmak gibidir.

So this is our problem.

Yani sorunumuz bu.

It's a problem when this artificial intelligence system gets things wrong.

Yapay zeka sistemi bir şeyleri yanlış anladığında problem olur.

It's also a problem when it gets things right,

Aynı zamanda doğru anladığında da problem olur,

because we don't even know which is which when it's a subjective problem.

çünkü öznel bir problem olduğunda hangisinin hangisi olduğunu bilmiyoruz.

We don't know what this thing is thinking.

Bu şeyin ne düşündüğünü bile bilmiyoruz.

So, consider a hiring algorithm --

Şimdi, insanları işe almak için kullanılan

makine öğrenimi sistemlerinden yararlanan bir işe alım algoritma sistemi düşünün.

a system used to hire people, using machine-learning systems.

Böyle bir sistem önceki çalışanların verilerine ayarlı

Such a system would have been trained on previous employees' data

and instructed to find and hire

ve şirketteki yüksek performansı olan

people like the existing high performers in the company.

çalışanlar gibi insanlar bulmaya ve işe almaya kurulmuş olmalı.

Sounds good.

İyi fikir.

I once attended a conference

Bir keresinde bir konferansa katıldım,

işe alımda bu sistemi kullanan insan kaynakları uzmanları ile

that brought together human resources managers and executives,

yöneticileri,

high-level people,

using such systems in hiring.

üst düzey insanları buluşturuyordu.

They were super excited.

Çok heyecanlıydılar.

They thought that this would make hiring more objective, less biased,

Bu yöntemin işe alımı daha nesnel, daha az ön yargılı yapacağını

and give women and minorities a better shot

ve kadın ve azınlıkları ön yargılı insan kaynakları karşısında

against biased human managers.

daha şanslı hâle getireceğini düşünüyorlardı.

And look -- human hiring is biased.

İşe alımda ön yargılı davranılır.

Biliyorum.

I know.

I mean, in one of my early jobs as a programmer,

Yani, programcı olarak çalıştığım ilk işlerimden birinde

my immediate manager would sometimes come down to where I was

ilk patronum bazen sabah çok erken ya da

really early in the morning or really late in the afternoon,

öğleden sonra çok geç saatlerde yanıma gelir

ve "Zeynep, hadi yemeğe çıkalım!" derdi.

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

Garip zamanlamasına şaşırırdım.

It's 4pm. Lunch?

Saat dört. Öğle yemeği mi?

Param yoktu, bedava öğle yemeği vardı. Her zaman giderdim.

I was broke, so free lunch. I always went.

I later realized what was happening.

Neler olduğunu daha sonraları anladım.

My immediate managers had not confessed to their higher-ups

Amirlerim kendi üst düzey müdürlerine çok ciddi bir iş için

that the programmer they hired for a serious job was a teen girl

işe aldıkları programcının kot pantolon ve spor ayakkabı giyen

who wore jeans and sneakers to work.

yeni yetme bir kız olduğunu söylememişlerdi.

İyi iş çıkarıyordum, ama yanlış görünüyordum,

I was doing a good job, I just looked wrong

and was the wrong age and gender.

yanlış yaşta ve cinsiyetteydim.

Dolayısıyla cinsiyet ve ırk gözetilmeksizin işe alım

So hiring in a gender- and race-blind way

certainly sounds good to me.

bence kesinlikle iyi fikir.

Ancak bu sistemlerle konu daha karmaşık oluyor, nedeni şu:

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

Şimdilerde bilgisayar sistemleri paylaşmadığınız şeyler bile olsa

from your digital crumbs,

dijital kırıntılarınızdan

even if you have not disclosed those things.

hakkınızda birçok çıkarım yapabilir.

They can infer your sexual orientation,

Cinsel yöneliminizi,

your personality traits,

kişilik özelliklerinizi,

your political leanings.

siyasi görüşünüzü anlayabiliyor.

They have predictive power with high levels of accuracy.

Yüksek doğruluk oranlı öngörü güçleri var.

Remember -- for things you haven't even disclosed.

Unutmayın - paylaşmadığınız şeyleri bile.

This is inference.

Bu, çıkarımda bulunmaktır.

I have a friend who developed such computational systems

Sosyal medya verilerinden klinik depresyon veya

to predict the likelihood of clinical or postpartum depression

doğum sonrası depresyon ihtimalini öngören sayısal sistemler geliştiren

from social media data.

bir arkadaşım var.

The results are impressive.

Sonuçlar etkileyici.

Her system can predict the likelihood of depression

Sistem depresyon ihtimalini semptomların başlamasından

months before the onset of any symptoms --

aylar öncesinden öngörebiliyor,

months before.

aylar öncesinden.

No symptoms, there's prediction.

Hiçbir semptom yok, ama öngörü var.

She hopes it will be used for early intervention. Great!

Erken müdahalede kullanılacağını umuyor. Muhteşem!

But now put this in the context of hiring.

Şimdi de bunu işe alım kavramına uygulayın.

Bu insan kaynakları yöneticileri konferansında

So at this human resources managers conference,

büyük bir şirketin üst düzey bir yöneticisiyle görüştüm.

I approached a high-level manager in a very large company,

and I said to her, "Look, what if, unbeknownst to you,

Ona, "Peki sisteminiz size bildirmeden

your system is weeding out people with high future likelihood of depression?

gelecekte yüksek depresyon ihtimali olan insanları ayıklıyorsa?

They're not depressed now, just maybe in the future, more likely.

Şu an psikolojik bozuklukları yok, ancak belki ileride olabilir.

What if it's weeding out women more likely to be pregnant

Peki şu an hamile olmayan ancak gelecek bir ya da iki yıl içinde

in the next year or two but aren't pregnant now?

hamile kalma ihtimali olan kadınları ayıklıyorsa?

What if it's hiring aggressive people because that's your workplace culture?"

İş yeri kültürünüz öyle olduğu için agresif insanları işe alıyorsa?" dedim.

Bunu cinsiyet analizlerine bakarak anlayamazsınız.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

Dengelenmiş olabilirler.

And since this is machine learning, not traditional coding,

Ayrıca bu geleneksel kodlama değil makine öğrenimi olduğu için

there is no variable there labeled "higher risk of depression,"

"yüksek depresyon riski", "yüksek hamilelik riski",

"higher risk of pregnancy,"

"agresiflik ölçümü" gibi

"aggressive guy scale."

etiket taşıyan değişkenler yok.

Not only do you not know what your system is selecting on,

Sadece sisteminizin neyi seçtiğini değil,

you don't even know where to begin to look.

nereden bakmaya başlayacağınızı bile bilmiyorsunuz.

Bir kara kutu.

It's a black box.

It has predictive power, but you don't understand it.

Tahmin gücüne sahip ancak onu anlamıyorsunuz.

"What safeguards," I asked, "do you have

"Ne güvenlikleri var?" diye sordum, "kara kutunuzun

to make sure that your black box isn't doing something shady?"

gizli bir şey yapmadığından emin olmak için?"

She looked at me as if I had just stepped on 10 puppy tails.

Kuyruğuna basmışım gibi bakakaldı.

(Laughter)

(Gülüşmeler)

Dik dik baktı ve

She stared at me and she said,

"I don't want to hear another word about this."

"buna dair başka bir şey duymak istemiyorum." dedi.

And she turned around and walked away.

Arkasını dönüp gitti.

Gerçi kaba değildi.

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

Açıklaması şu: Bilmediğim şey benim sorunum değil, bas git, öldürücü bakış.

(Laughter)

(Gülüşmeler)

Look, such a system may even be less biased

Bakın böyle bir sistem bazı açılardan insan yöneticilerden

than human managers in some ways.

daha az ön yargılı olabilir.

And it could make monetary sense.

Parasal anlam taşıyabilir.

But it could also lead

Ancak depresyon riski

to a steady but stealthy shutting out of the job market

yüksek olan insanların iş piyasasına istikrarlı ve gizli olarak girmesini

engellemeye sebep olabilir.

of people with higher risk of depression.

Is this the kind of society we want to build,

Ne yapmış olduğumuzu bile bilmeden

without even knowing we've done this,

kurmak istediğimiz toplum modeli bu mu?

because we turned decision-making to machines we don't totally understand?

Çünkü karar verme işini tam olarak anlamadığımız makinelere bırakıyoruz.

Another problem is this:

Diğer bir problemse şu:

these systems are often trained on data generated by our actions,

Bu sistemler çoğunlukla bizim davranışlarımızla; insan izleri tarafından

human imprints.

üretilen bilgilerle test edilir.

Well, they could just be reflecting our biases,

Ön yargılarımızı yansıtıyor olabilirler.

Bu sistemler ön yargılarımıza dönüp

and these systems could be picking up on our biases

and amplifying them

onları büyütüp

and showing them back to us,

bize tekrar gösteriyor olabilir,

while we're telling ourselves,

biz ise bu arada kendimize

"We're just doing objective, neutral computation."

"Sadece nesnel, tarafsız hesap yapıyoruz." diyoruz.

Researchers found that on Google,

Araştırmacılar Google'da yüksek maaşlı iş ilanlarını

kadınların görme ihtimalinin erkeklerden daha az olduğunu tespit etti.

women are less likely than men to be shown job ads for high-paying jobs.

And searching for African-American names

Afro-Amerikan isimleri araştırırken

alakası olmasa bile sabıka geçmişi ile ilgili ilanları

is more likely to bring up ads suggesting criminal history,

even when there is none.

öne sürmesi daha muhtemeldir.

Such hidden biases and black-box algorithms

Araştırmacıların bazen ortaya çıkardığı ancak bazen bizim bilmediğimiz

that researchers uncover sometimes but sometimes we don't know,

bu tür gizli ön yargıların ve kara kutu algoritmalarının

can have life-altering consequences.

hayat değiştiren sonuçları var.

In Wisconsin, a defendant was sentenced to six years in prison

Wisconsin'de bir sanık, altı yıl hapse mahkûm edildi,

polisten kaçtığı için.

for evading the police.

You may not know this,

Belki bilmiyorsunuzdur,

algoritmaların şartlı tahliye ve ceza kararlarında kullanımı giderek artıyor.

but algorithms are increasingly used in parole and sentencing decisions.

Şunu öğrenmek istiyordu: Bu sonuç nasıl hesaplanmıştı?

He wanted to know: How is this score calculated?

It's a commercial black box.

Ticari bir kara kutu.

The company refused to have its algorithm be challenged in open court.

Şirket, halka açık duruşmada işlemlerinin sorgulanmasını reddetmişti.

But ProPublica, an investigative nonprofit, audited that very algorithm

Kâr amacı gütmeyen araştırmacı kurum ProPublica, bu algoritmayı

with what public data they could find,

bulabildiği kamusal verilerle inceledi

and found that its outcomes were biased

ve sonuçlarının ön yargılı olduğunu,

and its predictive power was dismal, barely better than chance,

öngörü gücününse kötü, olasılıktan biraz iyi olduğunu

and it was wrongly labeling black defendants as future criminals

ve siyahi sanıkları haksız yere beyaz sanıklardan iki kat fazla bir oranla

at twice the rate of white defendants.

geleceğin suçluları olarak etiketlediğini bulguladı.

So, consider this case:

Şu olayı göz önüne alın:

Bu kadın, vaftiz kardeşini Florida'nın Broward bölgesindeki bir okuldan

This woman was late picking up her godsister

from a school in Broward County, Florida,

almaya geç kalmış,

running down the street with a friend of hers.

bir arkadaşıyla caddede ilerliyorlar.

Verandada duran kilitsiz bir çocuk bisikleti ve bir kaydırak görüyor

They spotted an unlocked kid's bike and a scooter on a porch

and foolishly jumped on it.

ve düşünmeden biniyorlar.

As they were speeding off, a woman came out and said,

Tam yola koyulacakken kadının biri çıkıyor ve

"Hey! That's my kid's bike!"

"Hey! Bu benim çocuğumun bisikleti!" diyor.

They dropped it, they walked away, but they were arrested.

Bırakıp gidiyorlar, ancak tutuklanıyorlar.

Haksızdı, aptalca davranmıştı, ama henüz 18 yaşındaydı.

She was wrong, she was foolish, but she was also just 18.

She had a couple of juvenile misdemeanors.

Çocukken ciddi olmayan bir iki suç işlemişti.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

Bu arada, adam da Home Depot'da hırsızlık yapmaktan tutuklanmıştı.

85 dolar değerinde, benzeri bir hafif suç.

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

Ama öncesinde iki silahlı soygun sabıkası vardı.

But the algorithm scored her as high risk, and not him.

Ancak algoritma, adamı değil kadını yüksek riskli olarak işaretledi.

Two years later, ProPublica found that she had not reoffended.

İki yıl sonra ProPublica kadının tekrar suç işlemediğini tespit etti.

It was just hard to get a job for her with her record.

Sabıka puanıyla iş bulması çok zordu.

He, on the other hand, did reoffend

Öte yandan adam tekrar suç işlemişti

and is now serving an eight-year prison term for a later crime.

ve şimdi daha sonra işlediği bir suç yüzünden sekiz yıllık hapis cezasında.

Belli ki kara kutularımızı kontrol etmemiz

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

ve onlara böyle kontrolsüz güç vermememiz gerekiyor.

(Alkışlar)

(Applause)

Kontroller önemli ve etkili, ancak tüm sorunlarımızı çözmüyorlar.

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

Facebook'un muhteşem haber akışı algoritmasına bakın,

yani takip ettiğiniz tüm arkadaşlarınız ve sayfalardan her şeyi sıralayıp

you know, the one that ranks everything and decides what to show you

from all the friends and pages you follow.

size ne göstereceğine karar veren algoritma.

Should you be shown another baby picture?

Başka bir bebek fotoğrafı görmeli misiniz?

(Laughter)

(Gülüşmeler)

A sullen note from an acquaintance?

Bir tanıdıktan somurtkan bir not?

An important but difficult news item?

Önemli ama üzücü haberler?

There's no right answer.

Doğru bir cevap yok.

Facebook optimizes for engagement on the site:

Facebook meşgul olacaklarınızı en uygun hâle getiriyor:

likes, shares, comments.

Beğeniler, paylaşımlar, yorumlar.

Ağustos 2014'te,

In August of 2014,

protests broke out in Ferguson, Missouri,

Missouri, Ferguson'da Afro-Amerikan bir gencin

after the killing of an African-American teenager by a white police officer,

beyaz bir polis tarafından şüpheli bir şekilde öldürülmesi sonrası

protestolar başladı.

under murky circumstances.

The news of the protests was all over

Protesto haberleri

algoritmik olarak filtrelenmeyen Twitter akışımda vardı

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

ancak Facebook'ta hiçbir yerde yoktu.

Was it my Facebook friends?

Facebook arkadaşlarım ne hâldeydi?

I disabled Facebook's algorithm,

Facebook'un algoritmasını devre dışı bıraktım,

which is hard because Facebook keeps wanting to make you

ki bu çok zordur, çünkü Facebook sizi algoritmanın

come under the algorithm's control,

kontrolü altında tutmak ister.

and saw that my friends were talking about it.

Baktım ki arkadaşlarım da bunu konuşuyor.

It's just that the algorithm wasn't showing it to me.

Bunu bana göstermeyen algoritmanın ta kendisiydi.

I researched this and found this was a widespread problem.

Bunu araştırdım ve yaygın bir problem olduğunu gördüm.

The story of Ferguson wasn't algorithm-friendly.

Ferguson haberi algoritma dostu değildi.

"Beğenilebilir" değildi.

It's not "likable."

Who's going to click on "like?"

Kim "beğen"e tıklayacaktı?

It's not even easy to comment on.

Yorum yapılması bile kolay değildi.

Without likes and comments,

Beğeniler ve yorumlar olmayınca

the algorithm was likely showing it to even fewer people,

algoritma bunu daha az insana gösteriyor olmalıydı,

so we didn't get to see this.

dolayısıyla görmüyorduk.

Instead, that week,

Onun yerine, o hafta

Facebook's algorithm highlighted this,

Facebook'un algoritması şunu ön plana çıkardı:

which is the ALS Ice Bucket Challenge.

ALS Buz Kovası Düellosu.

Worthy cause; dump ice water, donate to charity, fine.

İyi bir sebep; buzlu su dök, bağış yap, tamam.

But it was super algorithm-friendly.

Fakat süper algoritma dostuydu.

The machine made this decision for us.

Makine bu kararı bizim için almıştı.

A very important but difficult conversation

Facebook tek kanal olsaydı çok önemli ancak

might have been smothered,

etkili bir sohbet

had Facebook been the only channel.

engellenmiş olabilirdi.

Şimdi sonuç olarak bu sistemler insan sistemlerine

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

benzememesi bakımından da yanlış olabilir.

Do you guys remember Watson, IBM's machine-intelligence system

Watson'ı hatırlıyor musunuz? IBM'in Riziko'da

that wiped the floor with human contestants on Jeopardy?

insan rakiplerini yenilgiye uğratan makine zekâsı sistemini?

Harika bir oyuncuydu.

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

Ancak o zaman, Riziko'nun finalinde Watson'a şu soru soruldu:

"Its largest airport is named for a World War II hero,

"En büyük havaalanı adını İkinci Dünya Savaşı kahramanından alır,

its second-largest for a World War II battle."

ikincisi İkinci Dünya Savaşı savaşından.

(Hums Final Jeopardy music)

(Final Riziko müziği çalar)

Chicago.

Chicago.

The two humans got it right.

İki insan soruyu doğru anladı.

Watson, on the other hand, answered "Toronto" --

Buna karşın Watson, Birleşik Devletler şehri olarak

"Toronto" cevabını verdi.

for a US city category!

The impressive system also made an error

Bu etkileyici sistem

that a human would never make, a second-grader wouldn't make.

bir insanın, ikinci sınıfa giden birinin asla yapmayacağı bir hata yapmıştı.

Our machine intelligence can fail

Makine zekâmız

in ways that don't fit error patterns of humans,

insanların hata şekline uymayan şekilde,

beklemediğimiz ve hazırlıksız olduğumuz şekilde hata yapabilir.

in ways we won't expect and be prepared for.

Kalifiye biri için işe alınmamak kötü olabilirdi,

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

fakat bu, bazı alt programlarda bellek dolu dediği için oluyorsa

in some subroutine.

üç kat daha kötü olurdu.

(Laughter)

(Gülüşmeler)

In May of 2010,

Mayıs 2010'da

a flash crash on Wall Street fueled by a feedback loop

Wall Steet'te olan Wall Street'in "satış" algoritmalarını

in Wall Street's "sell" algorithm

bir geri bildirim döngüsünün körüklediği ani bir düşüş

wiped a trillion dollars of value in 36 minutes.

36 dakika içinde trilyon dolarları sildi.

I don't even want to think what "error" means

Ölümcül otonom silahlar bağlamında

in the context of lethal autonomous weapons.

"hata yapmak" ne demek bunu düşünmek bile istemiyorum.

So yes, humans have always made biases.

Evet, insanlar her zaman ön yargıda bulunur.

Decision makers and gatekeepers,

Karar vericiler ve geçit deneticiler

in courts, in news, in war ...

mahkemelerde, haberlerde, savaşlarda...

they make mistakes; but that's exactly my point.

Hata yaparlar; işte benim asıl dikkat çekmek istediğim bu.

We cannot escape these difficult questions.

Bu zor sorulardan kaçamayız.

We cannot outsource our responsibilities to machines.

Kendi sorumluluklarımızı makinelere yaptıramayız.

(Applause)

(Alkışlar)

Yapay zekâ bize "etikten kurtul geç" kartı vermiyor.

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

Veri uzmanı Fred Benenson buna matematiksel yıkama diyor.

Tam tersine ihtiyacımız var.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

Algoritmayı şüphe, gözlem ve inceleme ile desteklemeliyiz.

We need to make sure we have algorithmic accountability,

Algoritmik izlenebilirlik, denetim ve

auditing and meaningful transparency.

anlamlı şeffaflığımız olduğundan emin olmamız gerek.

We need to accept that bringing math and computation

Matematik ve programlamayı karmaşık, değer yüklü

to messy, value-laden human affairs

insani ilişkilere uygulamanın

does not bring objectivity;

nesnellik getirmeyeceğini kabul etmemiz gerekiyor;

aksine, insan ilişkilerinin karmaşıklığı algoritmaları ele geçiriyor.

rather, the complexity of human affairs invades the algorithms.

Tabii ki daha iyi kararlar almamız için bilgisayar kullanabiliriz,

Yes, we can and we should use computation

to help us make better decisions.

kullanmalıyız da.

But we have to own up to our moral responsibility to judgment,

Ancak doğru karar vermek için, ahlaki sorumluluk alıp

algoritmaları bu çerçevede kullanmak zorundayız,

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

insan olarak birbirimize karşı olan sorumluluklarımızı üstümüzden atıp

to one another as human to human.

dış kaynaktan temin etmenin bir yolu gibi görmemeliyiz.

Machine intelligence is here.

Makine zekâsı işte böyledir.

That means we must hold on ever tighter

Bu demektir ki, insani değerlere ve etiğe

to human values and human ethics.

hiç olmadığı kadar sıkı sarılmamız gerekiyor.

Teşekkür ederim.

Thank you.

(Applause)

(Alkışlar)