The era of blind faith in big data must end | Cathy O'Neil

Çeviri: Nail Kaplan Gözden geçirme: Cihan Ekmekçi

Algorithms are everywhere.

Algoritmalar her yerde.

They sort and separate the winners from the losers.

Kazananları kaybedenlerden ayırıyor.

The winners get the job

Kazananlar ya işi alıyor

or a good credit card offer.

ya da iyi bir kredi kartı teklifi.

The losers don't even get an interview

Kaybedenler iş görüşmesine bile çağrılmaz

or they pay more for insurance.

veya sigorta primi için daha fazla ödeme yaparlar.

We're being scored with secret formulas that we don't understand

Doğrulama sistemi olmayan, anlamadığımız

that often don't have systems of appeal.

gizli formülasyonlar ile puanlanıyoruz.

Burada şu soru akla geliyor:

That begs the question:

What if the algorithms are wrong?

Peki ya algoritmalar hatalıysa?

To build an algorithm you need two things:

Algoritma oluşturmak için 2 şey gerekli:

you need data, what happened in the past,

Geçmişte ne olduğunu gösteren veri,

and a definition of success,

o her zaman aradığınız

the thing you're looking for and often hoping for.

ve bulmayı umduğunuz başarı tanımına.

You train an algorithm by looking, figuring out.

Sonuca ulaşmak için algoritma çalıştırırsınız.

The algorithm figures out what is associated with success.

Algoritma başarı ile nelerin bağlantılı olduğunu keşfeder.

What situation leads to success?

Hangi durum başarıya ulaştırır?

Actually, everyone uses algorithms.

Aslında herkes algoritma kullanır.

They just don't formalize them in written code.

Sadece yazılı olarak formüle etmezler.

Let me give you an example.

Size bir örnek vereyim.

I use an algorithm every day to make a meal for my family.

Aileme yemek yapmak için her gün algoritma kullanırım.

The data I use

Kullandığım veri

is the ingredients in my kitchen,

mutfağımdaki malzemeler,

the time I have,

zaman,

the ambition I have,

tutkudur

and I curate that data.

ve bu verileri düzene koyarım.

I don't count those little packages of ramen noodles as food.

Bu arada, Japon erişte paketlerini yemekten saymıyorum.

(Laughter)

(Kahkahalar)

My definition of success is:

Başarı tanımım şudur:

a meal is successful if my kids eat vegetables.

Çocuklarım sebzeleri yerse yemeğim başarılıdır.

It's very different from if my youngest son were in charge.

En küçük oğluma sorulsaydı bu tanım farklı olurdu.

He'd say success is if he gets to eat lots of Nutella.

Onun başarı tanımı çok miktarda Nutella yemek.

But I get to choose success.

Ama başarıya ben ulaşmalıyım.

I am in charge. My opinion matters.

Bu iş benim sorumluluğumda. Görüşüm önemli.

That's the first rule of algorithms.

Bu, algoritmaların ilk kuralı.

Algorithms are opinions embedded in code.

Algoritmalar, kodların içine gömülmüş fikirlerdir.

It's really different from what you think most people think of algorithms.

İnsanların algoritmalar hakkındaki görüşlerinden farklı bir şey bu.

They think algorithms are objective and true and scientific.

İnsanlar algoritmaların tarafsız, doğru ve bilimsel olduğunu düşünür.

That's a marketing trick.

Bu bir pazarlama hilesi.

It's also a marketing trick

Algoritmalara güvenmeniz

to intimidate you with algorithms,

ve onlardan korkmanız için

to make you trust and fear algorithms

bir pazarlama hilesidir çünkü matematikten de korkarsınız

because you trust and fear mathematics.

ama sayılara güvenirsiniz.

A lot can go wrong when we put blind faith in big data.

Büyük veriye körü körüne inanırsak çok şey yanlış gidebilir.

This is Kiri Soares. She's a high school principal in Brooklyn.

Bu Kiri Soares. Brooklyn'de okul müdürü.

In 2011, she told me her teachers were being scored

2011'de öğretmenlerin 'katma değer modeli' adında

with a complex, secret algorithm

gizli, karışık bir algoritma ile

called the "value-added model."

puanlandıklarını söyledi.

I told her, "Well, figure out what the formula is, show it to me.

"Formülasyonu bana göster, sana içeriğini açıklayayım" dedim.

I'm going to explain it to you."

Cevap verdi: "Doğrusu formülasyonu almaya çalıştım

She said, "Well, I tried to get the formula,

but my Department of Education contact told me it was math

fakat eğitim birimi bana bunun matematiksel olduğunu

and I wouldn't understand it."

ve içeriğini anlamayacağımı söyledi".

It gets worse.

Daha kötüye gidiyor.

The New York Post filed a Freedom of Information Act request,

The New York Post, "Bilgiye Özgürlük Hareketi" kapsamındaki

got all the teachers' names and all their scores

talebi sonucu öğretmenlerin isim ve puanlarını temin edip

and they published them as an act of teacher-shaming.

adeta öğretmen ayıplama eylemi olarak sonuçları yayımladı.

When I tried to get the formulas, the source code, through the same means,

Aynı yollarla formül ve kaynak kodunu almaya çalıştığımda

I was told I couldn't.

bunu alamayacağım söylendi. Talebim reddedildi.

I was denied.

I later found out

Sonra New York'ta hiç kimsenin

that nobody in New York City had access to that formula.

bu formüle erişimi olmadığını öğrendim.

No one understood it.

Kimse içeriğini bilmiyor, anlamıyor.

Then someone really smart got involved, Gary Rubinstein.

Sonra Gary Rubinstein adında zeki biri olaya dâhil oldu.

He found 665 teachers from that New York Post data

Rubinstein, New York Post verisindeki 665 öğretmenin aslında iki tane

that actually had two scores.

yani mükerrer puanı olduğunu keşfetti.

That could happen if they were teaching

Bu ancak, öğretmenler 7 ve 8'inci sınıflara

seventh grade math and eighth grade math.

ders veriyor olsaydı oluşabilirdi.

He decided to plot them.

Rubinstein, sonuçların grafiğini çizdi.

Each dot represents a teacher.

Her nokta bir öğretmeni temsil ediyor.

(Laughter)

(Kahkahalar)

What is that?

Nedir bu?

(Laughter)

(Kahkahalar)

That should never have been used for individual assessment.

Bu asla kişileri değerlendirmek için kullanılmamalıydı.

It's almost a random number generator.

Tıpkı rasgele bir sayı üreticisi gibi.

(Applause)

(Alkışlar)

But it was.

Ama kullanıldı.

This is Sarah Wysocki.

Bu Sarah Wysocki.

She got fired, along with 205 other teachers,

Diğer 205 öğretmen ile birlikte

from the Washington, DC school district,

Washington'ta görevine son verildi.

even though she had great recommendations from her principal

Oysa okul müdürü ve veliler

and the parents of her kids.

kendisinden çok memnundu.

I know what a lot of you guys are thinking,

Burada başta yapay zeka uzmanları

especially the data scientists, the AI experts here.

ve veri bilimciler olmak üzere ne düşündüğünüzü biliyorum.

You're thinking, "Well, I would never make an algorithm that inconsistent."

Muhtemelen "Böyle tutarsız bir algoritma oluşturmazdım" diyorsunuz.

But algorithms can go wrong,

Oysa algoritmalar hatalı kurulabilir

even have deeply destructive effects with good intentions.

ve kötü niyetle oluşturulmasalar da yıkıcı sonuçları olabilir.

And whereas an airplane that's designed badly

Kötü tasarlanmış bir uçak

crashes to the earth and everyone sees it,

kaza yapar ve herkes hatayı görür,

an algorithm designed badly

oysa algoritma kötü tasarlandığında

can go on for a long time, silently wreaking havoc.

zarar vermeye sessizce, uzun süre devam edebilir.

This is Roger Ailes.

Bu Roger Ailes.

(Laughter)

(Kahkahalar)

He founded Fox News in 1996.

Fox News kanalını 1996'da kurdu.

More than 20 women complained about sexual harassment.

Kanalda 20'den fazla kadın taciz iddiasıyla şikayetçi oldu.

They said they weren't allowed to succeed at Fox News.

Haber kanalında başarıya ulaşmalarının engellendiğini söylediler.

He was ousted last year, but we've seen recently

Görevi geçen sene sonlandırıldı

that the problems have persisted.

ama problemlerin devam ettiğini öğrendik.

That begs the question:

Bu, şu soruyu akla getiriyor:

What should Fox News do to turn over another leaf?

Fox News, temiz bir sayfa açmak için ne yapmalı?

İşe alım süreçlerini makine öğrenmesine dayalı

Well, what if they replaced their hiring process

bir algoritma ile değiştirseler ne olur?

with a machine-learning algorithm?

That sounds good, right?

Kulağa iyi geliyor, değil mi?

Think about it.

Bir düşünün.

The data, what would the data be?

Veri ne olurdu?

A reasonable choice would be the last 21 years of applications to Fox News.

Son 21 yılda kanala yapılan iş başvuruları veri seçimi için

Reasonable.

mantıklı olur.

What about the definition of success?

Peki ya buradaki 'başarının tanımı' nedir?

Reasonable choice would be,

Makul bir karar şöyle olurdu;

well, who is successful at Fox News?

Fox News'da kim başarılı?

I guess someone who, say, stayed there for four years

Diyelim ki 4 sene orada kalmış,

and was promoted at least once.

en az 1 kez terfi almış kişiler.

Sounds reasonable.

Kulağa mantıklı geliyor.

And then the algorithm would be trained.

Sonra algoritma oluşturulurdu.

It would be trained to look for people to learn what led to success,

Kimlerin başarıya ulaştığını öğrenmek,

what kind of applications historically led to success

geçmişte ne tür başvuruların başarıya ulaştığını görmek için

by that definition.

algoritma oluşturulurdu.

Mevcut iş başvurularının bulunduğu havuza

Now think about what would happen

if we applied that to a current pool of applicants.

bu yöntem uygulansa ne olabilirdi, düşünün.

It would filter out women

Geçmişte başarılı olanlar gibi görünmeyen

because they do not look like people who were successful in the past.

kadınları filtreleyebilirdi.

Algorithms don't make things fair

Eğer sadece umarsızca

if you just blithely, blindly apply algorithms.

kör bir şekilde kullanırsanız

They don't make things fair.

algoritmalar süreçleri daha adil hale getirmez.

They repeat our past practices,

Geçmişteki uygulamalarımızı,

our patterns.

kalıplarımızı tekrarlar durur.

They automate the status quo.

Otomatikmen kalıcı hale gelir.

That would be great if we had a perfect world,

Mükemmel bir dünyada yaşasaydık bu iyi olurdu

but we don't.

fakat dünya mükemmel değil.

And I'll add that most companies don't have embarrassing lawsuits,

Şunu da söyleyeyim, pek çok şirketin yüz kızartıcı davası yoktur

but the data scientists in those companies

fakat veriyi takip etmeleri

are told to follow the data,

ve veriye odaklanmaları söylenen

to focus on accuracy.

veri bilimcileri vardır.

Bunun ne anlama geldiğini düşünün.

Think about what that means.

Because we all have bias, it means they could be codifying sexism

Çünkü hepimizin ön yargıları var, ki bu cinsiyetçiliği veya başka bir

or any other kind of bigotry.

ayrımcılığın kodlanabileceği anlamına gelebilir.

Thought experiment,

Düşünce deneyi yapalım

because I like them:

çünkü bunu seviyorum:

an entirely segregated society --

Tüm şehirler ve mahallelerinin ırk bakımından

racially segregated, all towns, all neighborhoods

ötekileştirildiği bir toplumda

and where we send the police only to the minority neighborhoods

polisler suç aramak için

to look for crime.

sadece azınlık mahallelerine gidiyor.

The arrest data would be very biased.

Yakalamalar epey taraflı olurdu.

What if, on top of that, we found the data scientists

Bu sürecin yönetiminde gelecek suçların nerede olacağını öngören

and paid the data scientists to predict where the next crime would occur?

ve maaş ödenen veri bilimcileri olsa ne olurdu?

Minority neighborhood.

Azınlık mahalleleri.

Or to predict who the next criminal would be?

Veya bir sonraki suçlunun kim olacağını öngörmek için?

A minority.

Bir azınlık.

The data scientists would brag about how great and how accurate

Veri bilimcileri, modellerinin ne kadar

iyi ve uygulanabilir olduğu konusunda

their model would be,

and they'd be right.

övünürlerdi ve haklı olurlardı da.

Now, reality isn't that drastic, but we do have severe segregations

Şu an gerçeklik bu kadar keskin değil, ama pek çok bölgede

in many cities and towns,

taraflı davranıldığını gösteren

and we have plenty of evidence

polis ve hukuk sistemi verisi

of biased policing and justice system data.

ayrımcılık yapıldığını gösteriyor.

And we actually do predict hotspots,

Aslına bakılırsa suçların meydana geleceği

places where crimes will occur.

sıcak bölgeleri öngörüyoruz.

And we do predict, in fact, the individual criminality,

Hatta bireysel suçluluk konusunda da

the criminality of individuals.

öngörü yapıyoruz.

The news organization ProPublica recently looked into

ProPublica isimli organizasyon

one of those "recidivism risk" algorithms,

Florida'da hakimlerce kullanılan,

as they're called,

'suçun tekrarlama riski' adı verilen

being used in Florida during sentencing by judges.

algoritmaya baktılar.

Bernard, on the left, the black man, was scored a 10 out of 10.

Algoritmada Bernard, soldaki siyah kişi, 10 üzerinden 10 puan aldı.

Dylan, on the right, 3 out of 10.

Dylan, sağdaki kişi, 10 üzerinden 3 puan.

10 out of 10, high risk. 3 out of 10, low risk.

10 üzerinden 10 yüksek risk. 10 üzerinden 3 düşük risk.

Her ikisi de uyuşturucu bulundurmaktan göz altına alındı.

They were both brought in for drug possession.

They both had records,

Her ikisinin de sabıka kaydı var.

but Dylan had a felony

Ama Dylan'ın ağır suçu varken

but Bernard didn't.

Bernard'ın yoktu.

This matters, because the higher score you are,

Bu önemli çünkü puan yükseldikçe

the more likely you're being given a longer sentence.

uzun süreli ceza alma ihtimali artıyor.

What's going on?

Neler oluyor?

Data laundering.

Veri manipülasyonu.

It's a process by which technologists hide ugly truths

Bu, teknoloji uzmanlarının çirkin gerçekleri kara kutulu algoritmalarla

inside black box algorithms

gizledikleri bir süreç.

and call them objective;

Bunun objektif

call them meritocratic.

ve ideal olduğunu söylüyorlar.

When they're secret, important and destructive,

Gizli, önemli ve yıkıcı sonuçları olan

I've coined a term for these algorithms:

algoritmalar için bir deyim türettim:

"weapons of math destruction."

"Matematiksel yıkım silahları"

(Laughter)

(Kahkahalar)

(Applause)

(Alkışlar)

They're everywhere, and it's not a mistake.

Bunlar her yerdeler ve her yerde olmaları hata sonucu değil.

These are private companies building private algorithms

Bunlar özel amaç için özel algoritmalar üreten

for private ends.

özel şirketler.

Even the ones I talked about for teachers and the public police,

Öğretmenler ve polisler ile ilgili söylediklerim bile

those were built by private companies

özel şirketler tarafından üretilip

and sold to the government institutions.

kamu kurumlarına satıldı.

They call it their "secret sauce" --

Buna onların "özel tarifi" diyorlar

that's why they can't tell us about it.

ve bu yüzden içeriği ile ilgili konuşmuyorlar.

It's also private power.

Bu bir tür özel güç.

They are profiting for wielding the authority of the inscrutable.

Kamu otoritesini kullanarak kar ediyorlar.

Now you might think, since all this stuff is private

Tüm bunların özel sektörde olduğu

and there's competition,

ve sektörde rekabet olduğu için serbest piyasanın

maybe the free market will solve this problem.

bu sorunu çözeceğini düşünüyorsanız

It won't.

sorunu çözmeyecek.

There's a lot of money to be made in unfairness.

Adaletsizlik ile elde edilen önemli miktarda para var.

Also, we're not economic rational agents.

Ayrıca ekonomik olarak rasyonel karar alıcılar değiliz.

We all are biased.

Farkında olmadığımız ön yargılarımız var.

We're all racist and bigoted in ways that we wish we weren't,

Farkında olmasak ve öyle olmayı dilemesek bile

in ways that we don't even know.

kafa tasçı ve dar kafalıyız.

We know this, though, in aggregate,

Bunun böyle olduğunuz biliyoruz,

because sociologists have consistently demonstrated this

çünkü sosyologlar yaptıkları deneyler ile

with these experiments they build,

öyle olduğumuzu gösterdiler.

where they send a bunch of applications to jobs out,

Deneyde aynı yeteneklere sahip insanların

equally qualified but some have white-sounding names

çok sayıda iş başvurusu vardı. Kimi başvurular siyah,

and some have black-sounding names,

kimi başvurular beyaz insanı andıran isimlerle yapıldı.

and it's always disappointing, the results -- always.

Sonuç her zaman hayal kırıklığıydı.

So we are the ones that are biased,

Bizler farkında olmasak da taraflıyız

and we are injecting those biases into the algorithms

ve taraflılığımızı, seçtiğimiz veriler ile

by choosing what data to collect,

algoritmalara dahil ediyoruz.

like I chose not to think about ramen noodles --

Mesela ben erişteleri es geçtim.

I decided it was irrelevant.

Onların yemek olmadığını düşündüm.

But by trusting the data that's actually picking up on past practices

Ancak geçmiş deneyimleri

ve başarı tanımlarını baz alarak seçtiğimiz veriye

and by choosing the definition of success,

how can we expect the algorithms to emerge unscathed?

nasıl güvenebiliriz ve algoritmaların sağlıklı olacağını nasıl bekleyebiliriz?

We can't. We have to check them.

Bunu yapamayız. Algoritmaları test etmemiz gerekir.

We have to check them for fairness.

Algoritmaların doğruluklarını test etmeliyiz.

The good news is, we can check them for fairness.

İyi haber şu ki bunu yapabiliriz.

Algorithms can be interrogated,

Algoritmalar kontrol edilebilir

and they will tell us the truth every time.

ve kontroller bize gerçeği söyleyebilir.

And we can fix them. We can make them better.

Algoritmaların hatalarını giderebiliriz.

I call this an algorithmic audit,

Ben buna, 'algoritma denetimi' adını veriyorum

and I'll walk you through it.

ve size bundan bahsedeyim.

First, data integrity check.

Öncelikle verinin doğruluğu testi.

For the recidivism risk algorithm I talked about,

Bahsettiğim suçun tekrarlama riski algoritmasında

a data integrity check would mean we'd have to come to terms with the fact

verinin doğruluğu testi şu anlama gelir:

Amerika'da beyaz ve siyahlar arasında esrar tüketimi aynı ölçüde yaygın,

that in the US, whites and blacks smoke pot at the same rate

but blacks are far more likely to be arrested --

oysa siyahların tutuklanma ihtimalleri

four or five times more likely, depending on the area.

bölgeye bağlı olarak dört veya beş kat fazla.

What is that bias looking like in other crime categories,

Diğer suçlarda bu tür bir taraflılık nasıldır

and how do we account for it?

ve bunu nasıl inceleriz?

Second, we should think about the definition of success,

İkincisi başarının tanımı hakkında düşünüp

audit that.

onu gözden geçirmeliyiz.

Remember -- with the hiring algorithm? We talked about it.

İşe alım algoritmasından bahsetmiştim, hatırlayın.

Someone who stays for four years and is promoted once?

Şirkette 4 yıl kalıp en az bir kez terfi alan kişi.

Well, that is a successful employee,

Kendisini başarılı tanımlamıştık

but it's also an employee that is supported by their culture.

ama kendisi ayrıca kültürlerince desteklenen bir kişi.

That said, also it can be quite biased.

Bu da aslında bir taraflılık olabilir.

We need to separate those two things.

Bu iki şeyi ayırmamız gerekiyor.

We should look to the blind orchestra audition

Mesela orkestralara yönelik 'kör seçim'

as an example.

adı verilen seçimlere bakalım.

That's where the people auditioning are behind a sheet.

Bu uygulamada ses sınavında olan kişiler

What I want to think about there

perdenin arkasında bulunduğundan görünmüyor.

is the people who are listening have decided what's important

Sadece dinlediği konusunda

and they've decided what's not important,

bir sonuca ulaşan insanları düşünün.

and they're not getting distracted by that.

Herhangi bir şeyden dikkatleri dağılmıyor.

When the blind orchestra auditions started,

Orkestra için 'kör seçim' başladığından beri

the number of women in orchestras went up by a factor of five.

orkestralardaki kadın sayısı 5 kat arttı.

Sonra kesinliği göz önünde bulundurmalıyız.

Next, we have to consider accuracy.

Bu öğretmenlere için katma değer modelinin anında başarısız olacağı aşama olurdu.

This is where the value-added model for teachers would fail immediately.

No algorithm is perfect, of course,

Elbette hiçbir algoritma mükemmel değil,

so we have to consider the errors of every algorithm.

bu yüzden her algoritmanın hatalarını dikkate almalıyız.

How often are there errors, and for whom does this model fail?

Bu hatalar ne sıklıkla oluşuyor, hangileri modeli başarısız kılıyor?

What is the cost of that failure?

Başarısızlığın maliyeti ne?

And finally, we have to consider

Son aşamada

the long-term effects of algorithms,

algoritmaların uzun dönemli etkilerini,

the feedback loops that are engendering.

geri besleme döngülerini göz önünde bulundurmalıyız.

Kulağa soyut geliyor ama Facebook yazılımcıları

That sounds abstract,

but imagine if Facebook engineers had considered that

sadece arkadaşlarımızın paylaşımını görmemize karar vermeden önce

before they decided to show us only things that our friends had posted.

bunun üzerinde düşünseydi nasıl olurdu, hayal edin.

I have two more messages, one for the data scientists out there.

İki mesajım var. Birincisi veri bilimciler için:

Data scientists: we should not be the arbiters of truth.

Bizler neyin doğru olduğuna karar verenler olmamalıyız.

We should be translators of ethical discussions that happen

Bizler toplumlarda meydana gelen etik tartışmaların

in larger society.

tercümanları olmalıyız.

(Applause)

(Alkışlar)

And the rest of you,

Ve geri kalanlar,

the non-data scientists:

veri bilimci olmayanlar:

this is not a math test.

Bu herhangi bir matematik testi değil.

This is a political fight.

Bu bir politik mücadele.

We need to demand accountability for our algorithmic overlords.

Bizler algoritma amirlerinden sorumluluk talep etmeliyiz.

(Applause)

(Alkışlar)

The era of blind faith in big data must end.

Büyük verideki kör inanç dönemi bitmeli.

Thank you very much.

Teşekkür ederim.

(Applause)

(Alkışlar)