Your Right to Repair AI Systems | Rumman Chowdhury | TED

Çeviri: Seray Türkyılmaz Gözden geçirme: Eren Gokce

I want to tell you a story

Size yapay zekâ ve çiftçiler

about artificial intelligence and farmers.

hakkında bir hikâye anlatmak istiyorum.

Now, what a strange combination, right?

Şimdi, ne garip bir kombinasyon, değil mi?

Two topics could not sound more different from each other.

İki konu birbirinden daha farklı görünemezdi.

But did you know that modern farming actually involves a lot of technology?

Ancak modern çiftçiliğin aslında çok fazla teknoloji içerdiğini biliyor muydunuz?

So computer vision is used to predict crop yields.

Bu nedenle bilgisayar görüşü, mahsul verimini tahmin etmek için kullanılır.

And artificial intelligence is used to find,

Ve yapay zekâ böcekleri bulmak,

identify and get rid of insects.

tanımlamak ve onlardan kurtulmak için kullanılır.

Predictive analytics helps figure out extreme weather conditions

Tahmine dayalı analitik, kuraklık veya kasırgalar

like drought or hurricanes.

gibi aşırı hava koşullarının anlaşılmasına yardımcı olur.

But this technology is also alienating to farmers.

Ancak bu teknoloji çiftçileri de yabancılaştırıyor.

And this all came to a head in 2017

Ve bunların hepsi 2017 yılında traktör şirketi John Deere

with the tractor company John Deere when they introduced smart tractors.

ile akıllı traktörleri tanıttıklarında doruğa ulaştı.

So before then, if a farmer's tractor broke,

Yani o zamandan önce, bir çiftçinin traktörü bozulursa,

they could just repair it themselves or take it to a mechanic.

kendileri tamir edebilir veya bir tamirciye götürebilirlerdi.

Well, the company actually made it illegal

Şirket aslında çiftçilerin kendi ekipmanlarını

for farmers to fix their own equipment.

tamir etmelerini yasa dışı hâle getirdi.

You had to use a licensed technician

Lisanslı bir teknisyen kullanmanız gerekiyordu

and farmers would have to wait for weeks

ve çiftçiler mahsulleri çürüyüp zararlılar

while their crops rot and pests took over.

ele geçirene kadar haftalarca beklemek zorunda kalacaktı.

So they took matters into their own hands.

Bu yüzden işleri kendi ellerine aldılar.

Some of them learned to program,

Bazıları programlamayı öğrendi

and they worked with hackers to create patches to repair their own systems.

ve kendi sistemlerini onarmak için hackerlarla birlikte çalıştılar.

In 2022,

2022′de

at one of the largest hacker conferences in the world, DEFCON,

dünyanın en büyük hacker konferanslarından biri olan DEFCON’da,

a hacker named Sick Codes and his team

Sick Codes adında bir hacker ve ekibi

showed everybody how to break into a John Deere tractor,

herkese John Deere traktörüne nasıl girileceğini gösterdi,

showing that, first of all, the technology was vulnerable,

bu her şeyden önce teknolojinin savunmasız olduğunu gösteriyor,

but also that you can and should own your own equipment.

ama aynı zamanda ekipmanınıza sahip olmanız gerekiyor.

To be clear, this is illegal,

Açık olmak gerekirse, bu yasa dışı,

but there are people trying to change that.

ama bunu değiştirmeye çalışan insanlar var.

Now that movement is called the “right to repair.”

Şimdi bu harekete “onarım hakkı” denir.

The right to repair goes something like this.

Onarım hakkı böyle bir şeydir.

If you own a piece of technology,

Bir teknolojiye sahipseniz,

it could be a tractor, a smart toothbrush,

bir traktör, akıllı bir diş fırçası,

a washing machine,

bir çamaşır makinesi olabilir,

you should have the right to repair it if it breaks.

kırılırsa tamir etme hakkına sahip olmalısınız.

So why am I telling you this story?

Öyleyse neden sana bu hikâyeyi anlatıyorum?

The right to repair needs to extend to artificial intelligence.

Onarım hakkının yapay zekâya yayılması gerekiyor.

Now it seems like every week

Şimdi her hafta yapay zekâda

there is a new and mind-blowing innovation in AI.

yeni ve akıllara durgunluk veren bir yenilik var gibi görünüyor.

But did you know that public confidence is actually declining?

Ama halkın güveninin gerçekten azaldığını biliyor muydunuz?

A recent Pew poll showed that more Americans are concerned

Yakın tarihli bir Pew anketi, Amerikalıların teknolojiden

than they are excited about the technology.

heyecan duymaktan ziyade endişeli olduğunu gösterdi.

This is echoed throughout the world.

Bu tüm dünyada yankılanıyor.

The World Risk Poll shows

Dünya Risk Anketi

that respondents from Central and South America and Africa

Orta ve Güney Amerika ve Afrika’dan katılımcıların hepsi

all said that they felt AI would lead to more harm than good for their people.

yapay zekânın insanlara yarardan çok zarar getireceğini düşündüklerini söyledi.

Bir sosyal bilimci ve bir yapay zekâ geliştiricisi olarak,

As a social scientist and an AI developer,

this frustrates me.

bu beni hayal kırıklığına uğratıyor.

I'm a tech optimist

Ben bir teknoloji iyimseriyim

because I truly believe this technology can lead to good.

çünkü bu teknolojinin iyiye yol açabileceğine gerçekten inanıyorum.

So what's the disconnect?

Peki bağlantı kopması nedir?

Well, I've talked to hundreds of people over the last few years.

Son birkaç yıldır yüzlerce insanla konuştum.

Architects and scientists, journalists and photographers,

Mimarlar ve bilim adamları, gazeteciler ve fotoğrafçılar,

ride-share drivers and doctors,

araç paylaşım sürücüleri

and they all say the same thing.

ve doktorlar, hepsi aynı şeyi söylüyor.

People feel like an afterthought.

İnsanlar sonradan düşünmüş gibi hissediyorlar.

They all know that their data is harvested often without their permission

Hepsi, bu karmaşık sistemleri oluşturmak için izinleri olmadan

to create these sophisticated systems.

verilerinin sık sık toplandığını biliyor.

They know that these systems are determining their life opportunities.

Bu sistemlerin yaşam fırsatlarını belirlediğini biliyorlar.

They also know that nobody ever bothered to ask them

Ayrıca kimsenin onlara sistemin nasıl inşa

how the system should be built,

edilmesi gerektiğini sormaya zahmet etmediğini biliyorlar

and they certainly have no idea where to go if something goes wrong.

ve bir şeyler ters giderse nereye gideceklerini kesinlikle bilmiyorlar.

We may not own AI systems,

Yapay zekâ sistemlerine sahip olmayabiliriz,

but they are slowly dominating our lives.

ancak yavaş yavaş hayatımıza hâkim oluyorlar.

We need a better feedback loop

Bu sistemleri yapan insanlar ile bu yapay

between the people who are making these systems,

zekâ sistemlerinin kendi dünyalarında

and the people who are best determined to tell us

nasıl etkileşime girmesi gerektiğini bize söylemeye en kararlı insanlar arasında

how these AI systems should interact in their world.

daha iyi bir geri bildirim döngüsüne ihtiyacımız var.

One step towards this is a process called red teaming.

Buna doğru bir adım kırmızı ekip oluşturma adı verilen bir süreçtir.

Now, red teaming is a practice that was started in the military,

Şimdi, kırmızı ekip oluşturma orduda başlatılan bir uygulama

and it's used in cybersecurity.

ve siber güvenlikte kullanılıyor.

In a traditional red-teaming exercise,

Geleneksel bir kırmızı ekip tatbikatında, bir sisteme girmek için

external experts are brought in to break into a system,

harici uzmanlar getirilir,

tıpkı Sick Codes’un traktörlerle yaptığı gibi, ancak yasal.

sort of like what Sick Codes did with tractors, but legal.

So red teaming acts as a way of testing your defenses

Yani kırmızı takım testi, savunmanızı test etmenin bir yolu olarak

işlev görür ve bir şeyin nerede yanlış gideceğini

and when you can figure out where something will go wrong,

anlayabilirseniz, nasıl düzelteceğinizi anlayabilirsiniz.

you can figure out how to fix it.

Ancak yapay zekâ sistemleri hileli hâle geldiğinde,

But when AI systems go rogue,

bu sadece bir hackerın girmesinden daha fazlasıdır.

it's more than just a hacker breaking in.

Model arızalanabilir veya gerçeği yanlış temsil edebilir.

The model could malfunction or misrepresent reality.

Örneğin, çok yakın zamanda bir yapay zekâ sistemi,

So, for example, not too long ago,

we saw an AI system attempting diversity

tarihsel olarak doğru olmayan fotoğraflar göstererek

by showing historically inaccurate photos.

çeşitliliği sağlamaya çalıştı.

Batı tarihi hakkında temel bir anlayışa sahip herkes

Anybody with a basic understanding of Western history

size ne Kurucu Babalar’ın ne de

could have told you that neither the Founding Fathers

Nazi dönemi askerlerinin Siyah olmayacağını söyleyebilirdi.

nor Nazi-era soldiers would have been Black.

Bu durumda, kim uzman olarak nitelendirilir?

In that case, who qualifies as an expert?

Sen.

You.

Dünyanın her yerinden binlerce insanla büyük ve küçük kırmızı ekip alıştırmaları

I'm working with thousands of people all around the world

üzerinde çalışıyorum ve onlar aracılığıyla

on large and small red-teaming exercises,

and through them we found and fixed mistakes in AI models.

yapay zekâ modellerinde hatalar bulduk ve düzelttik.

We also work with some of the biggest tech companies in the world:

Ayrıca dünyanın en büyük teknoloji şirketlerinden bazılarıyla çalışıyoruz:

OpenAI, Meta, Anthropic, Google.

OpenAI, Meta, Anthropic, Google.

And through this, we've made models work better for more people.

Ve bu sayede modellerin daha fazla insan için daha iyi çalışmasını sağladık.

İşte öğrendiklerimizin bir kısmı.

Here's a bit of what we've learned.

Londra’daki Royal Society ile birlikte hastalık bilimcileriyle

We partnered with the Royal Society in London to do a scientific,

bilimsel yanlış bilgi ve dezenformasyon etkinliği düzenledik.

mis- and disinformation event with disease scientists.

Bu bilim adamlarının bulduğu şey

What these scientists found

YZ modellerinin aslında COVID yanlış bilgisine

is that AI models actually had a lot of protections

karşı çok fazla korumaya sahip olduğudur.

against COVID misinformation.

But for other diseases like measles, mumps and the flu,

Ancak kızamık, kabakulak ve grip gibi diğer hastalıklar için

aynı korumalar geçerli değildi.

the same protections didn't apply.

We reported these changes,

Bu değişiklikleri bildirdik,

they’re fixed and now we are all better protected

düzeltildi ve şimdi hepimiz bilimsel yanlış ve dezenformasyona

against scientific mis- and disinformation.

karşı daha iyi korunuyoruz.

We did a really similar exercise with architects at Autodesk University,

Autodesk Üniversitesi’ndeki mimarlarla gerçekten benzer bir alıştırma yaptık

and we asked them a simple question:

ve onlara basit bir soru sorduk:

Will AI put them out of a job?

Yapay zekâ onları işten çıkaracak mı?

Or more specifically,

Veya daha spesifik olarak,

could they imagine a modern AI system

modern bir sanat müzesinin

that would be able to design the specs of a modern art museum?

özelliklerini tasarlayabilecek modern bir YZ sistemi hayal edebilirler mi?

The answer, resoundingly, was no.

Cevap, gürültülü bir şekilde, hayırdı.

Here's why, architects do more than just draw buildings.

İşte bu yüzden mimarlar bina çizmekten daha fazlasını yapar.

They have to understand physics and material science.

Fizik ve malzeme bilimini anlamaları gerekir.

They have to know building codes,

Bina kodlarını bilmek zorundalar

and they have to do that

ve bunu duygu uyandıran bir şey

while making something that evokes emotion.

yaparken yapmak zorundalar.

What the architects wanted was an AI system

Mimarların istediği şey, onlarla etkileşime

that interacted with them, that would give them feedback,

giren, onlara geri bildirim verecek,

maybe proactively offer design recommendations.

belki proaktif olarak tasarım önerileri sunan bir YZ sistemiydi.

And today's AI systems, not quite there yet.

Ve bugünün YZ sistemleri, henüz tam olarak orada değil.

But those are technical problems.

Ama bunlar teknik problemlerdir.

People building AI are incredibly smart,

Yapay zekâ oluşturan insanlar inanılmaz derecede akıllıdır

and maybe they could solve all that in a few years.

ve belki de tüm bunları birkaç yıl içinde çözebilirler.

But that wasn't their biggest concern.

Their biggest concern was trust.

Ama bu onların en büyük endişesi değildi.

En büyük endişeleri güvendi.

Now architects are liable if something goes wrong with their buildings.

Artık binalarında bir şeyler ters giderse mimarlar sorumludur.

They could lose their license,

Ehliyetlerini kaybedebilirler,

they could be fined, they could even go to prison.

para cezasına çarptırılabilirler, hatta hapse girebilirler.

And failures can happen in a million different ways.

Ve başarısızlıklar milyonlarca farklı şekilde olabilir.

For example, exit doors that open the wrong way,

Örneğin, yanlış yoldan açılan, insanların tahliye krizinde ezilmesine

leading to people being crushed in an evacuation crisis,

yol açan çıkış kapıları

or broken glass raining down onto pedestrians in the street

veya rüzgâr çok sert estiği ve pencereleri parçaladığı

because the wind blows too hard and shatters windows.

için sokaktaki yayalara kırık cam yağmasına neden olması.

So why would an architect trust an AI system with their job,

Peki, bir mimar neden işiyle ilgili yapay zekâ sistemine güvenecek,

with their literal freedom,

gerçek özgürlükleriyle,

if they couldn't go in and fix a mistake if they found it?

eğer bir hata bulduklarında onu düzeltemezlerse?

So we need to figure out these problems today, and I'll tell you why.

Bu yüzden bugün bu sorunları çözmemiz gerekiyor ve size nedenini söyleyeceğim.

The next wave of artificial intelligence systems, called agentic AI,

Yapay zekâ sistemlerinin bir sonraki dalgası olan ajansal YZ

is a true tipping point

gerçek bir uç noktasıdır,

between whether or not we retain human agency,

insan ajansını koruyup korumayacağımızı belirleyen ya da

or whether or not AI systems make our decisions for us.

yapay zekâ sistemlerinin kararlarımızı bizim yerimize yapmasını belirleyen.

Imagine an AI agent as kind of like a personal assistant.

Bir yapay zekâ ajanını kişisel bir asistan gibi düşünün.

So, for example, a medical agent might determine

Bu nedenle, örneğin, bir tıbbi ajan ailenizin doktor randevularına ihtiyacı

whether or not your family needs doctor's appointments,

olup olmadığını belirleyebilir,

it might refill prescription medications, or in case of an emergency,

reçeteli ilaçları yeniden doldurabilir veya acil bir durumda

send medical records to the hospital.

tıbbi kayıtları hastaneye gönderebilir.

But AI agents can't and won't exist

Ancak yapay zekâ ajanları tamir etme

unless we have a true right to repair.

hakkımız olmadıkça var olamaz ve olmayacak.

What parent would trust their child's health to an AI system

Bazı temel teşhisleri çalıştıramadığınız

unless you could run some basic diagnostics?

sürece hangi ebeveyn çocuklarının sağlığı için bir YZ sistemine güvenir?

What professional would trust an AI system with job decisions,

Hangi profesyonel, bir iş kararları konusunda bir yapay zekâ sistemine

unless you could retrain it the way you might a junior employee?

güvenir, onu genç bir çalışan gibi yeniden eğitebilmediğiniz sürece?

Now, a right to repair might look something like this.

Şimdi, tamir hakkı böyle bir şeye benzeyebilir.

You could have a diagnostics board

Tasarladığınız temel testleri

where you run basic tests that you design,

yürüttüğünüz bir tanılama panonuz olabilir

and if something's wrong, you could report it to the company

ve bir sorun varsa, bunu şirkete bildirebilir

and hear back when it's fixed.

ve düzeltildiğinde yanıt alabilirsiniz.

Or you could work with third parties like ethical hackers

Ya da bugün yaptığımız gibi sistemler için yamalar

who make patches for systems like we do today.

yapan etik bilgisayar korsanları gibi üçüncü taraflarla çalışabilirsiniz.

You can download them and use them to improve your system

Bunları indirebilir ve sisteminizi iyileştirmesini

the way you want it to be improved.

istediğiniz şekilde geliştirmek için kullanabilirsiniz.

Or you could be like these intrepid farmers and learn to program

Ya da bu cesur çiftçiler gibi olabilir ve kendi sistemlerinizi programlamayı

and fine-tune your own systems.

ve ince ayar yapmayı öğrenebilirsiniz.

We won't achieve the promised benefits of artificial intelligence

İnsanları geliştirme sürecine nasıl dahil edeceğimizi

unless we figure out how to bring people into the development process.

bulmadıkça yapay zekânın vaat edilen faydalarını elde edemeyiz.

I've dedicated my career to responsible AI,

Kariyerimi sorumlu yapay zekâya adadım

and in that field we ask the question,

ve bu alanda şu soruyu soruyoruz, şirketler

what can companies build to ensure that people trust AI?

insanların yapay zekâya güvenmesini sağlamak için neler inşa edebilir?

Now, through these red-teaming exercises, and by talking to you,

Şimdi, bu kırmızı ekip alıştırmaları sayesinde ve sizinle konuşarak,

I've come to realize that we've been asking the wrong question all along.

başından beri yanlış soruyu sorduğumuzu fark ettim.

What we should have been asking is what tools can we build

Sormamız gereken şey, insanların yapay zekâyı kendileri için faydalı hâle

so people can make AI beneficial for them?

getirebilmeleri için hangi araçları oluşturabileceğimizdi?

Technologists can't do it alone.

Teknologlar bunu tek başlarına yapamazlar.

We can only do it with you.

Bunu sadece seninle yapabiliriz.

Thank you.

Teşekkür ederim.

(Applause)

(Alkış)