The danger of AI is weirder than you think | Janelle Shane

Çeviri: Gözde Zülal Solak Gözden geçirme: Figen Ergürbüz

So, artificial intelligence

Yapay zekânın,

is known for disrupting all kinds of industries.

her tür endüstriyi bozduğu bilinmektedir.

What about ice cream?

Peki ya dondurma?

What kind of mind-blowing new flavors could we generate

Gelişmiş bir yapay zekânın gücüyle

with the power of an advanced artificial intelligence?

akıllara durgunluk verecek ne tür tatlar oluşturabiliriz?

So I teamed up with a group of coders from Kealing Middle School

Bu sorunun cevabını bulmak için Kealing orta okulundan

bir grup kodlayıcı ile birlikte çalıştım.

to find out the answer to this question.

They collected over 1,600 existing ice cream flavors,

Mevcut olan yaklaşık 1600 dondurma tadını topladılar

and together, we fed them to an algorithm to see what it would generate.

ve birlikte, ne oluşturacağını görmek için onları bir algoritmaya çevirdik.

And here are some of the flavors that the AI came up with.

İşte yapay zekânın ürettiği tatlardan birkaçı.

[Kabak Çöpü Parçası]

[Pumpkin Trash Break]

(Laughter)

(Gülüşmeler)

[Fıstık Ezmesi Balçığı]

[Peanut Butter Slime]

[Strawberry Cream Disease]

[Çilek Kreması Hastalığı]

(Laughter)

(Gülüşmeler)

These flavors are not delicious, as we might have hoped they would be.

Bu tatlar umduğumuz gibi lezzetli değiller.

So the question is: What happened?

Soru şu: Ne oldu?

What went wrong?

Yanlış giden neydi?

Is the AI trying to kill us?

Yapay zekâ bizi öldürmeye mi çalışıyor?

Or is it trying to do what we asked, and there was a problem?

Yoksa istediğimiz şeyi yapmaya mı çalışıyor ve bir problem mi oluyor?

In movies, when something goes wrong with AI,

Filmlerde yapay zekâyla ilgili bir hata olduğunda

it's usually because the AI has decided

bu genelde yapay zekânın,

that it doesn't want to obey the humans anymore,

artık insanlara itaat etmemeye karar vermesi nedeniyle olur

and it's got its own goals, thank you very much.

ve artık kendi kuralları vardır, çok teşekkürler.

In real life, though, the AI that we actually have

Ancak, gerçek hayatta sahip olduğumuz yapay zekâ

is not nearly smart enough for that.

bunu yapabilecek kadar zeki değil.

It has the approximate computing power

Yaklaşık bir solucanın

veya belki de olsa olsa tek bir bal arısının

of an earthworm,

or maybe at most a single honeybee,

programlama gücüne sahiptir

and actually, probably maybe less.

ve aslında, belki de daha azına sahiptir.

Like, we're constantly learning new things about brains

Beyinlerle ilgili sürekli yeni şeyler öğreniyoruz ve bu da yapay zekânın

that make it clear how much our AIs don't measure up to real brains.

neden gerçek beyinlerle aynı düzeyde olmayacağını açıklıyor.

So today's AI can do a task like identify a pedestrian in a picture,

Günümüzdeki yapay zekâ, bir resimde yayayı saptamak gibi

bir görevi yapabilir, fakat bir yayanın ne olduğunu kavrayamaz,

but it doesn't have a concept of what the pedestrian is

beyond that it's a collection of lines and textures and things.

yaya onun için bir çizgiler, dokular ve bazı şeylerin toplamıdır.

It doesn't know what a human actually is.

Bir insanın aslında ne olduğunu bilmez.

So will today's AI do what we ask it to do?

Peki günümüzün yapay zekâsı biz ne istersek onu mu yapacak?

It will if it can,

Eğer yapabilirse evet,

but it might not do what we actually want.

fakat gerçekten istediğimizi yapamayabilir.

So let's say that you were trying to get an AI

Diyelim ki bir yapay zekânın bu robot parçalarını alıp

to take this collection of robot parts

A noktasından B noktasına gidecek

and assemble them into some kind of robot to get from Point A to Point B.

bir robota dönüştürmesini istiyorsunuz.

Now, if you were going to try and solve this problem

Bu problemi geleneksel türden bir bilgisayar programı yazarak

by writing a traditional-style computer program,

çözmeyi deneyecek olsaydınız,

you would give the program step-by-step instructions

programa bu parçaları nasıl alacağına,

bunları bacaklı bir robota nasıl dönüştüreceğine

on how to take these parts,

how to assemble them into a robot with legs

ve o bacakları B noktasına gitmesi için nasıl kullanacağına dair

and then how to use those legs to walk to Point B.

adım adım talimatlar verirdiniz.

But when you're using AI to solve the problem,

Fakat problemi çözmek için yapay zekâ kullandığınızda

it goes differently.

işler farklı ilerliyor.

You don't tell it how to solve the problem,

Ona problemi nasıl çözeceğini söylemiyorsunuz,

you just give it the goal,

ona sadece amacı veriyorsunuz

and it has to figure out for itself via trial and error

ve onun, amaca ulaşmak için deneme yanılma aracılığıyla

how to reach that goal.

kendisi çözmesi gerekiyor.

And it turns out that the way AI tends to solve this particular problem

Yapay zekânın bu problemi çözmek için gittiği yol

is by doing this:

şu şekilde görünüyor:

it assembles itself into a tower and then falls over

kendisini bir kuleye monte ediyor, sonra düşüyor

and lands at Point B.

ve B noktasına iniş yapıyor.

And technically, this solves the problem.

Bu, teknik olarak problemi çözüyor.

Technically, it got to Point B.

Teknik olarak B noktasına gidiyor.

The danger of AI is not that it's going to rebel against us,

Yapay zekânın tehlikesi aslında bizlere karşı ayaklanacağı değil,

it's that it's going to do exactly what we ask it to do.

tam olarak yapmalarını istediğimiz şeyleri yapacak olmalarıdır.

So then the trick of working with AI becomes:

O zaman da yapay zekâyla çalışma hilesi şu hale geliyor:

How do we set up the problem so that it actually does what we want?

Problemi nasıl düzenleyelim ki gerçekten istediğimizi yapsın?

So this little robot here is being controlled by an AI.

Bu küçük robot bir yapay zekâ tarafından kontrol ediliyor.

The AI came up with a design for the robot legs

Yapay zekâ robot bacakları için bir tasarım buldu

and then figured out how to use them to get past all these obstacles.

ve sonra onları, bu engelleri aşmak için nasıl kullanacağını çözdü.

But when David Ha set up this experiment,

Fakat David Ha bu deneyi oluşturduğunda

he had to set it up with very, very strict limits

yapay zekânın bacakları ne kadar büyük yapabileceğine dair

on how big the AI was allowed to make the legs,

çok, çok katı kısıtlamalarla oluşturmalıydı,

because otherwise ...

çünkü, aksi takdirde...

(Laughter)

(Gülüşmeler)

And technically, it got to the end of that obstacle course.

Teknik olarak bu engel rotasının sonuna varabildi.

So you see how hard it is to get AI to do something as simple as just walk.

Bir yapay zekânın, yürümek gibi basit bir eylemi yapmasını sağlamak çok zor.

So seeing the AI do this, you may say, OK, no fair,

Yapay zekânın bunu yaptığını görünce, bu haksızlık diyebilirsiniz,

you can't just be a tall tower and fall over,

yüksek bir kule olup düşemezsiniz,

you have to actually, like, use legs to walk.

yürümek için bacak kullanmanız gerek diyebilirsiniz.

And it turns out, that doesn't always work, either.

Görünen o ki, bu da her zaman işe yaramıyor.

This AI's job was to move fast.

Yapay zekânın işi hızlı hareket etmek.

They didn't tell it that it had to run facing forward

Ona ileri doğru koşması gerektiğini

or that it couldn't use its arms.

veya kollarını kullanamayacağını söylemediler.

So this is what you get when you train AI to move fast,

Yapay zekâya hızlı hareket etmeyi öğrettiğiniz zaman olan şey budur,

you get things like somersaulting and silly walks.

takla atmak veya şaşkınca yürüyüşler gibi şeylerle karşılaşırsınız.

It's really common.

Bu gerçekten yaygın.

So is twitching along the floor in a heap.

Yerde sürünmek de yaygın.

(Laughter)

(Gülüşmeler)

So in my opinion, you know what should have been a whole lot weirder

Bana göre, bundan çok daha garip olan şey,

is the "Terminator" robots.

"Terminatör" robotları.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Ona bir şans verirseniz, yapay zekanın yapacağı diğer şey "Matrix"e girmektir.

So if you train an AI in a simulation,

Bir simülasyonda yapay zekâyı eğitirseniz,

it will learn how to do things like hack into the simulation's math errors

simülasyonun matematik hatalarına girmek ve onları enerji için saklamak

and harvest them for energy.

gibi şeyleri yapmayı öğrenir.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Sürekli yerde sürünerek hızlı hareket etmeyi de çözebilir.

When you're working with AI,

Bir yapay zekâyla çalışırken

it's less like working with another human

bu diğer bir insanla çalışmaktan ziyade,

and a lot more like working with some kind of weird force of nature.

daha çok doğanın garip bir gücüyle çalışmaya benziyor.

And it's really easy to accidentally give AI the wrong problem to solve,

Yapay zekâya çözmesi için kazara yanlış problemi vermek de çok kolay

and often we don't realize that until something has actually gone wrong.

ve bir şeyler yanlış gidene dek bunu genelde fark etmeyiz.

So here's an experiment I did,

Yaptığım bir deneyde

where I wanted the AI to copy paint colors,

yapay zekâdan boya renklerini kopyalamasını

to invent new paint colors,

ve yeni boya renkleri yaratmasını istedim,

given the list like the ones here on the left.

bu soldaki listedekiler gibi bir liste verdim.

And here's what the AI actually came up with.

Yapay zekânın önerdikleri ise şunlar.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Sindi Kakası, Gübremsi, Acı, Gri Kasık]

(Laughter)

(Gülüşmeler)

So technically,

Teknik olarak

it did what I asked it to.

istediğimi yaptı.

I thought I was asking it for, like, nice paint color names,

Ben güzel boya renkleri isimleri istediğimi düşünmüştüm,

but what I was actually asking it to do

fakat aslında yapmasını istediğim şey

was just imitate the kinds of letter combinations

orijinalinde gördüğü harf kombinasyonları türlerini

that it had seen in the original.

taklit etmesiydi.

And I didn't tell it anything about what words mean,

Kelimelerin ne anlama geldiğine dair

or that there are maybe some words

veya isimleri bulurken kullanmaması gereken bazı kelimeler

that it should avoid using in these paint colors.

olabileceğine dair hiçbir şey söylemedim.

So its entire world is the data that I gave it.

Yani onun tüm dünyası, benim ona sağladığım veri.

Like with the ice cream flavors, it doesn't know about anything else.

Dondurma tatları gibi, başka hiçbir şey bilmiyor.

So it is through the data

Yani genelde veri aracılığıyla

that we often accidentally tell AI to do the wrong thing.

yapay zekâya kazara yanlış şeyi yapmasını söylüyoruz.

This is a fish called a tench.

Bu, karabalık adlı bir balık.

And there was a group of researchers

Bir grup araştırmacı da yapay zekâyı

who trained an AI to identify this tench in pictures.

resimlerde karabalığı saptaması için eğitmişti.

But then when they asked it

fakat ona, balığı saptamak için

what part of the picture it was actually using to identify the fish,

resmin hangi kısmını kullandığını sorduklarında,

here's what it highlighted.

işte bunu vurguladı.

Yes, those are human fingers.

Evet, bunlar insan elinin parmakları.

Why would it be looking for human fingers

Bir balığı saptamayı deniyorsa,

if it's trying to identify a fish?

neden insan elinin parmaklarını arıyor?

Well, it turns out that the tench is a trophy fish,

Görünen o ki bu karabalık bir ödül balığı

and so in a lot of pictures that the AI had seen of this fish

ve eğitimi sırasında yapay zekânın gördüğü

during training,

birçok resimde,

the fish looked like this.

balık böyle görünüyordu.

(Laughter)

(Gülüşmeler)

And it didn't know that the fingers aren't part of the fish.

Parmakların, balığın bir parçası olmadığını bilmiyordu.

So you see why it is so hard to design an AI

Baktığı şeyi gerçekten anlayabilecek bir yapay zekâ tasarlamanın

that actually can understand what it's looking at.

neden çok zor olduğunu görüyorsunuz.

And this is why designing the image recognition

Ayrıca sürücüsüz arabalarda

görüntü tanımayı tasarlamanın zor olmasının nedeni de bu

in self-driving cars is so hard,

and why so many self-driving car failures

ve sürücüsüz arabalardaki birçok başarısızlık da

are because the AI got confused.

yapay zekânın şaşırması nedenlidir.

I want to talk about an example from 2016.

2016'dan bir örnek vermek istiyorum.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Birisi Tesla'nın oto-pilot yapay zekasını kullanırken ölümcül bir kaza oldu,

but instead of using it on the highway like it was designed for,

fakat tasarlandığı üzere otoyolda kullanmak yerine,

they used it on city streets.

şehrin sokaklarında kullandılar.

And what happened was,

Olan şey de şuydu;

a truck drove out in front of the car and the car failed to brake.

bir kamyon, arabanın önüne sürdü ve araba fren yapamadı.

Now, the AI definitely was trained to recognize trucks in pictures.

Yapay zekâ kesinlikle resimlerde kamyonları saptamak üzere eğitilmişti.

But what it looks like happened is

Fakat olan şey şu gibi görünüyor,

the AI was trained to recognize trucks on highway driving,

yapay zekâ otoyolda giden kamyonları saptamayı öğrenmişti,

where you would expect to see trucks from behind.

yani kamyonları arkadan göreceğimiz bir şekilde öğrenmişti.

Trucks on the side is not supposed to happen on a highway,

Yanı görünen kamyonların otoyolda olmaları beklenmez

and so when the AI saw this truck,

ve yapay zekâ bu kamyonu gördüğünde,

it looks like the AI recognized it as most likely to be a road sign

büyük olasılıkla bir yol işareti olarak algıladı

ve altından geçmenin güvenli olduğunu düşündü.

and therefore, safe to drive underneath.

Here's an AI misstep from a different field.

Yapay zekânın başka alanda attığı yanlış bir adım daha.

Amazon recently had to give up on a résumé-sorting algorithm

Amazon, algoritmanın kadınlara karşı ayrımcılık yapmayı öğrendiğini

that they were working on

keşfettiği zaman,

when they discovered that the algorithm had learned to discriminate against women.

bir özgeçmiş-sıralama algoritmasından vazgeçmek zorunda kaldı.

What happened is they had trained it on example résumés

Olan şey şuydu, yapay zekâyı geçmişte işe aldıkları insanlara ait

of people who they had hired in the past.

örnek özgeçmişlerle eğittiler.

And from these examples, the AI learned to avoid the résumés of people

Yapay zekâ da bu örneklerden, kadın okullarına gitmiş olan

who had gone to women's colleges

veya özgeçmişinin herhangi bir yerinde

or who had the word "women" somewhere in their resume,

"kadın" kelimesi geçen, -- "kadın futbol takımı"

as in, "women's soccer team" or "Society of Women Engineers."

veya "Kadın Mühendisler Derneği" gibi -- özgeçmişlerden kaçınmayı öğrendi.

The AI didn't know that it wasn't supposed to copy this particular thing

Yapay zekâ, insanların yaptığını gördüğü bu şeyi

that it had seen the humans do.

kopyalaması gerekmediğini bilmiyordu.

And technically, it did what they asked it to do.

Teknik olarak da yapmasını istedikleri şeyi yaptı.

They just accidentally asked it to do the wrong thing.

Sadece, yanlış şeyi yapmasını istediler.

And this happens all the time with AI.

Yapay zekâyla bu her zaman olur.

AI can be really destructive and not know it.

Yapay zeka çok zararlı olabilir ve bunu bilmeyebilir.

So the AIs that recommend new content in Facebook, in YouTube,

Facebook, YouTube'da yeni içerik öneren yapay zekâlar,

they're optimized to increase the number of clicks and views.

tıklama ve görüntüleme sayısını yükseltmek üzere optimize edilmiştir.

And unfortunately, one way that they have found of doing this

Ne yazık ki bunu yapmak için buldukları bir yol da,

is to recommend the content of conspiracy theories or bigotry.

komplo teorisi veya fanatiklik içerikleri önermek.

The AIs themselves don't have any concept of what this content actually is,

Yapay zekâların, bu içeriklere dair herhangi bir fikirleri yok

and they don't have any concept of what the consequences might be

ve bu içeriği önerdikleri zaman sonucun ne olacağına dair de

of recommending this content.

herhangi bir fikirleri yok.

So, when we're working with AI,

Yani, yapay zekâyla çalışırken

it's up to us to avoid problems.

problemlerden kaçınmak bize bağlıdır.

And avoiding things going wrong,

Yanlış giden şeylerden kaçınmak da öyle,

that may come down to the age-old problem of communication,

bu çok eski iletişim problemine kadar da inebilir,

where we as humans have to learn how to communicate with AI.

insanlar yapay zekâyla nasıl iletişim kuracağını öğrenmelidir.

We have to learn what AI is capable of doing and what it's not,

Yapay zekânın ne yapabildiğini ve ne yapamadığını öğrenmeliyiz

and to understand that, with its tiny little worm brain,

ve yapay zekânın, çok küçük solucan beyniyle,

AI doesn't really understand what we're trying to ask it to do.

ondan yapmasını istediğimiz şeyi aslında anlamadığını anlamalıyız.

So in other words, we have to be prepared to work with AI

Yani, süper-yetkili, her şeyi bilen bilim kurgu yapay zekâlarına benzemeyen

that's not the super-competent, all-knowing AI of science fiction.

yapay zekâ ile çalışmaya hazırlıklı olmalıyız.

We have to be prepared to work with an AI

Şimdiki zamanda sahip olduğumuz

that's the one that we actually have in the present day.

tek yapay zekâyla çalışmaya hazırlıklı olmalıyız.

And present-day AI is plenty weird enough.

Günümüzün yapay zekâsı da yeterince garip.

Thank you.

Teşekkürler.

(Applause)

(Alkış)