Can a robot pass a university entrance exam? | Noriko Arai

Çeviri: Selda Yener Gözden geçirme: Figen Ergürbüz

Today, I'm going to talk about AI and us.

Bugün Yapay Zekâ ve biz hakkında konuşacağım.

AI researchers have always said

Yapay zekâ araştırmacıları her zaman

that we humans do not need to worry,

biz insanların endişe etmesine gerek olmadığını söyler

because only menial jobs will be taken over by machines.

çünkü makineler sadece önemsiz işleri devralacaktır.

Is that really true?

Bu gerçekten de doğru mu?

They have also said that AI will create new jobs,

Ayrıca yapay zekânın yeni işler ortaya çıkaracağını,

so those who lose their jobs will find a new one.

böylelikle işini kaybedenlerin yeni bir iş bulacağını söylerler.

Of course.

Tabii ki öyle.

But the real question is:

Fakat asıl soru şu:

How many of those who may lose their jobs to AI

Özellikle yapay zekâ çoğumuzdan daha iyi öğrenecek kadar geliştiğinde

will be able to land a new one,

işini yapay zekâya kaptıranların

especially when AI is smart enough to learn better than most of us?

kaç tanesi yeni bir iş bulabilir durumda olacak?

Let me ask you a question:

İzninizle sormak istiyorum:

How many of you think

Kaçınız yapay zekânın

that AI will pass the entrance examination of a top university by 2020?

2020'lerde gözde bir üniversitenin giriş sınavını geçeceğini düşünüyor?

Oh, so many. OK.

Bir çoğunuz. Peki.

So some of you may say, "Of course, yes!"

Belki bazılarınız "Tabii geçer!" diyordur.

Now singularity is the issue.

Bir tuhaflık söz konusu.

And some others may say, "Maybe,

Bazıları da "Olabilir,

because AI already won against a top Go player."

çünkü yapay zekâ zaten usta bir Go oyuncusunu bile yendi" diyebilir.

And others may say, "No, never. Uh-uh."

Bazıları da "Hayır, asla." diyebilir.

That means we do not know the answer yet, right?

Yani henüz cevabı bilmiyoruz değil mi?

So that was the reason why I started Todai Robot Project,

Todai Robot Projesini başlatma sebebim buydu.

making an AI which passes the entrance examination

Japonya'nın ilk sıradaki üniversitesi olan

of the University of Tokyo,

Tokyo Üniversitesi'nin giriş sınavını geçen

the top university in Japan.

bir yapay zekâ üretmekti.

This is our Todai Robot.

Bu bizim Todai Robotumuz.

And, of course, the brain of the robot is working in the remote server.

Tabii ki robotun beyni uzak sunucuda çalışıyor.

It is now writing a 600-word essay

17. yüzyılda deniz ticareti üzerine

on maritime trade in the 17th century.

600 kelimelik makale yazabiliyor.

How does that sound?

Bunu duymak nasıl?

Why did I take the entrance exam as its benchmark?

Neden üniersite sınavını baz aldım?

Because I thought we had to study the performance of AI

Çünkü yapay zekânın performansını insana kıyaslayarak

in comparison to humans,

çalışmamız gerektiğini düşündüm,

especially on the skills and expertise

özellikle de sadece insanların

which are believed to be acquired only by humans

ve de sadece eğitimle edinilen

and only through education.

yetenek ve uzmanlıkla.

To enter Todai, the University of Tokyo,

Todai Tokyo Üniversitesi'ne girmek için

you have to pass two different types of exams.

iki farklı sınavı geçmek gerekiyor.

The first one is a national standardized test

İlki ulusal standartta

in multiple-choice style.

çoktan seçmeli bir test.

You have to take seven subjects

Yedi konu seçmeniz

and achieve a high score --

ve yüksek puan almanız gerekir.

I would say like an 85 percent or more accuracy rate --

Todai tarafından hazırlanan

to be allowed to take the second stage written test

ikinci aşamadaki yazılı teste geçmek için

prepared by Todai.

%84 veya daha fazla doğruluk oranı olması gerekir.

So let me first explain how modern AI works,

Şimdi öncelikle modern yapay zekânın nasıl çalıştığını anlatayım.

taking the "Jeopardy!" challenge as an example.

"Riziko" yu örnek alalım.

Here is a typical "Jeopardy!" question:

Tipik bir "Riziko" sorusu:

"Mozart's last symphony shares its name with this planet."

"Mozart'ın son senfonisi bu gezegenle aynı adı taşır."

Interestingly, a "Jeopardy!" question always asks,

İlginçtir, "Riziko" soruları her zaman

always ends with "this" something:

"bu" ile biten sorular sorar:

"this" planet, "this" country,

"bu" gezegen, "bu" ülke,

"this" rock musician, and so on.

"bu" müzik grubu vesaire.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Yani "Riziko" çok çeşitli sorular sormaz,

but a single type,

tek çeşittir,

which we call "factoid questions."

biz buna "sahte soru" diyoruz.

By the way, do you know the answer?

Sırası gelmişken sorayım, cevabı biliyor musunuz?

If you do not know the answer and if you want to know the answer,

Cevabı bilmiyorsanız ve bilmek istiyorsanız

what would you do?

ne yaparsınız?

You Google, right? Of course.

Google'da arardınız değil mi? Kesinlikle.

Why not?

Neden olmasın?

But you have to pick appropriate keywords

Ama araştırmak için "Mozart", "son" ve "senfoni" gibi

like "Mozart," "last" and "symphony" to search.

uygun anahtar kelimeleri bulmak zorundasınız.

The machine basically does the same.

Makine de aslında aynı şeyi yapar.

Then this Wikipedia page will be ranked top.

Sonra en üstte bu Wikipedia sayfası çıkar.

Then the machine reads the page.

Sonra makine sayfayı okur.

No, uh-uh.

Hayır hayır.

Unfortunately, none of the modern AIs,

Maalesef modern yapay zekâların hiçbiri

including Watson, Siri and Todai Robot,

-Watson, Siri ve Todai Robot dahil-

is able to read.

okuyamıyor.

But they are very good at searching and optimizing.

Fakat araştırmak ve bunu en iyi şekilde kullanmakta oldukça iyiler.

It will recognize

"Mozart", "son" ve "senfoni"

that the keywords "Mozart," "last" and "symphony"

gibi anahtar kelimelerin

are appearing heavily around here.

yoğunlaştığı yerleri fark eder.

So if it can find a word which is a planet

Dolayısıyla gezegen adı olan

and which is co-occurring with these keywords,

ve bu anahtar kelimelerle birlikte geçen bir kelime bulabilir,

that must be the answer.

ki cevap budur.

This is how Watson finds the answer "Jupiter," in this case.

Bu örnekte Watson "Jüpiter" cevabını böyle bulur.

Our Todai Robot works similarly, but a bit smarter

Bizim Todai Robotumuz da tarihle ilgili evet-hayır sorularını

in answering history yes-no questions,

cevaplarken benzeri şekilde ama biraz daha zekice çalışır.

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

Mesela "Şarlman Macarları geri püskürttü." cümlesi doğru mu yanlış mı?"

Our robot starts producing a factoid question,

Robotumuz kendi kendine sahte bir soru üretmeye başlar,

like: "Charlemagne repelled [this person type]" by itself.

şunun gibi: "Şarlman [şu kimsleri] geri püskürttü."

Then, "Avars" but not "Magyars" is ranked top.

Sonra, Macarlar değil Avarlar üst sıraya geçer.

This sentence is likely to be false.

Bu cümlenin yanlış olması muhtemeldir.

Our robot does not read, does not understand,

Bizim robotumuz okumaz, anlamaz

but it is statistically correct in many cases.

ama istatistiksel olarak birçok durumda doğrudur.

For the second stage written test,

İkinci aşamadaki yazılı sınavda

it is required to write a 600-word essay like this one:

600 kelimelik şunun gibi bir makale yazmak gerekir.

[Discuss the rise and fall of the maritime trade

[17. yüzyılda Doğu ve Güneydoğu Asya'da

in East and Southeast Asia in the 17th century ...]

deniz ticaretinin iniş ve çıkışlarından bahsedin.]

and as I have shown earlier,

Daha önce gösterdiğim gibi

our robot took the sentences from the textbooks and Wikipedia,

robotumuz ders kitapları ve Wikipedia'dan cümleler alıp

combined them together,

bunları birleştirerek

and optimized it to produce an essay

bir makale oluşturmak üzere düzene soktu,

without understanding a thing.

hem de hiçbir şey anlamaksızın.

(Laughter)

(Kahkahalar)

But surprisingly, it wrote a better essay

Ama şaşırtıcı bir şekilde çoğu öğrenciden

than most of the students.

daha iyi bir makale yazdı.

(Laughter)

(Kahkahalar)

How about mathematics?

Matematikte ne yaptı dersiniz?

A fully automatic math-solving machine

Matematik çözebilen tam otomatik bir makine

has been a dream

"yapay zekâ" tabirinin

since the birth of the word "artificial intelligence,"

doğduğu andan itibaren hayalleri süslemektedir.

but it has stayed at the level of arithmetic for a long, long time.

Fakat çok çok uzun zamandır orta seviyede kalmıştır.

Last year, we finally succeeded in developing a system

Geçen yıl nihayet üniversite hazırlık seviyesinde

which solved pre-university-level problems from end to end,

baştan sona problem çözen bir sistem geliştirdik,

like this one.

tıpkı şunun gibi.

This is the original problem written in Japanese,

Problemin Japonca yazılmış orijinali bu

and we had to teach it 2,000 mathematical axioms

ve ona 2.000 matematik aksiyomu

and 8,000 Japanese words

ve 8.000 Japonca kelime öğretmek zorundaydık.

to make it accept the problems written in natural language.

Böylece doğal dilde yazılmış problemleri tanıyabilecekti.

And it is now translating the original problems

Şimdi ise orijinal problemleri

into machine-readable formulas.

makinenin okuyabildiği formüllere çevirebiliyor.

Weird, but it is now ready to solve it, I think.

Garip ama bence artık bunu çözmeye hazır.

Go and solve it.

Başla ve çöz.

Yes! It is now executing symbolic computation.

Evet! Şu an sembolik bir hesaplama yapıyor.

Even more weird,

Daha da garibi,

but probably this is the most fun part for the machine.

hatta belki de makine için işin en eğlenceli kısmı bu.

(Laughter)

(Gülüşmeler)

Now it outputs a perfect answer,

Şimdi mükemmel bir cevap çıkarıyor,

though its proof is impossible to read, even for mathematicians.

ancak matematikçilerin bile okuması mümkün değil.

Anyway, last year our robot was among the top one percent

Ama yine de robotumuz geçen sene ikinci seviye yazılı matematik sınavında

in the second stage written exam in mathematics.

yüzde birlik kesimin arasındaydı.

(Applause)

(Alkışlar)

Thank you.

Teşekkürler.

So, did it enter Todai?

Todai'ye girdi mi dersiniz?

No, not as I expected.

Hayır, tahminimin aksi oldu.

Why?

Neden mi?

Because it doesn't understand any meaning.

Çünkü hiçbir şey anlamıyordu.

Let me show you a typical error it made in the English test.

İngilizce testinde yapmış olduğu tipik bir hatayı göstereyim.

[Nate: We're almost at the bookstore. Just a few more minutes.

İki kişi konuşuyor: [Nate: Birazdan kitapçıda oluruz.Az kaldı.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil: Bekle. ________. Nate: Teşekkürler! Bu hep oluyor...]

Two people are talking.

İki kişi konuşuyor.

For us, who can understand the situation --

Durumu anlayabilirsek,

[1. "We walked for a long time." 2. "We're almost there."

[1. "Uzun bir süre yürüdük." 2. "Neredeyse geldik."

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. "Ayakkabıların pahalı görünüyor." 4. "Bağcıkların çözülmüş."]

it is obvious number four is the correct answer, right?

doğru cevabın dört numara olduğu belli değil mi?

But Todai Robot chose number two,

Fakat Todai Robot ikinciyi seçti,

even after learning 15 billion English sentences

derin öğrenme teknolojileri kullanarak

using deep learning technologies.

15 milyar İngilizce cümle öğrenmiş olduğu halde.

OK, so now you might understand what I said:

Şimdi ne demek istediğimi anlamış olmalısınız:

modern AIs do not read,

Modern yapay zekâlar okumaz,

do not understand.

anlamazlar.

They only disguise as if they do.

Sadece "mış gibi" yapıyorlar.

This is the distribution graph

Burada Todai Robotuyla aynı sınava giren

of half a million students who took the same exam as Todai Robot.

yarım milyon öğrencinin dağılım grafiğini görüyorsunuz.

Now our Todai Robot is among the top 20 percent,

Todai Robotumuz yüzde yirminin arasında

and it was capable to pass

ve Japonya'daki üniversitelerin

more than 60 percent of the universities in Japan --

%60'ına girebilirdi,

but not Todai.

Todai hariç.

But see how it is beyond the volume zone

Ayrıca beyaz yakalı çalışanları gösteren alanın

of to-be white-collar workers.

ne kadar ötesinde olduğuna bakın.

You might think I was delighted.

Çok sevindiğimi düşünmüş olmalısınız.

After all, my robot was surpassing students everywhere.

Ne de olsa robotum her yerde öğrencileri geçiyordu.

Instead, I was alarmed.

Aksine paniğe kapıldım.

How on earth could this unintelligent machine outperform students --

Nasıl olur da bu akılsız makine öğrencileri, çocuklarımızı

our children?

geçebiliyor?

Right?

Nasıl?

I decided to investigate what was going on in the human world.

İnsan dünyasında neler olduğunu araştırmaya karar verdim.

I took hundreds of sentences from high school textbooks

Lise kitaplarından yüzlerce cümle aldım

and made easy multiple-choice quizzes,

ve çoktan seçmeli kolay testler hazırlayıp

and asked thousands of high school students to answer.

binlerce lise öğrencisinden çözmelerini istedim.

Here is an example:

Örneğe bakalım:

[Buddhism spread to ... , Christianity to ... and Oceania,

[Budizm çoğunlukla Güneydoğu Asya,,, Hristiyanlık Avrupa...,

and Islam to ...]

İslamiyet Güney Afrika'ya yayıldı.]

Of course, the original problems are written in Japanese,

Tabii ki orijinal soru Japonca soruldu,

their mother tongue.

kendi ana dillerinde.

[ ______ has spread to Oceania.

[ _______ Okyanusya'ya yayıldı.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. Hinduizm 2. Hristiyanlık. 3. İslamiyet 4. Budizm]

Obviously, Christianity is the answer, isn't it?

Cevap Hristiyanlık çok net değil mi?

It's written!

Zaten yazıyor.

And Todai Robot chose the correct answer, too.

Todai Robotumuz da doğru cevabı seçti.

But one-third of junior high school students

Fakat öğrencilerin üçte biri

failed to answer this question.

bu soruyu cevaplayamadı.

Do you think it is only the case in Japan?

Sizce sadece Japonya'da mı böyle?

I do not think so,

Sanmıyorum,

because Japan is always ranked among the top in OECD PISA tests,

çünkü Japonya, 15 yaşındaki öğrencilerin

measuring 15-year-old students' performance in mathematics,

matematik, fen ve okuma performanslarını her üç yılda bir ölçen

science and reading

OECD PISA testlerinde her zaman

every three years.

en üst sıralarda yer alır.

We have been believing

Herkesin

that everybody can learn

öğrenebileceğine inanıyoruz,

and learn well,

daha iyi öğrenebilirler

as long as we provide good learning materials

ancak ücretsiz iyi öğrenim materyalleri

free on the web

sunmamız gerekiyor ki

so that they can access through the internet.

internet üzerinden erişebilsinler.

But such wonderful materials may benefit only those who can read well,

Fakat bu muhteşem materyallerin sadece iyi okuyabilenlere yararı olur

and the percentage of those who can read well

ve bu kişilerin sayıları

may be much less than we expected.

tahmin ettiğimizden daha az olabilir.

How we humans will coexist with AI

Biz insanların yapay zekâ ile

is something we have to think about carefully,

bir arada var olmaya nasıl devam edeceği somut verilere dayanarak

based on solid evidence.

dikkatli düşünülmesi gereken bir konu.

At the same time, we have to think in a hurry

Aynı zamanda acele etmeliyiz

because time is running out.

çünkü vaktimiz daralıyor.

Thank you.

Teşekkür ederim.

(Applause)

(Alkışlar)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, teşekkürler.

Noriko Arai: Thank you.

Noriko Arai: Ben teşekkür ederim.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: Anlattıklarınla bize yapay zekâların nasıl düşündüğü, neler yapabildikleri

what they can do amazingly

ve yapamadıklarına dair

and what they can't do.

çok güzel bir anlayış kazandırdın.

But -- do I read you right,

Fakat, seni doğru anladıysam

that you think we really need quite an urgent revolution in education

çocukların insanların yapay zekâlardan daha iyi yapabildiği şeyleri yapması için

to help kids do the things that humans can do better than AIs?

eğitimde çok acil devrime ihtiyacımız olduğunu düşünüyorsun.

NA: Yes, yes, yes.

NA: Evet öyle.

Because we humans can understand the meaning.

Çünkü biz insanlar manayı anlayabiliyoruz.

That is something which is very, very lacking in AI.

İşte bu yapay zekânın en çok yoksun olduğu şey.

But most of the students just pack the knowledge

Fakat çoğu öğrenci, bilgiyi anlamaksızın

without understanding the meaning of the knowledge,

bilgi topluyor,

so that is not knowledge, that is just memorizing,

o zaman bu bilgi değil sadece ezberlemek oluyor

and AI can do the same thing.

ve aynısını yapay zekâ da yapıyor.

So we have to think about a new type of education.

Dolayısıyla yeni bir eğitim modeli düşünmemiz gerekiyor.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Yani ezbere dayalı bilgiden anlamaya geçiş yapmalıyız.

NA: Mm-hmm.

NA: Aynen.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: O halde eğitimcilere zorlu bir görev düşüyor. Çok teşekkürler.

NA: Thank you very much. Thank you.

NA: Ben teşekkür ederim. Teşekkürler.

(Applause)

(Alkışlar)