Can a robot pass a university entrance exam? | Noriko Arai

Prevoditelj: Senzos Osijek Recezent: Sanda L

Today, I'm going to talk about AI and us.

Danas ću govoriti o nama i umjetnoj inteligenciji.

AI researchers have always said

Istraživači umjetne inteligencije uvijek govore

that we humans do not need to worry,

da se mi ljudi ne trebamo brinuti

because only menial jobs will be taken over by machines.

jer će strojevi preuzeti jedino teške, slabo plaćene poslove.

Is that really true?

Je li to zaista istina?

They have also said that AI will create new jobs,

Također govore da će roboti stvoriti nova radna mjesta,

so those who lose their jobs will find a new one.

tako da oni koji izgube posao, mogu pronaći novi.

Of course.

Naravno.

But the real question is:

No, pravo je pitanje koje se postavlja:

How many of those who may lose their jobs to AI

Koliko će onih koji zbog robota izgube posao

will be able to land a new one,

biti u mogućnosti ponovno se zaposliti,

especially when AI is smart enough to learn better than most of us?

pogotovo kad su roboti dovoljno pametni da mogu učiti bolje od većine nas?

Let me ask you a question:

Da vas pitam:

How many of you think

Koliko vas misli

that AI will pass the entrance examination of a top university by 2020?

da će do 2020. g. robot moći riješiti prijemni ispit vrhunskog sveučilišta?

Oh, so many. OK.

Tako mnogo. OK.

So some of you may say, "Of course, yes!"

Dakle, neki će od vas reći: “Naravno, da!”

Now singularity is the issue.

Problem je jedinstvenost.

And some others may say, "Maybe,

Neki drugi reći će: “Možda bi mogao,

because AI already won against a top Go player."

jednom je već pobijedio najboljeg igrača igrice Go.”

And others may say, "No, never. Uh-uh."

A ostali će reći: “Ne, nikad. A-a.”

That means we do not know the answer yet, right?

To znači da još ne znamo odgovor, zar ne?

So that was the reason why I started Todai Robot Project,

Dakle, to je razlog zbog kojega sam započela projekt Todai Robot,

making an AI which passes the entrance examination

tvoreći robota s umjetnom inteligencijom koji će moći položiti prijemni ispit

of the University of Tokyo,

na Sveučilištu u Tokiju,

the top university in Japan.

najboljem japanskom sveučilištu.

This is our Todai Robot.

Ovo je naš robot Todai.

And, of course, the brain of the robot is working in the remote server.

Naravno, njegov mozak radi preko udaljenog servera.

It is now writing a 600-word essay

Trenutno piše 600 riječi dugačak esej

on maritime trade in the 17th century.

o pomorskoj trgovini u 17. stoljeću.

How does that sound?

Kako vam to zvuči?

Why did I take the entrance exam as its benchmark?

Zašto sam uzela prijemni ispit kao mjerilo?

Because I thought we had to study the performance of AI

Zato što sam smatrala da moramo proučiti izvedbu umjetne inteligencije

in comparison to humans,

u usporedbi s ljudima,

especially on the skills and expertise

pogotovo u vještinama i znanju

which are believed to be acquired only by humans

za koje se smatra da ih mogu steći samo ljudi

and only through education.

i to samo kroz obrazovanje.

To enter Todai, the University of Tokyo,

Za upis na Todai, Sveučilište u Tokiju,

you have to pass two different types of exams.

potrebno je proći dva tipa ispita.

The first one is a national standardized test

Prvi je test standardizirani

in multiple-choice style.

s više mogućih odgovora.

You have to take seven subjects

Potrebno je položiti sedam predmeta

and achieve a high score --

i ostvariti visok rezultat --

I would say like an 85 percent or more accuracy rate --

rekla bih, uz točnost od oko 85% ili više,

to be allowed to take the second stage written test

da bi se moglo pristupiti drugom, pisanom dijelu ispita,

prepared by Todai.

koji priprema Sveučilište.

So let me first explain how modern AI works,

Objasnit ću vam kako funkcionira današnja umjetna inteligencija

taking the "Jeopardy!" challenge as an example.

na primjeru kviza Jeopardy.

Here is a typical "Jeopardy!" question:

Ovo je tipično pitanje i kvizu:

"Mozart's last symphony shares its name with this planet."

“Posljednja Mozartova simfonija dijeli ime s ovim planetom.”

Interestingly, a "Jeopardy!" question always asks,

Zanimljivo, pitanja tog kviza

always ends with "this" something:

uvijek završavaju riječju “ovaj”,

"this" planet, "this" country,

ovaj planet, ova država,

"this" rock musician, and so on.

ovaj glazbenik itd.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Drugim riječima, Jeopardy ne postavlja mnogo različitih tipova pitanja,

but a single type,

već uvijek isti tip,

which we call "factoid questions."

koji zovemo “pitanja o činjenicama”.

By the way, do you know the answer?

Kad već spominjemo, znate li odgovor?

If you do not know the answer and if you want to know the answer,

Kad ne biste znali odgovor, a htjeli biste ga znati,

what would you do?

što biste učinili?

You Google, right? Of course.

Potražili na Googleu, zar ne? Naravno.

Why not?

Zašto ne?

But you have to pick appropriate keywords

Ali za pretragu morate odabrati prikladne ključne riječi,

like "Mozart," "last" and "symphony" to search.

kao što su “Mozart”, “posljednja” i “simfonija”.

The machine basically does the same.

Stroj radi praktički isto to.

Then this Wikipedia page will be ranked top.

Onda vam se na vrhu pojavi ova stranica s Wikipedije.

Then the machine reads the page.

Onda robot pročita tu stranicu.

No, uh-uh.

Ne, a-a.

Unfortunately, none of the modern AIs,

Nažalost, nijedan moderni robot,

including Watson, Siri and Todai Robot,

ni Watson, ni Siri, ni Todai,

is able to read.

ne može čitati.

But they are very good at searching and optimizing.

Ali, poprilično su dobri u pretraživanju i prilagođavanju.

It will recognize

Prepoznat će

that the keywords "Mozart," "last" and "symphony"

da se ključne riječi “Mozart”, “posljednja” i “simfonija”

are appearing heavily around here.

često pojavljuju na toj stranici.

So if it can find a word which is a planet

Ako pronađe riječ čije je značenje planet

and which is co-occurring with these keywords,

i koja se pojavljuje zajedno s tim ključnim riječima,

that must be the answer.

mora da je to onda odgovor.

This is how Watson finds the answer "Jupiter," in this case.

Tako Watson u ovom slučaju pronađe odgovor “Jupiter”.

Our Todai Robot works similarly, but a bit smarter

Todai robot radi na sličan način, ali je čak i pametniji

in answering history yes-no questions,

kad odgovara pitanja iz povijesti s mogućim odgovorima DA i NE.

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

Npr.: “Karlo Veliki protjerao je Mađare. Je li ova izjava istinita ili ne?”

Our robot starts producing a factoid question,

Naš robot počne to pretvarati u činjenično pitanje,

like: "Charlemagne repelled [this person type]" by itself.

poput: "Karlo Veliki protjerao je [ovaj narod]".

Then, "Avars" but not "Magyars" is ranked top.

Pri vrhu rezultata pojavi se riječ Avari, a ne Mađari.

This sentence is likely to be false.

Onda je velika vjerojatnost da je rečenica bila neistinita.

Our robot does not read, does not understand,

Naš robot ne može čitati niti razumjeti,

but it is statistically correct in many cases.

ali je statistički u mnogim slučajevima u pravu.

For the second stage written test,

U drugom dijelu ispita

it is required to write a 600-word essay like this one:

potrebno je napisati esej od 600 riječi prema ovom principu:

[Discuss the rise and fall of the maritime trade

[Objasni uspone i padove pomorske trgovine

in East and Southeast Asia in the 17th century ...]

u istočnoj i jugoistočnoj Aziji u 17. stoljeću ...]

and as I have shown earlier,

Kao što sam već pokazala,

our robot took the sentences from the textbooks and Wikipedia,

robot je preuzeo rečenice iz udžbenika i s Wikipedije,

combined them together,

udružio ih

and optimized it to produce an essay

i prilagodio ih tako da se može napisati esej,

without understanding a thing.

a da zapravo ništa nije razumio.

(Laughter)

(Smijeh)

But surprisingly, it wrote a better essay

Začudo, napisao je esej bolje

than most of the students.

nego većina studenata.

(Laughter)

(Smijeh)

How about mathematics?

A što je s matematikom?

A fully automatic math-solving machine

Stroj koji će potpuno samostalno rješavati matematičke zadatke

has been a dream

san je mnogih

since the birth of the word "artificial intelligence,"

od samih početaka razvitka umjetne inteligencije,

but it has stayed at the level of arithmetic for a long, long time.

ali dugo je vremena stagnirao na razini aritmetike.

Last year, we finally succeeded in developing a system

Prošle smo godine konačno uspjeli razviti sustav

which solved pre-university-level problems from end to end,

koji može od početka do kraja riješiti zadatke potrebne za upis na fakultet,

like this one.

poput ovoga.

This is the original problem written in Japanese,

Ovo je izvorni zadatak napisan na japanskom.

and we had to teach it 2,000 mathematical axioms

Morali smo ga naučiti 2000 aksioma

and 8,000 Japanese words

i 8000 japanskih riječi

to make it accept the problems written in natural language.

kako bi mogao prepoznati zadatke napisane običnim jezikom.

And it is now translating the original problems

Sada može prevesti izvorne zadatke

into machine-readable formulas.

u formule koje računalo može pročitati.

Weird, but it is now ready to solve it, I think.

Mislim da je sada spreman riješiti ih.

Go and solve it.

Hajde, riješi ih.

Yes! It is now executing symbolic computation.

To! Sada računa i pretvara simbole.

Even more weird,

Vrlo neobično,

but probably this is the most fun part for the machine.

ali ovo je vjerojatno najzabavniji dio.

(Laughter)

(Smijeh)

Now it outputs a perfect answer,

Sada je izbacio savršeno točan odgovor,

though its proof is impossible to read, even for mathematicians.

iako bi izvod i dokaz i matematičarima bilo teško pročitati.

Anyway, last year our robot was among the top one percent

Kako god, prošle je godine naš robot bio među najboljih 1%

in the second stage written exam in mathematics.

u drugom dijelu pisanog ispita iz matematike.

(Applause)

(Pljesak)

Thank you.

Hvala.

So, did it enter Todai?

I, je li upisao fakultet?

No, not as I expected.

Ne, iako sam očekivala da hoće.

Why?

Zašto?

Because it doesn't understand any meaning.

Jer ne razumije nikakva značenja.

Let me show you a typical error it made in the English test.

Pokazat ću vam tipičnu pogrešku koju je radio na ispitu iz engleskog.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Uskoro smo u knjižari. Još samo nekoliko minuta.]

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

[Sunil: Čekaj. ______ . Nate: Hvala! To se uvijek događa ...]

Two people are talking.

Dvoje ljudi razgovara.

For us, who can understand the situation --

Za nas koji možemo razumjeti situaciju --

[1. "We walked for a long time." 2. "We're almost there."

[1. "Dugo već hodamo." 2. "Uskoro smo tamo."

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. "Cipele ti izgledaju skupo." 4. "Odvezala ti se vezica."]

it is obvious number four is the correct answer, right?

očito je da je točan odgovor pod brojem 4, zar ne?

But Todai Robot chose number two,

No, robot je izabrao broj 2,

even after learning 15 billion English sentences

čak i nakon što je naučio 15 milijardi rečenica

using deep learning technologies.

koristeći napredne tehnologije učenja.

OK, so now you might understand what I said:

U redu, sad možete razumjeti moju izjavu

modern AIs do not read,

kako roboti ne čitaju,

do not understand.

ne razumiju.

They only disguise as if they do.

Samo se pretvaraju da to mogu.

This is the distribution graph

Ovo je graf distribucije

of half a million students who took the same exam as Todai Robot.

rezultata pola milijuna studenata koji su pisali isti ispit kao i robot.

Now our Todai Robot is among the top 20 percent,

Robot je u najboljih 20 posto

and it was capable to pass

i uspio je proći ispit

more than 60 percent of the universities in Japan --

na više od 60 posto sveučilišta u Japanu,

but not Todai.

ali ne u Tokiju.

But see how it is beyond the volume zone

No, vidimo da se nalazi iznad područja

of to-be white-collar workers.

gdje su budući zaposlenici na “finim uredskim poslovima”.

You might think I was delighted.

Mogli biste pomisliti da sam bila presretna.

After all, my robot was surpassing students everywhere.

Naposlijetku, moj je robot nadmašio velik broj studenata.

Instead, I was alarmed.

Nasuprot, bila sam uznemirena.

How on earth could this unintelligent machine outperform students --

Kako je uopće moguće da ovakav neinteligentni stroj nadmaši studente,

our children?

našu djecu?

Right?

Zar ne?

I decided to investigate what was going on in the human world.

Odlučila sam istražiti što se to događa s ljudima.

I took hundreds of sentences from high school textbooks

Uzela sam stotine rečenica iz srednjoškolskih udžbenika

and made easy multiple-choice quizzes,

i sastavila jednostavne ispite na zaokruživanje

and asked thousands of high school students to answer.

te dala tisućama srednjoškolaca da riješe.

Here is an example:

Evo jedan primjer:

[Buddhism spread to ... , Christianity to ... and Oceania,

[Budizam se proširio na... kršćanstvo na ... i Oceaniju,

and Islam to ...]

a islam na...]

Of course, the original problems are written in Japanese,

Naravno, pitanja su bila napisana na japanskom,

their mother tongue.

njihovom materinjem jeziku.

[ ______ has spread to Oceania.

[____ se proširilo na Oceaniju.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. hinduizam 2. kršćanstvo 3. islam 4. budizam]

Obviously, Christianity is the answer, isn't it?

Očito je da je kršćanstvo točan odgovor, zar ne?

It's written!

Pa napisano je!

And Todai Robot chose the correct answer, too.

I robot je izabrao točan odgovor,

But one-third of junior high school students

ali trećina učenika prve godine srednje škole

failed to answer this question.

nije znala odgovoriti na pitanje.

Do you think it is only the case in Japan?

Mislite li da se to događa samo u Japanu?

I do not think so,

Ne bih baš rekla

because Japan is always ranked among the top in OECD PISA tests,

jer je Japan uvijek bio među najboljima na OECD PISA testovima,

measuring 15-year-old students' performance in mathematics,

koji ocjenjuju petnaestogodišnje učenike u matematici,

science and reading

znanosti i čitanju,

every three years.

svake tri godine.

We have been believing

Vjerovali smo

that everybody can learn

da svatko može učiti

and learn well,

i dobro naučiti

as long as we provide good learning materials

ako pružimo dobre materijale

free on the web

besplatno na internetu,

so that they can access through the internet.

tako da su lako dostupni.

But such wonderful materials may benefit only those who can read well,

No, svi ti dobri materijali mogu koristiti samo onima koji mogu dobro čitati,

and the percentage of those who can read well

a postotak onih koji to mogu

may be much less than we expected.

mogao bi biti mnogo manji nego što smo očekivali.

How we humans will coexist with AI

Kako će ljudi koegzistirati s umjetnom inteligencijom,

is something we have to think about carefully,

pitanje je koje trebamo dobro razmotriti

based on solid evidence.

i bazirati na čvrstim dokazima.

At the same time, we have to think in a hurry

Istovremeno, moramo razmišljati u žurbi

because time is running out.

jer vremena je sve manje.

Thank you.

Hvala vam.

(Applause)

(Pljesak)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, hvala Vam.

Noriko Arai: Thank you.

Noriko Arai: Hvala Vama.

CA: In your talk, you so beautifully give us a sense of how AIs think,

Chris: Tijekom govora odlično ste nam prikazali kako roboti razmišljaju,

what they can do amazingly

što rade izvrsno,

and what they can't do.

a što ne mogu raditi.

But -- do I read you right,

Ali, jesam li dobro shvatio

that you think we really need quite an urgent revolution in education

da mislite kako zaista trebamo hitne promjene u obrazovanju

to help kids do the things that humans can do better than AIs?

kako bi djecu bolje naučili raditi stvari koje ljudi već rade bolje od robota?

NA: Yes, yes, yes.

Noriko: Da, da, da.

Because we humans can understand the meaning.

Jer mi ljudi možemo razumjeti značenja.

That is something which is very, very lacking in AI.

To je nešto što jako nedostaje u umjetnoj inteligenciji.

But most of the students just pack the knowledge

Ali, većina studenata samo “spremi” znanje,

without understanding the meaning of the knowledge,

a da ne razumije značenje gradiva,

so that is not knowledge, that is just memorizing,

dakle, to uopće nije pravo znanje, već samo memoriranje,

and AI can do the same thing.

a to mogu i roboti.

So we have to think about a new type of education.

Dakle, moramo smisliti novi oblik edukacije.

CA: A shift from knowledge, rote knowledge, to meaning.

Chris: Zamijeniti učenje napamet razumijevanjem.

NA: Mm-hmm.

Noriko: Da.

CA: Well, there's a challenge for the educators. Thank you so much.

Chris: Onda imamo izazov za profesore. Hvala Vam puno.

NA: Thank you very much. Thank you.

Noriko: Hvala Vama. Hvala.

(Applause)

(Pljesak)