Can a robot pass a university entrance exam? | Noriko Arai

Fordító: Peter Balla Lektor: Péter Pallós

Mai beszédem témája a mesterséges intelligencia és mi.

Today, I'm going to talk about AI and us.

AI researchers have always said

Az MI-kutatók mindig azt mondták,

that we humans do not need to worry,

hogy nekünk, embereknek nincs miért aggódnunk,

because only menial jobs will be taken over by machines.

mert a gépek csak az alantas munkákat veszik át.

Is that really true?

Ez valóban igaz?

They have also said that AI will create new jobs,

Azt is mondták, hogy az MI új munkahelyeket teremt majd,

so those who lose their jobs will find a new one.

így azok, akik elveszítik a munkájukat, találnak majd újat.

Of course.

Természetesen.

But the real question is:

De a valódi kérdés:

How many of those who may lose their jobs to AI

Azok közül, akik elveszíthetik a munkájukat az MI miatt,

will be able to land a new one,

hányan lesznek képesek újat találni,

especially when AI is smart enough to learn better than most of us?

különösen ha az MI olyan okos, hogy jobban tanul a legtöbbünknél?

Let me ask you a question:

Hadd kérdezzem meg:

How many of you think

Hányan gondolják önök közül,

that AI will pass the entrance examination of a top university by 2020?

hogy 2020-ra az MI bejuthat egy elit egyetem felvételi vizgálján?

Oh, so many. OK.

Ó, ilyen sokan. Rendben.

So some of you may say, "Of course, yes!"

Egyesek tehát azt mondhatják: "Igen, persze!"

Now singularity is the issue.

De a gond a szokatlanság.

And some others may say, "Maybe,

Mások azt mondhatják: "Talán,

because AI already won against a top Go player."

hiszen az MI már egy go játékost is legyőzött."

And others may say, "No, never. Uh-uh."

Megint mások azt mondhatják: "Nem, soha. Nem-nem."

That means we do not know the answer yet, right?

Ez ugye azt jelenti, hogy nem tudjuk a választ.

So that was the reason why I started Todai Robot Project,

Ezért indítottam a Todai robot projektet,

making an AI which passes the entrance examination

hogy készítsünk egy MI-t, amely sikerrel veszi a felvételi vizsgát

a tokiói egyetemen,

of the University of Tokyo,

the top university in Japan.

Japán legjobb egyetemén.

This is our Todai Robot.

Ez a Todai robotunk.

Természetesen a robot agya egy távoli szerveren működik.

And, of course, the brain of the robot is working in the remote server.

It is now writing a 600-word essay

Most egy 600 szavas dolgozatot ír

on maritime trade in the 17th century.

a XVII. századi tengeri kereskedelemről.

Ez hogy hangzik?

How does that sound?

Miért választottam a felvételi vizsgát viszonyítási alapként?

Why did I take the entrance exam as its benchmark?

Mert azt gondoltam, hogy az MI teljesítményét

Because I thought we had to study the performance of AI

in comparison to humans,

az emberrel összehasonlítva kell vizsgálni,

különösen olyan mértékek és szakértelem alapján,

especially on the skills and expertise

which are believed to be acquired only by humans

amelyekről azt hisszük, hogy csak emberek sajátíthatják el

and only through education.

és csak az oktatás során.

To enter Todai, the University of Tokyo,

Ahhoz, hogy bejuttassuk a Todait a tokiói egyetemre,

you have to pass two different types of exams.

két különböző típusú vizsgát kell letenni.

The first one is a national standardized test

Az első egy országosan egységes teszt,

ami feleletválasztós jellegű.

in multiple-choice style.

You have to take seven subjects

Hét tárgyat kell felvenni,

and achieve a high score --

és magas pontszámot elérni,

I would say like an 85 percent or more accuracy rate --

azt mondanám, legalább 84%-os szintet,

to be allowed to take the second stage written test

hogy bekerülhessünk a második körös írásbeli tesztre,

prepared by Todai.

amit a Todai készít.

So let me first explain how modern AI works,

Elmagyarázom először, hogyan működik a modern mesterséges intelligencia,

taking the "Jeopardy!" challenge as an example.

ehhez a "Mindent vagy semmit" kvízt veszem például.

Here is a typical "Jeopardy!" question:

Itt egy tipikus "Mindent vagy semmit" kérdés:

"Mozart's last symphony shares its name with this planet."

"Mozart utolsó szimfóniájának címe ennek a bolygónak a neve."

Interestingly, a "Jeopardy!" question always asks,

Érdekes módon a "Mindent vagy semmit" kérdések

always ends with "this" something:

mindig úgy végződnek, hogy "ennek a" valaminek:

"this" planet, "this" country,

"ennek a" bolygónak, "ennek az" országnak,

"this" rock musician, and so on.

"ennek a" rockzenésznek, és így tovább.

Más szóval, a "Mindent vagy semmit" nem tesz fel sok különböző típusú kérdést,

In other words, "Jeopardy!" doesn't ask many different types of questions,

but a single type,

csak egyféle típusút,

which we call "factoid questions."

amelyeket "tényszerű kérdéseknek" nevezünk.

By the way, do you know the answer?

Amúgy tudják a választ?

If you do not know the answer and if you want to know the answer,

Ha nem tudják a választ, és meg akarják azt tudni,

mit tesznek?

what would you do?

Rágugliznak, ugye? Persze.

You Google, right? Of course.

Why not?

Miért ne?

But you have to pick appropriate keywords

Csak megfelelő kulcsszavakat kell választani a kereséshez,

like "Mozart," "last" and "symphony" to search.

például "Mozart", "utolsó" és "szimfónia".

The machine basically does the same.

Tulajdonképpen a gép is ezt teszi.

Then this Wikipedia page will be ranked top.

Ez a Wikipedia-oldal kerül legfelülre.

Then the machine reads the page.

Aztán a gép elolvassa az oldalt.

No, uh-uh.

Nem, nem.

Unfortunately, none of the modern AIs,

Sajnos egyik modern mesterséges intelligencia sem,

including Watson, Siri and Todai Robot,

a Watson, a Siri és a Todai robot

is able to read.

sem tud olvasni.

But they are very good at searching and optimizing.

De nagyon jók a keresésben és az optimalizálásban.

Felismerik,

It will recognize

that the keywords "Mozart," "last" and "symphony"

hogy a "Mozart", "utolsó" és "szimfónia" kulcsszavak

are appearing heavily around here.

itt fordulnak elő sűrűbben.

So if it can find a word which is a planet

Ha tehát talál egy szót, ami egyben bolygó is,

and which is co-occurring with these keywords,

és ezekkel a kulcsszavakkal együtt fordul elő,

that must be the answer.

az lesz a válasz.

This is how Watson finds the answer "Jupiter," in this case.

Így találja meg a Watson a "Jupiter" választ ebben az esetben.

Our Todai Robot works similarly, but a bit smarter

A Todai robotunk is hasonlóképpen működik, de egy kicsit okosabb

in answering history yes-no questions,

a történelmi igen-nem kérdések megválaszolásában,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

mint például: "Nagy Károly visszaverte a magyarokat. Igaz vagy hamis az állítás?"

Our robot starts producing a factoid question,

A robotunk magától elkezd egy tényszerű kérdést előállítani,

like: "Charlemagne repelled [this person type]" by itself.

mint például: "Nagy Károly visszaverte az [ilyen embereket]"

Then, "Avars" but not "Magyars" is ranked top.

Aztán az "avarok", nem a "magyarok" vannak előre sorolva.

This sentence is likely to be false.

Ez az állítás valószínűleg hamis.

Our robot does not read, does not understand,

A robotunk nem olvas, nem ért,

but it is statistically correct in many cases.

de sok esetben statisztikailag helyesen dönt.

A második körös írásbeli teszt során

For the second stage written test,

it is required to write a 600-word essay like this one:

olyan 600 szavas dolgozatot kell írni, mint például a következő:

[Tárgyalja a tengeri kereskedelem felemelkedését s hanyatlását

[Discuss the rise and fall of the maritime trade

in East and Southeast Asia in the 17th century ...]

a XVII. századi Kelet- és Délkelet-Ázsiában...]

and as I have shown earlier,

és ahogy korábban mutattam,

our robot took the sentences from the textbooks and Wikipedia,

a robotunk vette a tankönyvek és a Wikipedia mondatait,

combined them together,

kombinálta,

majd optimalizálta őket, hogy előállítsa a dolgozatot,

and optimized it to produce an essay

without understanding a thing.

anélkül hogy bármit is értene belőle.

(Nevetés)

(Laughter)

But surprisingly, it wrote a better essay

De meglepetésünkre jobbat írt,

than most of the students.

mint a diákok többsége.

(Laughter)

(Nevetés)

How about mathematics?

Mi van a matematikával?

A fully automatic math-solving machine

A teljesen automatikus matekmegoldó gépről

has been a dream

azóta álmodnak,

since the birth of the word "artificial intelligence,"

mióta a "mesterséges intelligencia" kifejezés megszületett,

but it has stayed at the level of arithmetic for a long, long time.

de hosszú-hosszú ideig ez a számtan szintjén maradt.

Last year, we finally succeeded in developing a system

Tavaly végre sikerült olyan rendszert kifejlesztenünk,

which solved pre-university-level problems from end to end,

amely középiskolai szintű feladatokat oldott meg elejétől végig,

mint például ezt.

like this one.

This is the original problem written in Japanese,

Ez az eredeti feladat japánul,

and we had to teach it 2,000 mathematical axioms

és 2 000 matematikai axiómát

és 8 000 japán szót kellett megtanítanunk neki,

and 8,000 Japanese words

to make it accept the problems written in natural language.

hogy elérjük, hogy elfogadja a természetes nyelven írt feladatokat.

And it is now translating the original problems

Most lefordítja az eredeti feladatokat

into machine-readable formulas.

géppel olvasható képletekké.

Weird, but it is now ready to solve it, I think.

Fura, de azt hiszem, most készen áll a megoldásra.

Go and solve it.

Menj és oldd meg!

Yes! It is now executing symbolic computation.

Igen! Most szimbolikus számításokat hajt végre.

Ez még furább,

Even more weird,

but probably this is the most fun part for the machine.

de valószínűleg a gépnek ez a legszórakoztatóbb rész.

(Laughter)

(Nevetés)

Now it outputs a perfect answer,

Most kiad egy tökéletes választ,

though its proof is impossible to read, even for mathematicians.

de a bizonyítás nem olvasható, még egy matematikusnak sem.

Anyway, last year our robot was among the top one percent

Mindenesetre tavaly a robotunk

in the second stage written exam in mathematics.

a második körös írásbeli matematikavizsgák során a legjobb 1%-ban volt.

(Applause)

(Taps)

Thank you.

Köszönöm.

So, did it enter Todai?

Bejutott-e a Todaira?

No, not as I expected.

Nem, nem az elvárásaim szerint.

Why?

Miért?

Because it doesn't understand any meaning.

Mert nem érti semminek az értelmét.

Let me show you a typical error it made in the English test.

Mutatok egy tipikus hibát, amit az angol nyelvi tesztben ejtett.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Majdnem a könyvesboltnál vagyunk. Már csak pár perc.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil: Várj. ______ . Nate: Köszönöm! Mindig ez történik...]

Two people are talking.

Két ember beszélget.

For us, who can understand the situation --

Nekünk, akik értjük a helyzetet –

[1. "We walked for a long time." 2. "We're almost there."

[1. "Sokat gyalogoltunk." 2. "Majdnem ott vagyunk."

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. "A cipőd drágának tűnik." 4. "Kioldódott a cipőfűződ."]

it is obvious number four is the correct answer, right?

egyértelmű, hogy a négyes a helyes válasz, ugye?

But Todai Robot chose number two,

De a Todai robot a kettest választotta,

even after learning 15 billion English sentences

hiába tanult meg 15 milliárd angol mondatot

mély tanulási technológiával.

using deep learning technologies.

OK, so now you might understand what I said:

Most már lehet, hogy megértik, amit mondtam:

modern AIs do not read,

a modern MI-k nem olvasnak,

és nem értenek.

do not understand.

They only disguise as if they do.

Csak úgy tesznek, mintha.

This is the distribution graph

Ez az eloszlásgörbe mutatja

of half a million students who took the same exam as Todai Robot.

a félmillió diákot, akik ugyanazt a vizsgát tették le, mint a Todai robot.

Now our Todai Robot is among the top 20 percent,

A Todai robotunk a felső 20%-ban van,

and it was capable to pass

és be tudott jutni

more than 60 percent of the universities in Japan --

a japán egyetemek 60%-ába, –

but not Todai.

de a Todaira nem.

De nézzék meg, hogy tett túl

But see how it is beyond the volume zone

a leendő fehérgalléros dolgozók tömegén.

of to-be white-collar workers.

Gondolhatnák, hogy el voltam ragadtatva.

You might think I was delighted.

After all, my robot was surpassing students everywhere.

Végül is, robotom mindenütt megelőzött diákokat.

De én megriadtam.

Instead, I was alarmed.

Hogy a csudába tudott az unintelligens gép túltenni a diákokon,

How on earth could this unintelligent machine outperform students --

our children?

a gyerekeinken?

Igazam van?

Right?

Elhatároztam, hogy kivizsgálom, mi történik az emberi világban.

I decided to investigate what was going on in the human world.

I took hundreds of sentences from high school textbooks

Több száz mondatot kerestem ki középiskolai tankönyvekből,

and made easy multiple-choice quizzes,

könnyű feleletválasztós kvízkérdéseket készítettem,

and asked thousands of high school students to answer.

és több ezer középiskolást kértem meg, hogy válaszoljon rájuk.

Here is an example:

Itt egy példa:

[Buddhism spread to ... , Christianity to ... and Oceania,

[A buddhizmus elterjedt... , a kereszténység... és Óceániában,

and Islam to ...]

az iszlám pedig ...]

Of course, the original problems are written in Japanese,

Az eredeti feladatok természetesen japánul voltak leírva,

their mother tongue.

az anyanyelvükön.

[ ______ has spread to Oceania.

[ A _____ elterjedt Óceániában.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1 hinduizmus 2 kereszténység 3 iszlám 4 buddhizmus]

Obviously, Christianity is the answer, isn't it?

Nyilvánvalóan a kereszténység a válasz, ugye?

Oda van írva!

It's written!

And Todai Robot chose the correct answer, too.

A Todai robot is a helyes választ jelölte meg.

But one-third of junior high school students

De a fiatal középiskolások egyharmada

failed to answer this question.

nem tudta megválaszolni a kérdést.

Do you think it is only the case in Japan?

Gondolják, hogy ez csak Japánban van így?

I do not think so,

Nem hiszem,

because Japan is always ranked among the top in OECD PISA tests,

mert az OECD PISA-teszteken Japán mindig az élen végez.

Ez a 15 éves diákok teljesítményét méri matematikából,

measuring 15-year-old students' performance in mathematics,

science and reading

természettudományokból és olvasásból,

every three years.

és háromévente ismétlik.

We have been believing

Azt hittük,

that everybody can learn

hogy mindenki tud tanulni

and learn well,

és jól tanulni,

as long as we provide good learning materials

amennyiben jó tananyagokat biztosítunk

free on the web

ingyenesen a weben,

so that they can access through the internet.

hogy elérhessék az interneten keresztül.

But such wonderful materials may benefit only those who can read well,

De a csodálatos anyagok csak azoknak hasznosak, akik jól tudnak olvasni,

and the percentage of those who can read well

és azok százalékos aránya, akik jól tudnak olvasni,

may be much less than we expected.

lehet, hogy sokkal kisebb az általunk elvártnál.

Azt, hogy mi, emberek hogyan éljünk együtt az MI-vel,

How we humans will coexist with AI

is something we have to think about carefully,

alaposan meg kell fontolnunk,

based on solid evidence.

megbízható bizonyítékok alapján.

Ugyanakkor sietnünk kell a megfontolással,

At the same time, we have to think in a hurry

mert kifutunk az időből.

because time is running out.

Köszönöm.

Thank you.

(Applause)

(Taps)

Chris Anderson: Noriko, thank you.

Chris Anderson: Köszönöm, Noriko.

Noriko Arai: Thank you.

Noriko Akai: Köszönöm.

CA: A beszédében csodálatosan érzékeltette velünk, hogyan gondolkodik az MI,

CA: In your talk, you so beautifully give us a sense of how AIs think,

what they can do amazingly

mit tud bámulatosan csinálni,

és mit nem.

and what they can't do.

But -- do I read you right,

De jól értem önt,

that you think we really need quite an urgent revolution in education

hogy azt gondolja, eléggé sürgősen forradalmasítanunk kell az oktatást,

to help kids do the things that humans can do better than AIs?

olyan dolgokhoz segítve a gyerekeket, amiben az emberek jobbak az MI-nél?

NA: Yes, yes, yes.

NA: Igen, igen, igen.

Mert mi emberek értjük az értelmét.

Because we humans can understand the meaning.

Ez olyan valami, ami nagyon-nagyon hiányzik a mesterséges intelligenciából.

That is something which is very, very lacking in AI.

De a legtöbb diák csak bezsebeli a tudást,

But most of the students just pack the knowledge

without understanding the meaning of the knowledge,

anélkül, hogy fölfogná a tudás értelmét,

so that is not knowledge, that is just memorizing,

így az nem is tudás, csak memorizálás,

and AI can do the same thing.

és azt az MI is meg tudja csinálni.

So we have to think about a new type of education.

Tehát egy újfajta oktatáson kell gondolkodnunk.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Elmozdulás a tudástól, a gépies tudástól az értelem felé.

NA: Mm-hmm.

NA: Igen.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Ez kihívás az oktatóknak. Köszönöm szépen.

NA: Nagyon szépen köszönöm.

NA: Thank you very much. Thank you.

(Applause)

(Taps)