Can a robot pass a university entrance exam? | Noriko Arai

Translator: Vladimíra Molčanová Reviewer: Lucia Lutzová

Dnes budem hovoriť o umelej inteligencii a o nás.

Today, I'm going to talk about AI and us.

AI researchers have always said

Výskumníci UI vždy tvrdili,

that we humans do not need to worry,

že ľudia sa nemusia báť,

because only menial jobs will be taken over by machines.

pretože len podradné práce budú prebrané strojmi.

Is that really true?

Je to naozaj pravda?

They have also said that AI will create new jobs,

Taktiež tvrdili, že UI vytvorí nové zamestnania tak,

so those who lose their jobs will find a new one.

aby si tí, čo stratili prácu, mohli nájsť novú.

Samozrejme.

Of course.

But the real question is:

Skutočná otázka je:

How many of those who may lose their jobs to AI

Koľkí z tých, čo môžu prísť o prácu kvôli UI,

will be able to land a new one,

budú schopní nájsť si novú,

especially when AI is smart enough to learn better than most of us?

hlavne, keď je UI dosť inteligentná na to, aby sa učila lepšie než väčšina z nás?

Let me ask you a question:

Niečo sa vás spýtam:

How many of you think

Koľkí z vás si myslia,

that AI will pass the entrance examination of a top university by 2020?

že do roku 2020 UI prejde prijímacími skúškami na top univerzitu?

Oh, so many. OK.

Ó, až toľkí. OK.

So some of you may say, "Of course, yes!"

Niektorí z vás si povedia: „Samozrejme, že áno!“

Now singularity is the issue.

Problémom je jedinečnosť.

And some others may say, "Maybe,

A niektorí iní si povedia,

„Možno, pretože UI už vyhrala nad top Go (hra z Číny) hráčom.“

because AI already won against a top Go player."

And others may say, "No, never. Uh-uh."

A iní povedia, „Nie, nikdy.“

That means we do not know the answer yet, right?

To znamená, že ešte nevieme odpoveď, že?

So that was the reason why I started Todai Robot Project,

To bol dôvod, prečo som založila Todai Robot Project

making an AI which passes the entrance examination

na výrobu UI, ktorá prejde prijímacími skúškami

of the University of Tokyo,

Tokijskej Univerzity,

the top university in Japan.

top univerzity v Japonsku.

This is our Todai Robot.

Toto je náš Todai Robot.

And, of course, the brain of the robot is working in the remote server.

A samozrejme, mozog robota funguje na diaľkovom serveri.

It is now writing a 600-word essay

Momentálne píše 600-slovnú esej

on maritime trade in the 17th century.

o námornom obchodovaní v 17. storočí.

How does that sound?

Ako to znie?

Why did I take the entrance exam as its benchmark?

Prečo som brala prijímacie skúšky ako jeho štandard?

Because I thought we had to study the performance of AI

Pretože som si myslela, že je potrebné študovať výkon UI

in comparison to humans,

v porovnaní s ľuďmi,

especially on the skills and expertise

hlavne na mierkach a expertízach,

which are believed to be acquired only by humans

pri ktorých veríme, že sú nadobudnuté iba ľuďmi

and only through education.

a len cez vzdelanie.

To enter Todai, the University of Tokyo,

Na nástup na Todai, Tokijskú Univerzitu,

you have to pass two different types of exams.

musíte prejsť dvoma rôznymi typmi skúšok.

The first one is a national standardized test

Prvá je národný štandardizovaný test

in multiple-choice style.

v štýle viacnásobných možností.

You have to take seven subjects

Musíte podstúpiť test zo siedmich predmetov

and achieve a high score --

a dosiahnuť vysoké skóre;

I would say like an 85 percent or more accuracy rate --

povedala by som približne 85 %, alebo vyššie;

to be allowed to take the second stage written test

aby vám dovolili podstúpiť písomku v druhom kole,

prepared by Todai.

pripravenú univerzitou Todai.

So let me first explain how modern AI works,

Dovoľte mi najprv vysvetliť, ako funguje moderná UI

taking the "Jeopardy!" challenge as an example.

a za príklad si zoberieme „Jeopardy!“ (americká výherná šou).

Here is a typical "Jeopardy!" question:

Typická otázka v tejto relácii je:

"Mozart's last symphony shares its name with this planet."

„Mozartova posledná symfónia sa volá tak isto, ako táto planéta.“

Interestingly, a "Jeopardy!" question always asks,

Zaujímavé je, že takéto otázky

always ends with "this" something:

vždy končia s „toto“ niečo:

"this" planet, "this" country,

táto planéta, táto krajina,

"this" rock musician, and so on.

tento rockový muzikant atď.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Inými slovami, „Jeopardy!“ sa nepýta veľa rôznych typov otázok,

but a single type,

len jeden typ,

which we call "factoid questions."

ktorý nazývame „faktoídne otázky“.

By the way, do you know the answer?

Mimochodom, viete odpoveď?

If you do not know the answer and if you want to know the answer,

Pokiaľ neviete odpoveď a chcete sa ju dozvedieť,

what would you do?

čo by ste urobili?

You Google, right? Of course.

Vygúglili by ste si to, že? Samozrejme.

Why not?

Prečo nie?

But you have to pick appropriate keywords

Avšak musíte si na vyhľadávanie vybrať vhodné kľúčové slovíčka,

like "Mozart," "last" and "symphony" to search.

ako „Mozart“, „posledná“ a „symfónia“.

The machine basically does the same.

Stroj v podstate robí to isté.

Then this Wikipedia page will be ranked top.

Následne bude konkrétna stránka na Wikipedii prvá v poradí.

Then the machine reads the page.

Potom si stroj tú stránku prečíta.

No, uh-uh.

Nie, to sa nestane.

Unfortunately, none of the modern AIs,

Bohužiaľ, žiadne z moderných UI,

including Watson, Siri and Todai Robot,

vrátane Watson, Siri a Todai Robota,

is able to read.

nie sú schopné čítať.

But they are very good at searching and optimizing.

Ale sú veľmi dobré vo vyhľadávaní a optimalizácií.

It will recognize

Rozpozná, že kľúčové slová

that the keywords "Mozart," "last" and "symphony"

„Mozart“, „posledná“ a „symfónia“

are appearing heavily around here.

sa tu často objavujú.

So if it can find a word which is a planet

Takže pokiaľ vie nájsť slovo, ktoré je planéta,

and which is co-occurring with these keywords,

a ktoré sa objavuje spolu s týmito kľúčovými slovami,

that must be the answer.

to musí byť tá odpoveď.

This is how Watson finds the answer "Jupiter," in this case.

V tomto prípade nájde takto Watson odpoveď „Jupiter“.

Our Todai Robot works similarly, but a bit smarter

Náš Todai Robot pracuje podobne,

ale trochu chytrejšie pri odpovedaní áno/nie otázok,

in answering history yes-no questions,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

ako napr. „Karol Veľký zahnal Maďarov. Je táto veta správna, alebo nesprávna?“

Our robot starts producing a factoid question,

Náš robot začne produkovať faktoidnú otázku,

napr. „Karol Veľký zahnal [tento typ ľudí]“ sám od seba.

like: "Charlemagne repelled [this person type]" by itself.

Then, "Avars" but not "Magyars" is ranked top.

Následne „Avari“, ale nie „Maďari“ sú vyššie zaradení.

This sentence is likely to be false.

Táto veta bude pravdepodobne nesprávna.

Our robot does not read, does not understand,

Náš robot nevie čítať a nevie chápať,

but it is statistically correct in many cases.

ale štatisticky má pravdu vo veľa prípadoch.

For the second stage written test,

Na písomku v druhom kole

it is required to write a 600-word essay like this one:

je potrebné napísať 600-slovnú esej ako je táto:

[Discuss the rise and fall of the maritime trade

[Popíšte vzostup a pád

námorného obchodu v Ázii v 17. storočí...]

in East and Southeast Asia in the 17th century ...]

A ako som predtým ukázala,

and as I have shown earlier,

náš robot vybral vety z učebníc a z Wikipédie,

our robot took the sentences from the textbooks and Wikipedia,

combined them together,

skombinoval ich

and optimized it to produce an essay

a optimalizoval ich na výrobu eseje,

without understanding a thing.

bez toho aby niečo chápal.

(Laughter)

(smiech)

But surprisingly, it wrote a better essay

Avšak prekvapivo napísal lepšiu esej

than most of the students.

než väčšina študentov.

(Laughter)

(smiech)

How about mathematics?

A čo matematika?

A fully automatic math-solving machine

Kompletne automatizovaný stroj na riešenie matematických problémov

has been a dream

bol snom od vzniku slovného spojenia

since the birth of the word "artificial intelligence,"

umelá inteligencia,

but it has stayed at the level of arithmetic for a long, long time.

ale veľmi dlho zostal len na stupni aritmetiky.

Last year, we finally succeeded in developing a system

Minulý rok sme konečne uspeli vo vyvinutí systému,

which solved pre-university-level problems from end to end,

ktorý vyrieši problémy na pred-univerzitnej úrovni

od začiatku do konca, napríklad tento.

like this one.

This is the original problem written in Japanese,

Toto je originálny problém napísaný po japonsky

and we had to teach it 2,000 mathematical axioms

a museli sme ho naučiť 2000 matematických princípov

and 8,000 Japanese words

a 8000 japonských slov na to,

to make it accept the problems written in natural language.

aby prijal problémy písané prirodzenou rečou.

And it is now translating the original problems

Teraz môže preložiť originálne problémy

into machine-readable formulas.

na strojom čitateľné rovnice.

Weird, but it is now ready to solve it, I think.

Je to divné, ale myslím si, že teraz je pripravený ich vyriešiť.

Go and solve it.

Choď a vyrieš to.

Yes! It is now executing symbolic computation.

Áno! Momentálne vykonáva symbolický výpočet.

Even more weird,

Je to ešte viac divné,

but probably this is the most fun part for the machine.

ale toto je pravdepodobne najzábavnejšia časť pre stroj.

(Laughter)

(smiech)

Now it outputs a perfect answer,

Teraz vyrába presnú odpoveď,

though its proof is impossible to read, even for mathematicians.

aj keď dôkaz tohoto je nemožné prečítať, aj pre matematikov.

Anyway, last year our robot was among the top one percent

Každopádne, minulý rok bol náš robot medzi prvým percentom

in the second stage written exam in mathematics.

v druhom kole písomky z matematiky.

(Applause)

(potlesk)

Thank you.

Ďakujem.

So, did it enter Todai?

Takže, nastúpil na Tokijskú Univerzitu?

No, not as I expected.

Nie, nie ako by som predpokladala.

Why?

Prečo?

Because it doesn't understand any meaning.

Pretože nerozumie žiadnemu významu.

Let me show you a typical error it made in the English test.

Ukážem vám typickú chybu, ktorú robil na anglickom teste.

[Nate: We're almost at the bookstore. Just a few more minutes.

Dvaja ľudia sa zhovárajú.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Two people are talking.

Pre nás, pretože situáciu chápeme,

For us, who can understand the situation --

[1. "We walked for a long time." 2. "We're almost there."

je očividne správna odpoveď číslo štyri, však?

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

it is obvious number four is the correct answer, right?

Avšak Todai robot vybral číslo dva,

But Todai Robot chose number two,

even after learning 15 billion English sentences

aj potom čo sa naučil 15 biliónov anglických viet,

using deep learning technologies.

za použitia technológií hlbokého učenia.

OK, so now you might understand what I said:

Možno teraz chápete čo som predtým povedala:

modern AIs do not read,

moderné UI nevedia čítať

do not understand.

a nevedia chápať.

They only disguise as if they do.

Len sa tvária, že áno.

This is the distribution graph

Toto je distribučný graf

of half a million students who took the same exam as Todai Robot.

pol milióna študentov, ktorí podstúpili ten istý test ako náš Todai Robot.

Now our Todai Robot is among the top 20 percent,

Náš Todai Robot je v top 20 percentách

and it was capable to pass

a bol schopný prejsť skúškami

more than 60 percent of the universities in Japan --

na viac než 60 percent japonských univerzít,

but not Todai.

ale nie na Tokijskú Univerzitu.

But see how it is beyond the volume zone

Ale vidíte ako ďaleko je za objemovou zónou

of to-be white-collar workers.

budúcich úradníkov.

You might think I was delighted.

Možno si myslíte, že ma to potešilo.

After all, my robot was surpassing students everywhere.

Napokon, môj robot predbehol študentov všade.

Instead, I was alarmed.

Namiesto toho som bola znepokojená.

How on earth could this unintelligent machine outperform students --

Ako mohol tento neinteligentný stroj prekonať študentov,

our children?

naše deti?

Right?

Však?

I decided to investigate what was going on in the human world.

Rozhodla som sa prešetriť, čo sa deje v ľudskom svete.

I took hundreds of sentences from high school textbooks

Vybrala som stovky viet zo stredoškolských učebníc

and made easy multiple-choice quizzes,

a vytvorila som ľahké kvízy s viacerými možnosťami

and asked thousands of high school students to answer.

a poprosila som tisíce stredoškolských študentov, aby na ne odpovedali.

Here is an example:

Tu je príklad:

[Buddhism spread to ... , Christianity to ... and Oceania,

Samozrejme, že pôvodné problémy sú napísané po japonsky,

and Islam to ...]

Of course, the original problems are written in Japanese,

v ich materinskom jazyku.

their mother tongue.

[ ______ has spread to Oceania.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

Očividná odpoveď je Kresťanstvo, však?

Obviously, Christianity is the answer, isn't it?

It's written!

Je to tam napísané!

And Todai Robot chose the correct answer, too.

A Todai Robot vybral taktiež správnu odpoveď.

But one-third of junior high school students

Ale jedna tretina stredoškolákov

failed to answer this question.

zlyhala pri odpovedi.

Do you think it is only the case in Japan?

Myslíte, že je to prípad iba v Japonsku?

I do not think so,

Ja si to nemyslím,

because Japan is always ranked among the top in OECD PISA tests,

pretože Japonsko je vždy umiestnené medzi špičkou OECD PISA testov,

measuring 15-year-old students' performance in mathematics,

kde merajú výkon 15-ročných študentov v matematike,

science and reading

vo vede a čítaní

every three years.

každé tri roky.

We have been believing

Veríme, že všetci sa môžu učiť

that everybody can learn

and learn well,

a učiť sa dobre,

as long as we provide good learning materials

pokiaľ im poskytneme dobrý náučný materiál

free on the web

zadarmo na webe,

so that they can access through the internet.

aby sa k nemu mohli dostať cez internet.

But such wonderful materials may benefit only those who can read well,

Avšak tieto výborné materiály môžu poslúžiť iba tým, ktorí vedia dobre čítať,

and the percentage of those who can read well

a percento tých, ktorí vedia dobre čítať,

may be much less than we expected.

môže byť nižšie než sme predpokladali.

How we humans will coexist with AI

O tom, ako my ľudia budeme spolunažívať s umelou inteligenciou,

is something we have to think about carefully,

musíme pozorne premýšľať

based on solid evidence.

na základe pevne podložených dôkazov.

At the same time, we have to think in a hurry

Zároveň musíme rozmýšľať rýchlo,

because time is running out.

pretože nám uniká čas.

Thank you.

Ďakujem.

(Applause)

(potlesk)

Chris Anderson: Noriko, thank you.

Noriko, ďakujem vám.

Noriko Arai: Thank you.

Ďakujem.

Vo vašej prednáške ste nám krásne vysvetlili, ako fungujú UI,

CA: In your talk, you so beautifully give us a sense of how AIs think,

what they can do amazingly

čo úžasné dokážu

and what they can't do.

a čo nedokážu.

But -- do I read you right,

Avšak, pokiaľ som to správne pochopil,

that you think we really need quite an urgent revolution in education

myslíte, že potrebujeme urgentnú revolúciu vo vzdelaní,

to help kids do the things that humans can do better than AIs?

aby sme pomohli deťom robiť to, čo ľudia dokážu lepšie než UI?

NA: Yes, yes, yes.

Áno, áno.

Because we humans can understand the meaning.

Pretože ľudia chápu význam.

That is something which is very, very lacking in AI.

To je niečo, čo UI veľmi chýba.

But most of the students just pack the knowledge

Ale väčšina študentov uskladňuje vedomosti

without understanding the meaning of the knowledge,

bez toho, aby chápali ich význam,

so that is not knowledge, that is just memorizing,

takže to nie sú vedomosti, ale len memorovanie

and AI can do the same thing.

a UI dokáže to isté.

So we have to think about a new type of education.

Musíme premýšľať o novom type vzdelávania.

CA: A shift from knowledge, rote knowledge, to meaning.

Zmena z vedomostí, memorovania, na význam.

NA: Mm-hmm.

CA: Well, there's a challenge for the educators. Thank you so much.

Tak to je výzva pre vzdelávateľov. Vrelá vďaka.

Ďakujem pekne. Ďakujem.

NA: Thank you very much. Thank you.

(potlesk)

(Applause)