Can a robot pass a university entrance exam? | Noriko Arai

Traducător: Anda Todoran Corector: Cristina Nicolae

Today, I'm going to talk about AI and us.

Astăzi voi vorbi despre IA și despre noi.

AI researchers have always said

Cercetătorii IA au spus mereu

that we humans do not need to worry,

că oamenii nu au de ce se teme,

because only menial jobs will be taken over by machines.

pentru că numai muncile fizice vor fi preluate de mașini.

Is that really true?

E oare adevărat?

They have also said that AI will create new jobs,

Au mai spus și că IA va crea noi locuri de muncă,

so those who lose their jobs will find a new one.

așa că cei care își vor pierde slujba, vor găsi una nouă.

Of course.

Desigur.

But the real question is:

Dar adevărata întrebare e:

How many of those who may lose their jobs to AI

Câți dintre acei care își vor pierde slujbele din cauza IA

will be able to land a new one,

vor putea să primească una nouă,

especially when AI is smart enough to learn better than most of us?

mai ales când IA poate să învețe mai bine decât mulți dintre noi.

Let me ask you a question:

Să vă întreb ceva:

How many of you think

Câți credeți

that AI will pass the entrance examination of a top university by 2020?

că inteligența artficială va trece admiterea unei universități de top

până în 2020?

Oh, so many. OK.

OK, deci mulți. OK.

So some of you may say, "Of course, yes!"

Unii dintre voi ați spune: „Sigur, da!”

Now singularity is the issue.

Acum singularitatea e problema.

And some others may say, "Maybe,

Iar alții ar spune „Poate,

because AI already won against a top Go player."

pentru ca IA a câștigat deja împotriva unui jucător Go profesionist.”

And others may say, "No, never. Uh-uh."

Iar alții ar spune: „Nu, niciodată. Nu-nu.”

That means we do not know the answer yet, right?

Asta însemnă că nu știm încă răspunsul, nu?

So that was the reason why I started Todai Robot Project,

De aceea am început proiectul Todai Robot,

making an AI which passes the entrance examination

făcând un robot care să treacă examenul de admitere

of the University of Tokyo,

al Universității din Tokyo,

the top university in Japan.

cea mai bună universitate din Japonia.

This is our Todai Robot.

Acesta este robotul Todai.

And, of course, the brain of the robot is working in the remote server.

Și, desigur, creierul său lucrează din serverul de la distanță.

It is now writing a 600-word essay

Acum scrie eseuri de 600 de cuvinte

on maritime trade in the 17th century.

despre schimburile maritime din secolul al XVII-lea.

How does that sound?

Cum sună asta?

Why did I take the entrance exam as its benchmark?

De ce am luat admiterea ca și reper?

Because I thought we had to study the performance of AI

Pentru că am considerat că trebuie să studiem performanța IA

in comparison to humans,

în comparație cu oamenii,

especially on the skills and expertise

mai ales în domeniile și abilitățile

which are believed to be acquired only by humans

care sunt considerate ca putând fi dobândite doar de oameni

and only through education.

și numai prin educație.

To enter Todai, the University of Tokyo,

Pentru a intra la Todai, Universitatea din Tokyo,

you have to pass two different types of exams.

trebuie să treci două tipuri de examen.

The first one is a national standardized test

Primul este un test standard național,

in multiple-choice style.

cu mai multe variante de răspuns.

You have to take seven subjects

Trebuie să dai examenul din șapte materii

and achieve a high score --

și să iei o notă mare --

I would say like an 85 percent or more accuracy rate --

aș spune undeva la 84% sau mai mult --

to be allowed to take the second stage written test

pentru a avea voie să dai un al doilea examen scris,

prepared by Todai.

pregătit de Todai.

So let me first explain how modern AI works,

Să vă explic mai întâi cum funcționează IA modernă,

taking the "Jeopardy!" challenge as an example.

luând provocările „Jeopardy!” ca exemplu.

Here is a typical "Jeopardy!" question:

Iată o întrebare tipică „Jeopardy!”:

"Mozart's last symphony shares its name with this planet."

„Ultima simfonie a lui Mozart are numele acestei planete:”

Interestingly, a "Jeopardy!" question always asks,

E interesant că întrebările „Jeopardy!”

always ends with "this" something:

mereu se termină cu „această” ceva:

"this" planet, "this" country,

„această” planetă, „această” țară,

"this" rock musician, and so on.

„acest” muzician rock, și tot așa.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Cu alte cuvinte, „Jeopardy!” nu întreabă multe tipuri de întrebări,

but a single type,

ci doar unul,

which we call "factoid questions."

pe care îl numim „întrebarea reper”.

By the way, do you know the answer?

Apropo, știți răspunsul?

If you do not know the answer and if you want to know the answer,

Dacă nu știți, dar vreți să aflați,

what would you do?

ce faceți?

You Google, right? Of course.

Căutați pe Google, nu? Sigur!

Why not?

De ce nu?

But you have to pick appropriate keywords

Dar va trebui să alegeți cuvintele cheie potrivite,

like "Mozart," "last" and "symphony" to search.

precum „Mozart”, „ultima” și „simfonie”, pentru căutare.

The machine basically does the same.

Robotul face practic același lucru.

Then this Wikipedia page will be ranked top.

Apoi, această pagină Wikipedia va apărea pe primele locuri.

Then the machine reads the page.

Apoi robotul citește pagina.

No, uh-uh.

Nu, nu.

Unfortunately, none of the modern AIs,

Din păcate, nici una dintre IA moderne,

including Watson, Siri and Todai Robot,

inclusiv Watson, Siri și Todai Robot,

is able to read.

nu pot să citească.

But they are very good at searching and optimizing.

Dar sunt foarte bune la a căuta și a optimiza.

It will recognize

Va recunoaște

that the keywords "Mozart," "last" and "symphony"

cuvintele cheie, „Mozart”, „ultima” și „simfonie”,

are appearing heavily around here.

care apar des aici.

So if it can find a word which is a planet

Așa că, dacă va găsi un cuvânt ce este o planetă,

and which is co-occurring with these keywords,

și apare împreună cu cele cheie,

that must be the answer.

acela trebuie să fie răspunsul.

This is how Watson finds the answer "Jupiter," in this case.

Așa află Watson că răspunsul, în acest caz, este „Jupiter”.

Our Todai Robot works similarly, but a bit smarter

Robotul Todai funcționează aproape la fel, doar că un pic mai inteligent,

in answering history yes-no questions,

răspunzând la întrebări istorice de tipul „da sau nu”,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

precum: „Carol cel Mare a combătut maghiarii” este adevărat sau fals?

Our robot starts producing a factoid question,

Robotul nostru începe să construiască o întrebare de tipul celei reper,

like: "Charlemagne repelled [this person type]" by itself.

precum: „Carol cel Mare a combătut [acest tip de persoană]” de unul singur.

Then, "Avars" but not "Magyars" is ranked top.

Apoi, „avarii”, și nu „maghiarii” apare ca prim rezultat.

This sentence is likely to be false.

Deci propoziția pare a fi falsă.

Our robot does not read, does not understand,

Robotul nostru nu citește, nu înțelege,

but it is statistically correct in many cases.

dar e corect de multe ori, din punct de vedere statistic.

For the second stage written test,

Pentru a doua parte a testului scris,

it is required to write a 600-word essay like this one:

se cere un eseu de 600 de cuvinte, precum acesta:

[Discuss the rise and fall of the maritime trade

[Discutați creșterea și declinul schimburilor maritime

in East and Southeast Asia in the 17th century ...]

în Asia de Est si Sud-Est în secolul al XVII-lea...]

and as I have shown earlier,

și, după cum v-am arătat,

our robot took the sentences from the textbooks and Wikipedia,

robotul nostru a luat propoziții din cărți și Wikipedia,

combined them together,

le-a combinat,

and optimized it to produce an essay

și le-a optimizat pentru a produce un eseu,

without understanding a thing.

fără să înțeleagă ceva.

(Laughter)

(Râsete)

But surprisingly, it wrote a better essay

Dar, surprinzător, a scris un eseu mai bun

than most of the students.

decât majoritatea studenților.

(Laughter)

(Râsete)

How about mathematics?

Dar la matematică?

A fully automatic math-solving machine

O mașină complet automată care să rezolve matematică

has been a dream

a fost un vis

since the birth of the word "artificial intelligence,"

încă de la nașterea cuvintelor „inteligență artificială”,

but it has stayed at the level of arithmetic for a long, long time.

dar a rămas la nivelul aritmeticii pentru a perioadă foarte, foarte lungă.

Last year, we finally succeeded in developing a system

Anul trecut, am reușit să dezvoltăm un sistem

which solved pre-university-level problems from end to end,

care a rezolvat probleme de nivel preuniversitar de la cap la coadă,

like this one.

precum aceasta.

This is the original problem written in Japanese,

Aceasta e problema originală, scrisă în japoneză,

and we had to teach it 2,000 mathematical axioms

și a trebuit să îl învățăm 2.000 de axiome matematice

and 8,000 Japanese words

și 8.000 de cuvinte japoneze

to make it accept the problems written in natural language.

pentru a-l face să primească problema scrisă în limbaj natural.

And it is now translating the original problems

Și acum traduce problema originală

into machine-readable formulas.

în formule citibile pentru un robot..

Weird, but it is now ready to solve it, I think.

E ciudat, dar cred că acum este pregătit să o rezolve.

Go and solve it.

Haide, rezolv-o!

Yes! It is now executing symbolic computation.

Da! Acum efectuează un calcul simbolic.

Even more weird,

Chiar și mai ciudat,

but probably this is the most fun part for the machine.

dar, probabil că e partea cea mai distractivă pentru mașină.

(Laughter)

(Râsete)

Now it outputs a perfect answer,

Acum redă un răspuns perfect,

though its proof is impossible to read, even for mathematicians.

deși dovada e imposibil de citit, chiar și pentru matematicieni.

Anyway, last year our robot was among the top one percent

Oricum, anul trecut, robotul nostru a fost în primii 1%

in the second stage written exam in mathematics.

în partea a doua de examen scris, la matematică.

(Applause)

(Aplauze)

Thank you.

Mulțumesc!

So, did it enter Todai?

Deci, a intrat la Todai?

No, not as I expected.

Nu, nu cum m-am așteptat.

Why?

De ce?

Because it doesn't understand any meaning.

Pentru că nu înțelege nicio semnificație.

Let me show you a typical error it made in the English test.

Să vă arăt o eroare tipică pe care a făcut-o la testul de engleză.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Aproape am ajuns la bibliotecă. Încă câteva minute.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil: Așteaptă. Nate: Mulțumesc! Mereu se întâmplă asta]

Two people are talking.

Doi oameni vorbesc.

For us, who can understand the situation --

Pentru noi, care înțelegem situația,

[1. "We walked for a long time." 2. "We're almost there."

[1. „Am mers multă vreme.” 2. „Aproape am ajuns.”

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. „Pantofii tăi par scumpi.” 4. „Ți s-a desfăcut șiretul.”]

it is obvious number four is the correct answer, right?

e destul de clar că numărul 4 este răspunsul corect, nu?

But Todai Robot chose number two,

Dar, Todai Robot a ales numărul 2,

even after learning 15 billion English sentences

chiar și după ce a învățat 15 miliarde de propoziții în engleză,

using deep learning technologies.

folosind tehnologii pentru învățarea profundă.

OK, so now you might understand what I said:

Bun, poate acum veți înțelege ce am spus:

modern AIs do not read,

IA moderne nu citesc,

do not understand.

nu înțeleg.

They only disguise as if they do.

Se prefac doar.

This is the distribution graph

Acesta este graficul de distribuire

of half a million students who took the same exam as Todai Robot.

a jumătate de milion de studenți ce au dat același examen precum Todai Robot.

Now our Todai Robot is among the top 20 percent,

Acum, Todai Robot este în primii 20%,

and it was capable to pass

și a putut trece

more than 60 percent of the universities in Japan --

la mai mult de 60% din universitățile din Japonia--

but not Todai.

dar nu la Todai.

But see how it is beyond the volume zone

Dar vedeți cum e deasupra volumului

of to-be white-collar workers.

celor ce vor lucra în birouri.

You might think I was delighted.

Poate credeți că am fost încântată.

After all, my robot was surpassing students everywhere.

La urma urmei, robotul meu a depășit studenți de peste tot.

Instead, I was alarmed.

Dar, de fapt, am fost alarmată.

How on earth could this unintelligent machine outperform students --

Cum ar putea această mașină neinteligentă să întreacă studenții--

our children?

copiii noștri?

Right?

Nu?

I decided to investigate what was going on in the human world.

Am decis să investighez ce se petrecea în lumea umană.

I took hundreds of sentences from high school textbooks

Am luat sute de fraze din manuale de liceu

and made easy multiple-choice quizzes,

și am făcut teste simple cu mai multe variante de răspuns,

and asked thousands of high school students to answer.

și am rugat mii de elevi de liceu să le rezolve.

Here is an example:

Iată un exemplu:

[Buddhism spread to ... , Christianity to ... and Oceania,

[Budismul s-a răspândit în ... , creștinismul în ... și Oceania,

and Islam to ...]

și Islamul în...]

Of course, the original problems are written in Japanese,

Desigur, exercițiile originale sunt în japoneză,

their mother tongue.

limba lor maternă.

[ ______ has spread to Oceania.

[ ... s-a răspândit în Oceania.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1.Hinduism 2. Creștinism 3. Islam 4. Budism ]

Obviously, Christianity is the answer, isn't it?

Evident că e creștinismul, nu?

It's written!

Scrie!

And Todai Robot chose the correct answer, too.

Și robotul Todai a răspuns corect.

But one-third of junior high school students

Dar, o treime din elevii începători de liceu

failed to answer this question.

au răspuns greșit.

Do you think it is only the case in Japan?

Credeți că asta se întâmplă numai în Japonia?

I do not think so,

Nu cred,

because Japan is always ranked among the top in OECD PISA tests,

pentru că Japonia e mereu în frunte la testele OECD PISA,

measuring 15-year-old students' performance in mathematics,

ce măsoară performanțele elevilor de 15 ani în matematică,

science and reading

științe și citire

every three years.

o dată la trei ani.

We have been believing

Am crezut

that everybody can learn

că oricine poate învăța,

and learn well,

și învăța bine,

as long as we provide good learning materials

câtă vreme le dăm materiale bune de învățat,

free on the web

gratis pe web,

so that they can access through the internet.

pentru a avea acces la ele prin internet.

But such wonderful materials may benefit only those who can read well,

Dar astfel de materiale minunate sunt folosite doar de cei ce pot citi bine,

and the percentage of those who can read well

iar procentul celor ce pot citi bine

may be much less than we expected.

poate că e mult mai mic decât ne așteptăm.

How we humans will coexist with AI

Cum noi, oamenii, vom coexista cu IA

is something we have to think about carefully,

e ceva la care trebuie să ne gândim cu mare grijă,

based on solid evidence.

pe baza acestor dovezi solide.

At the same time, we have to think in a hurry

În același timp, trebuie să ne grăbim

because time is running out.

pentru că timpul se scurge.

Thank you.

Mulțumesc.

(Applause)

(Aplauze)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, mulțumesc.

Noriko Arai: Thank you.

Noriko Arai: Mulțumesc.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: În discursul tău ne-ai arătat așa frumos cum IA gândesc,

what they can do amazingly

ce pot face în mod surprinzător

and what they can't do.

și ce nu pot face.

But -- do I read you right,

Dar -- te citesc eu bine,

that you think we really need quite an urgent revolution in education

dar tu crezi că avem nevoie de o urgentă revoluție în educație

to help kids do the things that humans can do better than AIs?

pentru a ajuta copiii să facă lucrurile pe care oamenii le fac mai bine decât IA?

NA: Yes, yes, yes.

NA: Da, da, da.

Because we humans can understand the meaning.

Pentru că oamenii pot înțelege semnificația lucrurilor.

That is something which is very, very lacking in AI.

Este ceva ce lipesește foarte mult în IA.

But most of the students just pack the knowledge

Dar majoritatea studenților doar adună cunoștințe

without understanding the meaning of the knowledge,

fără să le înțeleagă semnificația,

so that is not knowledge, that is just memorizing,

și asta nu e cunoaștere, e doar memorare,

and AI can do the same thing.

și inteligența artificială poate să facă asta.

So we have to think about a new type of education.

Așa că trebuie să ne gândim la o nouă formă de educație.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: O mutare de la învățarea mecanică spre înțelegere.

NA: Mm-hmm.

NA: Da.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Asta e o provocare pentru dascăli. Mulțumim foarte mult.

NA: Thank you very much. Thank you.

NA: Mulțumesc mult. Mulțumesc.

(Applause)

(Aplauze)