Can a robot pass a university entrance exam? | Noriko Arai

Traduttore: Sofia Ramundo Revisore: Silvia Fornasiero

Today, I'm going to talk about AI and us.

Oggi, parlerò di noi e dell'Intelligenza Artificiale.

AI researchers have always said

Tutti i ricercatori hanno sempre detto

that we humans do not need to worry,

che noi umani non dobbiamo preoccuparci,

because only menial jobs will be taken over by machines.

perché solo i lavori non qualificati saranno sostituiti dalle macchine.

Is that really true?

Ma è davvero così?

They have also said that AI will create new jobs,

Hanno anche detto che l'Intelligenza Artificiale creerà nuovi lavori,

so those who lose their jobs will find a new one.

perciò chi perderà il lavoro ne troverà un altro.

Of course.

Certamente.

But the real question is:

Ma la vera domanda è:

How many of those who may lose their jobs to AI

quanti di quelli che potrebbero perdere il lavoro per l'Intelligenza Artificiale

will be able to land a new one,

saranno in grado di procurarsene un altro,

especially when AI is smart enough to learn better than most of us?

specialmente dato che l'I.A. impara meglio della maggior parte di noi?

Let me ask you a question:

Vi pongo una domanda:

How many of you think

Quanti di voi pensano

that AI will pass the entrance examination of a top university by 2020?

che l'I.A. passerà l'esame d'ingresso di un'università prestigiosa

entro il 2020?

Oh, so many. OK.

Oh, così tanti. Ok.

So some of you may say, "Of course, yes!"

Quindi alcuni di voi possono dire: "Certo, sì!"

Now singularity is the issue.

Ora la singolarità è il problema.

And some others may say, "Maybe,

E altri potrebbero dire: "Forse,

because AI already won against a top Go player."

perché l'Intelligenza Artificiale ha già vinto contro un campione di Go".

And others may say, "No, never. Uh-uh."

Altri potrebbero dire: "No, mai."

That means we do not know the answer yet, right?

Ciò significa che non sappiamo ancora la risposta, giusto?

So that was the reason why I started Todai Robot Project,

Questa è la ragione per cui ho iniziato il progetto Robot Todai,

making an AI which passes the entrance examination

costruendo un'I.A. che superi l'esame di ammissione

of the University of Tokyo,

dell'Università di Tokyo,

the top university in Japan.

la migliore università del Giappone.

This is our Todai Robot.

Questo è il nostro Robot Todai.

And, of course, the brain of the robot is working in the remote server.

Ovviamente, il cervello del robot lavora nel server remoto.

It is now writing a 600-word essay

Ora sta scrivendo un saggio di 600 parole

on maritime trade in the 17th century.

sul commercio marittimo nel 17° secolo.

How does that sound?

Che ve ne sembra?

Why did I take the entrance exam as its benchmark?

Perché ho considerato l'esame d'ammissione come il suo banco di prova?

Because I thought we had to study the performance of AI

Perché ho pensato che dovessimo studiare la performance dell'I.A.

in comparison to humans,

in confronto agli esseri umani,

especially on the skills and expertise

specialmente in base alle abilità e alle competenze

which are believed to be acquired only by humans

che si ritiene acquisiscano solo dagli umani

and only through education.

e solo tramite l'istruzione.

To enter Todai, the University of Tokyo,

Per entrare alla Todai, l'Università di Tokyo,

you have to pass two different types of exams.

bisogna superare due diversi tipi di esami.

The first one is a national standardized test

Il primo è un test nazionale standardizzato

in multiple-choice style.

a risposta multipla.

You have to take seven subjects

Si devono affrontare 7 materie

and achieve a high score --

e raggiungere un punteggio alto,

I would say like an 85 percent or more accuracy rate --

direi con una percentuale dell'84% o più di accuratezza,

to be allowed to take the second stage written test

per poter accedere al test scritto della seconda fase

prepared by Todai.

preparato dalla Todai.

So let me first explain how modern AI works,

Lasciate che vi spieghi prima come funziona l'I.A. moderna,

taking the "Jeopardy!" challenge as an example.

prendendo la sfida "Jeopardy!" come esempio.

Here is a typical "Jeopardy!" question:

Ecco una tipica domanda "Jeopardy!":

"Mozart's last symphony shares its name with this planet."

"L'ultima sinfonia di Mozart ha lo stesso nome di questo pianeta".

Interestingly, a "Jeopardy!" question always asks,

Da notare, una domanda di "Jeopardy!" finisce sempre

always ends with "this" something:

con "questo" qualcosa:

"this" planet, "this" country,

"questo" pianeta, "questo" paese,

"this" rock musician, and so on.

"questo" musicista rock e così via.

In other words, "Jeopardy!" doesn't ask many different types of questions,

In altre parole, "Jeopardy!" non fa molti tipi diversi di domande,

but a single type,

ma un solo tipo,

which we call "factoid questions."

che noi chiamiamo "domande fattoidi".

By the way, do you know the answer?

A proposito, sapete la risposta?

If you do not know the answer and if you want to know the answer,

Se non sapete la risposta e volete conoscerla,

what would you do?

cosa fate?

You Google, right? Of course.

La cercate su Google, giusto? Ovvio.

Why not?

Perché no?

But you have to pick appropriate keywords

Ma dovete scegliere le giuste parole chiave

like "Mozart," "last" and "symphony" to search.

come "Mozart", "ultima" e "sinfonia" per cercare.

The machine basically does the same.

In pratica, la macchina fa la stessa cosa.

Then this Wikipedia page will be ranked top.

Quindi, questa pagina di Wikipedia sarà tra i primi risultati.

Then the machine reads the page.

Poi, la macchina legge la pagina.

No, uh-uh.

No.

Unfortunately, none of the modern AIs,

Sfortunatamente, nessuna delle moderne Intelligenze Artificiali,

including Watson, Siri and Todai Robot,

incluse Watson, Siri e Robot Todai,

is able to read.

sa leggere.

But they are very good at searching and optimizing.

Ma sono davvero brave a cercare e ottimizzare.

It will recognize

Riconoscerà

that the keywords "Mozart," "last" and "symphony"

che le parole chiave "Mozart", "ultima" e "sinfonia"

are appearing heavily around here.

appaiono molto spesso qui.

So if it can find a word which is a planet

Quindi, se riesce a trovare una parola che è un pianeta

and which is co-occurring with these keywords,

e che appare in concomitanza con queste parole chiave,

that must be the answer.

quella deve essere la risposta.

This is how Watson finds the answer "Jupiter," in this case.

Questo è il modo in cui Watson trova la risposta "Giove", in questo caso.

Our Todai Robot works similarly, but a bit smarter

Il nostro Robot Todai lavora in modo simile, ma un po' più efficace,

in answering history yes-no questions,

rispondendo a domande di storia con risposta "sì-no",

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

come: "Carlomagno respinse i Magiari". Questa frase è vera o falsa?

Our robot starts producing a factoid question,

Il nostro robot inizia a produrre una domanda fattoide,

like: "Charlemagne repelled [this person type]" by itself.

come: "Carlomagno respinse [questo tipo di persona]", autonomamente.

Then, "Avars" but not "Magyars" is ranked top.

Quindi, "Avari" ma non "Magiari" è il risultato principale.

This sentence is likely to be false.

Questa frase è probabilmente falsa.

Our robot does not read, does not understand,

Il nostro robot non sa leggere, non capisce,

but it is statistically correct in many cases.

ma è statisticamente corretto in molti casi.

For the second stage written test,

Per il test scritto della seconda fase,

it is required to write a 600-word essay like this one:

viene richiesto di scrivere un saggio di 600 parole come questo:

[Discuss the rise and fall of the maritime trade

[Discutere l'ascesa e la caduta del commercio marittimo

in East and Southeast Asia in the 17th century ...]

nell'Est e Sudest asiatico nel 17° secolo... ]

and as I have shown earlier,

e come ho mostrato prima,

our robot took the sentences from the textbooks and Wikipedia,

il nostro robot ha preso le frasi dai libri e da Wikipedia,

combined them together,

le ha combinate,

and optimized it to produce an essay

e ha ottimizzato il tutto per produrre un saggio

without understanding a thing.

senza capirci una parola.

(Laughter)

(Risate)

But surprisingly, it wrote a better essay

Ma sorprendentemente, ha scritto un saggio migliore

than most of the students.

della maggior parte degli studenti.

(Laughter)

(Risate)

How about mathematics?

E la matematica?

A fully automatic math-solving machine

Una macchina completamente automatica che risolve i problemi

has been a dream

è stata un sogno

since the birth of the word "artificial intelligence,"

sin dalla nascita della parola "Intelligenza Artificiale",

but it has stayed at the level of arithmetic for a long, long time.

ma è rimasta al livello dell'aritmetica per tanto, tanto tempo.

Last year, we finally succeeded in developing a system

L'anno scorso, alla fine siamo riusciti a sviluppare un sistema

which solved pre-university-level problems from end to end,

che risolveva problemi di livello preuniversitario dall'inizio alla fine,

like this one.

come questo.

This is the original problem written in Japanese,

Questo è il problema originale scritto in giapponese,

and we had to teach it 2,000 mathematical axioms

e abbiamo dovuto insegnargli 2.000 assiomi matematici

and 8,000 Japanese words

e 8.000 parole giapponesi

to make it accept the problems written in natural language.

per far sì che accettasse i problemi scritti in linguaggio naturale.

And it is now translating the original problems

Ora sta traducendo i problemi originali

into machine-readable formulas.

in formule leggibili dalla macchina.

Weird, but it is now ready to solve it, I think.

Bizzarro, ma credo che ora sia pronto a risolverlo.

Go and solve it.

Vai e risolvilo.

Yes! It is now executing symbolic computation.

Sì! Ora sta eseguendo computazione simbolica.

Even more weird,

Ancora più strano,

but probably this is the most fun part for the machine.

ma probabilmente questa è la parte più divertente per la macchina.

(Laughter)

(Risate)

Now it outputs a perfect answer,

Ora fornisce una risposta perfetta,

though its proof is impossible to read, even for mathematicians.

anche se la sua prova è impossibile da leggere, anche per i matematici.

Anyway, last year our robot was among the top one percent

Comunque, l'anno scorso il nostro robot era nell'1% più alto

in the second stage written exam in mathematics.

nella seconda fase dell'esame scritto di matematica.

(Applause)

(Applausi)

Thank you.

Grazie.

So, did it enter Todai?

Todai è poi entrato?

No, not as I expected.

No, non come mi aspettavo.

Why?

Perché?

Because it doesn't understand any meaning.

Perché non capisce nessun significato.

Let me show you a typical error it made in the English test.

Vi mostro un tipico errore che ha fatto nel test d'inglese.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Siamo quasi in libreria. Ancora qualche minuto.

Sunil: Aspetta. ______ . Nate: Grazie! Succede sempre...]

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Due persone stanno parlando.

Two people are talking.

Per noi che possiamo capire la situazione,

For us, who can understand the situation --

[1. "We walked for a long time." 2. "We're almost there."

[1. "Abbiamo camminato tanto" 2. "Siamo quasi arrivati"

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3."Le tue scarpe sembrano costose" 4. "I tuoi lacci sono slacciati"]

it is obvious number four is the correct answer, right?

è ovvio che la risposa esatta è la numero quattro, giusto?

But Todai Robot chose number two,

Ma Robot Todai ha scelto la numero due,

even after learning 15 billion English sentences

anche dopo aver imparato 15 miliardi di frasi in inglese

using deep learning technologies.

utilizzando tecnologie di alto apprendimento.

OK, so now you might understand what I said:

Ok, ora potete capire ciò che vi ho detto:

modern AIs do not read,

l'Intelligenza Artificiale moderna non legge,

do not understand.

non capisce.

They only disguise as if they do.

Si comporta solo come se riuscisse a farlo.

This is the distribution graph

Questo è il grafico di distribuzione

of half a million students who took the same exam as Todai Robot.

di mezzo milione di studenti che hanno fatto

lo stesso esame di Robot Todai.

Now our Todai Robot is among the top 20 percent,

Ora il nostro Robot Todai è tra il 20% dei migliori,

and it was capable to pass

ed è stato capace di essere ammesso

more than 60 percent of the universities in Japan --

a più del 60% delle università in Giappone,

but not Todai.

ma non alla Todai.

But see how it is beyond the volume zone

Ma guardate come si colloca oltre la zona del grafico

of to-be white-collar workers.

dei futuri colletti bianchi.

You might think I was delighted.

Potreste pensare che io fossi felice.

After all, my robot was surpassing students everywhere.

Dopotutto, il mio robot aveva superato gli studenti ovunque.

Instead, I was alarmed.

Invece, ero preoccupata.

How on earth could this unintelligent machine outperform students --

Come era possibile che questa macchina non intelligente potesse

superare degli studenti, i nostri figli?

our children?

Right?

Giusto?

I decided to investigate what was going on in the human world.

Ho deciso di investigare cosa stava succedendo nel mondo umano.

I took hundreds of sentences from high school textbooks

Ho preso centinaia di frasi da libri di scuola superiore

and made easy multiple-choice quizzes,

e ho creato dei test semplici a risposta multipla,

and asked thousands of high school students to answer.

e ho chiesto a migliaia di studenti delle superiori di rispondere.

Here is an example:

Ecco un esempio:

[Buddhism spread to ... , Christianity to ... and Oceania,

[Il Buddismo si espanse in ... , il Cristianesimo in ... , e Oceania,

and Islam to ...]

e l'Islam in ...]

Of course, the original problems are written in Japanese,

Naturalmente, i quesiti originali sono in giapponese,

their mother tongue.

la loro lingua madre.

[ ______ has spread to Oceania.

[ ______ si espanse in Oceania.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. Induismo 2. Cristianesimo 3. Islam 4. Buddismo ]

Obviously, Christianity is the answer, isn't it?

Ovviamente, Cristianesimo è la risposta, giusto?

It's written!

È scritto!

And Todai Robot chose the correct answer, too.

E anche Robot Todai ha scelto la risposta corretta.

But one-third of junior high school students

Ma un terzo degli studenti del terzo anno delle superiori

failed to answer this question.

ha sbagliato la risposta a questa domanda.

Do you think it is only the case in Japan?

Credete che succeda solo in Giappone?

I do not think so,

Non credo,

because Japan is always ranked among the top in OECD PISA tests,

perché il Giappone ha sempre avuto i migliori risultati nei test OECD PISA

measuring 15-year-old students' performance in mathematics,

che misurano i risultati degli studenti di quindici anni in matematica,

science and reading

scienze e lettura

every three years.

ogni tre anni nel mondo.

We have been believing

Abbiamo sempre creduto

that everybody can learn

che tutti possano imparare

and learn well,

e imparare bene,

as long as we provide good learning materials

fintanto che si forniscono buoni materiali didattici

free on the web

gratuiti sul web

so that they can access through the internet.

in modo che vi si possa accedere tramite internet.

But such wonderful materials may benefit only those who can read well,

Ma questi fantastici materiali possono aiutare solo chi sa leggere bene,

and the percentage of those who can read well

e la percentuale di coloro che sanno leggere bene

may be much less than we expected.

può essere molto minore di ciò che ci aspettiamo.

How we humans will coexist with AI

Come noi umani coesisteremo con l'Intelligenza Artificiale

is something we have to think about carefully,

è qualcosa su cui dobbiamo riflettere,

based on solid evidence.

basandoci su prove concrete.

At the same time, we have to think in a hurry

Allo stesso tempo, dobbiamo pensare in fretta

because time is running out.

perché il tempo sta scadendo.

Thank you.

Grazie.

(Applause)

(Applausi)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, grazie.

Noriko Arai: Thank you.

Noriko Arai: Grazie.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: Nel tuo intervento, hai dato in maniera splendida l'idea

di come le Intelligenze Artificiali pensano,

what they can do amazingly

quello che possono fare in modo fantastico

e quello che non possono fare.

and what they can't do.

But -- do I read you right,

Ma, ho capito bene,

that you think we really need quite an urgent revolution in education

pensi che ciò che ci serve davvero è un'urgente rivoluzione nell'istruzione

to help kids do the things that humans can do better than AIs?

per aiutare i ragazzi a fare le cose che gli umani sanno fare meglio dell'I.A.?

NA: Yes, yes, yes.

NA: Sì, sì, sì.

Because we humans can understand the meaning.

Perché noi umani possiamo capire il significato.

That is something which is very, very lacking in AI.

Questo è qualcosa che manca totalmente nell'I.A.

But most of the students just pack the knowledge

Ma la gran parte degli studenti immagazzina la conoscenza

without understanding the meaning of the knowledge,

senza capire il significato della conoscenza,

so that is not knowledge, that is just memorizing,

così che non è conoscenza, ma è solo memorizzazione,

and AI can do the same thing.

e l'I.A. può fare la stessa cosa.

So we have to think about a new type of education.

Quindi, dobbiamo pensare a un nuovo tipo di istruzione.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Un cambiamento, dalla conoscenza meccanica, al significato.

NA: Mm-hmm.

NA. Mm-hmm.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Bene, ecco una sfida per gli educatori. Grazie mille.

NA: Thank you very much. Thank you.

NA: Grazie davvero. Grazie.

(Applause)

(Applausi)