Can a robot pass a university entrance exam? | Noriko Arai

Μετάφραση: Nikolaos Benias Επιμέλεια: Helena Galani

Today, I'm going to talk about AI and us.

Σήμερα θα σας μιλήσω για την ΤΝ [Τεχνητή Νοημοσύνη] κι εμάς.

AI researchers have always said

Οι ερευνητές ΤΝ πάντα έλεγαν

that we humans do not need to worry,

ότι εμείς οι άνθρωποι δεν χρειάζεται να ανησυχούμε,

because only menial jobs will be taken over by machines.

γιατί μόνο οι επουσιώδεις εργασίες θα αναληφθούν από τις μηχανές.

Is that really true?

Είναι αυτό πραγματικά αληθές;

They have also said that AI will create new jobs,

Είπαν επίσης ότι η ΤΝ θα δημιουργήσει νέες θέσεις εργασίας,

so those who lose their jobs will find a new one.

ώστε όσοι χάσουν τη δουλειά τους να βρουν μία άλλη.

Of course.

Φυσικά.

But the real question is:

Αλλά το πραγματικό ερώτημα είναι:

How many of those who may lose their jobs to AI

Πόσοι από αυτούς που μπορεί να χάσουν τη δουλειά τους από την ΤΝ

will be able to land a new one,

θα μπορέσουν να βρουν μία νέα,

especially when AI is smart enough to learn better than most of us?

ειδικά όταν η ΤΝ είναι αρκετά έξυπνη, ώστε να μαθαίνει καλύτερα από εμάς;

Let me ask you a question:

Σας ρωτώ το εξής:

How many of you think

Πόσοι από εσάς πιστεύετε

that AI will pass the entrance examination of a top university by 2020?

ότι η ΤΝ θα περάσει τις εισαγωγικές εξετάσεις ενός κορυφαίου πανεπιστημίου έως το 2020;

Oh, so many. OK.

Αα, τόσοι πολλοί. Εντάξει.

So some of you may say, "Of course, yes!"

Μερικοί από εσάς μπορεί να πουν: «Φυσικά, ναι!».

Now singularity is the issue.

Τώρα η μοναδικότητα είναι το θέμα.

And some others may say, "Maybe,

Και μερικοί άλλοι μπορεί να πουν:

«Ίσως, γιατί η ΤΝ κέρδισε ήδη έναν κορυφαίο Go παίκτη».

because AI already won against a top Go player."

And others may say, "No, never. Uh-uh."

Και άλλοι μπορεί να πουν: «Όχι, ποτέ».

That means we do not know the answer yet, right?

Αυτό σημαίνει ότι δεν γνωρίζουμε ακόμα την απάντηση, σωστά;

So that was the reason why I started Todai Robot Project,

Αυτός είναι και ο λόγος που ξεκίνησα το πρόγραμμα «Ρομπότ Todai»,

making an AI which passes the entrance examination

δημιουργώντας ΤΝ που πετυχαίνει στις εισαγωγικές εξετάσεις

of the University of Tokyo,

του Πανεπιστημίου του Τόκιο,

the top university in Japan.

του κορυφαίου πανεπιστημίου στην Ιαπωνία.

This is our Todai Robot.

Αυτό είναι το ρομπότ μας Todai.

And, of course, the brain of the robot is working in the remote server.

Και, φυσικά, ο εγκέφαλος του ρομπότ λειτουργεί σε απομακρυσμένο διακομιστή.

It is now writing a 600-word essay

Αυτή τη στιγμή γράφει μία έκθεση 600 λέξεων

on maritime trade in the 17th century.

για το ναυτιλιακό εμπόριο στον 17ο αιώνα.

How does that sound?

Πώς σας φαίνεται;

Why did I take the entrance exam as its benchmark?

Γιατί έβαλα τις εισαγωγικές εξετάσεις ως σημείο αναφοράς;

Because I thought we had to study the performance of AI

Διότι σκέφτηκα ότι έπρεπε να μελετήσουμε την απόδοση της ΤΝ

in comparison to humans,

σε σύγκριση με τον άνθρωπο,

especially on the skills and expertise

ειδικά σε ό,τι αφορά τις δεξιότητες και την εμπειρογνωμοσύνη,

which are believed to be acquired only by humans

που πιστεύεται ότι αποκτώνται μόνο από τον άνθρωπο

and only through education.

και μόνο μέσω της εκπαίδευσης.

To enter Todai, the University of Tokyo,

Για να εισαχθεί κάποιος στο Todai, το Πανεπιστήμιο του Τόκιο,

you have to pass two different types of exams.

πρέπει να περάσει δύο διαφορετικά είδη εξετάσεων.

The first one is a national standardized test

Το πρώτο είναι οι εθνικές τυποποιημένες εξετάσεις

in multiple-choice style.

τύπου πολλαπλής επιλογής.

You have to take seven subjects

Πρέπει να απαντήσετε σε επτά θέματα

and achieve a high score --

και να επιτύχετε υψηλή βαθμολογία

I would say like an 85 percent or more accuracy rate --

-θα έλεγα ποσοστό ακρίβειας 85% ή περισσότερο-

to be allowed to take the second stage written test

για να περάσετε στην επόμενη φάση γραπτών εξετάσεων

prepared by Todai.

από το ίδιο το Todai.

So let me first explain how modern AI works,

Επιτρέψτε μου να σας εξηγήσω πώς λειτουργεί η σύγχρονη ΤΝ,

taking the "Jeopardy!" challenge as an example.

έχοντας ως παράδειγμα το παιχνίδι Jeopardy!.

Here is a typical "Jeopardy!" question:

Αυτή είναι μία τυπική Jeopardy! ερώτηση:

"Mozart's last symphony shares its name with this planet."

«Η τελευταία συμφωνία του Μότσαρτ έχει το ίδιο όνομα με αυτόν τον πλανήτη».

Interestingly, a "Jeopardy!" question always asks,

Είναι ενδιαφέρον το ότι οι ερωτήσεις του Jeopardy!

πάντα ρωτούν για «αυτό»:

always ends with "this" something:

"this" planet, "this" country,

«αυτόν» τον πλανήτη, «αυτή» την χώρα,

"this" rock musician, and so on.

«αυτός» ο ροκ τραγουδιστής, και ούτω καθεξής.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Με άλλα λόγια, το Jeopardy! δεν ρωτάει πολλούς διαφορετικούς τύπους ερωτήσεων,

but a single type,

αλλά έναν μόνο τύπο,

which we call "factoid questions."

που τον ονομάζουμε «κατασκευασμένες ερωτήσεις».

By the way, do you know the answer?

Με την ευκαιρία, γνωρίζετε την απάντηση;

If you do not know the answer and if you want to know the answer,

Αν δεν την γνωρίζετε και αν θέλετε να την μάθετε,

what would you do?

τι θα κάνατε;

You Google, right? Of course.

Θα την αναζητούσατε στη Google, σωστά; Φυσικά.

Why not?

Γιατί όχι;

But you have to pick appropriate keywords

Αλλά θα πρέπει να επιλέξετε τις κατάλληλες λέξεις-κλειδιά,

like "Mozart," "last" and "symphony" to search.

όπως «Μότσαρτ», «τελευταία» και «συμφωνία» για αναζήτηση.

The machine basically does the same.

Στην ουσία, το ίδιο κάνει και η μηχανή.

Then this Wikipedia page will be ranked top.

Αυτή η σελίδα wiki θα βγει ως πρώτο αποτέλεσμα.

Then the machine reads the page.

Μετά, η μηχανή θα διαβάσει τη σελίδα.

No, uh-uh.

Ωχ, όχι.

Unfortunately, none of the modern AIs,

Δυστυχώς, καμία από τις σύγχρονες ΤΝ,

including Watson, Siri and Todai Robot,

συμπεριλαμβανομένων των Watson, Siri και του ρομπότ Todai,

is able to read.

δεν μπορεί να διαβάσει.

But they are very good at searching and optimizing.

Αλλά είναι πολύ καλές στην αναζήτηση και βελτιστοποίηση.

It will recognize

Θα αναγνωρίσει

that the keywords "Mozart," "last" and "symphony"

ότι οι λέξεις-κλειδιά «Μότσαρτ», «τελευταία» και «συμφωνία»

are appearing heavily around here.

εμφανίζονται σε μεγάλο βαθμό εδώ.

So if it can find a word which is a planet

Άρα, αν μπορέσει να βρει μία λέξη που να είναι πλανήτης,

and which is co-occurring with these keywords,

η οποία συνυπάρχει με αυτές τις λέξεις-κλειδιά,

that must be the answer.

αυτή πρέπει να είναι και η απάντηση.

This is how Watson finds the answer "Jupiter," in this case.

Αυτός είναι ο τρόπος με τον οποίο το Watson βρίσκει την απάντηση «Δίας».

Our Todai Robot works similarly, but a bit smarter

Το ρομπότ Todai λειτουργεί παρόμοια, αλλά λίγο πιο έξυπνα,

in answering history yes-no questions,

απαντώντας με ναι/όχι ιστορικές ερωτήσεις,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

όπως «Ο Καρλομάγνος απώθησε τους Μαγυάρους», σωστό ή λάθος;

Our robot starts producing a factoid question,

Το ρομπότ μας ξεκινά να παράγει μία κατασκευασμένη ερώτηση,

like: "Charlemagne repelled [this person type]" by itself.

όπως «Ο Καρλομάγνος απώθησε [αυτά τα πρόσωπα]» από μόνο του.

Then, "Avars" but not "Magyars" is ranked top.

Τότε το «Άβαροι» και όχι το «Μαγυάροι» εμφανίζεται πρώτο στα αποτελέσματα.

This sentence is likely to be false.

Αυτή η πρόταση είναι πιθανότατα λάθος.

Our robot does not read, does not understand,

Το ρομπότ μας δεν διαβάζει, ούτε καταλαβαίνει,

but it is statistically correct in many cases.

αλλά είναι στατιστικά σωστό σε πολλές περιπτώσεις.

For the second stage written test,

Για το γραπτό της δεύτερης φάσης,

it is required to write a 600-word essay like this one:

απαιτείται να γράψετε μία έκθεση 600 λέξεων σαν αυτή εδώ:

[Συζητήστε την άνοδο και πτώση του ναυτιλιακού εμπορίου

[Discuss the rise and fall of the maritime trade

στην Ανατολική και Νοτιοανατολική Ασία τον 17ο αιώνα ...]

in East and Southeast Asia in the 17th century ...]

and as I have shown earlier,

και όπως σας έδειξα νωρίτερα,

our robot took the sentences from the textbooks and Wikipedia,

το ρομπότ μας πήρε τις προτάσεις από σχολικά βιβλία και Wikipedia,

combined them together,

τις συνδύασε,

and optimized it to produce an essay

και τις βελτιστοποίησε για να φτιάξει μία έκθεση

without understanding a thing.

χωρίς να καταλαβαίνει τίποτα.

(Laughter)

(Γέλια)

But surprisingly, it wrote a better essay

Αλλά, απροσδόκητα, έγραψε ένα καλύτερο δοκίμιο

than most of the students.

από τους περισσότερους σπουδαστές.

(Laughter)

(Γέλια)

How about mathematics?

Τι γίνεται με τα μαθηματικά;

A fully automatic math-solving machine

Μία πλήρως αυτόματη μηχανή επίλυσης μαθηματικών

has been a dream

αποτελεί ένα όνειρο

since the birth of the word "artificial intelligence,"

από τη γέννηση του όρου «τεχνητή νοημοσύνη»,

but it has stayed at the level of arithmetic for a long, long time.

αλλά παρέμενε στο επίπεδο της αριθμητικής για πάρα πολύ καιρό.

Last year, we finally succeeded in developing a system

Πέρυσι, επιτέλους πετύχαμε την ανάπτυξη ενός συστήματος

which solved pre-university-level problems from end to end,

που επίλυε προπτυχιακού επιπέδου προβλήματα από την αρχή ως το τέλος,

like this one.

σαν αυτό.

This is the original problem written in Japanese,

Αυτό είναι το πρότυπο πρόβλημα γραμμένο στα ιαπωνικά

and we had to teach it 2,000 mathematical axioms

και έπρεπε να του μάθουμε 2.000 μαθηματικά αξιώματα

and 8,000 Japanese words

και 8.000 ιαπωνικές λέξεις

to make it accept the problems written in natural language.

για να καταλάβει προβλήματα γραμμένα σε φυσική γλώσσα.

And it is now translating the original problems

Τώρα μεταφράζει το αρχικό πρόβλημα

into machine-readable formulas.

σε μηχανικά αναγνώσιμες φόρμουλες.

Weird, but it is now ready to solve it, I think.

Περίεργο, αλλά τώρα νομίζω ότι είναι έτοιμο να το επιλύσει.

Go and solve it.

Ξεκίνα.

Yes! It is now executing symbolic computation.

Ναι! Τώρα εκτελεί συμβολικούς υπολογισμούς.

Even more weird,

Ακόμα πιο περίεργο,

but probably this is the most fun part for the machine.

αλλά αυτό είναι το πιο συναρπαστικό κομμάτι της μηχανής.

(Laughter)

(Γέλια)

Now it outputs a perfect answer,

Τώρα εξάγει μια τέλεια απάντηση,

though its proof is impossible to read, even for mathematicians.

αν και η απόδειξή του είναι αδύνατο να διαβαστεί, ακόμη και από μαθηματικούς.

Anyway, last year our robot was among the top one percent

Τέλος πάντων, πέρυσι το ρομπότ μας ήταν μεταξύ των κορυφαίων 1%

in the second stage written exam in mathematics.

στη δεύτερη φάση των γραπτών εξετάσεων στα μαθηματικά.

(Applause)

(Χειροκρότημα)

Thank you.

Σας ευχαριστώ.

So, did it enter Todai?

Πέρασε, λοιπόν, στο Todai;

No, not as I expected.

Όχι, όπως το περίμενα.

Why?

Γιατί;

Because it doesn't understand any meaning.

Επειδή δεν καταλαβαίνει κανένα νόημα.

Let me show you a typical error it made in the English test.

Θα σας δείξω ένα τυπικό λάθος που έκανε στο τεστ Αγγλικών.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Νέιτ: Σχεδόν φτάσαμε στο βιβλιοπωλείο. Λίγα λεπτά ακόμα.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Σενίλ: Περίμενε. _____. Νέιτ: Ευχαριστώ! Αυτό συμβαίνει πάντα ...]

Two people are talking.

Δύο άνθρωποι συζητούν.

For us, who can understand the situation --

Για εμάς, που κατανοούμε την κατάσταση -

[1. "We walked for a long time." 2. "We're almost there."

[1. «Περπατήσαμε πολύ ώρα». 2. «Σχεδόν φτάσαμε».

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. «Τα παπούτσια φαίνονται ακριβά». 4.«Σου λύθηκε το κορδόνι».]

it is obvious number four is the correct answer, right?

Προφανώς το 4 είναι η σωστή απάντηση, σωστά;

But Todai Robot chose number two,

Αλλά το ρομπότ Todai επέλεξε το 2,

even after learning 15 billion English sentences

ακόμα και μετά την εκμάθηση 15 δισεκατομμυρίων αγγλικών προτάσεων,

using deep learning technologies.

με τη χρήση τεχνολογιών βαθιάς μάθησης.

OK, so now you might understand what I said:

Ωραία, τώρα λοιπόν μπορεί να καταλάβατε τι εννοούσα:

modern AIs do not read,

οι σύγχρονες ΤΝ δεν διαβάζουν,

do not understand.

δεν κατανοούν.

They only disguise as if they do.

Μόνο φαίνεται ότι αυτό κάνουν.

This is the distribution graph

Αυτό είναι το γράφημα κατανομής

of half a million students who took the same exam as Todai Robot.

μισού εκατομμυρίου σπουδαστών που έδωσαν το ίδιο τεστ με το ρομπότ Todai.

Now our Todai Robot is among the top 20 percent,

Το ρομπότ Todai είναι στους πρώτους 20%

and it was capable to pass

και ήταν ικανό να περάσει

more than 60 percent of the universities in Japan --

σε παραπάνω από το 60% των πανεπιστημίων στην Ιαπωνία -

but not Todai.

αλλά όχι στο Todai.

But see how it is beyond the volume zone

Αλλά παρατηρείστε ότι είναι πέρα από τη ζώνη

of to-be white-collar workers.

των υποψήφιων υπαλλήλων γραφείου.

You might think I was delighted.

Μπορεί να νομίζετε ότι ήμουν ευχαριστημένη.

After all, my robot was surpassing students everywhere.

Εξάλλου, το ρομπότ μου ξεπερνούσε τους μαθητές παντού.

Instead, I was alarmed.

Αντιθέτως, ήμουν ανήσυχη.

How on earth could this unintelligent machine outperform students --

Πώς στο καλό μπορούσε αυτή η μη έξυπνη μηχανή να ξεπεράσει τους μαθητές -

our children?

τα παιδιά μας;

Right?

Σωστά;

I decided to investigate what was going on in the human world.

Αποφάσισα να ερευνήσω τι συνέβαινε στον ανθρώπινο κόσμο.

I took hundreds of sentences from high school textbooks

Πήρα εκατοντάδες προτάσεις βιβλίων γυμνασίου

and made easy multiple-choice quizzes,

και έφτιαξα εύκολα κουίζ πολλαπλών επιλογών,

and asked thousands of high school students to answer.

και ζήτησα σε χιλιάδες γυμνασιόπαιδα να τα απαντήσουν.

Here is an example:

Δείτε ένα παράδειγμα:

[Buddhism spread to ... , Christianity to ... and Oceania,

[Ο Βουδισμός εξαπλώθηκε ___, ο Χριστιανισμός σε ___ και Ωκεανία,

and Islam to ...]

και το Ισλάμ στην ___ ]

Of course, the original problems are written in Japanese,

Φυσικά, τα αρχικά προβλήματα είναι γραμμένα στα Ιαπωνικά,

their mother tongue.

τη μητρική τους γλώσσα.

[ ______ has spread to Oceania.

[ ____ έχει εξαπλωθεί στην Ωκεανία.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1-Ινδουισμός 2-Χριστιανισμός 3-Ισλάμ 4-Βουδισμός]

Obviously, Christianity is the answer, isn't it?

Προφανώς, ο Χριστιανισμός είναι η απάντηση, έτσι;

It's written!

Είναι γραμμένο!

And Todai Robot chose the correct answer, too.

Και το ρομπότ Todai επέλεξε τη σωστή απάντηση.

But one-third of junior high school students

Αλλά το ένα τρίτο των νέων γυμνασιόπαιδων

failed to answer this question.

απέτυχε να απαντήσει σωστά.

Do you think it is only the case in Japan?

Νομίζεται ότι αυτό συνέβη μόνο στην Ιαπωνία;

I do not think so,

Δεν το νομίζω,

because Japan is always ranked among the top in OECD PISA tests,

διότι η Ιαπωνία κατατάσσεται πάντα μεταξύ των κορυφαίων στα τεστ PISA του ΟΟΣΑ,

measuring 15-year-old students' performance in mathematics,

τα οποία μετρούν τις επιδόσεις δεκαπεντάχρονων στα μαθηματικά,

science and reading

στην επιστήμη και την ανάγνωση,

every three years.

κάθε τρία χρόνια.

We have been believing

Πιστεύουμε

that everybody can learn

ότι ο καθένας μπορεί να μάθει

and learn well,

και να μάθει καλά,

as long as we provide good learning materials

εφόσον παρέχουμε καλό εκπαιδευτικό υλικό,

free on the web

ελεύθερα στο Διαδίκτυο,

so that they can access through the internet.

ώστε να είναι προσβάσιμο.

But such wonderful materials may benefit only those who can read well,

Αλλά αυτό το υπέροχο υλικό μπορεί να ωφελήσει μόνο όσους διαβάζουν καλά,

and the percentage of those who can read well

το ποσοστό των οποίων

may be much less than we expected.

μπορεί να είναι πολύ λιγότερο από όσο περιμένουμε.

How we humans will coexist with AI

Το πώς εμείς οι άνθρωποι θα συνυπάρξουμε με την ΤΝ,

is something we have to think about carefully,

είναι κάτι που πρέπει να σκεφτούμε προσεκτικά,

based on solid evidence.

βάσει αξιόπιστων στοιχείων.

At the same time, we have to think in a hurry

Ταυτόχρονα, πρέπει να το σκεφτούμε γρήγορα,

because time is running out.

γιατί ο χρόνος τελειώνει.

Thank you.

Σας ευχαριστώ.

(Applause)

(Χειροκρότημα)

Chris Anderson: Noriko, thank you.

Κρις Άντερσον: Νορίκο, σε ευχαριστούμε.

Noriko Arai: Thank you.

Νορίκο Αράι: Ευχαριστώ.

CA: In your talk, you so beautifully give us a sense of how AIs think,

ΚΑ: Στην ομιλία σου, πολύ ωραία μας έδωσες μια αίσθηση του τρόπου σκέψης της ΤΝ,

what they can do amazingly

τι μπορεί να κάνει με εκπληκτικό τρόπο

and what they can't do.

και τι δεν μπορεί.

But -- do I read you right,

Αλλά, αν κατάλαβα καλά,

that you think we really need quite an urgent revolution in education

νομίζεις ότι πράγματι χρειαζόμαστε μια κάπως επείγουσα επανάσταση στην εκπαίδευση

to help kids do the things that humans can do better than AIs?

που θα βοηθήσει τα παιδιά να κάνουν ό,τι κάνει ο άνθρωπος καλύτερα από την ΤΝ;

NA: Yes, yes, yes.

ΝΑ: Ναι, ναι, ναι.

Because we humans can understand the meaning.

Διότι εμείς οι άνθρωποι μπορούμε να καταλάβουμε το νόημα.

That is something which is very, very lacking in AI.

Αυτό είναι κάτι πάρα πολύ ελλιπές στην ΤΝ.

But most of the students just pack the knowledge

Αλλά οι περισσότεροι μαθητές «συσκευάζουν» τη γνώση,

without understanding the meaning of the knowledge,

χωρίς να καταλαβαίνουν το νόημά της

so that is not knowledge, that is just memorizing,

και αυτό δεν είναι γνώση αλλά αποστήθιση,

and AI can do the same thing.

το οποίο μπορεί να κάνει και η ΤΝ.

So we have to think about a new type of education.

Γι' αυτό, πρέπει να σκεφτούμε έναν νέο τρόπο εκπαίδευσης.

CA: A shift from knowledge, rote knowledge, to meaning.

ΚΑ: Μία μετατόπιση από τη γνώση παπαγαλίας στην γνώση με νόημα.

NA: Mm-hmm.

ΝΑ: Ναι.

CA: Well, there's a challenge for the educators. Thank you so much.

ΚΑ: Αυτό είναι μία πρόκληση για τους εκπαιδευτικούς. Σε ευχαριστούμε.

NA: Thank you very much. Thank you.

ΝΑ: Σας ευχαριστώ πολύ.

(Applause)

(Χειροκρότημα)