Can a robot pass a university entrance exam? | Noriko Arai

Traducteur: Sheena Marrion Relecteur: Shadia Ramsahye

Today, I'm going to talk about AI and us.

Aujourd'hui, je vais parler d'IA et de nous.

AI researchers have always said

Les chercheurs en IA ont toujours dit que

that we humans do not need to worry,

nous, les êtres humains, ne devons pas nous inquiéter

because only menial jobs will be taken over by machines.

car seuls les emplois non qualifiés seront repris par les machines.

Is that really true?

Est-ce vraiment vrai ?

They have also said that AI will create new jobs,

Ils ont également dit que l'IA créerait de nouveaux emplois,

so those who lose their jobs will find a new one.

donc ceux qui perdront leur travail en retrouveront.

Of course.

Bien sûr.

But the real question is:

Mais la véritable question est de savoir :

How many of those who may lose their jobs to AI

parmi ceux qui perdraient leur emploi à cause de l'IA,

will be able to land a new one,

combien en retrouveront un,

especially when AI is smart enough to learn better than most of us?

dès lors que l'IA a des meilleures capacités d'apprentissage

que la plupart d'entre nous ?

Let me ask you a question:

Permettez-moi de vous poser une question :

How many of you think

Combien d'entre vous pensent

that AI will pass the entrance examination of a top university by 2020?

que l'IA réussira l'examen d'entrée d'une prestigieuse université d'ici 2020 ?

Oh, so many. OK.

Oh, beaucoup. Ok.

So some of you may say, "Of course, yes!"

Certains d'entre vous diront : « Bien sûr que oui ! »

Now singularity is the issue.

Mais ça pose le problème de la singularité.

And some others may say, "Maybe,

Et d'autres diront : « Peut-être,

because AI already won against a top Go player."

vu que l'IA a déjà battu le meilleur joueur de go. »

And others may say, "No, never. Uh-uh."

Et d'autres pourraient dire : « Non, jamais. »

That means we do not know the answer yet, right?

Ce qui veut dire que cette question reste encore sans réponse, n'est-ce pas ?

So that was the reason why I started Todai Robot Project,

C'est donc pour cette raison que j'ai commencé le projet Todai Robot

making an AI which passes the entrance examination

et travaillé sur une IA capable de réussir un examen d'entrée

of the University of Tokyo,

de l'université de Tokyo,

the top university in Japan.

la meilleure université au Japon.

This is our Todai Robot.

Voici notre Todai Robot.

And, of course, the brain of the robot is working in the remote server.

Bien entendu, le cerveau du robot est géré par un serveur à distance.

It is now writing a 600-word essay

Il est capable d'écrire une dissertation de 600 mots

on maritime trade in the 17th century.

sur le commerce maritime au XVIIe siècle.

How does that sound?

Pas mal, non ?

Why did I take the entrance exam as its benchmark?

Pourquoi avoir choisi l'examen d'entrée comme point de référence ?

Because I thought we had to study the performance of AI

Parce que je me suis dit qu'il fallait étudier les performances de l'IA

in comparison to humans,

en les comparant à celles des êtres humains,

especially on the skills and expertise

en particulier les compétences et l'expertise

which are believed to be acquired only by humans

dont l'acquisition est vue comme l'apanage de l'être humain

and only through education.

et possible grâce aux études uniquement.

To enter Todai, the University of Tokyo,

Pour intégrer Todai, l'Université de Tokyo,

you have to pass two different types of exams.

il faut réussir deux types d'examen.

The first one is a national standardized test

Le premier est un test national standardisé

in multiple-choice style.

sous forme de questionnaire à choix multiples.

You have to take seven subjects

Il faut choisir sept sujets

and achieve a high score --

et obtenir un score élevé --

I would say like an 85 percent or more accuracy rate --

je dirais plus ou moins 85% ou plus --

to be allowed to take the second stage written test

pour pouvoir accéder au test écrit de la deuxième phase,

prepared by Todai.

préparé par Todai.

So let me first explain how modern AI works,

Je vais d'abord expliquer comment fonctionne l'IA actuelle

taking the "Jeopardy!" challenge as an example.

en prenant « Jeopardy » comme exemple.

Here is a typical "Jeopardy!" question:

Voici une question type dans le jeu :

"Mozart's last symphony shares its name with this planet."

« La dernière symphonie de Mozart porte le nom de cette planète. »

Interestingly, a "Jeopardy!" question always asks,

Fait intéressant, les questions de Jeopardy

always ends with "this" something:

se terminent toujours par « ce » ou « cette » quelque chose :

"this" planet, "this" country,

« cette » planète, « ce » pays,

"this" rock musician, and so on.

« ce » musicien, etc.

In other words, "Jeopardy!" doesn't ask many different types of questions,

En d'autres termes, les questions ne sont pas variées,

but a single type,

mais sont d'un seul type,

which we call "factoid questions."

qu'on appelle « questions factuelles ».

By the way, do you know the answer?

D'ailleurs, connaissez-vous la réponse ?

If you do not know the answer and if you want to know the answer,

Si vous ne connaissez pas la réponse et voulez la découvrir,

what would you do?

que faites-vous ?

You Google, right? Of course.

Vous allez sur Google, n'est-ce pas ? Bien sûr.

Why not?

Pourquoi pas ?

But you have to pick appropriate keywords

Mais il faut choisir les bons mots clés.

like "Mozart," "last" and "symphony" to search.

comme « Mozart », « dernière » et « symphonie ».

The machine basically does the same.

La machine fait à peu près la même chose.

Then this Wikipedia page will be ranked top.

Et cette page Wikipedia apparaît dans les premiers résultats de recherche.

Then the machine reads the page.

Puis, la machine lit la page.

No, uh-uh.

Non.

Unfortunately, none of the modern AIs,

Malheureusement, aucune forme d'IA,

including Watson, Siri and Todai Robot,

y compris Watson, Siri et Todai Robot,

is able to read.

ne sait lire.

But they are very good at searching and optimizing.

En revanche, ils sont très bons en recherche et en optimisation.

It will recognize

Ils remarqueront

that the keywords "Mozart," "last" and "symphony"

que les mots clés « Mozart », « dernière » et « symphonie »

are appearing heavily around here.

reviennent souvent par ici.

So if it can find a word which is a planet

Donc, s'ils trouvent le nom d'une planète

and which is co-occurring with these keywords,

qui apparaît aux côtés de ces mots-clés,

that must be the answer.

ça doit être la bonne réponse.

This is how Watson finds the answer "Jupiter," in this case.

C'est de cette manière que Watson trouve « Jupiter » dans ce cas.

Our Todai Robot works similarly, but a bit smarter

C'est aussi ce que fait notre Todai Robot mais un peu plus intelligemment

in answering history yes-no questions,

quand il répond à des vrais ou faux sur des questions d'Histoire,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

comme : « Charlemagne a repoussé les Magyars. Vrai ou faux ? »

Our robot starts producing a factoid question,

Notre robot commence par générer lui-même une question,

like: "Charlemagne repelled [this person type]" by itself.

comme : « Charlemagne a repoussé [cet individu]. »

Then, "Avars" but not "Magyars" is ranked top.

Ensuite, « les Avars » mais pas « les Magyars » obtient le meilleur score.

This sentence is likely to be false.

La phrase est probablement fausse dans ce cas.

Our robot does not read, does not understand,

Notre robot ne sait pas lire, ne comprend pas le sens des phrases,

but it is statistically correct in many cases.

mais a souvent raison.

For the second stage written test,

En deuxième phase, pour la partie écrite,

it is required to write a 600-word essay like this one:

il fallait rédiger une dissertation de 600 mots de ce genre :

[Discuss the rise and fall of the maritime trade

[Commentez l’ascension et la chute du commerce maritime en Asie de l'Est et du Sud-Est au XVIIe siècle

en 600 mots, en prenant en compte les politiques commerciales de ces pays et les activités commerciales des pays européens présents dans cette zone]

in East and Southeast Asia in the 17th century ...]

and as I have shown earlier,

et comme je l'ai montré tout à l'heure, notre robot a analysé les phrases

our robot took the sentences from the textbooks and Wikipedia,

à partir de manuels et de Wikipedia,

combined them together,

les a combinées,

and optimized it to produce an essay

et les a optimisées afin de générer une dissertation

without understanding a thing.

sans comprendre quoi que ce soit.

(Laughter)

(Rires)

But surprisingly, it wrote a better essay

Étonnamment, il a rédigé une meilleure dissertation

than most of the students.

que la plupart des étudiants.

(Laughter)

(Rires)

How about mathematics?

Et en mathématiques ?

A fully automatic math-solving machine

Une machine automatisée capable de résoudre des opérations mathématiques

has been a dream

est un rêve qui existe

since the birth of the word "artificial intelligence,"

depuis la naissance de l'expression « intelligence artificielle »,

but it has stayed at the level of arithmetic for a long, long time.

mais elle est restée au stade de l'arithmétique

pendant très, très longtemps.

Last year, we finally succeeded in developing a system

L'an dernier [en 2016], nous avons enfin réussi à développer un système

which solved pre-university-level problems from end to end,

capable de résoudre des problèmes de niveau pré-universitaire

de bout en bout, comme celui-ci.

like this one.

This is the original problem written in Japanese,

Voici le problème original écrit en japonais,

and we had to teach it 2,000 mathematical axioms

et nous avons dû lui apprendre 2 000 axiomes mathématiques

and 8,000 Japanese words

et 8 000 mots en japonais

to make it accept the problems written in natural language.

pour qu'il accepte les problèmes écrits en langage naturel.

And it is now translating the original problems

Et il traduit maintenant les problèmes originaux

into machine-readable formulas.

sous forme de formules lisibles par les machines.

Weird, but it is now ready to solve it, I think.

C'est étrange,

mais il est maintenant capable de les résoudre, je pense.

Go and solve it.

Résous ce problème.

Yes! It is now executing symbolic computation.

Oui ! Il est train d'exécuter des calculs symboliques.

Even more weird,

Encore plus étrange,

but probably this is the most fun part for the machine.

mais c'est probablement la partie la plus amusante pour cette machine.

(Laughter)

(Rires)

Now it outputs a perfect answer,

Maintenant, il génère une réponse parfaite,

though its proof is impossible to read, even for mathematicians.

bien que la démonstration soit impossible à lire même pour des mathématiciens.

Anyway, last year our robot was among the top one percent

Bref, l'année dernière, notre robot se classait parmi les premiers 1 pour cent

in the second stage written exam in mathematics.

pour l'épreuve de mathématiques qu'il a passée en seconde phase de l'examen.

(Applause)

(Applaudissements)

Thank you.

Merci.

So, did it enter Todai?

Donc, est-il entré à Todai ?

No, not as I expected.

Non, contrairement à ce que j'espérais.

Why?

Pourquoi ?

Because it doesn't understand any meaning.

Parce qu'il est incapable de comprendre.

Let me show you a typical error it made in the English test.

Je vais vous montrer une erreur type qu'il a commise à son test d'anglais.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate : Nous sommes presque arrivés à la libraire. Encore quelques minutes.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil : Attends. ______ . Nate : Merci ! Ça arrive tout le temps...]

Two people are talking.

Deux personnes discutent.

For us, who can understand the situation --

Pour nous, la situation est claire --

[1. "We walked for a long time." 2. "We're almost there."

[1. Nous avons beaucoup marché. 2. Nous y sommes presque.

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. Tes chaussures ont l'air chers. 4. Tes lacets sont défaits.]

it is obvious number four is the correct answer, right?

Cela paraît évident que 4 est la bonne réponse, non ?

But Todai Robot chose number two,

Mais le robot a choisi la réponse numéro 2,

even after learning 15 billion English sentences

même après avoir appris 15 milliards de phrases en anglais

using deep learning technologies.

grâce à des technologies d'apprentissage profond.

OK, so now you might understand what I said:

Ok, donc maintenant vous comprenez peut-être mieux ce que je disais :

modern AIs do not read,

les IA modernes ne savent pas lire,

do not understand.

ne comprennent rien.

They only disguise as if they do.

Ils font juste semblant.

This is the distribution graph

Voici un graphique représentant la répartition

of half a million students who took the same exam as Todai Robot.

d'un demi million d'étudiants ayant passé le même examen que le Todai Robot.

Now our Todai Robot is among the top 20 percent,

Ici, notre robot se classe parmi les premiers 20%

and it was capable to pass

et il a réussi les examens d'entrée

more than 60 percent of the universities in Japan --

de plus de 60% des universités japonaises --

but not Todai.

mais pas celui de Todai.

But see how it is beyond the volume zone

Voyez comme il dépasse

of to-be white-collar workers.

les futurs cadres.

You might think I was delighted.

Vous vous dites peut-être que j'étais ravie.

After all, my robot was surpassing students everywhere.

Après tout, mon robot surpassait des étudiants venant de partout.

Instead, I was alarmed.

En réalité, ça m'a alarmée.

How on earth could this unintelligent machine outperform students --

Comment est-ce possible qu'une machine sans intelligence réussisse mieux que

our children?

nos enfants ?

Right?

N'est-ce pas ?

I decided to investigate what was going on in the human world.

J'ai décidé d'examiner ce qu'il se passe dans le monde des humains.

I took hundreds of sentences from high school textbooks

J'ai pris des centaines de phrases tirées de manuels scolaires

and made easy multiple-choice quizzes,

et j'ai créé des questionnaires à choix multiples faciles

and asked thousands of high school students to answer.

et demandé à des milliers de lycéens d'y répondre.

Here is an example:

En voici un exemple :

[Buddhism spread to ... , Christianity to ... and Oceania,

[Le bouddhisme s'est étendu à..., le christianisme à ... et l'Océanie,

and Islam to ...]

et l'islam à ...]

Of course, the original problems are written in Japanese,

Bien évidemment, les questions originales sont rédigées en japonais,

their mother tongue.

leur langue maternelle.

[ ______ has spread to Oceania.

[ ______ s'est étendu à l'Océanie.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. L'hindouisme 2. le christianisme 3. l'islam 4. le bouddhisme]

Obviously, Christianity is the answer, isn't it?

La réponse est bien évidemment le christianisme.

It's written!

C'est écrit !

And Todai Robot chose the correct answer, too.

Et le Todai Robot a aussi choisi la bonne réponse.

But one-third of junior high school students

Mais un tiers des lycéens

failed to answer this question.

ont mal répondu à cette question.

Do you think it is only the case in Japan?

Pensez-vous que ça ne se passe qu'au Japon ?

I do not think so,

Je ne pense pas,

because Japan is always ranked among the top in OECD PISA tests,

parce que le Japon obtient toujours les meilleurs résultats

aux tests PISA de l'OCDE,

measuring 15-year-old students' performance in mathematics,

qui testent les performances d'étudiants de 15 ans en mathématiques,

science and reading

en sciences et en lecture,

every three years.

tous les trois ans.

We have been believing

Nous avons toujours pensé

that everybody can learn

que tout le monde peut apprendre

and learn well,

et apprendre correctement,

as long as we provide good learning materials

à condition que les bons outils d'apprentissage

free on the web

soient accessibles librement en ligne,

so that they can access through the internet.

pour qu'ils puissent y accéder via Internet.

But such wonderful materials may benefit only those who can read well,

Mais ce genre d'outils ne sont peut-être efficaces

que pour ceux qui lisent correctement,

and the percentage of those who can read well

et le pourcentage des personnes qui lisent correctement

may be much less than we expected.

semble être bien plus faible que nous le pensions.

How we humans will coexist with AI

Déterminer comment les êtres humains cohabiteront avec l'IA

is something we have to think about carefully,

requiert une réponse mûrement réfléchie,

based on solid evidence.

basée sur des preuves solides.

At the same time, we have to think in a hurry

En même temps, il faut y réfléchir vite

because time is running out.

parce qu'on commence à manquer de temps.

Thank you.

Merci.

(Applause)

(Applaudissements)

Chris Anderson: Noriko, thank you.

Chris Anderson : Noriko, merci.

Noriko Arai: Thank you.

Noriko Arai : Merci.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA : Vous nous avez brillamment donné un aperçu des modes de réflexion de l'IA,

what they can do amazingly

de ses capacités extraordinaires

and what they can't do.

et de ses limites.

But -- do I read you right,

Mais, si je comprends bien,

that you think we really need quite an urgent revolution in education

vous pensez qu'il est urgent de repenser notre système éducatif

to help kids do the things that humans can do better than AIs?

pour aider les enfants à maîtriser ce que les humains font mieux que les IA ?

NA: Yes, yes, yes.

NA : Oui, oui, oui.

Because we humans can understand the meaning.

Parce que nous, les humains, nous sommes capables de comprendre.

That is something which is very, very lacking in AI.

C'est une aptitude qui fait cruellement défaut à l'IA.

But most of the students just pack the knowledge

Mais la plupart des étudiants se contentent d'étudier

without understanding the meaning of the knowledge,

sans comprendre le sens de ce qu'ils étudient,

so that is not knowledge, that is just memorizing,

ce qui fait qu'ils n'apprennent rien, ils ne font que mémoriser,

and AI can do the same thing.

et l'IA est capable de le faire aussi.

So we have to think about a new type of education.

Donc, nous devons réfléchir à un nouveau système éducatif

CA: A shift from knowledge, rote knowledge, to meaning.

CA : Passer de la mémorisation, du par cœur, à la connaissance.

NA: Mm-hmm.

NA : C'est ça.

CA: Well, there's a challenge for the educators. Thank you so much.

CA : Voilà, le défi est lancé à nos enseignants. Merci beaucoup.

NA: Thank you very much. Thank you.

NA : Merci beaucoup. Merci.

(Applause)

(Applaudissements)