Can a robot pass a university entrance exam? | Noriko Arai

翻訳: Yasushi Aoki 校正: Natsuhiko Mizutani

今日はAIと私たちについて お話ししようと思います

Today, I'm going to talk about AI and us.

AI researchers have always said

コンピューターに奪われる仕事は 単純作業だけだから

that we humans do not need to worry,

心配するには及ばないと

because only menial jobs will be taken over by machines.

AI研究者は いつも言っています

Is that really true?

本当にそうなんでしょうか？

They have also said that AI will create new jobs,

AI技術は新たな仕事も 生むことになるので

so those who lose their jobs will find a new one.

仕事を失った人は 新しい仕事を見つけられるとも言います

Of course.

そうでしょうけど

But the real question is:

疑問なのは

How many of those who may lose their jobs to AI

AIのせいで 仕事を失う人のうち

新しい仕事を得られる人は どれくらいか ということです

will be able to land a new one,

especially when AI is smart enough to learn better than most of us?

ことに AIが私たちの多くよりも うまく物事を学べるのだとしたら

Let me ask you a question:

ひとつお聞きします

How many of you think

2020年までにAIが一流大学の 入試に通るようになると思う人は

that AI will pass the entrance examination of a top university by 2020?

どれくらいいますか？

Oh, so many. OK.

結構いますね

So some of you may say, "Of course, yes!"

「もちろんそうなる！」 という人もいるでしょう

Now singularity is the issue.

シンギュラリティ（技術的特異点）が 今や問題なんだと

And some others may say, "Maybe,

「碁ではすでにAIが名人に勝って いるんだから そうなるかも」

because AI already won against a top Go player."

と思う人もいるでしょう

And others may say, "No, never. Uh-uh."

そして「絶対無理」と 言う人もいるでしょう

That means we do not know the answer yet, right?

まだ答えは分かっていない ということです

So that was the reason why I started Todai Robot Project,

私が「東ロボくん」プロジェクトを 始めたのは そのためです

making an AI which passes the entrance examination

日本で最高峰の 大学である

東京大学の 入試に通るAIを

of the University of Tokyo,

the top university in Japan.

作ろうという試みです

This is our Todai Robot.

これが東ロボくんです

And, of course, the brain of the robot is working in the remote server.

もちろん頭脳部分は 遠隔のサーバーで動いています

It is now writing a 600-word essay

今 17世紀の 海上貿易について

on maritime trade in the 17th century.

600語の小論文を 書いているところです

How does that sound?

そう聞いて どう感じますか？

Why did I take the entrance exam as its benchmark?

私がAIのベンチマークとして 入試を選んだ理由は

人間と比較した AIの能力を

Because I thought we had to study the performance of AI

研究する必要があると 思ったからです

in comparison to humans,

人間だけが 教育を通してのみ

especially on the skills and expertise

which are believed to be acquired only by humans

獲得できるとされている

スキルや専門的能力については 特にそうです

and only through education.

To enter Todai, the University of Tokyo,

東京大学に入るためには

you have to pass two different types of exams.

２種類の試験を受ける 必要があります

The first one is a national standardized test

１つ目は選択式の

全国共通試験です

in multiple-choice style.

You have to take seven subjects

７科目の試験を受けて

and achieve a high score --

高得点を取る 必要があります

I would say like an 85 percent or more accuracy rate --

そこでの正答率が 85%以上でないと

to be allowed to take the second stage written test

東大が用意する 記述式の２次試験を

prepared by Todai.

受けることはできません

So let me first explain how modern AI works,

まず現在のAIが どのように動くのかを

クイズ番組『ジェパディ！』への挑戦を例に 説明しましょう

taking the "Jeopardy!" challenge as an example.

Here is a typical "Jeopardy!" question:

ジェパディの典型的な問題は こんな感じです

"Mozart's last symphony shares its name with this planet."

「モーツァルトの最後の交響曲は “この惑星” と同じ名前である」

Interestingly, a "Jeopardy!" question always asks,

興味深いことに ジェパディで問われる質問は

always ends with "this" something:

常に “この何々” という形をしています

"this" planet, "this" country,

“この惑星” とか “この国” とか

"this" rock musician, and so on.

“このロック歌手” という具合に

言い換えると ジェパディでは 様々な形式の質問がされるわけではなく

In other words, "Jeopardy!" doesn't ask many different types of questions,

but a single type,

１つのタイプの問題—

which we call "factoid questions."

一言で答えられる 雑学が問われるんです

By the way, do you know the answer?

ちなみに この問題の答えは 分かりますか？

If you do not know the answer and if you want to know the answer,

答えが分からなくて 答えを知りたいというとき

皆さんならどうしますか？

what would you do?

You Google, right? Of course.

ネットで検索しますよね

Why not?

もちろん

But you have to pick appropriate keywords

でも 検索するキーワードを 適切に選んでやる必要があります

like "Mozart," "last" and "symphony" to search.

「モーツァルト 最後 交響曲」というように

The machine basically does the same.

AIも基本的に 同じことをします

Then this Wikipedia page will be ranked top.

そうすると このウィキペディアのページが 最初にヒットします

Then the machine reads the page.

それからAIは その内容を読むのかというと

No, uh-uh.

違います

Unfortunately, none of the modern AIs,

あいにく 現在のAIは

including Watson, Siri and Todai Robot,

ワトソンにせよ Siriにせよ 東ロボくんにせよ

is able to read.

読解はできません

But they are very good at searching and optimizing.

でも AIは検索と最適化に 優れています

It will recognize

AIはキーワード 「モーツァルト」「最後」「交響曲」が

that the keywords "Mozart," "last" and "symphony"

are appearing heavily around here.

この辺りに 沢山出てくることを

認識します

So if it can find a word which is a planet

だから惑星の名前であって

これらのキーワードと 一緒に現れるものがあれば

and which is co-occurring with these keywords,

that must be the answer.

それが答えに違いないと 判断します

This is how Watson finds the answer "Jupiter," in this case.

そうやってワトソンは「ジュピター(木星)」 という答えを見つけるのです

Our Todai Robot works similarly, but a bit smarter

私たちの東ロボくんも 同じように動作しますが

歴史の正誤問題を解くために  もう少し賢くしました

in answering history yes-no questions,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

「“カール大帝はマジャール人を撃退した” という文は正しいか？」という問題なら

Our robot starts producing a factoid question,

東ロボくんは それをまず 穴埋め問題に変えます

「カール大帝は (この人々を) 撃退した」

like: "Charlemagne repelled [this person type]" by itself.

Then, "Avars" but not "Magyars" is ranked top.

そうすると「マジャール人」ではなく 「アバール人」が上位に来るので

This sentence is likely to be false.

この文はどうも 正しくないようだと分かります

Our robot does not read, does not understand,

私たちのロボットは読まないし 理解しませんが

but it is statistically correct in many cases.

多くの場合 統計的に正しいのです

For the second stage written test,

記述式の２次試験では

it is required to write a 600-word essay like this one:

こんな感じの600語の小論文を 書く必要があります

[Discuss the rise and fall of the maritime trade

[17世紀の東アジアと東南アジアにおける 海上貿易の盛衰について600語で述べよ･･･]

in East and Southeast Asia in the 17th century ...]

and as I have shown earlier,

先ほどお見せしたように

our robot took the sentences from the textbooks and Wikipedia,

私たちのロボットは教科書や ウィキペディアから文を取り出し

組み合わせ 最適化して

combined them together,

and optimized it to produce an essay

小論文を作ります

without understanding a thing.

何ひとつ理解もしないで

(Laughter)

(笑)

But surprisingly, it wrote a better essay

でも 驚いたことに ロボットの小論文は

たいていの学生のものより 出来が良かったんです

than most of the students.

(Laughter)

(笑)

How about mathematics?

数学はどうでしょう？

A fully automatic math-solving machine

数学の問題を解く 完全自動の機械というのは

has been a dream

「人工知能」という言葉が 生まれたとき以来の

since the birth of the word "artificial intelligence,"

夢でしたが

but it has stayed at the level of arithmetic for a long, long time.

非常に長い間 算数のレベルに  留まっていました

Last year, we finally succeeded in developing a system

去年 私たちはついに

高校レベルの数学の問題を最初から 最後まで解けるシステムの開発に成功しました

which solved pre-university-level problems from end to end,

たとえばこんな問題です

like this one.

This is the original problem written in Japanese,

これは日本語で書かれた 元の問題です

and we had to teach it 2,000 mathematical axioms

自然言語で記述された問題を  入力できるようにするために

２千の数学公理と ８千の日本語の単語を

and 8,000 Japanese words

to make it accept the problems written in natural language.

教える必要がありました

And it is now translating the original problems

これは元の問題を

機械にわかる式に 変換しているところです

into machine-readable formulas.

Weird, but it is now ready to solve it, I think.

奇妙なものですが これで解くための準備ができました

Go and solve it.

では解きましょう

Yes! It is now executing symbolic computation.

今 記号処理を しているところです

ますます奇妙になっていますが

Even more weird,

but probably this is the most fun part for the machine.

たぶん機械にとっては ここが一番楽しいところなんでしょう

(Laughter)

(笑)

Now it outputs a perfect answer,

完全な解答が 出力されています

though its proof is impossible to read, even for mathematicians.

もっともこの証明は 数学者でも読めないような代物です

Anyway, last year our robot was among the top one percent

何にせよ 去年私たちのロボットは

記述式の２次試験の数学で 上位１％に入りました

in the second stage written exam in mathematics.

(Applause)

(拍手)

Thank you.

ありがとうございます

So, did it enter Todai?

では 東大に 入れたのでしょうか？

No, not as I expected.

いいえ 私が想定していたとおり 入れませんでした

Why?

なぜなのでしょう？

Because it doesn't understand any meaning.

意味をまったく 理解していないからです

Let me show you a typical error it made in the English test.

英語のテストでロボットがする 典型的な間違いの例をお見せしましょう

２人の会話の 穴埋め問題です

[Nate: We're almost at the bookstore. Just a few more minutes.

[A君 本屋はもうすぐだよ。あと少し歩くだけ。 B君 待って、( ＿＿＿ )。

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

A君 ありがとう、いつもなんだ。 B君 ５分前にも靴、結んでたよね？

Two people are talking.

選択肢 ① だいぶ歩いたね。② もうすぐだね。 ③ 高そうな靴だね。④ 靴紐がほどけてるよ。]

For us, who can understand the situation --

[1. "We walked for a long time." 2. "We're almost there."

状況を理解できる 私たちにとっては

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

④番が正解なのは 明らかですよね？

it is obvious number four is the correct answer, right?

でも東ロボくんは ②番を選びました

But Todai Robot chose number two,

even after learning 15 billion English sentences

ディープラーニングの 技術を使って

150億個の英文を 学んだ後でです

using deep learning technologies.

OK, so now you might understand what I said:

私の言ったことが お分かりになったでしょう

modern AIs do not read,

現在のAIは 読めないし

do not understand.

理解できないのです

They only disguise as if they do.

そうできるかのように 見せかけているだけです

This is the distribution graph

これは東ロボくんと 同じ試験を受けた

of half a million students who took the same exam as Todai Robot.

50万人の学生の 点数の分布です

Now our Todai Robot is among the top 20 percent,

現在 私たちのロボットは 上位20%以内にいて

and it was capable to pass

日本の６割以上の大学に

more than 60 percent of the universities in Japan --

合格できます

but not Todai.

東大は無理ですが

でもホワイトカラーになる 人々の大部分より

But see how it is beyond the volume zone

of to-be white-collar workers.

上にいることに 注目してください

この結果に私が喜んだと お思いでしょう

You might think I was delighted.

After all, my robot was surpassing students everywhere.

なにしろ私たちのロボットが 多くの学生を超えたんですから

私はむしろ懸念を抱きました

Instead, I was alarmed.

どうして この知性を欠いた機械が

How on earth could this unintelligent machine outperform students --

人間の学生を

私たちの子供たちを 凌駕できたのでしょう？

our children?

Right?

I decided to investigate what was going on in the human world.

人間の世界で何が起きているのか 調べることにしました

I took hundreds of sentences from high school textbooks

中高の教科書から 文を数百個取り出し

and made easy multiple-choice quizzes,

簡単な選択式問題を作って

and asked thousands of high school students to answer.

数千人の中高生に 答えてもらいました

Here is an example:

これが問題の例です

[Buddhism spread to ... , Christianity to ... and Oceania,

[主として仏教は東南アジアや東アジアに、 キリスト教はヨーロッパ、南北アメリカ、オセアニアに、

and Islam to ...]

イスラム教は北アフリカ、西アジア、 中央アジア、東南アジアに広まっている]

Of course, the original problems are written in Japanese,

もちろん元の問題は

their mother tongue.

生徒達の母国語である 日本語で記述されています

[ ______ has spread to Oceania.

[問. ( ＿＿＿ ) はオセアニアに広まりました。

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

選択肢 ① ヒンドゥー教 ② キリスト教 ③ イスラム教 ④ 仏教]

Obviously, Christianity is the answer, isn't it?

答えは当然 キリスト教ですよね？

問題文に書いてあります！

It's written!

And Todai Robot chose the correct answer, too.

東ロボくんも 正しい答えを選びました

But one-third of junior high school students

でも中学生の３分の１は

failed to answer this question.

この問題で間違ったのです

Do you think it is only the case in Japan?

これは日本だけの 話なのでしょうか？

I do not think so,

そうは思いません

because Japan is always ranked among the top in OECD PISA tests,

「OECD生徒の学習到達度調査」で 日本はいつも上位に付けているからです

measuring 15-year-old students' performance in mathematics,

３年ごとに 各国の15歳の生徒の

science and reading

数学 科学 国語の能力を

every three years.

測っているテストです

We have been believing

能力を伸ばせるような

that everybody can learn

優れた教材が

and learn well,

ウェブで無料公開され

as long as we provide good learning materials

インターネットで 見られるようになっていれば

free on the web

誰でも 良く学べるはずだと

so that they can access through the internet.

私たちは そう 信じてきました

But such wonderful materials may benefit only those who can read well,

でも そのような素晴らしい教材も 恩恵を受けられるのは ちゃんと読める子だけで

and the percentage of those who can read well

そして ちゃんと読める子の割合は

may be much less than we expected.

私たちが思っているより ずっと少ないのかもしれません

人間がAIと どう共存していくかは

How we humans will coexist with AI

is something we have to think about carefully,

しっかりした証拠に基づいて

based on solid evidence.

慎重に考える必要があります

しかも急いで そうしなければなりません

At the same time, we have to think in a hurry

時間がもうないのですから

because time is running out.

Thank you.

ありがとうございました

(Applause)

(拍手)

Chris Anderson: Noriko, thank you.

(クリス・アンダーソン) どうもありがとう

Noriko Arai: Thank you.

(新井紀子) こちらこそ

CA: In your talk, you so beautifully give us a sense of how AIs think,

(アンダーソン) あなたの話は AIがどのように考え

何がうまくでき 何ができないのかという感触を

what they can do amazingly

すごく見事に 伝えてくれました

and what they can't do.

But -- do I read you right,

私が正しく理解しているなら

that you think we really need quite an urgent revolution in education

人間がAIよりも うまくできることについて 子供達を助けられるよう

教育の変革を急がねばならないと お考えなんですね

to help kids do the things that humans can do better than AIs?

NA: Yes, yes, yes.

(新井) その通りです

Because we humans can understand the meaning.

私たち人間は 意味を理解することができます

That is something which is very, very lacking in AI.

これはAIに すごく欠けている部分です

でも多くの生徒は 理解せずに

But most of the students just pack the knowledge

ただ知識を 詰め込んでいます

without understanding the meaning of the knowledge,

so that is not knowledge, that is just memorizing,

それは知識ではなく ただの暗記で

and AI can do the same thing.

AIでもできることです

So we have to think about a new type of education.

だから私たちは新しいタイプの教育を 考える必要があります

CA: A shift from knowledge, rote knowledge, to meaning.

(アンダーソン) 丸暗記から 意味の理解へという転換ですね

NA: Mm-hmm.

(新井) ええ

CA: Well, there's a challenge for the educators. Thank you so much.

(アンダーソン) 教育者諸氏にとっての 課題ですね　ありがとうございました

(新井) ありがとうございました

NA: Thank you very much. Thank you.

(Applause)

(拍手)