Can a robot pass a university entrance exam? | Noriko Arai

Переводчик: Alena Chernykh Редактор: Yulia Kallistratova

Today, I'm going to talk about AI and us.

Сегодня я поговорю об искусственном интеллекте и о нас с вами.

AI researchers have always said

Исследователи ИИ всегда говорят,

that we humans do not need to worry,

что людям не о чем беспокоиться,

because only menial jobs will be taken over by machines.

потому что роботы заменят человека только на «чёрных работах».

Is that really true?

Так ли это на самом ли деле?

They have also said that AI will create new jobs,

Ещё они говорят, что ИИ создаст новые рабочие места,

so those who lose their jobs will find a new one.

поэтому те, кто потерял работу, найдут новую.

Of course.

Конечно.

But the real question is:

Но главный вопрос в следующем:

How many of those who may lose their jobs to AI

сколько человек, потерявших работу из-за ИИ,

will be able to land a new one,

смогут найти новую,

especially when AI is smart enough to learn better than most of us?

особенно когда ИИ поумнеет так, что станет учиться лучше, чем большинство из нас?

Let me ask you a question:

Позвольте задать вам вопрос:

How many of you think

кто из вас думает,

that AI will pass the entrance examination of a top university by 2020?

что ИИ сдаст вступительный экзамен в один из лучших университетов в 2020 году?

Oh, so many. OK.

Как много. Хорошо.

So some of you may say, "Of course, yes!"

Кое-кто может сказать: «Конечно, сдаст!»

Now singularity is the issue.

Сейчас оригинальность — это модно.

And some others may say, "Maybe,

А некоторые, возможно, скажут:

because AI already won against a top Go player."

«Может быть, потому что ИИ уже выиграл у лучшего игрока в го».

And others may say, "No, never. Uh-uh."

А другие скажут: «Нет, никогда».

That means we do not know the answer yet, right?

Это значит, что мы пока не знаем ответа на этот вопрос, верно?

So that was the reason why I started Todai Robot Project,

Это дало старт моему проекту Todai Robot,

making an AI which passes the entrance examination

суть которого — создать робота, который сдаст вступительный экзамен

of the University of Tokyo,

в Токийский университет,

the top university in Japan.

самый лучший университет Японии.

This is our Todai Robot.

Это наш Todai-робот.

And, of course, the brain of the robot is working in the remote server.

Конечно, мозг робота находится на удалённом сервере.

It is now writing a 600-word essay

Сейчас он пишет сочинение в 600 слов

on maritime trade in the 17th century.

о морской торговле XVII века.

How does that sound?

Неплохо звучит?

Why did I take the entrance exam as its benchmark?

Почему я взяла вступительный экзамен в качестве ориентира?

Because I thought we had to study the performance of AI

Потому что я подумала, что нам нужно изучить производительность ИИ

in comparison to humans,

в сравнении с человеком,

especially on the skills and expertise

особенно в тех областях,

which are believed to be acquired only by humans

где, кажется, лишь люди могут преуспеть

and only through education.

и только благодаря обучению.

To enter Todai, the University of Tokyo,

Чтобы поступить в Todai, Токийский университет,

you have to pass two different types of exams.

необходимо сдать два различных вида экзаменов.

The first one is a national standardized test

Первый — национальный стандартизированный тест

in multiple-choice style.

с вариантами ответов на выбор.

You have to take seven subjects

Необходимо получить высшие баллы

and achieve a high score --

по семи дисциплинам,

I would say like an 85 percent or more accuracy rate --

я бы сказала, приблизительно 84 процента и более,

to be allowed to take the second stage written test

чтобы быть допущенным ко второму этапу — письменному тесту,

prepared by Todai.

подготовленному Todai.

So let me first explain how modern AI works,

Позвольте, я сначала объясню, как работает современный ИИ,

taking the "Jeopardy!" challenge as an example.

и для примера возьму телевизионную игру-викторину «Jeopardy!».

Here is a typical "Jeopardy!" question:

Вот обычный вопрос «Jeopardy!»:

"Mozart's last symphony shares its name with this planet."

«Название последней симфонии Моцарта совпадает с названием этой планеты».

Interestingly, a "Jeopardy!" question always asks,

Примечательно, что вопрос викторины

always ends with "this" something:

всегда содержит слово «этот, эта»,

"this" planet, "this" country,

например, «эта» планета, «эта» страна,

"this" rock musician, and so on.

«этот» рок-музыкант и так далее.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Другими словами, «Jeopardy!» задаёт вопросы не разных типов,

but a single type,

а только одного типа —

which we call "factoid questions."

так называемые «фактологические вопросы».

By the way, do you know the answer?

Кстати, а вы знаете ответ?

If you do not know the answer and if you want to know the answer,

Если не знаете, но хотите узнать,

what would you do?

что вы сделаете?

You Google, right? Of course.

Погуглите, верно? Конечно.

Why not?

Почему бы нет?

But you have to pick appropriate keywords

Но вам нужно выбрать подходящее ключевое слово,

like "Mozart," "last" and "symphony" to search.

например, «Моцарт», «последняя», «симфония», чтобы вписать в строку поиска.

The machine basically does the same.

Компьютер в основном делает то же самое.

Then this Wikipedia page will be ranked top.

Страница Википедии будет на первом месте в рейтинге поиска.

Then the machine reads the page.

Затем компьютер считывает страницу.

No, uh-uh.

Нет.

Unfortunately, none of the modern AIs,

К сожалению, ни один из современных ИИ,

including Watson, Siri and Todai Robot,

включая Watson, Siri и Todai Robot,

is able to read.

не умеет читать.

But they are very good at searching and optimizing.

Но они хорошо справляются с поиском и оптимизацией.

It will recognize

Он распознаёт,

that the keywords "Mozart," "last" and "symphony"

что ключевые слова «Моцарт», «последняя» и «симфония»

are appearing heavily around here.

появляются здесь чаще всего.

So if it can find a word which is a planet

Если он сможет найти слово, означающее планету

and which is co-occurring with these keywords,

в сочетании с этими ключевыми словами,

that must be the answer.

это и должно оказаться ответом.

This is how Watson finds the answer "Jupiter," in this case.

Именно таким образом Watson находит ответ «Юпитер» .

Our Todai Robot works similarly, but a bit smarter

Наш Todai-робот работает так же, но он немного сообразительнее

in answering history yes-no questions,

в ответах на исторические вопросы, требующих ответа «да» или «нет»,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

например: «Карл Великий победил венгров. Правда или вымысел?»

Our robot starts producing a factoid question,

Наш робот самостоятельно формулирует фактологический вопрос:

like: "Charlemagne repelled [this person type]" by itself.

«Карл Великий победил [таких-то людей]».

Then, "Avars" but not "Magyars" is ranked top.

Затем первыми в поиске оказываются «аварцы», а не «венгры».

This sentence is likely to be false.

Получается, что это утверждение неверно.

Our robot does not read, does not understand,

Наш робот не читает и не понимает,

but it is statistically correct in many cases.

но по статистике во многих случаях он оказывается прав.

For the second stage written test,

На следующем этапе письменного теста

it is required to write a 600-word essay like this one:

требуется написать сочинение объёмом в 600 слов, как вот это:

[Discuss the rise and fall of the maritime trade

[Обсудите взлёты и падения морской торговли

in East and Southeast Asia in the 17th century ...]

в Восточной и Юго-Восточной Азии XVII века...]

and as I have shown earlier,

Как я уже ранее упомянула,

our robot took the sentences from the textbooks and Wikipedia,

наш робот берёт предложения из учебников и Википедии,

combined them together,

комбинирует их

and optimized it to produce an essay

и оптимизирует, создавая сочинение,

without understanding a thing.

ничего при этом не понимая.

(Laughter)

(Смех)

But surprisingly, it wrote a better essay

Но, что удивительно, его сочинение лучше,

than most of the students.

чем у большинства студентов.

(Laughter)

(Смех)

How about mathematics?

А как насчёт математики?

A fully automatic math-solving machine

Полностью автоматизированная машина по решению математических задач

has been a dream

была мечтой

since the birth of the word "artificial intelligence,"

с момента появления термина «искусственный интеллект»,

but it has stayed at the level of arithmetic for a long, long time.

но она очень долгое время оставалась на уровне арифметики.

Last year, we finally succeeded in developing a system

В прошлом году мы наконец смогли успешно разработать систему,

which solved pre-university-level problems from end to end,

которая решала задачи доуниверситетского уровня,

like this one.

как вот эта.

This is the original problem written in Japanese,

Исходная задача записана на японском,

and we had to teach it 2,000 mathematical axioms

нам понадобилось научить робота 2 000 математических аксиом

and 8,000 Japanese words

и 8 000 тысячам японских слов,

to make it accept the problems written in natural language.

чтобы он смог воспринимать задачи, написанные на естественном языке.

And it is now translating the original problems

И сейчас он переводит такие задачи

into machine-readable formulas.

в формулы, считываемые компьютером.

Weird, but it is now ready to solve it, I think.

Странно, но, думаю, сейчас он уже может их решать.

Go and solve it.

Иди и реши.

Yes! It is now executing symbolic computation.

Да! В данный момент он производит символьные вычисления.

Even more weird,

Ещё более странно,

but probably this is the most fun part for the machine.

но, наверное, для компьютера это самая забавная часть.

(Laughter)

(Смех)

Now it outputs a perfect answer,

Теперь он выдаёт правильный ответ,

though its proof is impossible to read, even for mathematicians.

хотя в его решении не под силу разобраться даже математикам.

Anyway, last year our robot was among the top one percent

Как бы то ни было, в прошлом году наш робот попал в один процент лучших

in the second stage written exam in mathematics.

после письменного экзамена по математике на втором этапе.

(Applause)

(Аплодисменты)

Thank you.

Спасибо.

So, did it enter Todai?

Поступил ли он в Todai?

No, not as I expected.

Нет, как я и ожидала.

Why?

Почему?

Because it doesn't understand any meaning.

Потому что он не понимает смыла того, что выдаёт.

Let me show you a typical error it made in the English test.

Сейчас я покажу его типичную ошибку при выполнении теста по английскому языку.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Нейт: Мы почти в книжном магазине. Ещё несколько минут.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Сунил: Подожди. ______. Нейт: Спасибо. Вечно такое случается... ]

Two people are talking.

Разговаривают двое.

For us, who can understand the situation --

Для нас, кто понимает, о чём идёт речь...

[1. "We walked for a long time." 2. "We're almost there."

[1. «Мы долго шли». 2. «Мы почти пришли».

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. «У тебя явно дорогие ботинки». 4. «У тебя развязался шнурок».]

it is obvious number four is the correct answer, right?

Очевидно, что правильный ответ — под номером 4, так?

But Todai Robot chose number two,

Но Todai-робот выбирает ответ под номером 2,

even after learning 15 billion English sentences

даже выучив 15 миллиардов английских предложений

using deep learning technologies.

с применением технологий глубокого обучения.

OK, so now you might understand what I said:

Хорошо. Теперь вам понятно, что я имела в виду, когда говорила:

modern AIs do not read,

«Современный ИИ не читает

do not understand.

и не понимает».

They only disguise as if they do.

Он только притворяется, что он это делает.

This is the distribution graph

На этом графике представлено распределение

of half a million students who took the same exam as Todai Robot.

полумиллиона студентов, сдававших такой же экзамен, как и Todai-робот.

Now our Todai Robot is among the top 20 percent,

Сегодня наш Todai-робот входит в первые 20 процентов,

and it was capable to pass

и он смог бы поступить

more than 60 percent of the universities in Japan --

в более чем 60 процентов японских университетов,

but not Todai.

но не в Todai.

But see how it is beyond the volume zone

Но посмотрите, как он выделяется из обширной зоны

of to-be white-collar workers.

будущих служащих, так называемых «белых воротничков».

You might think I was delighted.

Вы, наверное, думаете, что я в восторге.

After all, my robot was surpassing students everywhere.

В конце концов, мой робот обошёл всех студентов.

Instead, I was alarmed.

А я, наоборот, забеспокоилась.

How on earth could this unintelligent machine outperform students --

Как вообще эта машина, не обладающая разумом, превзошла студентов,

our children?

наших детей?

Right?

Так?

I decided to investigate what was going on in the human world.

Я решила выяснить, что же происходит в мире людей.

I took hundreds of sentences from high school textbooks

Я взяла сотни предложений из школьных учебников,

and made easy multiple-choice quizzes,

составила лёгкие тесты-викторины

and asked thousands of high school students to answer.

и попросила тысячи старшеклассников ответить на эти вопросы.

Here is an example:

Вот один из примеров.

[Buddhism spread to ... , Christianity to ... and Oceania,

[Буддизм распространился в ..., христианство — в ... и Океании,

and Islam to ...]

ислам — в ...]

Of course, the original problems are written in Japanese,

Конечно, изначально вопросы записаны на японском,

their mother tongue.

их родном языке.

[ ______ has spread to Oceania.

[ _____ распространился в Океании.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. Индуизм. 2. Христианство. 3. Ислам. 4. Буддизм.]

Obviously, Christianity is the answer, isn't it?

Очевидно, что правильный ответ — христианство, так?

It's written!

Там же написано!

And Todai Robot chose the correct answer, too.

Todai-робот выбрал правильный ответ.

But one-third of junior high school students

Но 1/3 младших учеников средней школы

failed to answer this question.

дали неправильный ответ.

Do you think it is only the case in Japan?

Думаете, подобная ситуация существует только в Японии?

I do not think so,

Я так не думаю,

because Japan is always ranked among the top in OECD PISA tests,

потому что Япония всегда получала высшие баллы в OECD PISA тестах,

measuring 15-year-old students' performance in mathematics,

в которых оценивается успеваемость 15-летних учащихся по математике,

science and reading

наукам и чтению

every three years.

каждые три года.

We have been believing

Мы всегда верили в то,

that everybody can learn

что каждый способен учиться,

and learn well,

и учиться хорошо

as long as we provide good learning materials

при условии, что мы обеспечиваем хорошими обучающими материалами,

free on the web

находящимися в свободном доступе в сети,

so that they can access through the internet.

то есть их можно найти в интернете.

But such wonderful materials may benefit only those who can read well,

Но такие замечательные материалы могут помочь только тем, кто хорошо читает,

and the percentage of those who can read well

а процент тех, кто хорошо умеет читать,

may be much less than we expected.

может быть гораздо меньше, чем мы ожидали.

How we humans will coexist with AI

Наше будущее сосуществование с ИИ

is something we have to think about carefully,

должно быть тщательно продумано

based on solid evidence.

и основано на достоверных данных.

At the same time, we have to think in a hurry

В то же время нам нужно поторопиться,

because time is running out.

потому что время истекает.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)

Chris Anderson: Noriko, thank you.

Крис Андерсон: Спасибо, Норико.

Noriko Arai: Thank you.

Норико Араи: Спасибо.

CA: In your talk, you so beautifully give us a sense of how AIs think,

КА: В своём выступлении вы так красиво рассказали о том, как ИИ думает,

what they can do amazingly

какие удивительные вещи он умеет делать

and what they can't do.

и чего делать не умеет.

But -- do I read you right,

Но правильно ли я понял,

that you think we really need quite an urgent revolution in education

что, по-вашему, на самом деле мы нуждаемся в срочной революции в образовании

to help kids do the things that humans can do better than AIs?

с целью помочь детям делать то, что люди могут делать лучше ИИ?

NA: Yes, yes, yes.

НА: Да, да, да.

Because we humans can understand the meaning.

Потому что мы, люди, способны понимать смысл.

That is something which is very, very lacking in AI.

Это то, чего очень сильно не хватает ИИ.

But most of the students just pack the knowledge

Но большинство студентов просто собирают знания

without understanding the meaning of the knowledge,

без понимания их смысла,

so that is not knowledge, that is just memorizing,

так что это не знание, а простое заучивание,

and AI can do the same thing.

на которое способен и ИИ.

So we have to think about a new type of education.

Поэтому мы должны задуматься о новом виде образования.

CA: A shift from knowledge, rote knowledge, to meaning.

КА: Переход от знания, механического зазубривания к пониманию смысла.

NA: Mm-hmm.

НА: Да.

CA: Well, there's a challenge for the educators. Thank you so much.

КА: Это задача для преподавателей. Большое спасибо.

NA: Thank you very much. Thank you.

НА: Большое спасибо. Спасибо.

(Applause)

(Аплодисменты)