Can a robot pass a university entrance exam? | Noriko Arai

번역: Yousun Kang 검토: JY Kang

Today, I'm going to talk about AI and us.

오늘 저는 AI와 우리에 대하여 이야기하고자 합니다.

AI researchers have always said

AI 연구자들은 항상

that we humans do not need to worry,

우리 인간은 걱정할 필요는 없다고 주장해왔습니다.

because only menial jobs will be taken over by machines.

단순 노동을 필요로 하는 직업만 기계가 대신할 거라면서 말이죠.

Is that really true?

사실일까요?

They have also said that AI will create new jobs,

그리고 AI 덕분에 새로운 직업이 생겨나고

so those who lose their jobs will find a new one.

AI 때문에 직업을 잃은 사람도 새 직업을 얻게 될 거라고 주장하죠.

Of course.

맞는 말입니다.

But the real question is:

하지만 여기서 질문하고 싶은 것이 있습니다.

How many of those who may lose their jobs to AI

AI 때문에 직업을 잃은 사람 중 몇 명이나

will be able to land a new one,

새로운 일에 다시 적응할 수 있을까요?

especially when AI is smart enough to learn better than most of us?

특히나 AI의 발달로 우리 인간보다 더 많은 것을 배울 수 있을 텐데요.

Let me ask you a question:

여러분께 질문 하나 하겠습니다.

How many of you think

여러분 중에서

that AI will pass the entrance examination of a top university by 2020?

2020년이 되면 AI가 상위권 대학의 입학 시험에 합격할 수 있으리라

생각하시는 분 계신가요?

Oh, so many. OK.

오, 많군요. 좋아요.

So some of you may say, "Of course, yes!"

당연히 합격할 거라고 많은 분들이 손을 드셨는데요.

Now singularity is the issue.

하지만 모두가 똑같이 생각하는 건 아니지요.

And some others may say, "Maybe,

이렇게 말하는 분도 계실 거예요.

"가능할지도 모르겠어. AI가 최고의 바둑기사도 이겼으니까."

because AI already won against a top Go player."

And others may say, "No, never. Uh-uh."

"절대 못할 거야!"라고 생각하는 분도 계실 겁니다.

That means we do not know the answer yet, right?

이렇게 나뉘는 건 우리가 아직 정답을 모르기 때문일 거예요.

So that was the reason why I started Todai Robot Project,

그래서 저는 토다이(Todai) 로봇 프로젝트를 시작했습니다.

making an AI which passes the entrance examination

AI를 일본의 일류대학인 도쿄 대학의 입학 시험에

of the University of Tokyo,

the top university in Japan.

합격시키려는 프로젝트입니다.

This is our Todai Robot.

이것이 토다이 로봇입니다.

And, of course, the brain of the robot is working in the remote server.

물론 로봇은 원격 서버에 연결되어 작동합니다.

It is now writing a 600-word essay

보고 계신 것은 이 로봇이

17세기 해상 무역을 주제로 600자 분량의 논술문을 쓰고 있는 모습입니다.

on maritime trade in the 17th century.

How does that sound?

어떠신가요?

Why did I take the entrance exam as its benchmark?

왜 입학 시험을 기준으로 삼았을까요?

Because I thought we had to study the performance of AI

AI의 성과를 인간과 비교하기 위해서는

in comparison to humans,

인간만이 할 수 있다고 여겨지고

especially on the skills and expertise

교육을 통해서만 획득할 수 있다고 믿어졌던 고급 기술을

which are believed to be acquired only by humans

AI가 어떻게 처리하는지 연구해야 한다고

and only through education.

생각했기 때문입니다.

To enter Todai, the University of Tokyo,

도쿄 대학에 입학하기 위해서는

you have to pass two different types of exams.

두 번의 시험을 통과해야 합니다.

The first one is a national standardized test

첫째로는 객관식으로 되어있는

in multiple-choice style.

국가 공인 시험을 풀어야 합니다.

You have to take seven subjects

7 과목의 시험을 치루는데

and achieve a high score --

높은 성적을 받아야 하지요.

I would say like an 85 percent or more accuracy rate --

84점 이상은 되어야

to be allowed to take the second stage written test

다음 단계인 작문 시험을 볼 수 있습니다.

prepared by Todai.

도쿄대학이 직접 출제하는 시험이죠.

So let me first explain how modern AI works,

현대의 AI가 어떻게 작업해서 "단어 연상 퀴즈"를 푸는지

taking the "Jeopardy!" challenge as an example.

예를 들어 설명하겠습니다.

Here is a typical "Jeopardy!" question:

"단어 연상 퀴즈"의 전형적인 문제 형태는 다음과 같습니다.

"Mozart's last symphony shares its name with this planet."

"모짜르트의 마지막 교향곡 제목은 이 행성의 이름과 같다."

Interestingly, a "Jeopardy!" question always asks,

흥미롭게도 "단어 연상 퀴즈" 문제는 항상 "이것"으로 질문하고

always ends with "this" something:

"이것"으로 끝납니다.

"this" planet, "this" country,

"이" 행성, "이" 국가,

"this" rock musician, and so on.

"이" 록 뮤지션 등등이지요.

In other words, "Jeopardy!" doesn't ask many different types of questions,

다시 말하자면, "단어 연상 퀴즈"는 여러가지 다른 형태의 질문이 아니라

but a single type,

하나의 형태로

which we call "factoid questions."

"팩토이드(Factoid) 문제"라고 합니다.

By the way, do you know the answer?

아까 그 질문의 정답을 아시나요?

If you do not know the answer and if you want to know the answer,

만약 정답을 모르거나 답을 알고 싶을 때는

what would you do?

여러분은 어떻게 하시나요?

You Google, right? Of course.

검색을 하지요.

Why not?

당연하죠.

But you have to pick appropriate keywords

하지만 적절한 검색어를 입력해야 합니다.

like "Mozart," "last" and "symphony" to search.

"모짜르트"나 "마지막", "교향곡" 같은 검색어가 필요하죠.

The machine basically does the same.

로봇의 경우도 비슷합니다.

Then this Wikipedia page will be ranked top.

위키피디아 사이트가 제일 먼저 검색될 겁니다.

Then the machine reads the page.

그리고 그 페이지를 읽어보면 되겠죠.

No, uh-uh.

사실은 아닙니다.

Unfortunately, none of the modern AIs,

불행하게도 현대의 AI 중에서

including Watson, Siri and Todai Robot,

왓슨, 시리, 토다이 로봇 등 그 어떤 것도

is able to read.

아직 읽는 능력은 없습니다.

But they are very good at searching and optimizing.

하지만 검색하고 결과를 최적화하는 능력은 뛰어나죠.

It will recognize

따라서 로봇은

that the keywords "Mozart," "last" and "symphony"

"모짜르트", "마지막", "교향곡" 같은 검색어가

are appearing heavily around here.

주로 나타난다는 사실을 알아냅니다.

So if it can find a word which is a planet

따라서 만약 행성 이름을 발견하고

and which is co-occurring with these keywords,

그 행성이 이 검색어들과 함께 검색된다면

that must be the answer.

정답이라고 생각하지요.

This is how Watson finds the answer "Jupiter," in this case.

왓슨은 정답인 "목성"을 이런 방법으로 찾아냅니다.

Our Todai Robot works similarly, but a bit smarter

토다이 로봇도 비슷하게 작동하지만

역사에 관한 예/아니오 문제를 풀 때 좀 더 똑똑한 방식으로 처리합니다.

in answering history yes-no questions,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

"샤를마뉴는 마자르인을 쫒아냈다" 이 문제는 사실일까요, 거짓일까요?

Our robot starts producing a factoid question,

이 문장을 보고 토다이 로봇은 팩토이드 문제로 재구성합니다.

like: "Charlemagne repelled [this person type]" by itself.

로봇은 "샤를마뉴는 [누구누구를] 쫒아냈다."라고 스스로 만들어내지요.

Then, "Avars" but not "Magyars" is ranked top.

그러면 "마자르인"이 아니라 "아바르인"이 검색됩니다.

This sentence is likely to be false.

결국, 이 문장은 거짓이라고 판단하게 되지요.

Our robot does not read, does not understand,

우리 로봇은 읽지도, 이해하지도 못하지만

but it is statistically correct in many cases.

통계적으로 보면 대부분 정답을 맞춥니다.

For the second stage written test,

둘째 단계인 작문 시험에서는

it is required to write a 600-word essay like this one:

다음과 같이 600자 논술문을 써야 합니다.

[Discuss the rise and fall of the maritime trade

[17세기 동아시아와 동남아시아 간의

in East and Southeast Asia in the 17th century ...]

해상 무역의 흥망과 성쇠를 논하시오.]

and as I have shown earlier,

그러면 앞에서 말씀드린 것과 마찬가지로

our robot took the sentences from the textbooks and Wikipedia,

로봇은 위키피디아와 교과서의 문장을 검색하고

combined them together,

결합하고 최적화해서

and optimized it to produce an essay

하나의 논술문을 완성합니다.

without understanding a thing.

내용은 하나도 이해하지 못하면서 말이죠.

(Laughter)

(웃음)

But surprisingly, it wrote a better essay

하지만 놀라운 것은

대부분의 학생들이 쓴 논술문보다 낫다는 사실입니다.

than most of the students.

(Laughter)

(웃음)

How about mathematics?

수학은 어떨까요?

A fully automatic math-solving machine

"인공 지능"이라는 단어가 탄생한 후로

has been a dream

전자동으로 수학 문제를 풀 수 있는 기계를 만들 수 있을 거라고

since the birth of the word "artificial intelligence,"

꿈꿔왔습니다.

but it has stayed at the level of arithmetic for a long, long time.

하지만 계산할 수 있는 연산의 수준은 오랫동안 더이상 발전하지 못했지요.

Last year, we finally succeeded in developing a system

지난해에는 우리가 개발한 시스템이

which solved pre-university-level problems from end to end,

예비 대학 수준의 문제를 처음부터 끝까지 푸는 데에 마침내 성공했습니다.

like this one.

바로 이런 문제죠.

This is the original problem written in Japanese,

이것은 일본어로 된 원래의 문제입니다.

and we had to teach it 2,000 mathematical axioms

우리는 2,000가지의 수학적 원리와

and 8,000 Japanese words

8,000개의 일본어 단어를 가르쳐야 했습니다.

to make it accept the problems written in natural language.

그래야 기계가 언어를 받아들이고 문제를 수용할 수 있으니까요.

And it is now translating the original problems

이제 문제를 기계가 해독할 수 있는 형태로

into machine-readable formulas.

번역을 합니다.

Weird, but it is now ready to solve it, I think.

이상하게 보이긴 하지만, 이제 풀 준비가 된 것 같군요.

Go and solve it.

자, 문제를 풉니다.

Yes! It is now executing symbolic computation.

이제 기호화 된 계산을 실행하고 있습니다.

Even more weird,

더 이상하게 보일 겁니다.

but probably this is the most fun part for the machine.

가장 재미있는 부분인데요.

(Laughter)

(웃음)

Now it outputs a perfect answer,

드디어 정답을 맞추었습니다.

though its proof is impossible to read, even for mathematicians.

수학 전공자도 이해 못하는 증명식으로 말이지요.

Anyway, last year our robot was among the top one percent

어쨌든 작년에 우리 로봇은 2단계 수학 논술 시험에서

in the second stage written exam in mathematics.

상위 1%에 들었습니다.

(Applause)

(박수)

Thank you.

감사합니다.

So, did it enter Todai?

그래서 토다이는 대학에 입학을 할 수 있었을까요?

No, not as I expected.

예상과 달리 못했습니다.

Why?

이유는 무엇일까요?

Because it doesn't understand any meaning.

의미를 전혀 이해하지 못했기 때문입니다.

Let me show you a typical error it made in the English test.

영어 시험에서 로봇은 다음과 같은 실수를 저지릅니다.

[Nate: We're almost at the bookstore. Just a few more minutes.

[네이트: 서점에 거의 도착했어. 몇 분만 더 가면 돼.]

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

[선일: 잠깐. _________. 네이트: 고마워. 난 항상 이런다....]

Two people are talking.

두 사람이 대화를 하고 있습니다.

For us, who can understand the situation --

이 상황을 이해했다면 정답은..

[1. "We walked for a long time." 2. "We're almost there."

[1. "우리 오랫동안 걸었어." 2. "거의 다왔다."

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3. "너 신발 비싸보인다." 4. "너 신발 끈 풀렸어."]

it is obvious number four is the correct answer, right?

정답은 4번이지요.

But Todai Robot chose number two,

하지만 토다이 로봇은 2번이라고 답했습니다.

even after learning 15 billion English sentences

딥러닝(deep learning) 기술로 150억 개의 영어 문장을

using deep learning technologies.

배웠음에도 불구하고 말이죠.

OK, so now you might understand what I said:

여러분도 이제 제 얘기가 이해되실 거예요.

modern AIs do not read,

현대의 AI는 읽지도

do not understand.

이해하지도 못한다는 것을요.

They only disguise as if they do.

읽고 이해하는 것처럼 행동할 뿐입니다.

This is the distribution graph

이것은 토다이 로봇과 같은 시험을 치룬

of half a million students who took the same exam as Todai Robot.

50만명 학생들의 분포도입니다.

Now our Todai Robot is among the top 20 percent,

우리 토다이 로봇이 상위 20% 내에 있기 때문에

and it was capable to pass

일본에 있는 대학 중에서

more than 60 percent of the universities in Japan --

60% 이상의 대학에 입학할 수 있었지만

but not Todai.

동경대 입학은 실패했습니다.

But see how it is beyond the volume zone

하지만 미래에 사무직에 종사하게 될

of to-be white-collar workers.

중산층 계급 이상의 수준이지요.

You might think I was delighted.

제가 이 성과로 기뻐했을까요?

After all, my robot was surpassing students everywhere.

제 로봇이 여느 학생들보다 뛰어날 테니까요.

Instead, I was alarmed.

그와 반대로 전 두려웠습니다.

How on earth could this unintelligent machine outperform students --

이렇게 무식한 기계가 학생들을 이긴다는 게 말이 되나요?

our children?

우리 아이들을요.

Right?

그렇지 않나요?

I decided to investigate what was going on in the human world.

저는 인간 세상에 무슨 일이 일어나고 있는지 조사하기로 했습니다.

I took hundreds of sentences from high school textbooks

고등학교 교과서에서 수백 개의 문장을 뽑아

and made easy multiple-choice quizzes,

쉬운 객관식 문제를 만들었고

and asked thousands of high school students to answer.

수천 명의 고등학생들에게 답을 고르도록 해봤습니다.

Here is an example:

예를 들면 이런 것입니다.

[Buddhism spread to ... , Christianity to ... and Oceania,

[불교는 동남아시아와 동아시아로 퍼졌다.

기독교는 유럽, 북미, 남미, 오세아니아로 퍼졌다. 이슬람은- ]

and Islam to ...]

Of course, the original problems are written in Japanese,

물론 문제는 일본어 혹은 학생들의 모국어였고요.

their mother tongue.

[ ______ has spread to Oceania.

[______은 오세아니아로 퍼졌다.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. 힌두교 2. 기독교 3. 이슬람교 4. 불교]

Obviously, Christianity is the answer, isn't it?

정답은 물론 기독교입니다.

It's written!

문제에 이미 나와 있죠.

And Todai Robot chose the correct answer, too.

토다이 로봇 역시 정답을 맞추었습니다.

But one-third of junior high school students

하지만 3분의 1의 중학생들은

failed to answer this question.

오답을 선택했습니다.

Do you think it is only the case in Japan?

일본만의 문제일까요?

I do not think so,

아니라고 생각합니다.

because Japan is always ranked among the top in OECD PISA tests,

15세 학생들의 수학, 과학, 읽기 실력을 측정하기 위해

3년마다 열리는 OECD PISA 시험에서

measuring 15-year-old students' performance in mathematics,

일본 학생들은 항상 상위권을 유지하고 있기 때문입니다.

science and reading

every three years.

We have been believing

우리는 누구나 배울 수 있고

that everybody can learn

누구나 잘 배울 수 있다고

and learn well,

믿었습니다.

as long as we provide good learning materials

우리가 온라인으로 좋은 교육 자료를

free on the web

무료로 제공한다면 가능한 일입니다.

so that they can access through the internet.

But such wonderful materials may benefit only those who can read well,

하지만 훌륭한 자료는 읽기 실력이 좋은 사람들만이 혜택을 받을 수 있죠.

and the percentage of those who can read well

사실 그런 실력을 지닌 사람은

may be much less than we expected.

우리가 예상한 수보다 훨씬 적었습니다.

How we humans will coexist with AI

우리 인간이 AI와 함께 존재한다는 것이 무슨 의미인지

is something we have to think about carefully,

확실한 증거를 통해서

based on solid evidence.

신중히 생각해 보아야 할 것입니다.

At the same time, we have to think in a hurry

동시에 우리는 서두를 필요가 있습니다.

because time is running out.

시간이 없기 때문입니다.

Thank you.

감사합니다.

(Applause)

(박수)

Chris Anderson: Noriko, thank you.

크리스 앤더슨(CA): 노리코씨, 감사합니다.

Noriko Arai: Thank you.

노리코 아라이(NA): 감사합니다.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: 이번 강연을 통해 AI가 어떻게 생각하는지

what they can do amazingly

얼마나 놀라운 일을 하는지

and what they can't do.

못하는 것은 무엇인지 알게 되었습니다.

But -- do I read you right,

하지만 제가 이해하기에

that you think we really need quite an urgent revolution in education

우리에게 교육 혁명이 시급한 과제라고 말씀하시는 것 같은데요.

to help kids do the things that humans can do better than AIs?

아이들이 AI보다 잘할 수 있는 것을 찾도록 도와주어야 한다는 말씀이죠?

NA: Yes, yes, yes.

NA: 네, 네.

Because we humans can understand the meaning.

우리 인간은 의미를 이해할 수 있기 때문입니다.

That is something which is very, very lacking in AI.

AI에게는 전혀 불가능한 일이죠.

But most of the students just pack the knowledge

하지만 대부분의 학생 역시 지식을 이해하기 보다는

without understanding the meaning of the knowledge,

지식을 단지 흡수하죠.

so that is not knowledge, that is just memorizing,

그렇게 되면 지식이 아닌 단순 암기가 되는 겁니다.

and AI can do the same thing.

AI와 같은 일을 하고 있는 셈이지요.

So we have to think about a new type of education.

따라서 우리는 새로운 형태의 교육에 대하여 생각해봐야 합니다.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: 암기 위주에서 의미를 이해하는 교육으로 변화시키는 것이 중요하겠네요.

NA: Mm-hmm.

NA: 네. 맞습니다.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: 교육자들의 큰 숙제겠군요. 대단히 감사합니다.

NA: Thank you very much. Thank you.

NA: 감사합니다.

(Applause)

(박수)