Can a robot pass a university entrance exam? | Noriko Arai

מתרגם: Shlomo Adam מבקר: Sigal Tifferet

היום אדבר על התבונה המלאכותית שבחיינו.

Today, I'm going to talk about AI and us.

AI researchers have always said

כל החוקרים אמרו תמיד

that we humans do not need to worry,

שלנו, בני האדם, אין מה לדאוג,

because only menial jobs will be taken over by machines.

כי המכונות תכבושנה רק את העבודות השחורות.

Is that really true?

האם זה באמת נכון?

They have also said that AI will create new jobs,

הם גם אמרו שהתבונה המלאכותית תיצור מקומות עבודה חדשים

so those who lose their jobs will find a new one.

ומי שיאבדו את מקום עבודתם, יוכלו למצוא עבודה חדשה.

Of course.

בטח.

But the real question is:

אבל השאלה האמיתית היא

How many of those who may lose their jobs to AI

כמה מאלה שיפסידו את מקום עבודתם לתבונה המלאכותית

will be able to land a new one,

יוכלו למצוא עבודה חדשה,

especially when AI is smart enough to learn better than most of us?

במיוחד כשהתבונה המלאכותית חכמה מספיק כדי ללמוד טוב יותר ממרביתנו?

Let me ask you a question:

הבה ואשאל אתכם שאלה:

How many of you think

כמה מכם סבורים

that AI will pass the entrance examination of a top university by 2020?

שהתבונה המלאכותית תוכל לעבור בחינת כניסה

לאוניברסיטה מובחרת עד שנת 2020?

Oh, so many. OK.

רבים מכם. בסדר.

So some of you may say, "Of course, yes!"

אז חלק מכם אומרים, "כמובן שכן!

Now singularity is the issue.

"עכשיו הסינגולריות היא ה-דבר!",

And some others may say, "Maybe,

ואחרים אולי אומרים, "אולי,

because AI already won against a top Go player."

"כי התבונה המלאכותית כבר ניצחה שחקן גו מעולה"

And others may say, "No, never. Uh-uh."

ואילו אחרים אומרים, "לא. אין מצב"

That means we do not know the answer yet, right?

כלומר, עדיין איננו יודעים מהי התשובה.

So that was the reason why I started Todai Robot Project,

מסיבה זו התחלתי במיזם הרובוטיקה של טודאי,

making an AI which passes the entrance examination

במטרה ליצור תבונה מלאכותית שתעבור בחינת כניסה

of the University of Tokyo,

לאוניברסיטת טוקיו.

the top university in Japan.

האוניברסיטה הכי טובה ביפן.

This is our Todai Robot.

זהו רובוט טודאי שלנו.

ומוחו של הרובוט פועל כמובן בשרת מרוחק

And, of course, the brain of the robot is working in the remote server.

It is now writing a 600-word essay

כרגע רואים אותו כותב חיבור בן 600 מילה

on maritime trade in the 17th century.

על הסחר הימי במאה ה-17

מה דעתכם על זה?

How does that sound?

ומדוע לקחתי את בחינת הכניסה כמדד לביצועים שלו?

Why did I take the entrance exam as its benchmark?

כי חשבתי שעלינו לחקור את ביצועיה של התבונה המלאכותית

Because I thought we had to study the performance of AI

in comparison to humans,

בהשוואה לביצועים אנושיים

במיוחד בהיקפים ובתחומי מומחיות

especially on the skills and expertise

which are believed to be acquired only by humans

שלפי האמונה, רק בני-אדם יכולים לרכוש

and only through education.

ורק באמצעות השכלה.

To enter Todai, the University of Tokyo,

כדי להיכנס לטודאי, אוניברסיטת טוקיו,

you have to pass two different types of exams.

יש לעבור שני סוגי בחינות.

The first one is a national standardized test

הראשונה היא מבחן לאומי מתוקנן

בסגנון אמריקאי.

in multiple-choice style.

You have to take seven subjects

צריך לבחור שבעה נושאים

and achieve a high score --

ולהשיג ציון גבוה --

I would say like an 85 percent or more accuracy rate --

הייתי אומרת 84% או אחוז דיוק גבוה יותר --

to be allowed to take the second stage written test

כדי לגשת לשלב השני של הבחינה בכתב

prepared by Todai.

שנכתב בטודאי.

So let me first explain how modern AI works,

אז תחילה אסביר איך עובדת התבונה המלאכותית המודרנית,

taking the "Jeopardy!" challenge as an example.

ואמחיש זאת בעזרת משחק הטריוויה "ג'פרדי".

Here is a typical "Jeopardy!" question:

הנה שאלת "ג'פרדי" אופיינית:

"Mozart's last symphony shares its name with this planet."

"שם הסימפוניה האחרונה של מוצרט זהה לשמו של כוכב-לכת זה."

Interestingly, a "Jeopardy!" question always asks,

מעניין ששאלות "ג'פרדי"

מסתיימות תמיד ב"זה" או "זו":

always ends with "this" something:

"this" planet, "this" country,

"כוכב-לכת זה", "ארץ זו",

"this" rock musician, and so on.

"מוסיקאי הרוק הזה", וכן הלאה.

במלים אחרות, ב"ג'פרדי" אין סוגים רבים של שאלות,

In other words, "Jeopardy!" doesn't ask many different types of questions,

but a single type,

אלא סוג אחד,

which we call "factoid questions."

הנקרא "עובדה למחצה".

By the way, do you know the answer?

אגב, אתם יודעים מהי התשובה?

If you do not know the answer and if you want to know the answer,

מי שאינו יודע את התשובה ורוצה ללמוד אותה,

מה הוא עושה?

what would you do?

מחפש ב"גוגל", כמובן.

You Google, right? Of course.

Why not?

למה לא?

But you have to pick appropriate keywords

אבל עליכם לבחור את מילות המפתח הנכונות,

like "Mozart," "last" and "symphony" to search.

למשל: "מוצרט", "אחרונה" ו"סימפוניה" כדי לחפש.

The machine basically does the same.

המכונה, בעקרון, עושה אותו דבר,

Then this Wikipedia page will be ranked top.

ואז דף ה"וויקיפדיה" הזה מדורג ראשון,

Then the machine reads the page.

והמכונה קוראת את הדף.

No, uh-uh.

לא. ממש לא.

Unfortunately, none of the modern AIs,

לצערנו, אין תבונה מלאכותית מודרנית,

including Watson, Siri and Todai Robot,

כולל "ווטסון", "סירי" והרובוט של טודאי,

is able to read.

שיודעת לקרוא.

But they are very good at searching and optimizing.

אבל הן יודעות היטב לחפש ולמטב את החיפוש.

המכונה תזהה

It will recognize

that the keywords "Mozart," "last" and "symphony"

שמילות המפתח "מוצרט", "אחרונה" ו"סימפוניה"

are appearing heavily around here.

מרבות להופיע באזור הזה.

So if it can find a word which is a planet

כך שהיא מסוגלת למצוא שם של כוכב-לכת

and which is co-occurring with these keywords,

שמופיע גם הוא במקביל למילות המפתח האלה,

that must be the answer.

והוא בוודאי התשובה.

This is how Watson finds the answer "Jupiter," in this case.

כך הצליח "ווטסון" למצוא את התשובה הנכונה:

"יופיטר", במקרה זה.

Our Todai Robot works similarly, but a bit smarter

רובוט טודאי שלנו פועל בדומה לכך, אבל בצורה קצת יותר חכמה.

in answering history yes-no questions,

כשהוא משיב לשאלות כן-לא בהיסטוריה ,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

כמו, "קרל הגדול הדף את המגיארים, נכון או לא?"

Our robot starts producing a factoid question,

הרובוט שלנו מתחיל לייצר שאלות עובדה-למחצה,

like: "Charlemagne repelled [this person type]" by itself.

כמו: "קרל הגדול הדף [סוג האדם הזה]" בעצמו

Then, "Avars" but not "Magyars" is ranked top.

לאחר מכן, "מגיארים" אינה מדורגת בראש.

This sentence is likely to be false.

המשפט הזה כנראה כוזב.

Our robot does not read, does not understand,

הרובוט שלנו אינו קורא ואינו מבין,

but it is statistically correct in many cases.

אך באופן סטטיסטי, הוא צודק במקרים רבים.

בשלב השני של המבחן בכתב

For the second stage written test,

it is required to write a 600-word essay like this one:

הוא נדרש לכתוב חיבור בן 600 מילה, כזה:

[Discuss the rise and fall of the maritime trade

[נתח את עלייתו וירידתו של הסחר הימי

במזרח ובדרום-מזרח אסיה במאה ה-17],

in East and Southeast Asia in the 17th century ...]

and as I have shown earlier,

וכפי שהראיתי קודם,

our robot took the sentences from the textbooks and Wikipedia,

הרובוט שלנו לקח את המשפטים מספרי הלימוד ומ"ויקיפדיה",

combined them together,

שילב אותם,

ומיטב אותם לכלל חיבור

and optimized it to produce an essay

without understanding a thing.

מבלי להבין דבר.

(צחוק)

(Laughter)

But surprisingly, it wrote a better essay

אך למרבה הפלא, הוא כתב חיבור טוב יותר

than most of the students.

מרוב הסטודנטים.

(Laughter)

(צחוק)

How about mathematics?

ומה במתמטיקה?

A fully automatic math-solving machine

מכונה אוטומטית לגמרי לפתרון בעיות מתמטיות

has been a dream

היתה בגדר חלום

since the birth of the word "artificial intelligence,"

מאז הולדת המונח "תבונה מלאכותית",

but it has stayed at the level of arithmetic for a long, long time.

אבל במשך זמן רב מאד זה נותר ברמת החשבון הפשוט.

Last year, we finally succeeded in developing a system

בשנה שעברה הצלחנו סוף-סוף לפתח מערכת

which solved pre-university-level problems from end to end,

שפותרת באופן מושלם בעיות קדם-אוניברסיטאיות,

כמו זאת.

like this one.

[שאלה בגיאומטריה]

This is the original problem written in Japanese,

זאת הבעיה המקורית, ביפנית,

and we had to teach it 2,000 mathematical axioms

והיינו צריכים ללמד את המכונה 2,000 אקסיומות מתמטיות

ו-8,000 מלים ביפנית

and 8,000 Japanese words

to make it accept the problems written in natural language.

כדי שהיא תוכל לקבל בעיות שכתובות בשפה טבעית.

And it is now translating the original problems

וכאן היא מתרגמת את הבעיות המקוריות

into machine-readable formulas.

לנוסחאות קריאות ע"י מכונה.

Weird, but it is now ready to solve it, I think.

מוזר, אבל עכשיו היא מוכנה לפתור אותן, נראה לי.

Go and solve it.

קדימה, פתרי אותן.

Yes! It is now executing symbolic computation.

יש! עכשיו היא מבצעת חישוב סימבולי.

מוזר עוד יותר,

Even more weird,

but probably this is the most fun part for the machine.

אבל אולי זה החלק הכי כיפי בשביל המכונה.

(Laughter)

(צחוק)

Now it outputs a perfect answer,

עכשיו היא מפיקה תשובה מושלמת,

though its proof is impossible to read, even for mathematicians.

למרות שההוכחה אינה קריאה, אפילו למתמטיקאים.

Anyway, last year our robot was among the top one percent

בכל אופן, בשנה שעברה הרובוט שלנו היה באחוזון העליון

in the second stage written exam in mathematics.

בשלב 2 של המבחן בכתב במתמטיקה.

(Applause)

(מחיאות כפיים)

Thank you.

תודה.

So, did it enter Todai?

אז האם הוא התקבל לטודאי?

No, not as I expected.

לא, לא כפי שציפיתי.

Why?

ומדוע?

Because it doesn't understand any meaning.

כי הוא לא מבין משמעויות.

אראה לכם שגיאה אופיינית שהוא עשה במבחן באנגלית.

Let me show you a typical error it made in the English test.

[Nate: We're almost at the bookstore. Just a few more minutes.

[-כמעט הגענו לחנות, -רגע -- (?)

שני אנשים מדברים...

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

[-זה קורה תמיד... -לא קשרת את השרוכים?]

Two people are talking.

לנו, שיכולים להבין את הסיטואציה,

For us, who can understand the situation --

[1. "We walked for a long time." 2. "We're almost there."

ברור שתשובה מס' 4 היא הנכונה, נכון?

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

[4. השרוכים שלך פרומים]

it is obvious number four is the correct answer, right?

אבל הרובוט של טודאי בחר בתשובה מס' 2,

But Todai Robot chose number two,

[2. כמעט הגענו]

even after learning 15 billion English sentences

אפילו אחרי שלמד 15 מיליארד משפטים באנגלית

בטכנולוגיות למידה עמוקה.

using deep learning technologies.

OK, so now you might understand what I said:

אז עכשיו אולי תבינו את מה שאמרתי:

modern AIs do not read,

תבונות מלאכותיות מודרניות לא יודעות לקרוא ולהבין.

do not understand.

They only disguise as if they do.

זה רק נראה כך.

This is the distribution graph

זהו גרף ההתפלגות

of half a million students who took the same exam as Todai Robot.

של חצי מיליון סטודנטים שנבחנו במבחן שרובוט טודאי עשה.

Now our Todai Robot is among the top 20 percent,

רובוט טודאי שלנו נמצא בין 20 האחוזים הראשונים

and it was capable to pass

והוא הצליח לעבור את מבחני הקבלה

more than 60 percent of the universities in Japan --

ביותר מ-60% מהאוניברסיטאות ביפן

but not Todai.

אך לא בטודאי.

אבל ראו איך הוא עבר את מרבית

But see how it is beyond the volume zone

עובדי-הצווארון-הלבן העתידיים.

of to-be white-collar workers.

אולי נראה לכם שהייתי מרוצה.

You might think I was delighted.

After all, my robot was surpassing students everywhere.

הרי הרובוט שלי עלה על המון סטודנטים.

אבל זה זיעזע אותי.

Instead, I was alarmed.

איך ייתכן שהמכונה חסרת התבונה הזאת גוברת בביצועיה על סטודנטים --

How on earth could this unintelligent machine outperform students --

our children?

על הילדים שלנו, כן?

Right?

החלטתי לחקור מה קורה בעולם האנושי.

I decided to investigate what was going on in the human world.

I took hundreds of sentences from high school textbooks

לקחתי מאות משפטים מספרי לימוד תיכוניים

and made easy multiple-choice quizzes,

הכנתי מבחנים אמריקאיים קלים,

וביקשתי מאלפי תלמידי תיכון לענות עליהם.

and asked thousands of high school students to answer.

Here is an example:

הנה דוגמה:

[Buddhism spread to ... , Christianity to ... and Oceania,

[הבודהיזם התפשט אל אסיה, הנצרות לאירופה ואוקיאניה...]

and Islam to ...]

Of course, the original problems are written in Japanese,

[איזו דת הגיעה לאוקיאניה?]

הבעיות נכתבו כמובן ביפנית, שפת האם שלהם.

their mother tongue.

[ ______ has spread to Oceania.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

ברור שהתשובה היא "נצרות", נכון?

Obviously, Christianity is the answer, isn't it?

זה הרי כתוב כאן!

It's written!

And Todai Robot chose the correct answer, too.

וגם רובוט טודאי בחר בתשובה הנכונה.

But one-third of junior high school students

אבל שליש מתלמידי חטיבת הביניים

failed to answer this question.

נכשל בשאלה זאת.

Do you think it is only the case in Japan?

נראה לכם שזה רק ביפן?

I do not think so,

לדעתי, לא.

because Japan is always ranked among the top in OECD PISA tests,

כי יפן מדורגת תמיד גבוה במבחני פיז"ה

של ה-OECD (הארגון לשיתוף פעולה ולפיתוח כלכלי),

measuring 15-year-old students' performance in mathematics,

שמודדים ביצועים של תלמידים בני 15 במתמטיקה, מדעים וקריאה

science and reading

every three years.

מדי שלוש שנים.

We have been believing

תמיד האמנו שכולם יכולים ללמוד

that everybody can learn

and learn well,

וללמוד היטב,

as long as we provide good learning materials

כל עוד מספקים להם חומרי לימוד טובים

free on the web

חינם, ברשת,

so that they can access through the internet.

שאליהם יוכלו לגשת בקלות באינטרנט.

But such wonderful materials may benefit only those who can read well,

אבל חומרים מעולים כאלה יכולים להועיל רק למי שיודעים לקרוא היטב,

and the percentage of those who can read well

ואחוז הקוראים היטב

may be much less than we expected.

הוא אולי נמוך משציפינו.

האופן בו בני אדם יחיו בדו-קיום עם התבונה המלאכותית

How we humans will coexist with AI

is something we have to think about carefully,

הוא משהו שכדאי שנחשוב עליו היטב,

based on solid evidence.

ועל סמך עדויות מוצקות.

ועלינו גם לחשוב על כך במהירות

At the same time, we have to think in a hurry

כי הזמן הולך ואוזל.

because time is running out.

תודה לכם.

Thank you.

(Applause)

(מחיאות כפיים)

Chris Anderson: Noriko, thank you.

כריס אנדרסון: נוריקו, תודה לך.

Noriko Arai: Thank you.

נוריקו אראי: תודה.

כ"א: המחשת בהרצאתך באופן נפלא איך התבונה המלאכותית חושבת,

CA: In your talk, you so beautifully give us a sense of how AIs think,

what they can do amazingly

מה היא יכולה לעשות נהדר,

ומה לא.

and what they can't do.

But -- do I read you right,

אבל -- האם הבנתי אותך נכון,

that you think we really need quite an urgent revolution in education

שאת חושבת שנחוצה לנו בדחיפות מהפכה בחינוך,

to help kids do the things that humans can do better than AIs?

כדי לעזור לילדים להשתפר בעשיית דברים

שבני-אדם עושים טוב יותר מהתבונה המלאכותית?

NA: Yes, yes, yes.

נ"א: כן, כן, כן.

Because we humans can understand the meaning.

כי אנו, כבני-אדם, יכולים להבין משמעויות.

זה חסר במידה רבה מאד בתבונה המלאכותית.

That is something which is very, very lacking in AI.

אבל רוב התלמידים פשוט צוברים את הידע

But most of the students just pack the knowledge

without understanding the meaning of the knowledge,

מבלי להבין את משמעות הידע,

so that is not knowledge, that is just memorizing,

ולכן זה לא ידע, אלא סתם שינון,

משהו שגם התבונה המלאכותית יודעת לעשות.

and AI can do the same thing.

So we have to think about a new type of education.

לכן עלינו לחשוב על חינוך מסוג שונה.

כ"א: לעבור משינון ידע להבנת משמעותו.

CA: A shift from knowledge, rote knowledge, to meaning.

NA: Mm-hmm.

נ"א: נכון.

CA: Well, there's a challenge for the educators. Thank you so much.

כ"א: חתיכת אתגר לאנשי החינוך שבינינו. תודה רבה לך.

נ"א: תודה רבה לך. תודה.

NA: Thank you very much. Thank you.

(מחיאות כפיים)

(Applause)