Can a robot pass a university entrance exam? | Noriko Arai

Übersetzung: Kai Bennies Lektorat: Ninja Katja Horr

Today, I'm going to talk about AI and us.

Heute spreche ich über KI und uns.

AI researchers have always said

KI-Wissenschaftler haben stets gesagt,

that we humans do not need to worry,

dass wir Menschen uns keine Sorgen machen müssen,

because only menial jobs will be taken over by machines.

da nur einfache Jobs von Maschinen übernommen werden.

Is that really true?

Stimmt das wirklich?

They have also said that AI will create new jobs,

Sie sagten auch, dass KI neue Jobs schaffen wird.

so those who lose their jobs will find a new one.

Also werden die, die ihren Job verlieren, wieder einen neuen finden.

Of course.

Natürlich.

But the real question is:

Doch die wirkliche Frage ist:

How many of those who may lose their jobs to AI

Wie viele von denen, die ihren Job an KI verlieren,

will be able to land a new one,

werden einen neuen finden,

especially when AI is smart enough to learn better than most of us?

wenn eine KI schlau genug ist, besser zu lernen als die meisten von uns?

Let me ask you a question:

Lassen Sie mich fragen:

How many of you think

Wie viele von Ihnen denken,

that AI will pass the entrance examination of a top university by 2020?

dass KI den Aufnahmetest einer Spitzenuni bis 2020 besteht?

Oh, so many. OK.

Oh, so viele, okay.

So some of you may say, "Of course, yes!"

Einige von Ihnen mögen sagen: "Ja, natürlich!"

Now singularity is the issue.

Jetzt geht es um die Einzelheiten.

And some others may say, "Maybe,

Andere sagen: "Vielleicht,

because AI already won against a top Go player."

weil KI schon gegen einen Top-Go-Spieler gewonnen hat."

And others may say, "No, never. Uh-uh."

Andere sagen: "Nein, niemals."

That means we do not know the answer yet, right?

Also kennen wir die Antwort nicht, oder?

So that was the reason why I started Todai Robot Project,

Deshalb rief ich das Todai-Roboterprojekt ins Leben,

making an AI which passes the entrance examination

um eine KI zu erschaffen, die die Aufnahmeprüfung

of the University of Tokyo,

der Universität von Tokyo,

the top university in Japan.

der besten Universität Japans, besteht.

This is our Todai Robot.

Das ist unser Todai Roboter.

And, of course, the brain of the robot is working in the remote server.

Und natürlich arbeitet das Robotergehirn auf einem entfernten Server.

It is now writing a 600-word essay

Er schreibt jetzt einen 600 Wörter Aufsatz

on maritime trade in the 17th century.

über den Seehandel im 17. Jahrhundert.

How does that sound?

Was denken Sie?

Why did I take the entrance exam as its benchmark?

Warum habe ich die Aufnahmeprüfung als Maßstab genommen?

Because I thought we had to study the performance of AI

Weil ich dachte, dass wir die Leistung der KI

in comparison to humans,

mit Menschen vergleichen sollten,

especially on the skills and expertise

insbesondere in Bezug auf Wissen und Fähigkeiten,

which are believed to be acquired only by humans

von denen man glaubt, dass sie nur von Menschen

and only through education.

und nur durch Bildung erworben werden können.

To enter Todai, the University of Tokyo,

Um an Todai, der Universität von Tokyo, studieren zu können,

you have to pass two different types of exams.

muss man zwei Prüfungen bestehen.

The first one is a national standardized test

Die Erste ist ein landesweiter, standardisierter Test

in multiple-choice style.

mit Multiple-Choice Aufgaben.

You have to take seven subjects

Man muss sieben Fächer wählen

and achieve a high score --

und eine hohe Punktzahl erreichen --

I would say like an 85 percent or more accuracy rate --

ich würde sagen, 85 % oder mehr --

to be allowed to take the second stage written test

um in der zweiten Phase den geschriebenen Test an der Todai

prepared by Todai.

schreiben zu dürfen.

So let me first explain how modern AI works,

Lassen Sie mich zuerst erklären, wie moderne KI funktioniert,

taking the "Jeopardy!" challenge as an example.

am Beispiel von "Jeopardy!".

Here is a typical "Jeopardy!" question:

Eine typische Frage in "Jeopardy!":

"Mozart's last symphony shares its name with this planet."

"Mozarts letzte Sinfonie teilt ihren Namen mit diesem Planeten."

Interestingly, a "Jeopardy!" question always asks,

Interessanterweise endet eine Jeopardy Frage

always ends with "this" something:

immer mit "dies":

"this" planet, "this" country,

"Dieser" Planet, "dieses" Land,

"this" rock musician, and so on.

"dieser" Rockmusiker, und so weiter.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Anders gesagt: "Jeopardy!" stellt nicht viele verschiedene Arten von Fragen,

but a single type,

sondern eine Art,

which we call "factoid questions."

die wir "faktische Frage" nennen.

By the way, do you know the answer?

Apropos, wissen Sie die Antwort?

If you do not know the answer and if you want to know the answer,

Wenn Sie die Antwort nicht wissen, aber wissen wollen,

what would you do?

was würden Sie machen?

You Google, right? Of course.

Googlen, oder? Natürlich.

Why not?

Warum auch nicht?

But you have to pick appropriate keywords

Aber Sie müssen die richtigen Stichwörter

like "Mozart," "last" and "symphony" to search.

wie "Mozart", "letzte" und "Sinfonie" für die Suche wählen.

The machine basically does the same.

Die Maschine macht im Grunde dasselbe.

Then this Wikipedia page will be ranked top.

Diese Wikipedia Seite wird als Erstes erscheinen.

Then the machine reads the page.

Dann liest die Maschine die Seite.

No, uh-uh.

Oh nein.

Unfortunately, none of the modern AIs,

Leider ist keine der modernen KI,

including Watson, Siri and Todai Robot,

einschließlich Watson, Siri und der Todai-Roboter,

is able to read.

in der Lage zu lesen.

But they are very good at searching and optimizing.

Aber sie sind sehr gut im Suchen und Optimieren.

It will recognize

Die KI wird erkennen,

that the keywords "Mozart," "last" and "symphony"

dass die Stichwörter "Mozart", "letzte" und "Sinfonie"

are appearing heavily around here.

viel in diesem Bereich vorkommen.

So if it can find a word which is a planet

Also wenn sie ein Wort findet, das ein Planet ist

and which is co-occurring with these keywords,

und mit diesen Stichwörtern auftritt,

that must be the answer.

muss das die Antwort sein.

This is how Watson finds the answer "Jupiter," in this case.

So findet Watson in diesem Fall die Antwort "Jupiter".

Our Todai Robot works similarly, but a bit smarter

Unser Todai Roboter arbeitet ähnlich, aber ist etwas intelligenter

in answering history yes-no questions,

bei der Beantwortung von Ja-Nein-Fragen zu Geschichte,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

z.B. "Karl der Große wehrte die Magyaren ab." - Wahr oder falsch?

Our robot starts producing a factoid question,

Unser Roboter beginnt selbst, eine faktische Frage zu stellen,

like: "Charlemagne repelled [this person type]" by itself.

wie "Karl der Große hat [diesen Menschentyp]" abgewehrt.

Then, "Avars" but not "Magyars" is ranked top.

Dann wird "Awaren", nicht "Magyaren", an erster Stelle stehen.

This sentence is likely to be false.

Der Satz ist also wahrscheinlich falsch.

Our robot does not read, does not understand,

Unser Roboter liest nicht, versteht nicht,

but it is statistically correct in many cases.

aber ist häufig statistisch korrekt.

For the second stage written test,

Für die zweite Stufe der schriftlichen Prüfung

it is required to write a 600-word essay like this one:

muss man einen 600-Wort Aufsatz wie diesen schreiben:

[Discuss the rise and fall of the maritime trade

[Diskutieren Sie die Entwicklung des Seehandels

in East and Southeast Asia in the 17th century ...]

in Ost- und Südostasien im 17. Jahrhundert ...]

and as I have shown earlier,

und wie ich vorhin zeigte,

our robot took the sentences from the textbooks and Wikipedia,

nahm unser Roboter Sätze aus Lehrbüchern und von Wikipedia,

combined them together,

kombinierte sie

and optimized it to produce an essay

und optimierte alles um einen Aufsatz zu produzieren,

without understanding a thing.

ohne irgendetwas zu verstehen.

(Laughter)

(Gelächter)

But surprisingly, it wrote a better essay

Aber erstaunlicherweise schrieb er einen besseren Aufsatz

than most of the students.

als die meisten Studenten.

(Laughter)

(Gelächter)

How about mathematics?

Wie sieht es mit Mathe aus?

A fully automatic math-solving machine

Eine vollautomatische Mathe-Lösemaschine

has been a dream

ist ein Traum

since the birth of the word "artificial intelligence,"

seit es das Wort "künstliche Intelligenz" gibt,

but it has stayed at the level of arithmetic for a long, long time.

aber sie ist lange Zeit auf der Ebene der Arithmetik geblieben.

Last year, we finally succeeded in developing a system

Letztes Jahr haben wir endlich ein System entwickeln können,

which solved pre-university-level problems from end to end,

das Aufgaben komplett lösen kann, die unter dem Universitätsniveau liegen

like this one.

wie diese hier.

This is the original problem written in Japanese,

Das ist die ursprüngliche Aufgabe auf Japanisch

and we had to teach it 2,000 mathematical axioms

und wir mussten dem Roboter 2.000 mathematische Axiome beibringen

and 8,000 Japanese words

und 8.000 japanische Wörter,

to make it accept the problems written in natural language.

damit er in natürlicher Sprache geschriebene Aufgaben versteht.

And it is now translating the original problems

Er übersetzt nun die ursprüngliche Aufgabe

into machine-readable formulas.

in maschinenlesbare Formeln.

Weird, but it is now ready to solve it, I think.

Verrückt, aber ich glaube, er kann jetzt das Problem lösen.

Go and solve it.

Los, löse die Aufgabe!

Yes! It is now executing symbolic computation.

Er führt jetzt eine symbolische Berechnung durch.

Even more weird,

Noch verrückter,

but probably this is the most fun part for the machine.

aber das macht der Maschine wohl am meisten Spaß.

(Laughter)

(Gelächter)

Now it outputs a perfect answer,

Uns wird eine perfekte Antwort gegeben,

though its proof is impossible to read, even for mathematicians.

auch wenn ihr Beweis selbst für Mathematiker unmöglich zu lesen ist.

Anyway, last year our robot was among the top one percent

Im letzten Jahr war unser Roboter unter den besten ein Prozent

in the second stage written exam in mathematics.

in der schriftlichen Prüfung der zweiten Stufe in Mathematik.

(Applause)

(Beifall)

Thank you.

Vielen Dank.

So, did it enter Todai?

Wurde er also an der Todai angenommen?

No, not as I expected.

Nein, nicht wie erwartet.

Why?

Warum?

Because it doesn't understand any meaning.

Weil er keine Bedeutung versteht.

Let me show you a typical error it made in the English test.

Ich zeige Ihnen einen typischen Fehler aus dem Englischtest.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Wir sind fast in der Buchhandlung. Einen Moment.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil: Warte. ______ . Nate: Danke. Das passiert oft ...]

Two people are talking.

Zwei Personen reden.

For us, who can understand the situation --

Für uns, die die Situation verstehen --

[1. "We walked for a long time." 2. "We're almost there."

[1. "Wir sind lange gelaufen." 2. "Wir sind fast da."

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3."Die Schuhe wirken teuer." 4."Deine Schnürsenkel sind offen."]

it is obvious number four is the correct answer, right?

ist es klar, dass Nummer 4 die Antwort ist, oder?

But Todai Robot chose number two,

Aber der Todai Roboter wählte Nummer 2,

even after learning 15 billion English sentences

selbst nachdem er 15 Milliarden englische Sätze

using deep learning technologies.

mit Deep Learning gelernt hatte.

OK, so now you might understand what I said:

Jetzt verstehen Sie wohl, was ich meine:

modern AIs do not read,

Moderne KI lesen nicht,

do not understand.

sie verstehen nicht.

They only disguise as if they do.

Sie tun nur so, als ob.

This is the distribution graph

Dies ist ein Verteilungsdiagramm

of half a million students who took the same exam as Todai Robot.

von einer halben Million Studenten, die die gleiche Prüfung ablegten.

Now our Todai Robot is among the top 20 percent,

Unser Todai Roboter ist jetzt unter den besten 20 Prozent

and it was capable to pass

und er hat es geschafft,

more than 60 percent of the universities in Japan --

in mehr als 60 Prozent der Universitäten in Japan zu kommen --

but not Todai.

aber nicht in Todai.

But see how it is beyond the volume zone

Aber beachten Sie, wie er jenseits der Zone

of to-be white-collar workers.

der künftigen Angestellten liegt.

You might think I was delighted.

Man könnte meinen, ich hätte mich gefreut.

After all, my robot was surpassing students everywhere.

Schließlich übertraf mein Roboter die Schüler überall.

Instead, I was alarmed.

Aber stattdessen war ich beunruhigt.

How on earth could this unintelligent machine outperform students --

Wie konnte diese unwissende Maschine unsere Studenten übertreffen --

our children?

unsere Kinder?

Right?

Stimmts?

I decided to investigate what was going on in the human world.

Ich beschloss, zu untersuchen, was in der menschlichen Welt passiert.

I took hundreds of sentences from high school textbooks

Ich nahm hunderte von Sätzen aus Schulbüchern

and made easy multiple-choice quizzes,

und erstellte einfache Multiple-Choice-Fragen,

and asked thousands of high school students to answer.

die von tausenden Schülern beantwortet wurden.

Here is an example:

Ein Beispiel:

[Buddhism spread to ... , Christianity to ... and Oceania,

[Buddhismus verbreitete sich in ..., Christentum in ... und Ozeanien,

and Islam to ...]

und der Islam in ...]

Of course, the original problems are written in Japanese,

Natürlich sind die ursprünglichen Aufgaben auf Japanisch,

their mother tongue.

ihrer Muttersprache.

[ ______ has spread to Oceania.

[ ______ gelangte nach Ozeanien.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. Hinduismus 2. Christentum 3. Islam 4. Buddhismus]

Obviously, Christianity is the answer, isn't it?

Offensichtlich ist Christentum die Antwort, oder?

It's written!

Es steht dort!

And Todai Robot chose the correct answer, too.

Der Todai Roboter hat auch die richtige Antwort gewählt.

But one-third of junior high school students

Aber ein Drittel der Mittelschüler

failed to answer this question.

hat diese Frage falsch beantwortet.

Do you think it is only the case in Japan?

Denken Sie, das ist nur in Japan der Fall?

I do not think so,

Ich denke nicht,

because Japan is always ranked among the top in OECD PISA tests,

da Japan bei den PISA-Tests der OECD immer an der Spitze ist.

measuring 15-year-old students' performance in mathematics,

Hier werden die Leistungen der 15-Jährigen

science and reading

in Mathematik, Naturwissenschaften und Leseverständnis

every three years.

alle drei Jahre gemessen.

We have been believing

Wir glaubten stets,

that everybody can learn

dass jeder lernfähig ist

and learn well,

und gut lernen kann,

as long as we provide good learning materials

solange wir nur die richtigen Materialien

free on the web

kostenlos im Internet

so that they can access through the internet.

zur Verfügung stellen.

But such wonderful materials may benefit only those who can read well,

Aber solche guten Materialien können nur denjenigen helfen,

die gut lesen können.

and the percentage of those who can read well

Und davon gibt es vielleicht viel weniger als wir erwartet hatten.

may be much less than we expected.

How we humans will coexist with AI

Wie wir Menschen mit KI koexistieren werden,

is something we have to think about carefully,

müssen wir uns auf Grundlage solider Fakten sorgfältig überlegen.

based on solid evidence.

At the same time, we have to think in a hurry

Gleichzeitig müssen wir uns beeilen,

because time is running out.

denn die Zeit läuft uns davon.

Thank you.

Vielen Dank.

(Applause)

(Beifall)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, vielen Dank.

Noriko Arai: Thank you.

Noriko Arai: Dankeschön.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: In Ihrer Rede haben Sie uns einen guten Einblick gegeben,

what they can do amazingly

wie KIs denken, was sie gut

und was sie gar nicht können.

and what they can't do.

But -- do I read you right,

Aber verstehe ich es richtig,

that you think we really need quite an urgent revolution in education

dass Sie glauben, dass wir dringend eine Revolution in der Bildung brauchen,

to help kids do the things that humans can do better than AIs?

damit Kinder Dinge besser als KIs tun können?

NA: Yes, yes, yes.

NA: Ja, auf jeden Fall.

Because we humans can understand the meaning.

Weil wir als Menschen Bedeutung verstehen können.

That is something which is very, very lacking in AI.

Das ist etwas, was der KI fehlt.

But most of the students just pack the knowledge

Aber die meisten Schüler saugen das Wissen nur auf,

without understanding the meaning of the knowledge,

ohne die Bedeutung zu verstehen,

so that is not knowledge, that is just memorizing,

also ist es kein Wissen, sondern nur Auswendiglernen.

and AI can do the same thing.

Die KI kann das Gleiche tun.

So we have to think about a new type of education.

Wir müssen also über eine neue Art der Bildung nachdenken.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Statt sturem Auswendiglernen auf die Bedeutung fokussieren.

NA: Mm-hmm.

NA: Genau.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Das wird eine Herausforderung für die Pädagogen werden. Danke.

NA: Thank you very much. Thank you.

NA: Dankeschön. Vielen Dank.

(Applause)

(Beifall)