Can a robot pass a university entrance exam? | Noriko Arai

Traductor: Isis Izaguirre Revisor: Ciro Gomez

El día de hoy hablaré de la IA y de nosotros.

Today, I'm going to talk about AI and us.

AI researchers have always said

Los investigadores de IA siempre han dicho

that we humans do not need to worry,

que los humanos no debemos preocuparnos,

because only menial jobs will be taken over by machines.

porque los trabajos de baja categoría serán ocupados por las máquinas.

Is that really true?

¿Es eso de verdad así?

They have also said that AI will create new jobs,

También han dicho que la IA creará nuevos empleos,

so those who lose their jobs will find a new one.

así que aquellos que pierdan su trabajo, encontrarán uno nuevo.

Of course.

Claro.

But the real question is:

Pero la verdadera pregunta es:

How many of those who may lose their jobs to AI

¿Cuántos de los que pierdan su trabajo por la IA

will be able to land a new one,

lograrán conseguir uno nuevo,

especially when AI is smart enough to learn better than most of us?

especialmente siendo la IA más inteligente

y capaz de aprender mejor que la mayoría de nosotros?

Let me ask you a question:

Déjenme hacerles una pregunta:

How many of you think

¿Cuántos de Uds. piensan

that AI will pass the entrance examination of a top university by 2020?

que una IA aprobará un examen de admisión de una universidad de élite para el 2020?

Oh, so many. OK.

No muchos. De acuerdo.

So some of you may say, "Of course, yes!"

Algunos podrán decir, "¡Claro que sí!".

Now singularity is the issue.

Ahora la singularidad es el punto.

And some others may say, "Maybe,

Otros podrán decir, "Tal vez,

because AI already won against a top Go player."

ya que una IA venció a un gran jugador de Go".

And others may say, "No, never. Uh-uh."

Y otros dirán, "No, nunca. Jamás".

That means we do not know the answer yet, right?

Quiere decir que todavía no sabemos la respuesta, ¿cierto?

So that was the reason why I started Todai Robot Project,

Es por eso que inicié el Proyecto Robot Todai,

making an AI which passes the entrance examination

crear una IA que apruebe el examen de admisión

de la Universidad de Tokio,

of the University of Tokyo,

the top university in Japan.

la mejor en Japón.

This is our Todai Robot.

Este es nuestro Robot Todai.

Y claro, el cerebro del robot trabaja en un servidor de manera remota.

And, of course, the brain of the robot is working in the remote server.

It is now writing a 600-word essay

Ahora está escribiendo un ensayo de 600 palabras

on maritime trade in the 17th century.

sobre comercio marítimo en el siglo XVII.

¿Qué les parece?

How does that sound?

¿Por qué usé como punto de referencia el examen de admisión?

Why did I take the entrance exam as its benchmark?

Porque pensé que teníamos que estudiar el desempeño de la IA

Because I thought we had to study the performance of AI

in comparison to humans,

en comparación con los humanos,

en especial en las escalas y experiencia

especially on the skills and expertise

which are believed to be acquired only by humans

que se cree que son adquiridas solo por los humanos

and only through education.

y solo a través de la educación.

To enter Todai, the University of Tokyo,

Para ingresar a Todai, la Universidad de Tokio,

you have to pass two different types of exams.

tienen que pasar dos diferentes tipos de exámenes.

The first one is a national standardized test

El primero es un examen estandarizado nacional

de opción múltiple.

in multiple-choice style.

You have to take seven subjects

Consta de siete materias

and achieve a high score --

y uno debe tener una calificación alta.

I would say like an 85 percent or more accuracy rate --

Diría que es necesario alrededor de 84 %

to be allowed to take the second stage written test

para poder pasar a la segunda etapa, un examen escrito

prepared by Todai.

preparado por Todai.

So let me first explain how modern AI works,

Primero explicaré cómo funciona una IA moderna,

taking the "Jeopardy!" challenge as an example.

tomando el reto de "Jeopardy!" como ejemplo.

Here is a typical "Jeopardy!" question:

Esta es una típica pregunta de "Jeopardy!":

"Mozart's last symphony shares its name with this planet."

"La última sinfonía de Mozart comparte su nombre con este planeta".

Interestingly, a "Jeopardy!" question always asks,

Curiosamente, las preguntas de "Jeopardy!"

siempre tienden a terminar con "este":

always ends with "this" something:

"this" planet, "this" country,

"este" planeta, "este" país,

"this" rock musician, and so on.

"este" músico de rock, y así.

Quiero decir, que "Jeopardy!" no hace una gran variedad de preguntas diferentes,

In other words, "Jeopardy!" doesn't ask many different types of questions,

but a single type,

solo de un tipo,

which we call "factoid questions."

las llamamos "preguntas factoides".

By the way, do you know the answer?

Por cierto, ¿saben la respuesta?

If you do not know the answer and if you want to know the answer,

Si no la conocen y quieren saberla,

¿qué es lo que harían?

what would you do?

Lo buscan en Google, ¿no? Claro.

You Google, right? Of course.

Why not?

¿Por qué no?

But you have to pick appropriate keywords

Pero necesitas elegir las palabras clave apropiadas

like "Mozart," "last" and "symphony" to search.

como "Mozart", "última" y "sinfonía" para hacer la búsqueda.

The machine basically does the same.

Básicamente la máquina hace lo mismo.

Then this Wikipedia page will be ranked top.

Entonces nos aparece primero esta página de Wikipedia.

Then the machine reads the page.

Luego la máquina lee la página.

No, uh-uh.

No, no.

Unfortunately, none of the modern AIs,

Desafortunadamente, ninguna IA moderna,

including Watson, Siri and Todai Robot,

incluida Watson, Siri y Robot Todai,

is able to read.

puede leer.

But they are very good at searching and optimizing.

Pero son buenas optimizando sus búsquedas.

Reconocerán

It will recognize

that the keywords "Mozart," "last" and "symphony"

que las palabras clave "Mozart", "última" y "sinfonía"

are appearing heavily around here.

aparecerán varias veces por aquí.

So if it can find a word which is a planet

Si encuentra una palabra que es un planeta

and which is co-occurring with these keywords,

y es concurrente con las palabras clave,

that must be the answer.

debe de ser la respuesta.

This is how Watson finds the answer "Jupiter," in this case.

Así es como, en este caso, Watson encuentra la respuesta "Júpiter".

Our Todai Robot works similarly, but a bit smarter

El Robot Todai trabaja de manera similar, pero es un poco más listo

in answering history yes-no questions,

respondiendo preguntas "sí o no" de historia como,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

" 'Carlomagno ahuyentó a los Magiares'. ¿Esto es verdadero o falso?".

Our robot starts producing a factoid question,

Nuestro robot produce una pregunta factoide,

like: "Charlemagne repelled [this person type]" by itself.

como, "Carlomagno ahuyentó [este tipo de persona]" por sí mismo.

Then, "Avars" but not "Magyars" is ranked top.

Entonces, aparece primero "Ávaros" pero no "Magiares".

This sentence is likely to be false.

Es probable que el enunciado sea falso.

Our robot does not read, does not understand,

Nuestro robot no lee, no comprende,

but it is statistically correct in many cases.

pero es correcto estadísticamente en muchos casos.

Para la segunda etapa, el examen escrito,

For the second stage written test,

it is required to write a 600-word essay like this one:

se requiere escribir un ensayo de 600 palabras como este:

[Discuss the rise and fall of the maritime trade

[Habla del alza y caída del comercio marítimo

en el Este y Sureste de Asia en el siglo XVII...]

in East and Southeast Asia in the 17th century ...]

and as I have shown earlier,

y como mostré antes,

our robot took the sentences from the textbooks and Wikipedia,

nuestro robot tomó enunciados de libros de texto y de Wikipedia,

combined them together,

los combinó,

y los optimizó para producir un ensayo

and optimized it to produce an essay

without understanding a thing.

sin comprender nada.

(Risas)

(Laughter)

But surprisingly, it wrote a better essay

Pero, sorprendentemente, escribió un bastante mejor ensayo

than most of the students.

que los de muchos estudiantes.

(Laughter)

(Risas)

How about mathematics?

¿Qué tal las matemáticas?

A fully automatic math-solving machine

Una máquina que automáticamente resuelve problemas

has been a dream

ha sido un sueño

since the birth of the word "artificial intelligence,"

desde el nacimiento de la palabra "inteligencia artificial",

but it has stayed at the level of arithmetic for a long, long time.

pero se ha mantenido al nivel de aritmética por mucho tiempo.

Last year, we finally succeeded in developing a system

El año pasado, finalmente logramos desarrollar un sistema

which solved pre-university-level problems from end to end,

que resuelve por completo problemas de nivel preuniversitarios

como este.

like this one.

This is the original problem written in Japanese,

Este problema originalmente está escrito en japonés,

and we had to teach it 2,000 mathematical axioms

y tuvimos que enseñarle 2000 axiomas matemáticos

y 8000 palabras japonesas

and 8,000 Japanese words

to make it accept the problems written in natural language.

para poder aceptar problemas escritas en su lenguaje natural.

And it is now translating the original problems

Y ahora traduce los problemas originales

into machine-readable formulas.

a fórmulas legibles para la máquina.

Weird, but it is now ready to solve it, I think.

Es raro, pero creo que ahora está lista para resolverlo.

Go and solve it.

Resuélvelo.

Yes! It is now executing symbolic computation.

¡Sí! Ahora ejecuta computación simbólica.

Más raro,

Even more weird,

but probably this is the most fun part for the machine.

es que probablemente esta es la parte más divertida para la máquina.

(Laughter)

(Risas)

Now it outputs a perfect answer,

Ahora produce la respuesta correcta,

though its proof is impossible to read, even for mathematicians.

aunque su prueba es imposible de leer, hasta para los matemáticos.

Anyway, last year our robot was among the top one percent

El año pasado nuestro robot estuvo entre los mejores, entre el 1 %,

in the second stage written exam in mathematics.

en la segunda etapa, en el examen escrito de matemáticas.

(Applause)

(Aplausos)

Thank you.

Gracias.

So, did it enter Todai?

Así que, ¿ingresó a Todai?

No, not as I expected.

No, no como lo esperaba.

Why?

¿Por qué?

Because it doesn't understand any meaning.

Porque no entiende ningún significado.

Let me show you a typical error it made in the English test.

Déjenme mostrarles un error típico que cometió en el examen de inglés.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Ya casi llegamos a la librería. Solo unos minutos más.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil: Espera. ______ . Nate: ¡Gracias! Siempre sucede eso...]

Two people are talking.

Dos personas hablan.

For us, who can understand the situation --

Para nosotros, que entendemos la situación.

[1. "We walked for a long time." 2. "We're almost there."

[1. "Caminamos por mucho tiempo". 2. "Ya casi llegamos".

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

3."Tus zapatos parecen caros". 4."Tu nudo está suelto".]

it is obvious number four is the correct answer, right?

Es obvio que la respuesta correcta es la cuatro, ¿cierto?

But Todai Robot chose number two,

Pero el Robot Todai escogió la dos,

even after learning 15 billion English sentences

a pesar de aprender 15 mil millones de enunciados en inglés

utilizando tecnologías para profundizar su aprendizaje.

using deep learning technologies.

OK, so now you might understand what I said:

Entonces ahora comprenderán lo que dije:

modern AIs do not read,

la IA moderna no lee,

no comprende.

do not understand.

They only disguise as if they do.

Solo aparenta que sí lo hace.

This is the distribution graph

Esta es la gráfica de distribución

of half a million students who took the same exam as Todai Robot.

de medio millón de estudiantes que hicieron el mismo examen que el robot.

Now our Todai Robot is among the top 20 percent,

Nuestro Robot Todai está con el 20 % de los mejores estudiantes,

and it was capable to pass

y fue capaz de aprobar

more than 60 percent of the universities in Japan --

más del 60 % de las universidades en Japón...

but not Todai.

pero no Todai.

Pero noten cómo sobrepasa la zona con mayor cantidad

But see how it is beyond the volume zone

de los que serán empleados de oficina.

of to-be white-collar workers.

Pueden pensar que estaba contenta

You might think I was delighted.

After all, my robot was surpassing students everywhere.

ya que mi robot sobrepasó a estudiantes de todos lados.

En cambio, estaba alarmada.

Instead, I was alarmed.

¿Cómo era posible que esta máquina sin inteligencia superara estudiantes...

How on earth could this unintelligent machine outperform students --

our children?

a nuestros hijos?

¿Cierto?

Right?

Decidí investigar qué pasaba con los seres humanos.

I decided to investigate what was going on in the human world.

I took hundreds of sentences from high school textbooks

Tomé cientos de enunciados de libros de textos de preparatoria

and made easy multiple-choice quizzes,

e hice sencillos exámenes de opción múltiple,

and asked thousands of high school students to answer.

y pedí a miles de estudiantes de preparatoria que los respondieran.

Here is an example:

Aquí hay un ejemplo:

[Buddhism spread to ... , Christianity to ... and Oceania,

[El budismo se esparció a..., la cristiandad a... y Oceanía.,

and Islam to ...]

y el Islam a...]

Of course, the original problems are written in Japanese,

Claro, los problemas originales están escritos en japonés,

their mother tongue.

su lengua natal.

[ ______ has spread to Oceania.

[ ______ se esparció a Oceanía.

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

1. Hinduismo. 2. Cristiandad 3. Islam 4. Budismo ]

Obviously, Christianity is the answer, isn't it?

Obviamente Cristiandad es la respuesta, ¿cierto?

¡Está escrita!

It's written!

And Todai Robot chose the correct answer, too.

Y el Robot Todai también escogió la respuesta correcta.

But one-third of junior high school students

Pero un tercio de los estudiantes de preparatoria

failed to answer this question.

fallaron esta pregunta.

Do you think it is only the case in Japan?

¿Piensan que es solo el caso en Japón?

I do not think so,

No lo creo,

because Japan is always ranked among the top in OECD PISA tests,

porque Japón siempre está en los rangos más altos en las pruebas de OECD PISA,

que miden el desempeño de estudiantes de 15 años en matemáticas,

measuring 15-year-old students' performance in mathematics,

science and reading

ciencia y lectura

every three years.

cada tres años.

We have been believing

Hemos estado creyendo

that everybody can learn

que cualquiera puede aprender

and learn well,

y aprender bien,

as long as we provide good learning materials

siempre que le proporcionemos buenos materiales gratuitos en internet

free on the web

para su aprendizaje

so that they can access through the internet.

y tengan acceso en cualquier parte.

But such wonderful materials may benefit only those who can read well,

Pero tales maravillosos materiales solo benefician a aquellos que leen bien,

and the percentage of those who can read well

y el porcentaje de los que leen bien

may be much less than we expected.

es más bajo de lo que esperamos.

Cómo los humanos coexistirán con la IA

How we humans will coexist with AI

is something we have to think about carefully,

es algo que tenemos que pensar cuidadosamente,

based on solid evidence.

basándonos en evidencias sólidas.

Al mismo tiempo, tenemos que pensarlo rápidamente

At the same time, we have to think in a hurry

porque el tiempo se nos está acabando.

because time is running out.

Gracias.

Thank you.

(Applause)

(Aplausos)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, gracias.

Noriko Arai: Thank you.

Noriko Arai: Gracias.

CA: En tu charla, bellamente nos has dado una explicación de cómo piensa una IA,

CA: In your talk, you so beautifully give us a sense of how AIs think,

what they can do amazingly

lo que hacen de manera asombrosa

y lo que no puede hacer.

and what they can't do.

But -- do I read you right,

Pero, si te entendí bien,

that you think we really need quite an urgent revolution in education

¿piensas que debemos tener una urgente revolución educativa

to help kids do the things that humans can do better than AIs?

para ayudar a los chicos a hacer cosas que los humanos pueden mejor que las IA?

NA: Yes, yes, yes.

NA: Sí, sí, sí.

Porque los humanos entendemos el significado.

Because we humans can understand the meaning.

Eso es algo de lo que carece mucho la IA.

That is something which is very, very lacking in AI.

Pero muchos estudiantes solo cargan el conocimiento

But most of the students just pack the knowledge

without understanding the meaning of the knowledge,

sin comprender el significado de ese conocimiento,

so that is not knowledge, that is just memorizing,

y eso no es conocimiento, solo es memorizar,

and AI can do the same thing.

y una IA puede hacer lo mismo.

So we have to think about a new type of education.

Así que tenemos que pensar en un nuevo estilo de educación.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Un cambio de conocimiento, de memorización a significado.

NA: Mm-hmm.

NA: Así es.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Bueno, un reto para los educadores. Muchas gracias.

NA: Muchas gracias. Gracias.

NA: Thank you very much. Thank you.

(Applause)

(Aplausos)