Can a robot pass a university entrance exam? | Noriko Arai

Tradutor: Miriam Hidalgo Prieto Revisora: Margarida Ferreira

Today, I'm going to talk about AI and us.

Hoje vou falar sobre nós e sobre a Inteligência Artificial.

AI researchers have always said

Os investigadores da IA sempre disseram

that we humans do not need to worry,

que os seres humanos, não precisam de se preocupar

because only menial jobs will be taken over by machines.

porque só os trabalhos menores serão assumidos pelas máquinas.

Is that really true?

Será mesmo verdade?

They have also said that AI will create new jobs,

Também disseram que a IA criará novos empregos,

so those who lose their jobs will find a new one.

de modo que as pessoas que ficam sem trabalho hão de encontrar outro.

Of course.

Claro.

But the real question is:

Mas a verdadeira questão é:

How many of those who may lose their jobs to AI

Quantos dos que perdem o seu trabalho para a IA

will be able to land a new one,

conseguirão um novo emprego,

especially when AI is smart enough to learn better than most of us?

sendo a AI mais esperta para aprender melhor do que nós?

Let me ask you a question:

Permitam-me fazer uma pergunta:

How many of you think

Quantos de vocês pensam que uma AI passará no exame de admissão

that AI will pass the entrance examination of a top university by 2020?

a uma universidade de elite em 2020?

Oh, so many. OK.

Não muitos. Ok.

So some of you may say, "Of course, yes!"

Haverá quem diga: "Claro que sim!"

Now singularity is the issue.

Isso põe a questão da singularidade.

And some others may say, "Maybe,

Outros dirão "Talvez,

because AI already won against a top Go player."

"porque a AI já venceu um grande jogador de Go".

And others may say, "No, never. Uh-uh."

Outros poderão dizer: "Não, nunca".

That means we do not know the answer yet, right?

Quer dizer que ainda não sabemos a resposta, não é?

So that was the reason why I started Todai Robot Project,

Por esta razão comecei o Projeto Robô Todai,

making an AI which passes the entrance examination

criar uma IA que passe no exame de admissão

of the University of Tokyo,

da Universidade de Tóquio,

the top university in Japan.

a melhor universidade do Japão.

This is our Todai Robot.

Este é o nosso robô Todai.

And, of course, the brain of the robot is working in the remote server.

Claro, o cérebro do robô trabalha num servidor remoto.

It is now writing a 600-word essay

Agora está a escrever um ensaio de 600 palavras

on maritime trade in the 17th century.

sobre comércio marítimo no século XVII.

How does that sound?

O que vos parece?

Why did I take the entrance exam as its benchmark?

Porque é que usei o exame de admissão como ponto de referência?

Because I thought we had to study the performance of AI

Porque eu pensei que tínhamos que estudar o desempenho da IA

in comparison to humans,

em comparação com os seres humanos,

especially on the skills and expertise

especialmente nas aptidões e na experiência

which are believed to be acquired only by humans

que se crê que são adquiridas só pelos seres humanos

and only through education.

e só através do ensino.

To enter Todai, the University of Tokyo,

Para entrar em Todai, a Universidade de Tóquio,

you have to pass two different types of exams.

é preciso passar por dois tipos de exames diferentes.

The first one is a national standardized test

O primeiro é um exame padronizado nacional

in multiple-choice style.

de opções múltiplas.

You have to take seven subjects

É preciso escolher sete matérias

and achieve a high score --

e tem que se obter uma qualificação alta

I would say like an 85 percent or more accuracy rate --

— eu diria serem necessários uns 84% ou mais de respostas certas —

to be allowed to take the second stage written test

para se poder passar para a segunda parte do exame escrito

prepared by Todai.

preparado pela Todai.

So let me first explain how modern AI works,

Primeiro vou explicar como funciona a IA moderna,

taking the "Jeopardy!" challenge as an example.

tomando como exemplo o concurso "Jeopardy!"

Here is a typical "Jeopardy!" question:

Esta é uma típica pergunta de "Jeopardy!":

"Mozart's last symphony shares its name with this planet."

"A última sinfonia de Mozart partilha o seu nome com este planeta".

Interestingly, a "Jeopardy!" question always asks,

Curiosamente, as perguntas de "Jeopardy!"

sempre terminam com "este":

always ends with "this" something:

"this" planet, "this" country,

"este" planeta, "este" país,

"this" rock musician, and so on.

"este" roqueiro, etc.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Quero dizer, as perguntas do "Jeopardy!" não são de muitos tipos diferentes,

but a single type,

são perguntas de um tipo só,

which we call "factoid questions."

a que chamamos "perguntas factoides"

By the way, do you know the answer?

A propósito, sabem a resposta?

If you do not know the answer and if you want to know the answer,

Caso não saibam a resposta e queiram sabê-la,

what would you do?

o que é que vocês fazem?

You Google, right? Of course.

Pesquisar no Google, não é? Claro.

Why not?

Porque não?

But you have to pick appropriate keywords

Mas precisamos de escolher as palavras chave apropriadas

like "Mozart," "last" and "symphony" to search.

como "Mozart", "última" e "sinfonia" para fazer a pesquisa.

The machine basically does the same.

Basicamente a máquina faz o mesmo.

Then this Wikipedia page will be ranked top.

Então aparece-nos primeiro esta página da Wikipedia.

Then the machine reads the page.

Depois a máquina lê a página.

No, uh-uh.

Não, não.

Unfortunately, none of the modern AIs,

Infelizmente, nenhuma AI moderna,

including Watson, Siri and Todai Robot,

incluindo a Watson, a Siri e o robô Todai,

is able to read.

sabe ler.

But they are very good at searching and optimizing.

Mas são boas a otimizar as suas pesquisas.

It will recognize

Vai reconhecer

that the keywords "Mozart," "last" and "symphony"

que as palavras chave "Mozart", "última" e "sinfonia"

are appearing heavily around here.

vão aparecer várias vezes.

So if it can find a word which is a planet

Se encontrar uma palavra que é um planeta

and which is co-occurring with these keywords,

e é concorrente com as palavras chave,

that must be the answer.

a resposta deve ser essa.

This is how Watson finds the answer "Jupiter," in this case.

Assim, neste caso, a Watson encontra a resposta "Júpiter".

Our Todai Robot works similarly, but a bit smarter

O Robô Todai trabalha da mesma forma, mas é um pouco mais esperto

in answering history yes-no questions,

respondendo a perguntas de História "sim ou não", do tipo:

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

"Carlos Magno afugentou os magiares. Isto é verdadeiro ou falso?"

Our robot starts producing a factoid question,

O nosso robô produz, por si mesmo, uma pergunta factoide,

like: "Charlemagne repelled [this person type]" by itself.

como "Carlos Magno afugentou [este tipo de pessoa]".

Then, "Avars" but not "Magyars" is ranked top.

Então, aparece "Ávaros" em primeiro lugar em vez de "Magiares".

This sentence is likely to be false.

É provável que esta frase seja falsa.

Our robot does not read, does not understand,

O nosso robô não lê, não compreende,

but it is statistically correct in many cases.

mas, estatisticamente, está correto em muitos casos.

For the second stage written test,

Na segunda etapa, o exame escrito,

it is required to write a 600-word essay like this one:

deve-se escrever um ensaio de 600 palavras como este

[Discuss the rise and fall of the maritime trade

[Analisa o aumento e a queda do comércio marítimo...]

in East and Southeast Asia in the 17th century ...]

Como eu já mostrei,

and as I have shown earlier,

o nosso robô foi buscar frases aos manuais e à Wikipedia,

our robot took the sentences from the textbooks and Wikipedia,

combined them together,

combinou-os

e otimizou-os para produzir um ensaio

and optimized it to produce an essay

without understanding a thing.

sem compreender nada.

(Laughter)

(Risos)

But surprisingly, it wrote a better essay

Mas, surpreendentemente, escreveu um ensaio bastante melhor

than most of the students.

do que muitos estudantes.

(Laughter)

(Risos)

How about mathematics?

Que tal a matemática?

A fully automatic math-solving machine

Uma máquina que automaticamente resolve problemas

has been a dream

tem sido um sonho

since the birth of the word "artificial intelligence,"

desde o nascimento da expressão "inteligência artificial",

but it has stayed at the level of arithmetic for a long, long time.

mas manteve-se no nível da aritmética durante muito tempo.

Last year, we finally succeeded in developing a system

O ano passado, finalmente, conseguimos desenvolver um sistema

which solved pre-university-level problems from end to end,

que resolve por completo problemas de nível pré-universitário

like this one.

como este.

This is the original problem written in Japanese,

Este problema, originalmente, está escrito em japonês,

and we had to teach it 2,000 mathematical axioms

e tivemos de ensinar-lhe 2000 axiomas matemáticos

and 8,000 Japanese words

e 8000 palavras japonesas

to make it accept the problems written in natural language.

para poder aceitar problemas escritas na sua linguagem natural.

And it is now translating the original problems

Agora traduz os problemas originais

into machine-readable formulas.

em fórmulas legíveis para a máquina.

Weird, but it is now ready to solve it, I think.

É estranho, mas acho que agora está preparada para resolvê-lo.

Go and solve it.

Resolve-o!

Yes! It is now executing symbolic computation.

Sim! Agora executa cálculo simbólico.

Even more weird,

Ainda mais estranho,

but probably this is the most fun part for the machine.

mas provavelmente, esta é a parte mais divertida para a máquina.

(Laughter)

(Risos)

Now it outputs a perfect answer,

Agora ela produz a resposta correta,

though its proof is impossible to read, even for mathematicians.

embora a prova seja impossível de ler, mesmo para matemáticos.

Anyway, last year our robot was among the top one percent

No ano passado, o nosso robô ficou entre 1% dos melhores

in the second stage written exam in mathematics.

na segunda fase do exame escrito de matemática.

(Applause)

(Aplausos)

Thank you.

Obrigada.

So, did it enter Todai?

Então, entrou em Todai?

No, not as I expected.

Não, não, tal como eu esperava.

Why?

Porquê?

Because it doesn't understand any meaning.

Porque ele não compreende nenhum significado.

Let me show you a typical error it made in the English test.

Vou mostrar-vos um erro típico que ele cometeu no teste de inglês.

[Nate: We're almost at the bookstore. Just a few more minutes.

[- Não ataste os atacadores há bocado? - Atei, mas estão sempre a desapertar-se.]

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Há duas pessoas a falar.

Two people are talking.

Para nós, que entendemos a situação,

For us, who can understand the situation --

[1. "Caminhámos muito tempo". 2. "Estamos quase a chegar."

[1. "We walked for a long time." 2. "We're almost there."

[3. "Tens uns sapatos caros". 4. "Tens o atacador solto.]

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

é óbvio que o número quatro é a resposta correta, não é?

it is obvious number four is the correct answer, right?

Mas o robô Todai escolheu o número dois,

But Todai Robot chose number two,

even after learning 15 billion English sentences

mesmo depois de aprender 15 mil milhões de frases em inglês

using deep learning technologies.

usando tecnologias de aprendizagem profunda.

OK, so now you might understand what I said:

Agora vocês podem entender o que eu disse:

modern AIs do not read,

As IA modernas não leem,

do not understand.

não compreendem.

They only disguise as if they do.

Apenas parece que compreendem.

This is the distribution graph

Este é o gráfico de distribuição

of half a million students who took the same exam as Todai Robot.

de meio milhão de estudantes que fizeram o mesmo exame que o robô.

Now our Todai Robot is among the top 20 percent,

O nosso robô Todai está entre os 20% dos melhores alunos

and it was capable to pass

e conseguiu passar

more than 60 percent of the universities in Japan --

em mais de 60% das universidades do Japão,

but not Todai.

mas não na Todai.

But see how it is beyond the volume zone

Mas vejam como ele está acima da zona com maior quantidade

of to-be white-collar workers.

dos futuros empregados de escritório.

You might think I was delighted.

Vocês podem pensar que fiquei muito satisfeita.

After all, my robot was surpassing students everywhere.

Afinal, o meu robô superou estudantes de todo o lado.

Instead, I was alarmed.

Em vez disso, fiquei assustada.

How on earth could this unintelligent machine outperform students --

Como era possível que uma máquina sem inteligência superasse os alunos,

our children?

os nossos filhos?

Right?

Não é?

I decided to investigate what was going on in the human world.

Decidi investigar o que estava a acontecer no mundo humano.

I took hundreds of sentences from high school textbooks

Agarrei em centenas de frases de manuais do ensino médio

and made easy multiple-choice quizzes,

e elaborei testes fáceis de escolha múltipla.

and asked thousands of high school students to answer.

Pedi a milhares de alunos do ensino médio que respondessem.

Here is an example:

Este é um exemplo:

[Buddhism spread to ... , Christianity to ... and Oceania,

[... o cristianismo espalhou-se... pela Oceânia...

and Islam to ...]

Os problemas originais estão escritos em japonês,

Of course, the original problems are written in Japanese,

na língua materna deles.

their mother tongue.

[ (______) espalhou-se pela Oceânia.

[ ______ has spread to Oceania.

[1. Hinduísmo 2. Cristianismo 3. Islamismo 4. Budismo]

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

Obviously, Christianity is the answer, isn't it?

Obviamente, a resposta é cristianismo, não é?

It's written!

Está lá escrito!

And Todai Robot chose the correct answer, too.

O robô Todai também escolheu a resposta correta.

But one-third of junior high school students

Mas um terço dos alunos do ensino médio

failed to answer this question.

não conseguiu responder bem a esta pergunta.

Do you think it is only the case in Japan?

Vocês acham que acontece apenas no Japão?

I do not think so,

Penso que não,

because Japan is always ranked among the top in OECD PISA tests,

porque o Japão é sempre classificado entre os melhores nos testes PISA da OCDE,

measuring 15-year-old students' performance in mathematics,

que medem o desempenho de alunos de 15 anos em matemática,

science and reading

em ciências e na leitura

every three years.

de três em três anos.

We have been believing

Acreditamos que todos podem aprender

that everybody can learn

and learn well,

e aprender bem,

as long as we provide good learning materials

desde que lhes proporcionemos bons materiais de aprendizagem

free on the web

gratuitos na Internet,

so that they can access through the internet.

e lhes tenham acesso em qualquer sítio.

But such wonderful materials may benefit only those who can read well,

Mas esses materiais extraordinários só beneficiam quem consegue ler bem,

and the percentage of those who can read well

e a percentagem daqueles que leem bem

may be much less than we expected.

talvez seja mais baixa do que esperamos.

How we humans will coexist with AI

Como é que os seres humanos vão coexistir com a IA?

is something we have to think about carefully,

Isto é uma coisa que temos que pensar cuidadosamente,

based on solid evidence.

com base em evidências sólidas.

At the same time, we have to think in a hurry

Ao mesmo tempo, devemos apressar-nos em pensar

because time is running out.

porque o tempo está a esgotar-se.

Thank you.

Obrigada.

(Applause)

(Aplausos)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, obrigado.

Noriko Arai: Thank you.

Noriko Arai; Obrigada.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: Na sua palestra, de forma magnífica, você dá uma ideia de como pensa uma IA,

what they can do amazingly

o que podem fazer de modo incrível e o que não podem fazer.

and what they can't do.

But -- do I read you right,

Mas, se bem compreendi,

that you think we really need quite an urgent revolution in education

você pensa que precisamos duma revolução urgente no ensino

to help kids do the things that humans can do better than AIs?

para ajudar as crianças a fazer as coisas que o homem pode fazer melhor que as IA?

NA: Yes, yes, yes.

NA: Sim, sim.

Because we humans can understand the meaning.

Porque nós, seres humanos, compreendemos o significado.

That is something which is very, very lacking in AI.

Isso é algo que falta bastante na IA.

But most of the students just pack the knowledge

Mas a maioria dos estudantes apenas engole o conhecimento

without understanding the meaning of the knowledge,

sem compreender o significado desse conhecimento.

so that is not knowledge, that is just memorizing,

Isso não é conhecimento, é apenas memorização,

and AI can do the same thing.

e a IA pode fazer o mesmo.

So we have to think about a new type of education.

Temos então que pensar num novo tipo de ensino.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Uma mudança do conhecimento, da memorização para o significado.

NA: Mm-hmm.

NA: É isso.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Um desafio para os educadores. Muito obrigado

NA: Muito obrigada.

NA: Thank you very much. Thank you.

(Applause)

(Aplausos)