Can a robot pass a university entrance exam? | Noriko Arai

Tradutor: Maurício Kakuei Tanaka Revisor: Leonardo Silva

Hoje falarei sobre nós e a inteligência artificial.

Today, I'm going to talk about AI and us.

AI researchers have always said

Os pesquisadores de IA sempre disseram

that we humans do not need to worry,

que nós, humanos, não precisamos nos preocupar,

because only menial jobs will be taken over by machines.

porque apenas os trabalhos domésticos serão assumidos pelas máquinas.

Is that really true?

Será mesmo verdade?

They have also said that AI will create new jobs,

Eles também disseram que a IA criará novos empregos,

so those who lose their jobs will find a new one.

então aqueles que perderem seus empregos encontrarão um novo.

Of course.

Claro.

But the real question is:

Mas a verdadeira questão é:

How many of those who may lose their jobs to AI

quantos daqueles que podem perder seus empregos para a IA

will be able to land a new one,

serão capazes de conquistar um novo,

especially when AI is smart enough to learn better than most of us?

especialmente quando a IA é inteligente o bastante

para aprender melhor do que a maioria de nós?

Let me ask you a question:

Deixe-me fazer uma pergunta:

How many of you think

Quantos de vocês acham que a IA passará no vestibular

that AI will pass the entrance examination of a top university by 2020?

de uma universidade de primeira linha até 2020?

Oh, so many. OK.

Tanta gente.

Está bem.

So some of you may say, "Of course, yes!"

Alguns de vocês podem dizer:

"Sim, claro!"

Now singularity is the issue.

Agora a singularidade é o problema.

And some others may say, "Maybe,

Alguns podem dizer:

"Talvez, porque a IA já ganhou do melhor jogador de Go".

because AI already won against a top Go player."

And others may say, "No, never. Uh-uh."

Outros podem dizer: "Não, nunca".

That means we do not know the answer yet, right?

Isso significa que ainda não sabemos a resposta, certo?

So that was the reason why I started Todai Robot Project,

Foi essa razão pela qual comecei o "Todai Robot Project",

making an AI which passes the entrance examination

fazendo uma IA que passa no vestibular da Universidade de Tóquio,

of the University of Tokyo,

the top university in Japan.

a melhor universidade do Japão.

This is our Todai Robot.

Este é nosso "Todai Robot".

And, of course, the brain of the robot is working in the remote server.

Claro, o cérebro do robô está funcionando no servidor remoto.

It is now writing a 600-word essay

Está escrevendo agora uma redação de 600 palavras

on maritime trade in the 17th century.

sobre o comércio marítimo do século 17.

How does that sound?

O que acham disso?

Why did I take the entrance exam as its benchmark?

Por que adotei o vestibular como referência?

Because I thought we had to study the performance of AI

Porque pensei que devíamos estudar o desempenho da IA

in comparison to humans,

em comparação com o homem,

especialmente nas habilidades e competências

especially on the skills and expertise

which are believed to be acquired only by humans

que se acredita serem adquiridas apenas pelo homem

and only through education.

e apenas por meio da educação.

To enter Todai, the University of Tokyo,

Para entrar em Todai, a Universidade de Tóquio,

you have to pass two different types of exams.

você tem que ser aprovado em dois tipos diferentes de exames.

The first one is a national standardized test

O primeiro é um teste padronizado nacional no estilo de múltipla escolha.

in multiple-choice style.

You have to take seven subjects

Você deve escolher sete assuntos e alcançar uma pontuação alta,

and achieve a high score --

I would say like an 85 percent or more accuracy rate --

algo em torno de 84% ou mais,

to be allowed to take the second stage written test

para poder fazer o exame escrito da segunda fase, preparado por Todai.

prepared by Todai.

So let me first explain how modern AI works,

Explicarei primeiro como funciona a IA moderna,

taking the "Jeopardy!" challenge as an example.

considerando o programa de TV "Jeopardy!" como exemplo.

Here is a typical "Jeopardy!" question:

Esta é uma típica questão do programa:

"Mozart's last symphony shares its name with this planet."

"A última sinfonia de Mozart compartilha seu nome com este planeta".

Interestingly, a "Jeopardy!" question always asks,

Curiosamente, uma questão do "Jeopardy!" sempre pede,

always ends with "this" something:

sempre termina com "este" alguma coisa:

"this" planet, "this" country,

"este" planeta, "este" país, "este" roqueiro, e assim por diante.

"this" rock musician, and so on.

In other words, "Jeopardy!" doesn't ask many different types of questions,

Em outras palavras, o programa não faz muitos tipos diferentes de perguntas,

but a single type,

mas um único tipo, que chamamos de "questões triviais".

which we call "factoid questions."

By the way, do you know the answer?

A propósito, vocês sabem a resposta?

If you do not know the answer and if you want to know the answer,

Se não souberem a resposta e quiserem saber, o que irão fazer?

what would you do?

You Google, right? Of course.

Procurar no Google, certo?

Claro!

Why not?

Por que não?

But you have to pick appropriate keywords

Mas vocês devem escolher as palavras-chave apropriadas

like "Mozart," "last" and "symphony" to search.

como "Mozart", "última" e "sinfonia" para pesquisar.

The machine basically does the same.

A máquina faz basicamente a mesma coisa.

Then this Wikipedia page will be ranked top.

Esta página da Wikipedia irá aparecer no topo das pesquisas.

Then the machine reads the page.

Então a máquina lê a página.

No, uh-uh.

Não, negativo.

Unfortunately, none of the modern AIs,

Infelizmente, nenhuma das IAs modernas,

including Watson, Siri and Todai Robot,

incluindo Watson, Siri e Todai Robot,

is able to read.

são capazes de ler.

But they are very good at searching and optimizing.

Mas elas são muito boas na busca e otimização.

It will recognize

Irão reconhecer

that the keywords "Mozart," "last" and "symphony"

que as palavras "Mozart", "última" e "sinfonia" estão aparecendo muito aqui.

are appearing heavily around here.

So if it can find a word which is a planet

Então, se puderem encontrar uma palavra que é um planeta

and which is co-occurring with these keywords,

e que aparece junto com essas palavras,

that must be the answer.

essa deve ser a resposta.

This is how Watson finds the answer "Jupiter," in this case.

É assim que Watson encontra a resposta "Júpiter" neste caso.

Our Todai Robot works similarly, but a bit smarter

Nosso Todai Robot funciona da mesma forma, mas um pouco mais inteligente

in answering history yes-no questions,

ao responder perguntas "sim ou não" de história,

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

como: "'Carlos Magno confrontou os húngaros'.

Esta frase é verdadeira ou falsa?"

Our robot starts producing a factoid question,

Nosso robô começa a produzir uma questão trivial,

like: "Charlemagne repelled [this person type]" by itself.

como: "Carlos Magno confrontou [este tipo de pessoa]".

Then, "Avars" but not "Magyars" is ranked top.

Então, aparece "ávaros", e não "húngaros", no topo da lista.

This sentence is likely to be false.

Esta frase provavelmente é falsa.

Our robot does not read, does not understand,

Nosso robô não lê, não compreende,

but it is statistically correct in many cases.

mas é estatisticamente correto em muitos casos.

For the second stage written test,

Para o teste escrito da segunda fase,

it is required to write a 600-word essay like this one:

é necessário escrever uma redação de 600 palavras como esta.

[Discuss the rise and fall of the maritime trade

Como mostrei anteriormente,

in East and Southeast Asia in the 17th century ...]

and as I have shown earlier,

nosso robô pegou as frases dos livros didáticos e da Wikipedia,

our robot took the sentences from the textbooks and Wikipedia,

combined them together,

combinou-as, e fez uma otimização para produzir uma redação

and optimized it to produce an essay

without understanding a thing.

sem entender uma palavra.

(Laughter)

(Risos)

But surprisingly, it wrote a better essay

Mas, surpreendentemente, escreveu uma redação melhor

than most of the students.

que a maioria dos alunos.

(Laughter)

(Risos)

How about mathematics?

E a matemática?

A fully automatic math-solving machine

Uma máquina totalmente automática para resolver matemática

has been a dream

tem sido um sonho desde o nascimento do conceito de "inteligência artificial",

since the birth of the word "artificial intelligence,"

but it has stayed at the level of arithmetic for a long, long time.

mas tem permanecido no nível da aritmética há um longo tempo.

Last year, we finally succeeded in developing a system

No ano passado, conseguimos finalmente desenvolver um sistema

which solved pre-university-level problems from end to end,

que resolvia problemas de nível pré-universitário de ponta a ponta,

like this one.

como este.

This is the original problem written in Japanese,

Este é o problema original, escrito em japonês,

and we had to teach it 2,000 mathematical axioms

e tivemos que lhe ensinar 2 mil axiomas matemáticos

and 8,000 Japanese words

e 8 mil palavras em japonês

to make it accept the problems written in natural language.

para ele aceitar os problemas escritos em linguagem natural.

And it is now translating the original problems

E agora ele está traduzindo os problemas originais

into machine-readable formulas.

em fórmulas que podem ser lidas por máquinas.

Weird, but it is now ready to solve it, I think.

Estranho, mas agora ele está pronto para resolvê-lo, creio eu.

Go and solve it.

Vá e resolva-o.

Yes! It is now executing symbolic computation.

Sim, ele está executando agora a computação simbólica.

Ainda mais estranho,

Even more weird,

but probably this is the most fun part for the machine.

mas, provavelmente, esta é a parte mais divertida para a máquina.

(Laughter)

(Risos)

Now it outputs a perfect answer,

Agora ele produz uma resposta perfeita,

though its proof is impossible to read, even for mathematicians.

embora a prova dele seja impossível de ler, mesmo para matemáticos.

Anyway, last year our robot was among the top one percent

De qualquer forma, no ano passado,

nosso robô ficou entre 1% dos melhores

in the second stage written exam in mathematics.

da segunda fase do exame escrito de matemática.

(Applause)

(Aplausos)

Thank you.

Obrigada.

So, did it enter Todai?

Todai passou?

No, not as I expected.

Não, não como eu esperava.

Why?

Por quê?

Because it doesn't understand any meaning.

Porque ele não compreende nenhum significado.

Let me show you a typical error it made in the English test.

Mostrarei a vocês um erro típico que ele cometeu no teste de inglês.

[Nate: We're almost at the bookstore. Just a few more minutes.

[Nate: Estamos quase na livraria. Apenas mais alguns minutos.

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

Sunil: Espere. ______. Nate: Obrigado! Isso sempre acontece...]

Two people are talking.

Para nós, que podemos entender a situação,

For us, who can understand the situation --

[1. "We walked for a long time." 2. "We're almost there."

[1. Caminhamos por um longo tempo. 2. Estamos quase lá.

3. Seus sapatos parecem caros. 4. Seu cadarço está desamarrado.]

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

é óbvio que o número quatro é a resposta correta, certo?

it is obvious number four is the correct answer, right?

Mas Todai Robot escolheu o número dois,

But Todai Robot chose number two,

even after learning 15 billion English sentences

mesmo depois de aprender 15 bilhões de frases em inglês

using deep learning technologies.

usando tecnologias de aprendizado profundo.

OK, so now you might understand what I said:

Agora vocês podem entender o que eu disse.

modern AIs do not read,

As IAs modernas não leem, não compreendem.

do not understand.

They only disguise as if they do.

Apenas agem como se compreendessem.

This is the distribution graph

Este é o gráfico de distribuição

of half a million students who took the same exam as Todai Robot.

de meio milhão de alunos que fizeram o mesmo exame que Todai Robot.

Now our Todai Robot is among the top 20 percent,

Agora nosso Todai Robot está entre os 20% dos melhores,

and it was capable to pass

e foi capaz de passar

more than 60 percent of the universities in Japan --

em mais de 60% das universidades do Japão,

but not Todai.

mas não em Todai.

But see how it is beyond the volume zone

Mas vejam como ele está além da zona de volume

of to-be white-collar workers.

dos futuros trabalhadores de escritório.

You might think I was delighted.

Vocês podem pensar que fiquei muito satisfeita.

After all, my robot was surpassing students everywhere.

Afinal, meu robô estava superando alunos de todos os lugares.

Instead, I was alarmed.

Em vez disso, fiquei assustada.

How on earth could this unintelligent machine outperform students --

Como esta máquina sem inteligência poderia superar os alunos,

our children?

nossas crianças?

Right?

Certo?

I decided to investigate what was going on in the human world.

Decidi investigar o que estava acontecendo no mundo humano.

I took hundreds of sentences from high school textbooks

Peguei centenas de frases de livros didáticos do ensino médio

and made easy multiple-choice quizzes,

e elaborei perguntas fáceis de múltipla escolha,

and asked thousands of high school students to answer.

e pedi a milhares de alunos do ensino médio para responderem.

Here is an example:

Este é um exemplo:

[Buddhism spread to ... , Christianity to ... and Oceania,

[O budismo espalhou-se para..., o cristianismo para... e Oceania,... ]

and Islam to ...]

Of course, the original problems are written in Japanese,

Claro, os problemas originais estão escritos em japonês,

a língua materna deles.

their mother tongue.

[ ______ has spread to Oceania.

[ _____ espalhou-se para a Oceania.

1. Hinduísmo 2. Cristianismo 3. Islamismo 4. Budismo]

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

Obviously, Christianity is the answer, isn't it?

Obviamente, a resposta é cristianismo, não é?

Está escrito!

It's written!

And Todai Robot chose the correct answer, too.

Todai Robot também escolhe a resposta correta.

But one-third of junior high school students

Mas um terço dos alunos do ensino médio

failed to answer this question.

não conseguiram responder esta pergunta.

Do you think it is only the case in Japan?

Vocês acham que acontece apenas no Japão?

I do not think so,

Penso que não,

because Japan is always ranked among the top in OECD PISA tests,

porque o Japão está sempre classificado entre os melhores nos testes OECD PISA,

measuring 15-year-old students' performance in mathematics,

que mede o desempenho de alunos de 15 anos em matemática,

science and reading

ciência e leitura

every three years.

a cada três anos.

We have been believing

Acreditamos

that everybody can learn

que todos conseguem aprender

and learn well,

e aprender bem,

as long as we provide good learning materials

desde que proporcionemos bons materiais de aprendizagem

free on the web

gratuitos na rede

so that they can access through the internet.

para que possam acessar pela internet.

But such wonderful materials may benefit only those who can read well,

Mas esses materiais extraordinários podem beneficiar apenas quem consegue ler bem,

and the percentage of those who can read well

e o percentual daqueles que podem ler bem

may be much less than we expected.

pode ser muito menor do que esperávamos.

How we humans will coexist with AI

Como nós, seres humanos, iremos existir em conjunto com a IA

is something we have to think about carefully,

é algo que teremos que pensar cuidadosamente,

based on solid evidence.

com base em evidências sólidas.

At the same time, we have to think in a hurry

Ao mesmo tempo, devemos nos apressar em pensar

because time is running out.

porque o tempo está se esgotando.

Thank you.

Obrigada.

(Applause)

(Aplausos)

Chris Anderson: Noriko, thank you.

Chris Anderson: Noriko, obrigado.

Noriko Arai: Thank you.

Noriko Arai: Obrigada.

CA: In your talk, you so beautifully give us a sense of how AIs think,

CA: Em sua palestra, de forma magnífica,

você nos dá uma percepção de como pensam as IAs,

what they can do amazingly

o que podem fazer incrivelmente e o que não podem.

and what they can't do.

But -- do I read you right,

Mas, compreendi você direito,

that you think we really need quite an urgent revolution in education

que você pensa que realmente precisamos de uma revolução urgente na educação

to help kids do the things that humans can do better than AIs?

para ajudar as crianças a fazer as coisas que o homem pode fazer melhor que as IAs?

NA: Yes, yes, yes.

NA: Sim, sim.

Because we humans can understand the meaning.

Porque nós, seres humanos, podemos compreender o significado.

That is something which is very, very lacking in AI.

Isso é algo que falta bastante na IA.

But most of the students just pack the knowledge

Mas a maioria dos alunos apenas embala o conhecimento

without understanding the meaning of the knowledge,

sem compreender o significado do conhecimento.

so that is not knowledge, that is just memorizing,

Isso não é conhecimento, é apenas memorização,

and AI can do the same thing.

e a IA pode fazer o mesmo.

So we have to think about a new type of education.

Temos então que pensar em um novo tipo de educação.

CA: A shift from knowledge, rote knowledge, to meaning.

CA: Uma mudança do conhecimento, da memorização para o significado.

NA: Mm-hmm.

NA: Sim.

CA: Well, there's a challenge for the educators. Thank you so much.

CA: Há um desafio para os educadores.

Muito obrigado.

NA: Muito obrigada.

NA: Thank you very much. Thank you.

(Aplausos)

(Applause)