The danger of AI is weirder than you think | Janelle Shane

Tradutor: Aline Amado Cordeiro Revisor: Maricene Crus

So, artificial intelligence

A inteligência artificial

is known for disrupting all kinds of industries.

é conhecida por perturbar vários setores.

What about ice cream?

Por exemplo, o sorvete.

What kind of mind-blowing new flavors could we generate

Que tipos de novos sabores incríveis poderíamos criar

with the power of an advanced artificial intelligence?

com o poder de uma IA avançada?

So I teamed up with a group of coders from Kealing Middle School

Eu me uni a um grupo de programadores da Kealing Middle School

to find out the answer to this question.

para descobrir a resposta.

They collected over 1,600 existing ice cream flavors,

Eles coletaram mais de 1,6 mil sabores de sorvete já existentes

and together, we fed them to an algorithm to see what it would generate.

e, juntos, os fornecemos a um algoritmo para ver o que seria gerado.

And here are some of the flavors that the AI came up with.

Esses são alguns dos sabores que a inteligência artificial criou:

[Pumpkin Trash Break]

[Recreio de Lixo de Abóbora]

(Laughter)

(Risos)

[Peanut Butter Slime]

[Gosma de Manteiga de Amendoim]

[Strawberry Cream Disease]

[Doença de Creme de Morango]

(Laughter)

(Risos)

These flavors are not delicious, as we might have hoped they would be.

Esses sabores não são tão deliciosos quanto esperávamos.

So the question is: What happened?

A pergunta é: o que aconteceu?

What went wrong?

O que saiu errado?

Is the AI trying to kill us?

A IA está tentando nos matar?

Or is it trying to do what we asked, and there was a problem?

Ou está tentando fazer o que pedimos, mas ocorreu algum problema?

In movies, when something goes wrong with AI,

Nos filmes, quando algo dá errado com a IA,

it's usually because the AI has decided

geralmente é porque ela decidiu

that it doesn't want to obey the humans anymore,

que não quer mais obedecer aos humanos

and it's got its own goals, thank you very much.

e tem objetivos próprios, sim senhor.

In real life, though, the AI that we actually have

Mas, na vida real,

a inteligência artificial que temos não é inteligente o bastante para isso.

is not nearly smart enough for that.

It has the approximate computing power

Ela possui aproximadamente a capacidade de processamento de uma minhoca,

of an earthworm,

or maybe at most a single honeybee,

ou, talvez, no máximo a de uma única abelha,

and actually, probably maybe less.

mas provavelmente menos que isso.

Like, we're constantly learning new things about brains

Constantemente aprendemos coisas novas sobre o cérebro

that make it clear how much our AIs don't measure up to real brains.

que deixam claro como nossas IAs não chegam aos pés de um cérebro real.

So today's AI can do a task like identify a pedestrian in a picture,

A IA de hoje pode efetuar tarefas simples, como identificar um pedestre em uma foto,

but it doesn't have a concept of what the pedestrian is

mas não faz ideia do que seja o pedestre

beyond that it's a collection of lines and textures and things.

para além de um conjunto de linhas, texturas e afins.

It doesn't know what a human actually is.

Ela não sabe o que é um ser humano.

So will today's AI do what we ask it to do?

Então, a IA atual fará o que pedimos dela?

It will if it can,

Sim, se ela puder,

but it might not do what we actually want.

mas talvez não faça o que realmente queremos.

So let's say that you were trying to get an AI

Digamos que quiséssemos que uma IA pegasse um conjunto de peças robóticas

to take this collection of robot parts

and assemble them into some kind of robot to get from Point A to Point B.

e as montasse como algum tipo de robô para que fosse do ponto A ao B.

Now, if you were going to try and solve this problem

Bem, se tentássemos resolver esse problema

criando um programa de computador tradicional,

by writing a traditional-style computer program,

you would give the program step-by-step instructions

daríamos instruções passo a passo ao programa

on how to take these parts,

sobre como pegar as peças, juntá-las em um robô com pernas

how to assemble them into a robot with legs

and then how to use those legs to walk to Point B.

que ele usaria para andar até o ponto B.

But when you're using AI to solve the problem,

Mas, quando usamos a IA para resolver o problema,

it goes differently.

não funciona assim.

You don't tell it how to solve the problem,

Não dizemos para ela como resolver o problema,

you just give it the goal,

só lhe damos o objetivo

and it has to figure out for itself via trial and error

e ela precisa descobrir sozinha, por tentativa e erro,

how to reach that goal.

como atingir aquele objetivo.

And it turns out that the way AI tends to solve this particular problem

E parece que a IA costuma resolver esse problema específico

is by doing this:

fazendo o seguinte:

it assembles itself into a tower and then falls over

ela se transforma em uma torre e cai,

and lands at Point B.

atingindo o ponto B.

And technically, this solves the problem.

E, tecnicamente, isso resolve o problema, ela chega ao ponto B.

Technically, it got to Point B.

The danger of AI is not that it's going to rebel against us,

O perigo da IA não é que ela se rebelará contra nós;

it's that it's going to do exactly what we ask it to do.

é que ela fará exatamente o que pedirmos.

So then the trick of working with AI becomes:

Então, o segredo para trabalhar com IA é:

How do we set up the problem so that it actually does what we want?

como configuramos o problema para que ela faça o que queremos?

So this little robot here is being controlled by an AI.

Este robozinho é controlado por uma IA, que criou um design para as pernas dele

The AI came up with a design for the robot legs

and then figured out how to use them to get past all these obstacles.

e depois descobriu como usá-las para passar por esses obstáculos.

But when David Ha set up this experiment,

Mas quando David Ha preparou essa experiência,

he had to set it up with very, very strict limits

ele o fez dentro de limites bastante rigorosos

on how big the AI was allowed to make the legs,

sobre o tamanho das pernas que a IA poderia criar,

because otherwise ...

porque, do contrário...

(Laughter)

(Risos)

And technically, it got to the end of that obstacle course.

E, tecnicamente, ela chegou ao final da pista de obstáculos.

So you see how hard it is to get AI to do something as simple as just walk.

Percebe-se como é difícil que uma IA faça algo tão simples como andar.

So seeing the AI do this, you may say, OK, no fair,

Vendo a IA fazer isso, podem dizer: "Ah, não é justo!

you can't just be a tall tower and fall over,

Não se pode simplesmente ser uma torre e cair;

you have to actually, like, use legs to walk.

tem que usar as pernas para andar".

And it turns out, that doesn't always work, either.

Mas acontece que isso também nem sempre funciona.

This AI's job was to move fast.

A tarefa dessa IA era se mover rapidamente.

They didn't tell it that it had to run facing forward

Não lhe disseram que deveria correr de frente

or that it couldn't use its arms.

ou que não poderia usar os braços.

So this is what you get when you train AI to move fast,

Esse é o resultado quando treinamos uma IA para se mover rapidamente:

you get things like somersaulting and silly walks.

cambalhotas ou caminhadas ridículas.

It's really common.

Isso é muito comum.

So is twitching along the floor in a heap.

Assim como se contorcer pelo chão.

(Laughter)

(Risos)

So in my opinion, you know what should have been a whole lot weirder

Acho que mais esquisito ainda seriam os robôs do "Exterminador do Futuro".

is the "Terminator" robots.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Hackear a "Matrix" é outra coisa que a IA fará se tiver a oportunidade.

So if you train an AI in a simulation,

Então, se treinarmos uma IA em uma simulação,

it will learn how to do things like hack into the simulation's math errors

ela aprenderá a fazer coisas como hackear os erros matemáticos da simulação

and harvest them for energy.

e colhê-los para conseguir energia.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Ou então descobrirá como se mover mais rápido se arrastando pelo chão.

When you're working with AI,

Trabalhar com IA

it's less like working with another human

não se assemelha a trabalhar com outro humano,

and a lot more like working with some kind of weird force of nature.

e sim a trabalhar com um tipo de força estranha da natureza.

And it's really easy to accidentally give AI the wrong problem to solve,

É muito fácil dar, acidentalmente, o problema errado para a IA resolver

and often we don't realize that until something has actually gone wrong.

e frequentemente não percebemos isso até que algo dê errado.

So here's an experiment I did,

Essa é uma experiência que fiz,

where I wanted the AI to copy paint colors,

na qual eu queria que a IA copiasse cores de tinta

to invent new paint colors,

para inventar novas cores

given the list like the ones here on the left.

com base em uma lista como a da esquerda.

And here's what the AI actually came up with.

E foi isso que a IA inventou.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Cocô Sindis, Excremental, Sofrimento, Cinza Pubiano]

(Laughter)

(Risos)

So technically,

Então, tecnicamente,

it did what I asked it to.

ela fez o que eu pedi dela.

I thought I was asking it for, like, nice paint color names,

Pensei que estivesse pedindo nomes agradáveis de cores,

but what I was actually asking it to do

mas o que eu pedia, na verdade,

was just imitate the kinds of letter combinations

era que a IA imitasse os tipos de combinações de letras

that it had seen in the original.

que estavam presentes nos originais.

And I didn't tell it anything about what words mean,

E não falei nada à IA sobre o significado das palavras,

or that there are maybe some words

nem que ela deveria evitar usar algumas palavras nos nomes das tintas.

that it should avoid using in these paint colors.

So its entire world is the data that I gave it.

Portanto, a única coisa que a IA sabe são os dados que lhe forneci.

Like with the ice cream flavors, it doesn't know about anything else.

Assim como ocorreu com os sabores de sorvete, a IA não sabe mais nada.

So it is through the data

Então, é pelos dados que, frequentemente,

that we often accidentally tell AI to do the wrong thing.

dizemos a ela para fazer a coisa errada.

This is a fish called a tench.

Este é um peixe chamado tenca.

And there was a group of researchers

Um grupo de pesquisadores

who trained an AI to identify this tench in pictures.

treinou uma IA para reconhecê-lo em imagens.

But then when they asked it

Mas quando perguntaram à IA

what part of the picture it was actually using to identify the fish,

qual parte da imagem era usada para identificar o peixe,

here's what it highlighted.

foi isso que ela apontou.

Yes, those are human fingers.

Sim, esses são dedos humanos.

Why would it be looking for human fingers

Por que ela procuraria dedos humanos ao tentar identificar um peixe?

if it's trying to identify a fish?

Well, it turns out that the tench is a trophy fish,

Bem, acontece que a tenca é um peixe-troféu,

and so in a lot of pictures that the AI had seen of this fish

então, em várias imagens em que a IA viu esse peixe durante o treinamento,

during training,

the fish looked like this.

ele apresentava essa aparência.

(Laughter)

(Risos)

And it didn't know that the fingers aren't part of the fish.

E ela não sabia que os dedos não faziam parte do peixe.

So you see why it is so hard to design an AI

É por isso que é tão difícil desenvolver uma IA

that actually can understand what it's looking at.

que realmente consiga entender o que está observando.

And this is why designing the image recognition

E é por isso que desenvolver o reconhecimento de imagem

in self-driving cars is so hard,

em carros autônomos é tão difícil

and why so many self-driving car failures

e muitas falhas desses carros ocorrem porque a IA se confundiu.

are because the AI got confused.

I want to talk about an example from 2016.

Falarei sobre um exemplo de 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Houve um acidente fatal quando alguém usou a IA do piloto automático de um Tesla

but instead of using it on the highway like it was designed for,

mas, em vez de usá-la em uma rodovia, para onde elas foram programadas,

they used it on city streets.

utilizaram-na em vias urbanas.

Um caminhão entrou na frente do carro, que não conseguiu frear.

And what happened was,

a truck drove out in front of the car and the car failed to brake.

Now, the AI definitely was trained to recognize trucks in pictures.

Vejam, a IA definitivamente foi treinada para reconhecer caminhões em imagens.

But what it looks like happened is

Mas o que parece ter acontecido

the AI was trained to recognize trucks on highway driving,

é que a IA foi treinada para reconhecê-los em estradas,

where you would expect to see trucks from behind.

onde se espera ver a traseira dos caminhões.

Trucks on the side is not supposed to happen on a highway,

Caminhões vindos pela lateral não deveriam aparecer em estradas,

and so when the AI saw this truck,

então, quando a IA o viu,

it looks like the AI recognized it as most likely to be a road sign

parece que ela avaliou que se tratava de uma placa de trânsito

and therefore, safe to drive underneath.

e que, portanto, seria seguro passar sob ela.

Here's an AI misstep from a different field.

Agora vejamos um erro de IA de um campo diferente.

Amazon recently had to give up on a résumé-sorting algorithm

A Amazon teve que desistir de um algoritmo para seleção de currículos

that they were working on

no qual trabalhava

when they discovered that the algorithm had learned to discriminate against women.

ao descobrir que ele aprendeu a discriminar mulheres.

Eles o treinaram com base em exemplos de currículos

What happened is they had trained it on example résumés

of people who they had hired in the past.

de pessoas que haviam sido contratadas por eles.

And from these examples, the AI learned to avoid the résumés of people

E, desses exemplos, a IA aprendeu a evitar os currículos

who had gone to women's colleges

de pessoas que frequentaram faculdades femininas

or who had the word "women" somewhere in their resume,

ou que continham a palavra "feminina" em algum lugar,

as in, "women's soccer team" or "Society of Women Engineers."

como "equipe feminina de futebol" ou "Sociedade Feminina de Engenharia".

The AI didn't know that it wasn't supposed to copy this particular thing

A IA não sabia que não deveria copiar esse padrão específico

that it had seen the humans do.

que havia observado nos humanos.

And technically, it did what they asked it to do.

E, tecnicamente, fez o que lhe pediram.

They just accidentally asked it to do the wrong thing.

Mas acidentalmente lhe pediram para fazer a coisa errada.

And this happens all the time with AI.

E isso sempre acontece com IA.

AI can be really destructive and not know it.

Ela pode ser muito destrutiva sem saber.

So the AIs that recommend new content in Facebook, in YouTube,

As IAs que recomendam novos conteúdos no Facebook ou no YouTube

they're optimized to increase the number of clicks and views.

estão otimizadas para aumentar o número de cliques e visualizações.

And unfortunately, one way that they have found of doing this

Infelizmente, uma das formas que elas têm de fazer isso

is to recommend the content of conspiracy theories or bigotry.

é recomendar conteúdo de teorias da conspiração ou de intolerância.

The AIs themselves don't have any concept of what this content actually is,

A própria IA não tem ideia do que seja aquele conteúdo

and they don't have any concept of what the consequences might be

ou de quais possam ser as consequências de recomendá-lo.

of recommending this content.

So, when we're working with AI,

Então, ao trabalharmos com IA,

it's up to us to avoid problems.

evitar problemas é função nossa.

And avoiding things going wrong,

E evitar que as coisas deem errado

that may come down to the age-old problem of communication,

pode se resumir ao velho problema da comunicação,

where we as humans have to learn how to communicate with AI.

e que nós, humanos, precisamos aprender a nos comunicar com a IA.

We have to learn what AI is capable of doing and what it's not,

Precisamos aprender o que a IA é ou não capaz de fazer

and to understand that, with its tiny little worm brain,

e entender que, com seu cerebrozinho de minhoca,

AI doesn't really understand what we're trying to ask it to do.

a IA, na verdade, não entende o que tentamos pedir que ela faça.

So in other words, we have to be prepared to work with AI

Em outras palavras, precisamos estar preparados para trabalhar com uma IA

that's not the super-competent, all-knowing AI of science fiction.

que não é a IA supercompetente e onisciente da ficção científica.

We have to be prepared to work with an AI

Precisamos estar preparados para trabalhar com a IA

that's the one that we actually have in the present day.

que realmente temos atualmente,

And present-day AI is plenty weird enough.

e ela é suficientemente esquisita.

Thank you.

Obrigada.

(Applause)

(Aplausos)