The danger of AI is weirder than you think | Janelle Shane

Tradutor: Monica Paz Revisora: Margarida Ferreira

So, artificial intelligence

A Inteligência Artificial!

is known for disrupting all kinds of industries.

é conhecida por perturbar todos os tipos de indústrias.

What about ice cream?

Por exemplo, a dos gelados.

What kind of mind-blowing new flavors could we generate

Que tipo de estonteantes sabores podemos criar

with the power of an advanced artificial intelligence?

com o poder da inteligência artificial avançada?

So I teamed up with a group of coders from Kealing Middle School

Associei-me a um grupo de programadores

da escola secundária de Kealing,

to find out the answer to this question.

para descobrir a resposta a esta pergunta.

They collected over 1,600 existing ice cream flavors,

Eles reuniram mais de 1600 sabores de gelados já existentes,

and together, we fed them to an algorithm to see what it would generate.

e fornecemos-lhes um algoritmo para verificar o que ele poderia gerar.

And here are some of the flavors that the AI came up with.

Estes são alguns dos sabores que a IA criou

[Quebra de Lixo de Abóbora]

[Pumpkin Trash Break]

(Laughter)

(Risos)

[Baba de Manteiga de Amendoim]

[Peanut Butter Slime]

[Strawberry Cream Disease]

[Doença de Creme de Morango]

(Laughter)

(Risos)

These flavors are not delicious, as we might have hoped they would be.

Estes sabores não são tão deliciosos quanto esperávamos

So the question is: What happened?

Logo, a pergunta é: O que aconteceu?

What went wrong?

O que correu mal?

Is the AI trying to kill us?

A IA está a tentar matar-nos?

Or is it trying to do what we asked, and there was a problem?

Ou está a tentar fazer o que pedimos e ocorreu um problema?

In movies, when something goes wrong with AI,

Nos filmes, quando algo corre mal com a IA,

it's usually because the AI has decided

é geralmente porque a IA decidiu

that it doesn't want to obey the humans anymore,

que não quer continuar a obedecer aos seres humanos

and it's got its own goals, thank you very much.

e tem os seus próprios objetivos, muito obrigado!

In real life, though, the AI that we actually have

Porém, na vida real, a IA que temos

is not nearly smart enough for that.

não tem inteligência suficiente para isso.

It has the approximate computing power

Tem uma capacidade de processamento

of an earthworm,

aproximada à de uma minhoca,

or maybe at most a single honeybee,

ou talvez no máximo, a de uma simples abelha

and actually, probably maybe less.

e de facto, talvez ainda menos.

Like, we're constantly learning new things about brains

Por exemplo, estamos sempre a aprender coisas novas sobre o cérebro

that make it clear how much our AIs don't measure up to real brains.

o que deixa claro o quanto a nossa IA não se compara com o nosso cérebro.

So today's AI can do a task like identify a pedestrian in a picture,

A IA de hoje consegue identificar um peão numa imagem,

but it doesn't have a concept of what the pedestrian is

mas não tem o conceito do que é um peão,

beyond that it's a collection of lines and textures and things.

para além de um conjunto de linhas, de texturas e de elementos.

It doesn't know what a human actually is.

Não sabe o que é um ser humano.

So will today's AI do what we ask it to do?

Então, a IA de hoje irá fazer o que pedimos?

It will if it can,

Sim, fará se puder,

but it might not do what we actually want.

mas pode não fazer o que desejamos.

So let's say that you were trying to get an AI

Digamos que estamos a tentar

to take this collection of robot parts

que a IA pegue neste conjunto de partes de um robô

and assemble them into some kind of robot to get from Point A to Point B.

e as monte num tipo de robô que vá do Ponto A ao Ponto B.

Now, if you were going to try and solve this problem

Se formos tentar resolver este problema

by writing a traditional-style computer program,

escrevendo um programa de computador ao estilo tradicional,

you would give the program step-by-step instructions

daríamos ao programa instruções passo a passo

on how to take these parts,

de como agarrar nessas partes

how to assemble them into a robot with legs

e como as montar num robô com pernas,

and then how to use those legs to walk to Point B.

e depois como usar essas pernas para andar até ao Ponto B.

But when you're using AI to solve the problem,

Mas quando usamos a IA para resolver o problema,

it goes differently.

as coisas funcionam de outro modo.

You don't tell it how to solve the problem,

Não lhe dizemos como resolver o problema

you just give it the goal,

apenas lhe damos o objetivo,

and it has to figure out for itself via trial and error

e ela terá de descobrir por si mesma, através de tentativas e erros,

how to reach that goal.

como alcançar esse objetivo.

And it turns out that the way AI tends to solve this particular problem

Acontece que a IA tem tendência a resolver este problema específico

is by doing this:

fazendo o seguinte:

it assembles itself into a tower and then falls over

monta uma torre que depois cai,

and lands at Point B.

aterrando no Ponto B.

And technically, this solves the problem.

Tecnicamente, isso resolve o problema.

Technically, it got to Point B.

Tecnicamente, ela chega ao Ponto B.

The danger of AI is not that it's going to rebel against us,

O perigo da IA não é que se vá revoltar contra nós,

it's that it's going to do exactly what we ask it to do.

mas que vai fazer exatamente o que lhe pedimos para fazer.

So then the trick of working with AI becomes:

Logo, o segredo de trabalhar com IA passa a ser:

How do we set up the problem so that it actually does what we want?

Como configuramos o problema para a IA fazer exatamente o que queremos?

So this little robot here is being controlled by an AI.

Vejamos, este robô aqui, está a ser controlado por uma IA.

The AI came up with a design for the robot legs

A IA desenvolveu um modelo paras as pernas do robô,

and then figured out how to use them to get past all these obstacles.

e depois descobriu como usá-las para ultrapassar todos os obstáculos.

But when David Ha set up this experiment,

Mas quando o David Ha realizou esta experiência,

he had to set it up with very, very strict limits

teve de configurá-la com limites muito estritos

on how big the AI was allowed to make the legs,

em relação à dimensão que a IA teria para fazer as pernas,

because otherwise ...

porque senão...

(Laughter)

(Risos)

And technically, it got to the end of that obstacle course.

Tecnicamente, chegou ao fim daquela corrida de obstáculos.

So you see how hard it is to get AI to do something as simple as just walk.

Vemos como é difícil conseguir que a IA faça algo tão simples como andar.

So seeing the AI do this, you may say, OK, no fair,

Ao vermos a IA fazer isto, podemos dizer:

"Ok, não é justo, não podes ser uma torre alta e cair,

you can't just be a tall tower and fall over,

you have to actually, like, use legs to walk.

"tens de usar as pernas para andar".

And it turns out, that doesn't always work, either.

Acontece que isso também nem sempre funciona.

This AI's job was to move fast.

A tarefa desta IA era avançar depressa.

They didn't tell it that it had to run facing forward

Não lhe disseram que tinha de avançar

or that it couldn't use its arms.

ou que não podia usar os braços.

So this is what you get when you train AI to move fast,

Logo, isto é o que acontece quando treinamos a IA para andar depressa,

you get things like somersaulting and silly walks.

obtemos movimentos como cambalhotas e caminhadas ridículas.

It's really common.

É muito comum.

So is twitching along the floor in a heap.

Tal como contorcer-se no chão.

(Laughter)

(Risos)

So in my opinion, you know what should have been a whole lot weirder

Na minha opinião, sabem o que seria ainda mais estranho?

is the "Terminator" robots.

É o robô "Exterminador".

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Invadir o "Matrix" é outra coisa que a IA fará, se lhe dermos essa oportunidade.

So if you train an AI in a simulation,

Se treinarmos a IA num simulador,

it will learn how to do things like hack into the simulation's math errors

ela irá aprender a copiar os erros matemáticos do simulador

and harvest them for energy.

e colhê-los para obter energia.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Ou irá descobrir como andar mais depressa,

falhando repetidamente aquela anomalia no chão.

When you're working with AI,

Quando se trabalha com a IA,

it's less like working with another human

é menos como trabalhar com outro ser humano

and a lot more like working with some kind of weird force of nature.

e mais como trabalhar com uma estranha força da natureza.

And it's really easy to accidentally give AI the wrong problem to solve,

É muito fácil dar, acidentalmente, à IA o problema errado para resolver,

and often we don't realize that until something has actually gone wrong.

e, geralmente, não damos por isso senão quando qualquer coisa corre mal.

So here's an experiment I did,

Esta é uma experiência que fiz

where I wanted the AI to copy paint colors,

em que eu queria que a IA copiasse as cores das tintas,

to invent new paint colors,

para inventar novas cores de tintas,

given the list like the ones here on the left.

de acordo com uma lista como a que se encontra aqui à esquerda.

And here's what the AI actually came up with.

E aqui está o que a IA sugeriu.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Cocó Sindis , Cocó, Sofrimento, Púbico Cinza]

(Laughter)

(Risos)

So technically,

Tecnicamente,

it did what I asked it to.

fez o que eu pedi que fizesse.

I thought I was asking it for, like, nice paint color names,

Eu pensei que estava a pedir nomes simpáticos para tintas,

but what I was actually asking it to do

mas o que tinha pedido

was just imitate the kinds of letter combinations

era apenas para imitar o tipo de combinações de letras

that it had seen in the original.

que ela tinha visto no original.

And I didn't tell it anything about what words mean,

E eu nada disse em relação ao significado das palavras,

or that there are maybe some words

ou que talvez houvesse algumas palavras

that it should avoid using in these paint colors.

que devia evitar usar nessas cores de tintas.

So its entire world is the data that I gave it.

Portanto, todo o mundo dela eram os dados que lhe fornecera.

Like with the ice cream flavors, it doesn't know about anything else.

Tal como com os sabores dos gelados, ela não sabe mais nada.

So it is through the data

É geralmente através dos dados

that we often accidentally tell AI to do the wrong thing.

que acidentalmente dizemos à IA que faça as coisas erradas.

This is a fish called a tench.

Este é um peixe chamado tenca.

And there was a group of researchers

Houve um grupo de investigadores

who trained an AI to identify this tench in pictures.

que treinaram uma IA para identificar esta tenca em imagens.

But then when they asked it

Mas quando lhe perguntaram

what part of the picture it was actually using to identify the fish,

que parte da imagem utilizava para identificar o peixe,

here's what it highlighted.

eis o que ela salientou.

Yes, those are human fingers.

Sim, são dedos humanos.

Why would it be looking for human fingers

Porque é que ela procurou dedos humanos

if it's trying to identify a fish?

se estava a tentar identificar um peixe?

Well, it turns out that the tench is a trophy fish,

Bem, acontece que a tenca é um peixe-troféu,

and so in a lot of pictures that the AI had seen of this fish

por isso, em muitas das imagens que a IA viu deste peixe,

during training,

durante o treino,

the fish looked like this.

o peixe aparecia assim.

(Laughter)

(Risos)

And it didn't know that the fingers aren't part of the fish.

A IA não sabia que os dedos não faziam parte do peixe.

So you see why it is so hard to design an AI

Assim, vemos porque é tão difícil configurar uma IA

that actually can understand what it's looking at.

que consiga perceber o que procura.

And this is why designing the image recognition

Isto é o motivo por que criar o reconhecimento de imagem

in self-driving cars is so hard,

num veículo autónomo é super difícil,

and why so many self-driving car failures

e o motivo do fracasso de tantos veículos autónomos

are because the AI got confused.

foi porque a IA ficou confusa.

I want to talk about an example from 2016.

Vou falar sobre um exemplo que aconteceu em 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Houve um acidente fatal quando alguém usou o piloto automático da Tesla IA.

but instead of using it on the highway like it was designed for,

Em vez de usá-lo na autoestrada, como tinha sido desenvolvido,

they used it on city streets.

usaram-no nas ruas da cidade.

And what happened was,

Aconteceu que um camião atravessou-se em frente do carro

a truck drove out in front of the car and the car failed to brake.

e o carro não travou.

Now, the AI definitely was trained to recognize trucks in pictures.

A IA fora treinada para reconhecer o camião nas imagens.

But what it looks like happened is

Mas o que parece ter acontecido

the AI was trained to recognize trucks on highway driving,

foi que a IA foi treinada para reconhecer os camiões na autoestrada

where you would expect to see trucks from behind.

onde esperamos ver os camiões por detrás.

Trucks on the side is not supposed to happen on a highway,

Na autoestrada, os camiões não aparecem pelos lados.

and so when the AI saw this truck,

Portanto, quando a IA viu o camião

it looks like the AI recognized it as most likely to be a road sign

parece tê-lo reconhecido como um sinal de trânsito

and therefore, safe to drive underneath.

e portanto, seria seguro passar por baixo dele.

Here's an AI misstep from a different field.

Aqui podem ver um erro da IA num setor diferente.

Amazon recently had to give up on a résumé-sorting algorithm

A Amazon teve de desistir de um algoritmo de seleção de currículos

that they were working on

em que estava a trabalhar,

when they discovered that the algorithm had learned to discriminate against women.

quando descobriram que o algoritmo aprendera a discriminar as mulheres.

What happened is they had trained it on example résumés

Aconteceu que testaram a IA com base em exemplos de currículos

of people who they had hired in the past.

de pessoas que tinham sido contratadas no passado.

And from these examples, the AI learned to avoid the résumés of people

Com base nesses exemplos, a IA aprendeu a evitar currículos de pessoas

who had gone to women's colleges

que tinham frequentado colégios femininos

or who had the word "women" somewhere in their resume,

ou que tinham a palavra "feminina" algures no currículo,

as in, "women's soccer team" or "Society of Women Engineers."

como "equipa de futebol feminina" ou "Sociedade Feminina de Engenheiras".

The AI didn't know that it wasn't supposed to copy this particular thing

A IA não sabia que não devia copiar estes aspetos específicos

that it had seen the humans do.

que via os seres humanos fazerem.

And technically, it did what they asked it to do.

Tecnicamente, o programa fez o que lhe pediram para fazer.

They just accidentally asked it to do the wrong thing.

Só que eles pediram, sem querer, para fazer a coisa errada.

And this happens all the time with AI.

Isto está sempre a acontecer com a IA.

AI can be really destructive and not know it.

A IA pode ser destrutiva sem saber.

So the AIs that recommend new content in Facebook, in YouTube,

Por isso, as IA que recomendam novos conteúdos no Facebook e no YouTube,

they're optimized to increase the number of clicks and views.

estão otimizadas para aumentar o número de cliques e visualizações.

And unfortunately, one way that they have found of doing this

Infelizmente, uma das formas que encontraram para fazer isso

is to recommend the content of conspiracy theories or bigotry.

é recomendar os conteúdos de teorias de conspiração ou o fanatismo.

The AIs themselves don't have any concept of what this content actually is,

A IA, por si só, não tem qualquer conceito do que este conteúdo representa,

and they don't have any concept of what the consequences might be

nem tem nenhum conceito das possíveis consequências

of recommending this content.

de recomendar esses conteúdos.

So, when we're working with AI,

Logo, quando trabalhamos com a IA,

it's up to us to avoid problems.

cabe-nos a nós evitar os problemas.

And avoiding things going wrong,

Evitar que algo corra mal

that may come down to the age-old problem of communication,

pode resumir-se ao velho problema da comunicação,

where we as humans have to learn how to communicate with AI.

em que nós, enquanto humanos, temos de aprender a comunicar com a IA.

We have to learn what AI is capable of doing and what it's not,

Temos de aprender o que a IA é capaz de fazer ou não

and to understand that, with its tiny little worm brain,

e perceber que, com o seu minúsculo cérebro de minhoca,

AI doesn't really understand what we're trying to ask it to do.

a IA não percebe o que estamos a tentar pedir-lhe para fazer.

So in other words, we have to be prepared to work with AI

Por outras palavras, temos de estar preparados para trabalhar com uma IA

that's not the super-competent, all-knowing AI of science fiction.

que não seja a super competente ou a omnisciente IA da ficção científica.

We have to be prepared to work with an AI

Temos de nos preparar para trabalhar com uma IA

that's the one that we actually have in the present day.

que seja a que atualmente temos.

And present-day AI is plenty weird enough.

E a IA atual é suficientemente estranha.

Thank you.

Obrigada.

(Applause)

(Aplausos)