The danger of AI is weirder than you think | Janelle Shane

Traductor: Antonio Carrero Revisor: Eduardo Sierra

So, artificial intelligence

La inteligencia artificial

is known for disrupting all kinds of industries.

es conocida por transformar todo tipo de industrias.

What about ice cream?

Pensemos en los helados.

What kind of mind-blowing new flavors could we generate

¿Qué alucinantes sabores nuevos podríamos generar

with the power of an advanced artificial intelligence?

con el poder de una inteligencia artificial avanzada?

So I teamed up with a group of coders from Kealing Middle School

Me junté con un grupo de programadores de la escuela secundaria Kealing

to find out the answer to this question.

para descubrir la respuesta a esta pregunta.

They collected over 1,600 existing ice cream flavors,

Reunieron más de 1600 sabores de helado existentes,

and together, we fed them to an algorithm to see what it would generate.

y los introducimos en un algoritmo para ver qué podría generar.

And here are some of the flavors that the AI came up with.

Estos son algunos de los sabores que la IA inventó.

[Pumpkin Trash Break]

[Helado fétido de calabaza]

(Laughter)

(Risas)

[Peanut Butter Slime]

[Babas con mantequilla de cacahuete]

[Strawberry Cream Disease]

[Cremosa dolencia de fresa]

(Laughter)

(Risas)

These flavors are not delicious, as we might have hoped they would be.

Estos no son sabores deliciosos, como quizá hubiésemos esperado.

So the question is: What happened?

Luego la pregunta es: ¿Qué sucedió, qué es lo que ha fallado?

What went wrong?

Is the AI trying to kill us?

¿Intenta la IA acabar con nosotros?

Or is it trying to do what we asked, and there was a problem?

¿O intenta hacer lo que le pedimos, y había un problema?

In movies, when something goes wrong with AI,

En las películas, cuando algo falla con la IA,

it's usually because the AI has decided

habitualmente se debe a que la IA ha decidido

that it doesn't want to obey the humans anymore,

que no quiere seguir obedeciendo a los humanos,

and it's got its own goals, thank you very much.

y tiene sus propios objetivos, no iba ella a ser menos.

In real life, though, the AI that we actually have

En realidad, la IA que tenemos no es lo bastante inteligente para eso.

is not nearly smart enough for that.

It has the approximate computing power

Tiene la capacidad de cálculo aproximada de una lombriz, o quizá de una sola abeja.

of an earthworm,

or maybe at most a single honeybee,

and actually, probably maybe less.

Y de hecho, probablemente incluso menos.

Like, we're constantly learning new things about brains

Aprendemos constantemente cosas nuevas sobre el cerebro

that make it clear how much our AIs don't measure up to real brains.

que evidencian el grado en que la IA no es comparable a cerebros reales.

So today's AI can do a task like identify a pedestrian in a picture,

La IA actual puede identificar a un peatón en una imagen,

but it doesn't have a concept of what the pedestrian is

pero no tiene un concepto de lo que un peatón es,

beyond that it's a collection of lines and textures and things.

más allá de un agregado de líneas, texturas y otras cosas.

It doesn't know what a human actually is.

No sabe lo que un humano realmente es.

So will today's AI do what we ask it to do?

¿Hará entonces la IA actual aquello que le pedimos?

It will if it can,

Lo hará si puede, pero es posible que no haga lo que queremos de ella.

but it might not do what we actually want.

So let's say that you were trying to get an AI

Digamos que Uds. intentaran que una IA tomara esta colección de piezas de robot,

to take this collection of robot parts

and assemble them into some kind of robot to get from Point A to Point B.

y las ensamblara en un robot para ir del punto A al punto B.

Now, if you were going to try and solve this problem

Si intentamos solucionar este problema con un programa tradicional de ordenador,

by writing a traditional-style computer program,

you would give the program step-by-step instructions

daríamos al programa instrucciones paso a paso de cómo tomar estas partes,

on how to take these parts,

how to assemble them into a robot with legs

cómo ensamblarlas en un robot con piernas, y cómo caminar con ellas hasta el punto B.

and then how to use those legs to walk to Point B.

But when you're using AI to solve the problem,

Pero cuando utilizamos IA para solucionar el problema, se procede de otra manera.

it goes differently.

You don't tell it how to solve the problem,

No se le enseña cómo resolver el problema, únicamente se le da el objetivo,

you just give it the goal,

and it has to figure out for itself via trial and error

y tiene que lograrlo por sí misma a través de ensayo y error

how to reach that goal.

para alcanzar ese objetivo.

And it turns out that the way AI tends to solve this particular problem

El modo en que la IA tiende a resolver este particular problema es el siguiente:

is by doing this:

it assembles itself into a tower and then falls over

Se ensambla en una torre, y luego se deja caer

and lands at Point B.

para ir a parar al punto B.

And technically, this solves the problem.

Y técnicamente, soluciona el problema. Técnicamente, llegó al punto B.

Technically, it got to Point B.

The danger of AI is not that it's going to rebel against us,

El peligro de la IA no es que vaya a rebelarse contra nosotros,

it's that it's going to do exactly what we ask it to do.

sino que hará exactamente lo que le pidamos que haga.

So then the trick of working with AI becomes:

Luego el quid de la cuestión al trabajar con IA pasa a ser

How do we set up the problem so that it actually does what we want?

cómo estructuramos el problema para que haga lo que queremos.

So this little robot here is being controlled by an AI.

Este pequeño robot de aquí está controlado por una IA.

The AI came up with a design for the robot legs

La IA ideó un diseño para las piernas del robot,

and then figured out how to use them to get past all these obstacles.

y luego averiguó cómo usarlas para superar todos estos obstáculos.

But when David Ha set up this experiment,

Pero cuando David Ha preparó este experimento,

he had to set it up with very, very strict limits

tuvo que diseñarlo con límites muy estrictos

on how big the AI was allowed to make the legs,

en cuanto al tamaño de piernas permitido, porque de lo contrario...

because otherwise ...

(Laughter)

(Risas)

And technically, it got to the end of that obstacle course.

Y técnicamente, logró completar el recorrido de obstáculos.

So you see how hard it is to get AI to do something as simple as just walk.

Pueden ver lo difícil que es para la IA hacer algo tan sencillo como caminar.

So seeing the AI do this, you may say, OK, no fair,

Viendo esto, quizá pensemos que no es justo,

you can't just be a tall tower and fall over,

no puede hacer una torre y dejarse caer,

you have to actually, like, use legs to walk.

tiene que usar piernas para caminar.

And it turns out, that doesn't always work, either.

Y resulta que eso tampoco funciona siempre.

This AI's job was to move fast.

La tarea de esta IA era moverse con rapidez.

They didn't tell it that it had to run facing forward

No se le especificó que tuviera que hacerlo de frente,

or that it couldn't use its arms.

o que no pudiera usar sus brazos.

So this is what you get when you train AI to move fast,

Esto es lo que se obtiene cuando se entrena a la IA para moverse deprisa.

you get things like somersaulting and silly walks.

Obtienes volteretas y andares cómicos.

It's really common.

Es muy común.

So is twitching along the floor in a heap.

También lo es arrastrarse por el suelo en un montón.

(Laughter)

(Risas)

So in my opinion, you know what should have been a whole lot weirder

En mi opinión, lo que debería haber sido mucho más extraño

is the "Terminator" robots.

son los robots de "Terminator".

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Hackear "The Matrix" es otra cosa que una IA hará si le das la oportunidad.

So if you train an AI in a simulation,

Si entrenas a la IA en una simulación,

it will learn how to do things like hack into the simulation's math errors

aprenderá cómo hackear los errores matemáticos de la simulación

and harvest them for energy.

y utilizarlos para obtener energía.

Or it will figure out how to move faster by glitching repeatedly into the floor.

O averiguará cómo moverse más rápido explotando fallos encontrados en el suelo.

When you're working with AI,

Cuando trabajas con IA no es como si trabajaras con otro ser humano

it's less like working with another human

and a lot more like working with some kind of weird force of nature.

sino como hacerlo con una fuerza extraña de la naturaleza.

And it's really easy to accidentally give AI the wrong problem to solve,

Es muy fácil dar accidentalmente a la IA el problema erróneo que resolver,

and often we don't realize that until something has actually gone wrong.

y frecuentemente no nos percatamos hasta que las consecuencias son evidentes.

So here's an experiment I did,

He aquí un experimento que hice,

where I wanted the AI to copy paint colors,

quería que la IA copiara colores para inventar otros nuevos,

to invent new paint colors,

given the list like the ones here on the left.

dada una lista como la de la izquierda.

And here's what the AI actually came up with.

Y esto es lo que la IA propuso:

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Caca de Sindis, Zurullo, Sufrimiento, Gris púbico]

(Laughter)

(Risas)

So technically,

Técnicamente, hizo lo que le pedí.

it did what I asked it to.

I thought I was asking it for, like, nice paint color names,

Pensé que le estaba pidiendo nombres apropiados para colores,

but what I was actually asking it to do

pero lo que verdaderamente le pedí

was just imitate the kinds of letter combinations

es que imitase las combinaciones de letras que había visto en la lista original.

that it had seen in the original.

And I didn't tell it anything about what words mean,

No le dije lo que las palabras significan, o que quizá haya ciertas palabras

or that there are maybe some words

that it should avoid using in these paint colors.

que debería evitar utilizar en estos colores.

So its entire world is the data that I gave it.

Todo su mundo se reduce a la información que le proporcioné.

Like with the ice cream flavors, it doesn't know about anything else.

Como con los sabores de helado, no sabe de ninguna otra cosa.

So it is through the data

Es a través de la información

that we often accidentally tell AI to do the wrong thing.

que con frecuencia decimos a la IA accidentalmente que haga algo erróneo.

This is a fish called a tench.

Este pez se llama tenca.

And there was a group of researchers

Había un grupo de investigadores

who trained an AI to identify this tench in pictures.

que entrenó a una IA para identificar a esta tenca en imágenes.

But then when they asked it

Pero cuando le preguntaron qué parte de la imagen utilizaba para identificar al pez,

what part of the picture it was actually using to identify the fish,

here's what it highlighted.

esto es lo que destacó.

Yes, those are human fingers.

Son dedos humanos.

Why would it be looking for human fingers

¿Por qué estaría buscando dedos humanos si está intentando identificar un pez?

if it's trying to identify a fish?

Well, it turns out that the tench is a trophy fish,

Resulta que la tenca es un pez trofeo,

and so in a lot of pictures that the AI had seen of this fish

y en muchas imágenes que la IA había visto del pez durante su entrenamiento,

during training,

the fish looked like this.

el pez aparecía así.

(Laughter)

(Risas)

And it didn't know that the fingers aren't part of the fish.

No sabía que los dedos no son parte del pez.

So you see why it is so hard to design an AI

Pueden ver por qué es tan complicado diseñar una IA

that actually can understand what it's looking at.

que verdaderamente entienda aquello que está viendo.

And this is why designing the image recognition

Por eso diseñar en coches autónomos el reconocimiento de imágenes es tan difícil,

in self-driving cars is so hard,

and why so many self-driving car failures

y muchos fallos de coches autónomos se deben a que la IA se confundió.

are because the AI got confused.

I want to talk about an example from 2016.

Quiero hablar de un ejemplo de 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Hubo un funesto accidente cuando alguien usaba la IA de piloto automático de Tesla,

but instead of using it on the highway like it was designed for,

pero en lugar de hacerlo en la autopista para la que estaba diseñada,

they used it on city streets.

la usó en las vías urbanas.

And what happened was,

Lo que sucedió fue que un camión condujo frente al coche, y el coche no frenó.

a truck drove out in front of the car and the car failed to brake.

Now, the AI definitely was trained to recognize trucks in pictures.

La IA estaba entrenada para reconocer camiones en las imágenes.

But what it looks like happened is

Pero al parecer la IA había sido entrenada para reconocer camiones en la autopista,

the AI was trained to recognize trucks on highway driving,

where you would expect to see trucks from behind.

donde esperarías verlos desde la parte trasera.

Trucks on the side is not supposed to happen on a highway,

Que los camiones se te crucen no es algo que suceda en la autopista,

and so when the AI saw this truck,

y cuando la IA vio a este camión,

it looks like the AI recognized it as most likely to be a road sign

parece que lo reconoció como una señal de carretera,

and therefore, safe to drive underneath.

y por tanto que la conducción por debajo era segura.

Here's an AI misstep from a different field.

Aquí tenemos una equivocación de una IA en otra área.

Amazon recently had to give up on a résumé-sorting algorithm

Amazon tuvo que abandonar un algoritmo de clasificación de currículums

that they were working on

en el que trabajaban

when they discovered that the algorithm had learned to discriminate against women.

cuando descubrieron que el algoritmo había aprendido a discriminar a las mujeres.

What happened is they had trained it on example résumés

Lo que pasó fue que la habían entrenado con currículums

of people who they had hired in the past.

de gente que habían contratado en el pasado.

And from these examples, the AI learned to avoid the résumés of people

De estos ejemplos, la IA aprendió a evitar currículums de personas

who had gone to women's colleges

que hubieran ido a universidades de mujeres,

or who had the word "women" somewhere in their resume,

o que contuvieran la palabra "mujer" en su currículum,

as in, "women's soccer team" or "Society of Women Engineers."

como "equipo de fútbol de mujeres", o "Sociedad de Mujeres Ingenieras".

The AI didn't know that it wasn't supposed to copy this particular thing

La IA no sabía que no debía copiar este modo de proceder

that it had seen the humans do.

que había visto emplear a los humanos.

And technically, it did what they asked it to do.

Y técnicamente, hizo lo que se requería de ella.

They just accidentally asked it to do the wrong thing.

Simplemente, de forma accidental le solicitaron algo incorrecto.

And this happens all the time with AI.

Esto sucede constantemente con la IA.

AI can be really destructive and not know it.

La IA puede ser muy destructiva sin tener conciencia de ello.

So the AIs that recommend new content in Facebook, in YouTube,

Las IAs que recomiendan nuevo contenido en Facebook, o en Youtube,

they're optimized to increase the number of clicks and views.

están optimizadas para incrementar el número de clics y visualizaciones.

And unfortunately, one way that they have found of doing this

Y desafortunadamente, una forma que han encontrado de lograrlo

is to recommend the content of conspiracy theories or bigotry.

es recomendar contenido concerniente a teorías conspiratorias o fanatismo.

The AIs themselves don't have any concept of what this content actually is,

Las IAs no tienen concepto alguno de qué es realmente este contenido,

and they don't have any concept of what the consequences might be

ni tienen un entendimiento de las posibles consecuencias

of recommending this content.

de recomendar este contenido.

So, when we're working with AI,

Al trabajar con IA, depende de nosotros evitar los problemas.

it's up to us to avoid problems.

And avoiding things going wrong,

Eludir estos errores puede depender del viejo problema de la comunicación,

that may come down to the age-old problem of communication,

where we as humans have to learn how to communicate with AI.

y que nosotros los humanos tengamos que aprender a comunicarnos con la IA.

We have to learn what AI is capable of doing and what it's not,

Tenemos que aprender lo que la IA es capaz de hacer y lo que no,

and to understand that, with its tiny little worm brain,

y entender que, con su pequeño cerebro de lombriz,

AI doesn't really understand what we're trying to ask it to do.

la IA no entiende verdaderamente lo que le estamos pidiendo que haga.

So in other words, we have to be prepared to work with AI

En otras palabras, hemos de estar preparados para trabajar con una IA

that's not the super-competent, all-knowing AI of science fiction.

que no es la súper competente sabelotodo de la ciencia ficción.

We have to be prepared to work with an AI

Hemos de estar preparados para trabajar con la IA

that's the one that we actually have in the present day.

que tenemos disponible en la actualidad.

And present-day AI is plenty weird enough.

Y la IA actual es ya lo bastante extraña.

Thank you.

Gracias.

(Applause)

(Aplausos)