The danger of AI is weirder than you think | Janelle Shane

Vertaald door: Lisette Feenstra Nagekeken door: Peter Van de Ven

So, artificial intelligence

Kunstmatige intelligentie

is known for disrupting all kinds of industries.

staat bekend om het verstoren van allerlei sectoren.

What about ice cream?

Denk maar aan ijs.

What kind of mind-blowing new flavors could we generate

Welke verbijsterende nieuwe smaken zouden we kunnen maken

with the power of an advanced artificial intelligence?

met het vermogen van geavanceerde kunstmatige intelligentie?

So I teamed up with a group of coders from Kealing Middle School

Ik zocht contact met het team programmeurs van de Kealing Middle School

to find out the answer to this question.

om antwoord te vinden op deze vraag.

They collected over 1,600 existing ice cream flavors,

Zij verzamelden meer dan 1.600 bestaande ijssmaken

and together, we fed them to an algorithm to see what it would generate.

die we aan een algoritme gaven om te kijken wat dat zou opleveren.

And here are some of the flavors that the AI came up with.

Dit zijn enkele smaken waar de AI mee kwam.

[Pompoenafvalpauze]

[Pumpkin Trash Break]

(Laughter)

(Gelach)

[Peanut Butter Slime]

[Pindakaasslijm]

(Gelach)

[Strawberry Cream Disease]

[Aarbeien-ijsziekte]

(Gelach)

(Laughter)

These flavors are not delicious, as we might have hoped they would be.

Deze smaken zijn niet zo lekker als we hadden gehoopt.

So the question is: What happened?

De vraag is dus: hoe kan dat?

What went wrong?

Wat is er mis gegaan?

Is the AI trying to kill us?

Probeert de AI ons te vermoorden?

Or is it trying to do what we asked, and there was a problem?

Of deed hij precies wat we wilden, maar hij liep tegen een probleem aan?

In movies, when something goes wrong with AI,

In films, wanneer er iets misgaat met AI,

it's usually because the AI has decided

komt dit meestal doordat de AI besluit

that it doesn't want to obey the humans anymore,

niet langer naar mensen te luisteren

en zichzelf op de eerste plaats stelt.

and it's got its own goals, thank you very much.

In real life, though, the AI that we actually have

In werkelijkheid is de AI die we hebben

is not nearly smart enough for that.

daar niet slim genoeg voor.

It has the approximate computing power

Hij heeft de geschatte rekenkracht

van een aardworm,

of an earthworm,

or maybe at most a single honeybee,

of hooguit van een enkele bij

and actually, probably maybe less.

en waarschijnlijk nog minder.

Like, we're constantly learning new things about brains

We leren steeds meer over de hersenen

that make it clear how much our AIs don't measure up to real brains.

en dat AI nog lang niet opkan tegen echte hersenen.

So today's AI can do a task like identify a pedestrian in a picture,

Een AI is prima in staat een voetganger te identificeren,

but it doesn't have a concept of what the pedestrian is

maar z'n begrip van wat een voetganger is,

beyond that it's a collection of lines and textures and things.

gaat niet verder dan een verzameling van lijnen en structuren.

It doesn't know what a human actually is.

Wat een mens is, weet hij niet.

So will today's AI do what we ask it to do?

Zal de huidige AI doen wat wij willen?

It will if it can,

Hij zal het doen als hij het kan,

but it might not do what we actually want.

maar misschien is het niet precies wat we willen.

So let's say that you were trying to get an AI

Stel je voor dat je een AI robotonderdelen laat pakken,

to take this collection of robot parts

and assemble them into some kind of robot to get from Point A to Point B.

waar hij een robot van maakt die van A naar B gaat.

Now, if you were going to try and solve this problem

Als je probeert dit probleem op te lossen

met een standaard computerprogramma,

by writing a traditional-style computer program,

you would give the program step-by-step instructions

moet je uitgebreide instructies geven

over hoe je de delen vastpakt,

on how to take these parts,

how to assemble them into a robot with legs

hoe je er een robot met benen van maakt

and then how to use those legs to walk to Point B.

en hoe je die benen gebruikt om naar punt B te komen.

But when you're using AI to solve the problem,

Maar als je dit met AI probeert op te lossen,

it goes differently.

dan ziet dat er anders uit.

You don't tell it how to solve the problem,

Je zegt niet hoe hij het probleem moet oplossen,

you just give it the goal,

je geeft hem een duidelijk doel

and it has to figure out for itself via trial and error

en hij zal zelf met vallen en opstaan

how to reach that goal.

dat doel leren bereiken.

And it turns out that the way AI tends to solve this particular problem

En bij het oplossen van dit probleem hier

is by doing this:

doet de AI dit:

it assembles itself into a tower and then falls over

hij bouwt een toren van zichzelf die hij laat omvallen

and lands at Point B.

bovenop Punt B.

And technically, this solves the problem.

Technisch gezien lost dit inderdaad het probleem op.

Technically, it got to Point B.

Hij heeft tenslotte Punt B bereikt.

The danger of AI is not that it's going to rebel against us,

Het probleem met AI is ook niet dat hij tegen ons in opstand komt,

it's that it's going to do exactly what we ask it to do.

maar dat hij juist precies doet wat we van hem vragen.

So then the trick of working with AI becomes:

De uitdaging met AI is dus:

How do we set up the problem so that it actually does what we want?

hoe introduceren we het probleem zodat hij precies doet wat we willen?

So this little robot here is being controlled by an AI.

Dit robotje wordt gestuurd door een AI.

The AI came up with a design for the robot legs

De AI ontwierp z'n robotbenen

and then figured out how to use them to get past all these obstacles.

en ontdekte hoe hij ermee langs alle obstakels kon komen.

But when David Ha set up this experiment,

Maar toen David Ha het experiment opzette,

he had to set it up with very, very strict limits

moest hij zeer strenge regels toepassen

on how big the AI was allowed to make the legs,

die bepaalden hoe lang AI de benen mocht maken,

because otherwise ...

want anders...

(Gelach)

(Laughter)

And technically, it got to the end of that obstacle course.

En strikt genomen

had hij het einde van de hindernisbaan bereikt.

So you see how hard it is to get AI to do something as simple as just walk.

Het is dus niet eenvoudig om AI zoiets simpels te laten doen als lopen.

So seeing the AI do this, you may say, OK, no fair,

Je kan zeggen dat de AI valsspeelt

you can't just be a tall tower and fall over,

door zichzelf uit te rekken en voorover te laten vallen,

you have to actually, like, use legs to walk.

en eisen dat hij z'n benen gebruikt om te lopen.

And it turns out, that doesn't always work, either.

Maar ook dat werkt niet altijd.

This AI's job was to move fast.

Hier moest de AI snel bewegen.

They didn't tell it that it had to run facing forward

Ze hadden niet gezegd dat hij recht vooruit moest gaan

or that it couldn't use its arms.

of z'n armen niet mocht bewegen.

So this is what you get when you train AI to move fast,

Als je AI traint snelle bewegingen te maken,

you get things like somersaulting and silly walks.

krijg je vaak salto's en gekke loopjes.

It's really common.

Dit gebeurt vrij vaak.

So is twitching along the floor in a heap.

Of je ziet hoopjes die rondkruipen.

(Laughter)

(Gelach)

So in my opinion, you know what should have been a whole lot weirder

Volgens mij hadden de Terminator-robots nog veel gekker moeten zijn.

is the "Terminator" robots.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

AI zal ook zonder aarzelen 'The Matrix' hacken

als hij de kans krijgt.

So if you train an AI in a simulation,

Als je hem in een simulatie laat trainen,

it will learn how to do things like hack into the simulation's math errors

leert hij onder andere berekeningsfouten te hacken

and harvest them for energy.

die hij opslaat als energie.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Of hij krijgt door dat je sneller loopt als je gekke sprongetjes maakt.

When you're working with AI,

Werken met AI

is iets heel anders dan het werken met een mens;

it's less like working with another human

and a lot more like working with some kind of weird force of nature.

het heeft meer weg van het werken met een obscuur fenomeen.

And it's really easy to accidentally give AI the wrong problem to solve,

Je loopt altijd het risico dat je AI een verkeerd probleem voorlegt,

and often we don't realize that until something has actually gone wrong.

en je pas achteraf realiseert dat er iets fout is gegaan.

So here's an experiment I did,

Dit is een experiment dat ik heb gedaan,

where I wanted the AI to copy paint colors,

waarbij ik de AI opdroeg de verfkleuren na te maken,

to invent new paint colors,

nieuwe kleuren te bedenken

given the list like the ones here on the left.

op basis van de kleuren links.

And here's what the AI actually came up with.

Dit is het resultaat waar de AI mee kwam.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Strae Oranje, Penisbel Triestje, Grijshaartje]

(Gelach)

(Laughter)

So technically,

En inderdaad,

hij deed precies wat ik hem had opgedragen.

it did what I asked it to.

I thought I was asking it for, like, nice paint color names,

Ik dacht dat ik had gevraagd om leuke verfkleurnamen,

but what I was actually asking it to do

maar in werkelijkheid

was just imitate the kinds of letter combinations

immiteerde de AI alleen de lettercombinaties

that it had seen in the original.

uit het origineel.

And I didn't tell it anything about what words mean,

Ik had hem niet gezegd wat de woorden betekenen

or that there are maybe some words

of dat er woorden tussen zaten

that it should avoid using in these paint colors.

die niet toepasselijk zijn voor verfkleuren.

So its entire world is the data that I gave it.

Zijn wereld bestaat alleen uit de data die ik hem gegeven heb.

Like with the ice cream flavors, it doesn't know about anything else.

Net als bij de ijssmaken is dat het enige wat hij weet.

So it is through the data

Door de data die we hem geven,

that we often accidentally tell AI to do the wrong thing.

voert de AI vaak de verkeerde opdracht uit.

This is a fish called a tench.

Deze vis is een zeelt.

And there was a group of researchers

Een groep onderzoekers

who trained an AI to identify this tench in pictures.

trainden een AI om deze zeelt op plaatjes te herkennen.

But then when they asked it

Maar toen ze vroegen

what part of the picture it was actually using to identify the fish,

welk deel van de foto hij gebruikte om de vis te herkennen,

markeerde hij dit.

here's what it highlighted.

Yes, those are human fingers.

Inderdaad: mensenvingers.

Why would it be looking for human fingers

Waarom zou hij mensenvingers gebruiken

if it's trying to identify a fish?

om een vis te herkennen?

Well, it turns out that the tench is a trophy fish,

Wat blijkt: de zeelt wordt gezien als trofee

and so in a lot of pictures that the AI had seen of this fish

en in veel foto's die de AI te zien kreeg

tijdens de training,

during training,

zag de vis er zo uit.

the fish looked like this.

(Laughter)

(Gelach)

And it didn't know that the fingers aren't part of the fish.

Hij wist niet dat de vingers geen deel van de vis zijn.

So you see why it is so hard to design an AI

Het is duidelijk ingewikkeld om een AI zo te ontwerpen

that actually can understand what it's looking at.

dat hij begrijpt waar hij naar kijkt.

And this is why designing the image recognition

Dit maakt het vormgeven van beeldherkenning

in self-driving cars is so hard,

voor zelfrijdende auto's ook zo gecompliceerd

and why so many self-driving car failures

en worden veel van de fouten veroorzaakt

are because the AI got confused.

doordat de AI in de war raakte.

I want to talk about an example from 2016.

Hier is een voorbeeld uit 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Bij een fataal ongeluk waarbij een Tesla op de automatische piloot stond,

but instead of using it on the highway like it was designed for,

bleek dat ze niet op de snelweg reden waarvoor hij was gemaakt,

they used it on city streets.

maar midden in stad.

And what happened was,

Vervolgens reed een vrachtauto voor de Tesla langs

a truck drove out in front of the car and the car failed to brake.

en de auto remde niet automatisch af.

Now, the AI definitely was trained to recognize trucks in pictures.

De AI was getrained op het herkennen van vrachtauto's op plaatjes.

But what it looks like happened is

Zo te zien

the AI was trained to recognize trucks on highway driving,

was de AI getrained in het herkennen van vrachtauto's op de snelweg,

where you would expect to see trucks from behind.

waar ze je vaak van achteren benaderen.

Trucks on the side is not supposed to happen on a highway,

Vrachtauto's van de zijkant komen op de snelweg niet voor,

and so when the AI saw this truck,

dus toen de AI de vrachtauto zag,

dacht hij waarschijnlijk dat het een verkeersbord was

it looks like the AI recognized it as most likely to be a road sign

waar hij veilig onderdoor kon rijden.

and therefore, safe to drive underneath.

Here's an AI misstep from a different field.

Nog een fout met AI, maar van een ander kaliber.

Amazon recently had to give up on a résumé-sorting algorithm

Amazon is onlangs afgestapt van een cv-sorteeralgoritm

waar ze aan hadden gewerkt,

that they were working on

when they discovered that the algorithm had learned to discriminate against women.

toen duidelijk werd dat het algoritme had geleerd vrouwen te discrimineren.

Het bleek dat de trainingsdata bestond uit oude cv's

What happened is they had trained it on example résumés

van mensen die in het verleden waren aangenomen.

of people who they had hired in the past.

And from these examples, the AI learned to avoid the résumés of people

Op basis hiervan negeerde de AI de cv's van mensen

who had gone to women's colleges

die aan een vrouwenuniversiteit hadden gestudeerd

or who had the word "women" somewhere in their resume,

of waar het woord 'vrouw' in stond,

as in, "women's soccer team" or "Society of Women Engineers."

zoals ' vrouwenvoetbalteam' of 'Vereniging van Vrouwelijke Ingenieurs'.

The AI didn't know that it wasn't supposed to copy this particular thing

De AI had niet door

dat hij dit gedrag van mensen niet moest kopiëren.

that it had seen the humans do.

And technically, it did what they asked it to do.

Technisch gezien deed hij precies wat hem was opgedragen.

They just accidentally asked it to do the wrong thing.

Alleen hadden ze hem per ongeluk het verkeerde gevraagd.

And this happens all the time with AI.

Een veelvoorkomend probleem met AI.

AI can be really destructive and not know it.

AI kan zonder het te weten destructief zijn.

So the AIs that recommend new content in Facebook, in YouTube,

De AI's die op Facebook of YouTube nieuwe content aanbevelen bijvoorbeeld,

they're optimized to increase the number of clicks and views.

zijn er op gericht het aantal clicks en views te verhogen.

And unfortunately, one way that they have found of doing this

Helaas had dit als gevolg

is to recommend the content of conspiracy theories or bigotry.

dat content gewijd aan complottheorieën en intolerantie werd aangeraden.

The AIs themselves don't have any concept of what this content actually is,

De AI's weten zelf niet wat voor content het is

and they don't have any concept of what the consequences might be

en hebben ook geen idee wat de consequenties zijn

of recommending this content.

als het wordt aanbevolen.

So, when we're working with AI,

Als wij aan het werk gaan met AI,

it's up to us to avoid problems.

is het aan ons dit soort problemen te voorkomen.

And avoiding things going wrong,

En zorgen dat alles goed gaat,

that may come down to the age-old problem of communication,

is een kwestie van betere communicatie:

where we as humans have to learn how to communicate with AI.

we moeten leren beter te communiceren met AI.

We have to learn what AI is capable of doing and what it's not,

We moeten begrijpen wat AI kan en wat het niet kan doen,

and to understand that, with its tiny little worm brain,

en dat hij met z'n piepkleine hersens

AI doesn't really understand what we're trying to ask it to do.

niet echt begrijpt wat wij van hem willen.

So in other words, we have to be prepared to work with AI

We zullen moeten accepteren

that's not the super-competent, all-knowing AI of science fiction.

dat hij geen deskundige, alleswetende AI uit science fiction is.

We have to be prepared to work with an AI

We moeten bereid zijn te werken met een AI

waar we nu al mee te maken hebben.

that's the one that we actually have in the present day.

And present-day AI is plenty weird enough.

En de AI van nu is al vreemd genoeg.

Thank you.

Dank jullie wel.

(Applause)

(Applaus)