The danger of AI is weirder than you think | Janelle Shane

Fordító: Andrea Vida Lektor: Zsuzsa Viola

So, artificial intelligence

Nos, a mesterséges intelligencia arról híres,

is known for disrupting all kinds of industries.

hogy zavart kelt minden iparágban.

What about ice cream?

Na és hogy állunk a fagylalttal?

What kind of mind-blowing new flavors could we generate

Milyen szédítő új ízeket teremthetnénk

with the power of an advanced artificial intelligence?

egy jól képzett mesterséges intelligencia hatalmával?

So I teamed up with a group of coders from Kealing Middle School

Összeálltam hát a kealingi gimnázium egyik programozó csoportjával,

to find out the answer to this question.

hogy választ találjunk erre a kérdésre.

They collected over 1,600 existing ice cream flavors,

Több mint 1600-féle létező fagylaltízt gyűjtöttek össze,

and together, we fed them to an algorithm to see what it would generate.

és ezeket betápláltuk egy algoritmusba, hogy meglássuk, mit hoz ki belőlük.

And here are some of the flavors that the AI came up with.

Íme, néhány ízkombináció, amit az MI generált.

[Pumpkin Trash Break]

[Sütőtök Kuka Fék]

(Laughter)

(Nevetés)

[Peanut Butter Slime]

[Mogyoró Vaj Sár]

[Strawberry Cream Disease]

[Eper Krém Kórság]

(Laughter)

(Nevetés)

These flavors are not delicious, as we might have hoped they would be.

Ezek nem olyan ínyenc aromák, mint amikre feltehetően vágyunk.

So the question is: What happened?

A kérdés tehát: mi történt?

What went wrong?

Mi volt a hiba?

Is the AI trying to kill us?

Az MI ki akar nyírni minket?

Or is it trying to do what we asked, and there was a problem?

Vagy csak teljesíteni akarta a kérésünket, és akadt némi probléma?

In movies, when something goes wrong with AI,

A filmekben, ha valami gond adódik az MI-vel,

az általában azért történik, mert az MI szándékosan fellázad,

it's usually because the AI has decided

that it doesn't want to obey the humans anymore,

többé nem engedelmeskedik az embernek,

and it's got its own goals, thank you very much.

hanem saját célt tűz ki magának, köszönöm szépen.

In real life, though, the AI that we actually have

A valóságban azonban a jelenlegi MI

is not nearly smart enough for that.

még nem elég okos ehhez.

It has the approximate computing power

Nagyjából akkora a számítási teljesítménye,

of an earthworm,

mint egy földigilisztának,

or maybe at most a single honeybee,

vagy legjobb esetben egy háziméhnek,

and actually, probably maybe less.

de valószínűleg még ennyi sem.

Like, we're constantly learning new things about brains

Ahogy folyamatosan új dolgokat tudunk meg az agyról,

that make it clear how much our AIs don't measure up to real brains.

úgy lesz egyre világosabb, hogy az MI teljesítménye közelébe sem ér az agynak.

So today's AI can do a task like identify a pedestrian in a picture,

A mai MI képes például felismerni egy gyalogost a képen,

but it doesn't have a concept of what the pedestrian is

de fogalma sincs arról, mi az, hogy gyalogos,

beyond that it's a collection of lines and textures and things.

azonkívül, hogy vonalak, textúrák és dolgok gyűjteménye.

It doesn't know what a human actually is.

Fogalma sincs arról, mi az, hogy ember.

So will today's AI do what we ask it to do?

Megteszi-e tehát a mai MI, amit kérünk tőle?

It will if it can,

Persze, ha tudja,

but it might not do what we actually want.

de lehet, hogy nem azt teszi, amit kérünk tőle.

So let's say that you were trying to get an AI

Tegyük fel, megpróbáljuk rávenni,

to take this collection of robot parts

hogy fogja ezt a robotalkatrész-gyűjteményt,

and assemble them into some kind of robot to get from Point A to Point B.

és rakjon össze valamilyen robotot, amit aztán eljuttat A pontból B-be.

Now, if you were going to try and solve this problem

Na most, ha hagyományos számítógépes programmal

by writing a traditional-style computer program,

gyürkőznénk neki a probléma megoldásának,

you would give the program step-by-step instructions

akkor lépésről lépésre írnánk bele a parancssorokat,

hogy milyen sorrendben fogjon az alkatrészekhez,

on how to take these parts,

how to assemble them into a robot with legs

hogyan állítsa össze azokat,

and then how to use those legs to walk to Point B.

aztán hogyan indítsa el a robot lábait, hogy eljuthasson A-ból B-be.

But when you're using AI to solve the problem,

Ha azonban MI-vel állunk neki a problémamegoldásnak,

it goes differently.

egészen más a helyzet.

You don't tell it how to solve the problem,

Nem mondhatjuk meg neki, hogyan fogjon hozzá,

you just give it the goal,

csak kijelöljük a célt,

and it has to figure out for itself via trial and error

neki magának kell rájönnie, kísérletek és hibák során át,

how to reach that goal.

hogy hogyan érheti el a célt.

And it turns out that the way AI tends to solve this particular problem

Előfordul, hogy az MI hajlamos így megoldani

is by doing this:

ezt a sajátos problémát:

it assembles itself into a tower and then falls over

tornyot rak össze az alkatrészekből, ami aztán eldől,

and lands at Point B.

és kiköt a B pontban.

And technically, this solves the problem.

Technikai szempontból megoldja a problémát.

Technically, it got to Point B.

Végül is eljut a B pontba.

The danger of AI is not that it's going to rebel against us,

Az MI nem azért veszélyes, mert fellázadna ellenünk,

it's that it's going to do exactly what we ask it to do.

hanem azért, mert pontosan azt fogja tenni, amire megkérjük.

So then the trick of working with AI becomes:

Ha tehát MI-vel dolgozunk, így kell feltennünk a kérdést:

How do we set up the problem so that it actually does what we want?

Hogyan fogalmazzuk meg a problémát, hogy az MI azt tegye, amit szeretnénk?

So this little robot here is being controlled by an AI.

Ezt a kis robotot egy MI irányítja.

The AI came up with a design for the robot legs

Megtervezte a robot lábait,

and then figured out how to use them to get past all these obstacles.

aztán kidolgozta, hogyan kerülje ki ezeket az akadályokat.

But when David Ha set up this experiment,

De amikor David Ha előkészítette ezt a kísérletet,

he had to set it up with very, very strict limits

nagyon, nagyon szigorú korlátokat kellett beállítania arra vonatkozóan,

on how big the AI was allowed to make the legs,

hogy mekkora lábakat gyárthasson az MI,

because otherwise ...

mert különben...

(Laughter)

(Nevetés)

And technically, it got to the end of that obstacle course.

Technikailag végigment az egész akadálypályán.

So you see how hard it is to get AI to do something as simple as just walk.

Mint látják, még egy egyszerű gyaloglás is túl nagy falat egy MI-nek.

So seeing the AI do this, you may say, OK, no fair,

Ha így nézzük őket, azt mondhatják: na jó,

you can't just be a tall tower and fall over,

ne legyen magas torony, ne legyen borulás,

you have to actually, like, use legs to walk.

legyenek lábai, amin járni tud.

De előfordul, hogy ez sem működik.

And it turns out, that doesn't always work, either.

This AI's job was to move fast.

Az volt az MI feladata, hogy gyorsan mozogjon.

They didn't tell it that it had to run facing forward

Nem mondták neki, hogy fusson szembe, előre,

or that it couldn't use its arms.

azt sem, hogy nem használhatja a karját.

So this is what you get when you train AI to move fast,

Ez történik, ha túl gyors mozgásra képezünk ki egy MI-t,

you get things like somersaulting and silly walks.

olyan lesz, mintha bukfencezne, és mint a "hülye járások".

It's really common.

Általában mindig ez történik.

So is twitching along the floor in a heap.

Így vonaglik egy kupacban a talajon.

(Laughter)

(Nevetés)

Úgyhogy szerintem a Terminátor robotjainak

So in my opinion, you know what should have been a whole lot weirder

is the "Terminator" robots.

sokkal furcsábbnak kellett volna lenniük.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Az MI a "Mátrixot" is feltöri, ha lehetőséget kap rá.

So if you train an AI in a simulation,

Ha tehát szimulációban tanítunk be egy MI-t,

it will learn how to do things like hack into the simulation's math errors

megtanulja majd feltörni a szimuláció matematikai hibáit,

and harvest them for energy.

és ebből nyer energiát.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Vagy képes lesz rájönni, hogyan mozoghat fürgébben a talajon csúszkálva.

When you're working with AI,

MI-vel együtt dolgozni

it's less like working with another human

nem olyan, mint emberrel,

and a lot more like working with some kind of weird force of nature.

sokkal inkább olyan, mint valami fura természeti erővel együttműködni.

And it's really easy to accidentally give AI the wrong problem to solve,

És tényleg könnyű véletlenül hibás problémát adni neki megoldásra,

and often we don't realize that until something has actually gone wrong.

majd többnyire nem jövünk rá addig, amíg valami balul nem sül el.

So here's an experiment I did,

Végeztem egy kísérletet,

where I wanted the AI to copy paint colors,

melyben az MI azt a feladatot kapta, hogy színek másolásával

to invent new paint colors,

keverjen ki új árnyalatokat,

given the list like the ones here on the left.

a bal oldalon megadott lista szerint.

And here's what the AI actually came up with.

És tessék, ezzel állt elő.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Sindi popója, Szaros, Szenvedés, Szeméremszürke]

(Laughter)

(Nevetés)

So technically,

Gyakorlatilag

it did what I asked it to.

pontosan azt tette, amit kértem tőle.

I thought I was asking it for, like, nice paint color names,

Azt hittem, illedelmes festékneveket kérek tőle,

but what I was actually asking it to do

de valójában az volt a feladata,

was just imitate the kinds of letter combinations

hogy betűkombinációkat utánozzon,

that it had seen in the original.

amiket az eredeti listán látott.

And I didn't tell it anything about what words mean,

Semmit nem mondtam neki arról, mit jelentenek a szavak,

or that there are maybe some words

vagy hogy esetleg akad köztük olyan,

that it should avoid using in these paint colors.

melyekből inkább nem képzünk festékneveket.

So its entire world is the data that I gave it.

A teljes világa olyan adatokból áll, melyeket én tápláltam bele.

Like with the ice cream flavors, it doesn't know about anything else.

Akárcsak a fagylaltízeknél, itt sincs fogalma semmi másról.

So it is through the data

Az adatoknak köszönhető,

that we often accidentally tell AI to do the wrong thing.

hogy gyakran előfordul: véletlenül rossz dolgokra tanítjuk meg őt.

This is a fish called a tench.

Ez egy hal, a neve compó.

And there was a group of researchers

Egy kutatócsoport betanított egy MI-t arra,

who trained an AI to identify this tench in pictures.

hogy képeken azonosítsa a compót.

But then when they asked it

Aztán amikor megkérdezték tőle,

what part of the picture it was actually using to identify the fish,

a kép melyik része alapján azonosította a halat,

here's what it highlighted.

tessék, ezeket emelte ki.

Yes, those are human fingers.

Bizony, azok ott emberi ujjak.

Why would it be looking for human fingers

Miért emberi ujjak alapján próbálna

if it's trying to identify a fish?

halat beazonosítani?

Well, it turns out that the tench is a trophy fish,

Nos, a compó történetesen trópusi halfaj,

and so in a lot of pictures that the AI had seen of this fish

ezért sok képen, melyeket az MI megfigyelt

a betanítás során,

during training,

valahogy így nézett ki a hal. [A képen ember tartja a halat.]

the fish looked like this.

(Laughter)

(Nevetés)

And it didn't know that the fingers aren't part of the fish.

Az MI nem tudta, hogy az ujjak nem tartoznak a halhoz.

So you see why it is so hard to design an AI

Így már világos, miért nehéz olyan MI-t tervezni,

that actually can understand what it's looking at.

amelyik érti is, amit lát.

And this is why designing the image recognition

És ezért olyan nehéz képfelismerést tervezni

in self-driving cars is so hard,

az önvezető autókban,

and why so many self-driving car failures

és azért van olyan sok balesetük,

are because the AI got confused.

mert az MI-jük összezavarodik.

I want to talk about an example from 2016.

Hadd meséljek egy 2016-os példát.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Halálos baleset történt, amikor valaki MI-robotpilóta üzemmódban ment Teslával,

but instead of using it on the highway like it was designed for,

de nem az autópályán, amire tervezték,

they used it on city streets.

hanem városi utakon.

And what happened was,

Az történt, hogy egy kamion hajtott ki elé,

a truck drove out in front of the car and the car failed to brake.

az autó pedig nem fékezett.

Now, the AI definitely was trained to recognize trucks in pictures.

Tény, hogy az MI-nek megtanították, hogy képeken felismerje a kamionokat.

But what it looks like happened is

De valószínűleg az történt,

the AI was trained to recognize trucks on highway driving,

hogy az MI csak autópályán történő vezetés során ismerte fel a kamionokat,

where you would expect to see trucks from behind.

ahol számításunk szerint hátulról bukkannak fel.

Trucks on the side is not supposed to happen on a highway,

Az oldalról érkező kamion nem valószínű az autópályán,

and so when the AI saw this truck,

úgyhogy amikor az MI meglátta,

it looks like the AI recognized it as most likely to be a road sign

valószínűleg útjelző táblának nézte,

and therefore, safe to drive underneath.

ezért szép nyugodtan alákormányozta az autót.

Here's an AI misstep from a different field.

Mutatok egy másik MI-botlást:

Amazon recently had to give up on a résumé-sorting algorithm

Az Amazon nemrég felhagyott egy önéletrajz-válogató algoritmussal,

aminek fejlesztésén dolgoztak,

that they were working on

when they discovered that the algorithm had learned to discriminate against women.

mert kiderült, hogy az algoritmus diszkriminálja a nőket.

What happened is they had trained it on example résumés

Ugyanis olyan önéletrajzokat tápláltak be az MI-nek,

of people who they had hired in the past.

melyeket korábbi alkalmazottaik írtak.

And from these examples, the AI learned to avoid the résumés of people

És az MI ezekből a példákból azt tanulta meg, hogy elvesse azokat,

who had gone to women's colleges

akik női egyetemekre jártak,

or who had the word "women" somewhere in their resume,

vagy akiknél a "nő" szó olyan szövegösszefüggésben fordult elő,

as in, "women's soccer team" or "Society of Women Engineers."

mint "női kosárlabdacsapat", vagy "Mérnöknők Társasága".

The AI didn't know that it wasn't supposed to copy this particular thing

Az MI nem tudta, hogy nem ajánlatos ezt a konkrét dolgot lemásolni,

that it had seen the humans do.

úgy, ahogy az emberektől látta.

And technically, it did what they asked it to do.

Gyakorlatilag pontosan azt tette, amivel megbízták.

They just accidentally asked it to do the wrong thing.

Csak a fejlesztők véletlenül rosszul fogalmazták meg a kérést.

And this happens all the time with AI.

És mindig ez történik az MI-vel.

AI can be really destructive and not know it.

Tényleg lehet pusztító, de még csak nem is tud róla.

So the AIs that recommend new content in Facebook, in YouTube,

Azokat az MI-ket, melyek új tartalmakat ajánlanak a Facebookon, YouTube-on,

they're optimized to increase the number of clicks and views.

arra optimalizálták, hogy növelje a kattintások és megtekintések számát.

And unfortunately, one way that they have found of doing this

Sajnos, szerintük ennek az egyik módja az,

is to recommend the content of conspiracy theories or bigotry.

hogy összeesküvés-elméletes vagy fanatikus tartalmakat ajánljanak.

The AIs themselves don't have any concept of what this content actually is,

Az MI-knek fogalmuk sincs arról, valójában miről szólnak ezek,

and they don't have any concept of what the consequences might be

és arról sincs, hogy milyen következményekkel járhat

of recommending this content.

az efféle tartalmak ajánlása.

So, when we're working with AI,

Úgyhogy amikor MI-vel dolgozunk,

it's up to us to avoid problems.

tőlünk függ, hogyan kerüljük el a problémákat.

And avoiding things going wrong,

A problémák elkerülése

that may come down to the age-old problem of communication,

ősi kommunikációs kérdés lehet, melynek során nekünk, embereknek

meg kell tanulnunk helyesen kommunikálni az MI-vel.

where we as humans have to learn how to communicate with AI.

We have to learn what AI is capable of doing and what it's not,

Meg kell tanulnunk, hogy mit képes megtenni és mit nem.

and to understand that, with its tiny little worm brain,

Meg kell értenünk, hogy csöppnyi gilisztaagyával

AI doesn't really understand what we're trying to ask it to do.

nem képes felfogni, hogy mire kérjük egész pontosan.

So in other words, we have to be prepared to work with AI

Vagyis felkészülten kell együttműködnünk vele,

that's not the super-competent, all-knowing AI of science fiction.

mert nem olyan, mint a sci-fik mindentudó MI szuperhősei.

We have to be prepared to work with an AI

Felkészülten kell együttműködnünk vele,

that's the one that we actually have in the present day.

azzal a fajtával, amelyik ma létezik.

And present-day AI is plenty weird enough.

És a ma létező MI bizony elég fura szerzet.

Thank you.

Köszönöm.

(Applause)

(Taps)