The danger of AI is weirder than you think | Janelle Shane

Překladatel: Daniel Gromada Korektor: Karel Čížek

So, artificial intelligence

Umělá inteligence,

is known for disrupting all kinds of industries.

jak známo, se míchá do spousty průmyslových odvětví.

What about ice cream?

Tak třeba zmrzlina.

What kind of mind-blowing new flavors could we generate

Jakou spoustu neskutečných nových příchutí bychom mohli vytvořit

with the power of an advanced artificial intelligence?

pomocí pokročilé umělé inteligence?

So I teamed up with a group of coders from Kealing Middle School

Dala jsem se dohromady se skupinou programátorů z Kealingovy střední školy,

to find out the answer to this question.

abych našla odpověď na tuto otázku.

They collected over 1,600 existing ice cream flavors,

Sebrali více než 1600 existujících zmrzlinových příchutí

and together, we fed them to an algorithm to see what it would generate.

a společně jsme je nacpali do jednoho algoritmu a čekali, co z něj vzejde.

And here are some of the flavors that the AI came up with.

A tohle jsou příklady příchutí, se kterými umělá inteligence přišla.

[Dýňová kopa odpadků]

[Pumpkin Trash Break]

(Laughter)

(Smích)

[Peanut Butter Slime]

[Sliz s arašídovým máslem]

[Strawberry Cream Disease]

[Jahodovo-smetanová choroba]

(Laughter)

(Smích)

These flavors are not delicious, as we might have hoped they would be.

To nejsou lahodné příchutě, které jsme doufali získat.

So the question is: What happened?

Takže otázka zní: Co se stalo?

What went wrong?

Co se pokazilo?

Is the AI trying to kill us?

Snaží se nás umělá inteligence zabít?

Or is it trying to do what we asked, and there was a problem?

Nebo se snaží dělat, co po ní chceme, ale má s tím nějaký problém?

In movies, when something goes wrong with AI,

Když se ve filmech začne dít něco špatného s UI,

it's usually because the AI has decided

je to většinou proto, že se umělá inteligence rozhodla,

that it doesn't want to obey the humans anymore,

že už nechce lidstvo poslouchat

a má svoje vlastní cíle - děkuji pěkně.

and it's got its own goals, thank you very much.

In real life, though, the AI that we actually have

Nicméně ve skutečném světě ta umělá inteligence, kterou máme,

is not nearly smart enough for that.

není ani zdaleka tak chytrá.

It has the approximate computing power

Má výpočetní sílu přibližně jako žížala

of an earthworm,

or maybe at most a single honeybee,

nebo maximálně jako jediná včela,

and actually, probably maybe less.

ale ve skutečnosti spíš méně.

Like, we're constantly learning new things about brains

Jak stále získáváme nové poznatky o mozku

that make it clear how much our AIs don't measure up to real brains.

nám ukazuje, jak moc je umělá inteligence vzdálená skutečným mozkům.

So today's AI can do a task like identify a pedestrian in a picture,

Dneska třeba dokáže UI rozpoznat chodce na obrázku,

but it doesn't have a concept of what the pedestrian is

ale nechápe, co to vlastně chodec je,

beyond that it's a collection of lines and textures and things.

pro ni je to jenom soubor linek, textur a podobných věcí.

It doesn't know what a human actually is.

Ale neví, co to vlastně je člověk.

So will today's AI do what we ask it to do?

Bude dnešní umělá inteligence dělat to, co po ní chceme?

It will if it can,

Bude, když to bude umět,

but it might not do what we actually want.

ale může se stát, že neudělá to, co jsme měli na mysli.

So let's say that you were trying to get an AI

Řekněme, že se snažíte vyvinout UI,

to take this collection of robot parts

která vezme tuhle sadu robotích součástek

and assemble them into some kind of robot to get from Point A to Point B.

a sestaví z nich robota, který se má dostat z bodu A do bodu B.

Now, if you were going to try and solve this problem

Kdybyste se snažili vyřešit tento problém

by writing a traditional-style computer program,

napsáním tradičního počítačového programu,

you would give the program step-by-step instructions

programovali byste instrukce krok po kroku,

on how to take these parts,

jak má vzít ty součástky

how to assemble them into a robot with legs

a jak z nich sestavit robota, který má nohy,

and then how to use those legs to walk to Point B.

jak má ty nohy použít, aby se dostal do bodu B.

But when you're using AI to solve the problem,

Ale když používáte umělou inteligenci,

it goes differently.

tak to funguje jinak.

You don't tell it how to solve the problem,

Neřeknete jí, jak ten problém vyřešit,

you just give it the goal,

dáte jí jenom cíl

and it has to figure out for itself via trial and error

a ona musí sama metodou pokusu a omylu přijít na to,

how to reach that goal.

jak toho cíle dosáhnout.

And it turns out that the way AI tends to solve this particular problem

Ukáže se, že UI se tenhle konkrétní úkol snaží vyřešit takto:

is by doing this:

it assembles itself into a tower and then falls over

postaví z dílů věž a pak se skácí tak,

and lands at Point B.

že dopadne do bodu B.

And technically, this solves the problem.

V podstatě je to skutečně řešení problému.

Technically, it got to Point B.

Technicky vzato se dostala do bodu B.

The danger of AI is not that it's going to rebel against us,

Nebezpečí UI není v tom, že by proti nám povstala,

it's that it's going to do exactly what we ask it to do.

ale že bude dělat přesně to, o co jí požádáme.

So then the trick of working with AI becomes:

Vtip práce s umělou inteligencí zní:

How do we set up the problem so that it actually does what we want?

Jak zformulovat náši úlohu, aby udělala to, co po ní skutečně chceme?

So this little robot here is being controlled by an AI.

Tady ten malý robot je ovládán umělou inteligencí.

The AI came up with a design for the robot legs

UI navrhla, jak mají vypadat jeho nohy

and then figured out how to use them to get past all these obstacles.

a vymyslela, jak je používat, aby překonala všechny tyto překážky.

But when David Ha set up this experiment,

Ale když David Ha navrhoval tento experiment,

he had to set it up with very, very strict limits

musel v něm nastavit velmi velmi přísné limity,

on how big the AI was allowed to make the legs,

jak dlouhé smí mít ten robot nohy,

because otherwise ...

protože jinak ...

(Laughter)

(Smích)

And technically, it got to the end of that obstacle course.

A technicky vzato, překonalo to všechny překážky.

So you see how hard it is to get AI to do something as simple as just walk.

Takže vidíte, jak je těžké přimět UI k něčemu tak jednoduchému jako chůze.

So seeing the AI do this, you may say, OK, no fair,

Když vidíte, že UI udělá tohle, mohli byste říct, fajn, tohle není fér,

you can't just be a tall tower and fall over,

nemůžeš se prostě stát věží a pak spadnout,

you have to actually, like, use legs to walk.

musíš používat nohy a chodit.

And it turns out, that doesn't always work, either.

Ale pak se ukáže, že to taky nefunguje.

This AI's job was to move fast.

Úkolem téhle umělé inteligence byl rychlý pohyb.

They didn't tell it that it had to run facing forward

Neřekli jí, že má běžet směrem dopředu,

or that it couldn't use its arms.

nebo že nesmí používat ruce.

So this is what you get when you train AI to move fast,

Tohle dostanete, když chcete naučit UI rychle běhat:

you get things like somersaulting and silly walks.

dostanete věci jako salta a švihlou chůzi.

It's really common.

A to je skutečně běžné.

So is twitching along the floor in a heap.

Podobně jako lezení po zemi.

(Laughter)

(Smích)

So in my opinion, you know what should have been a whole lot weirder

Podle mého názoru by daleko divnější měly být

is the "Terminator" robots.

roboti jako Terminátor.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

Nabourat se do „Matrixu“ je další věc, kterou UI udělá, když jí dáte příležitost.

So if you train an AI in a simulation,

Když trénujete UI v simulaci,

it will learn how to do things like hack into the simulation's math errors

naučí se dělat věci jako nabourat se do matematických chyb v simulaci

and harvest them for energy.

a získávat z nich energii.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Nebo si najde způsob, hýbat se rychleji opakovaným padáním na zem.

When you're working with AI,

Když pracujete s UI,

it's less like working with another human

není to jako práce s jiným člověkem,

and a lot more like working with some kind of weird force of nature.

daleko více se to podobá práci s nějakou zvláštní přírodní silou.

And it's really easy to accidentally give AI the wrong problem to solve,

A je velice jednoduché UI omylem špatně zadat řešený problém.

and often we don't realize that until something has actually gone wrong.

Často si to neuvědomíme do té doby, než se něco stane.

So here's an experiment I did,

Tohle je můj pokus,

where I wanted the AI to copy paint colors,

chtěla jsem po UI, aby napodobila nátěrové barvy,

to invent new paint colors,

aby vymyslela nové barvy,

given the list like the ones here on the left.

přičemž dostala seznam jako tady nalevo.

And here's what the AI actually came up with.

A UI nakonec přišla s tímto.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Sindino kakání, lejno, utrpení, pubická šedá]

(Laughter)

(Smích)

So technically,

Takže vlastně udělala,

it did what I asked it to.

co jsem si přála.

I thought I was asking it for, like, nice paint color names,

Jenom jsem chtěla, aby vymysla pro barvy nějaké hezké názvy,

but what I was actually asking it to do

ale ve skutečnosti jsem požádala o to,

was just imitate the kinds of letter combinations

aby napodobila kombinace písmen,

that it had seen in the original.

které viděla v předloze.

And I didn't tell it anything about what words mean,

Neřekla jsem jí nic o tom, co ta slova znamenají,

or that there are maybe some words

nebo že by některá slova

that it should avoid using in these paint colors.

možná neměla používat pro názvy barev.

So its entire world is the data that I gave it.

Celý svět jsou pro ni jenom ta data která jsem jí zadala.

Like with the ice cream flavors, it doesn't know about anything else.

Podobně jako s těmi příchutěmi zmrzlin, nezná nic jiného.

So it is through the data

Takže jsou to data,

that we often accidentally tell AI to do the wrong thing.

kterými často omylem žádáme UI o něco, co nechceme.

This is a fish called a tench.

Tahle ryba je lín.

And there was a group of researchers

Jedna skupina vědců

who trained an AI to identify this tench in pictures.

se jednou snažila naučit UI rozpoznávat lína na obrázcích.

But then when they asked it

Ale když se potom zeptali,

what part of the picture it was actually using to identify the fish,

kterou část obrázku skutečně používá k rozpoznání té ryby,

here's what it highlighted.

vyznačila toto.

Yes, those are human fingers.

Ano, to jsou lidské prsty.

Why would it be looking for human fingers

Proč by se dívala na lidské prsty,

if it's trying to identify a fish?

když se snaží rozpoznat rybu?

Well, it turns out that the tench is a trophy fish,

Jde o to, že lín je ryba, která se loví na udici,

and so in a lot of pictures that the AI had seen of this fish

takže na spoustě obrázků, kde ji UI při tréninku viděla,

during training,

ta ryba vypadala takto.

the fish looked like this.

(Laughter)

(Smích)

And it didn't know that the fingers aren't part of the fish.

Ona nevěděla, že ty prsty nejsou součástí ryby.

So you see why it is so hard to design an AI

Tady vidíte, jak je to těžké, navrhnout umělou inteligenci,

that actually can understand what it's looking at.

která skutečně dokáže pochopit, na co se dívá.

And this is why designing the image recognition

A to je důvod, proč je vývoj rozpoznávání obrazu

in self-driving cars is so hard,

pro samořiditelná auta tak těžký

and why so many self-driving car failures

a proč je spousta selhání samořiditelných aut

are because the AI got confused.

způsobena tím, že UI byla zmatená.

I want to talk about an example from 2016.

Chtěla bych zmínit příklad z roku 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Došlo ke smrtelné nehodě, když někdo používal autopilota Tesly,

but instead of using it on the highway like it was designed for,

ale místo aby ho používal na dálnici, pro kterou byl autopilot navržen,

they used it on city streets.

použil ho ve městě.

And what happened was,

A stalo se,

a truck drove out in front of the car and the car failed to brake.

že před auto vjel náklaďák a to auto nezabrzdilo.

Now, the AI definitely was trained to recognize trucks in pictures.

Umělá inteligence určitě byla trénovaná na rozpoznávání nákladních aut.

But what it looks like happened is

Ale problém byl nejspíš v tom,

the AI was trained to recognize trucks on highway driving,

že UI byla trénovaná na rozpoznávání náklaďáků na dálnici,

where you would expect to see trucks from behind.

kde lze očekávat, že jsou vidět jenom zezadu.

Trucks on the side is not supposed to happen on a highway,

Na dálnici se nemůže vyskytnout náklaďák ze strany,

and so when the AI saw this truck,

takže když UI viděla ten náklaďák,

it looks like the AI recognized it as most likely to be a road sign

tak si nejspíš řekla, že to asi bude dopravní značka

and therefore, safe to drive underneath.

a může bezpečně projet pod ní.

Here's an AI misstep from a different field.

Teď přešlap UI z jiné oblasti.

Amazon recently had to give up on a résumé-sorting algorithm

V Amazonu museli nedávno vzdát vývoj algoritmu na třídění životopisů,

that they were working on

when they discovered that the algorithm had learned to discriminate against women.

když zjistili, že ten algoritmus se naučil diskriminovat ženy.

Trénovali ho na příkladech životopisů lidí,

What happened is they had trained it on example résumés

of people who they had hired in the past.

které zaměstnali v minulosti.

And from these examples, the AI learned to avoid the résumés of people

A z těchto příkladů se UI naučila vyhýbat se životopisům lidí,

who had gone to women's colleges

kteří chodili na ženské univerzity,

or who had the word "women" somewhere in their resume,

nebo měli slovo ‚žena‘ někde ve svém životopisu,

as in, "women's soccer team" or "Society of Women Engineers."

jako třeba ‚ženský fotbalový tým‘, nebo ‚Společnost ženských inženýrů‘.

The AI didn't know that it wasn't supposed to copy this particular thing

Umělá inteligence nevěděla, že neměla napodobovat tuhle konkrétní věc,

that it had seen the humans do.

kterou viděla u lidí.

And technically, it did what they asked it to do.

A technicky vzato dělala to, o co jí žádali.

They just accidentally asked it to do the wrong thing.

Jenom ji omylem požádali o špatnou věc.

And this happens all the time with AI.

A tohle se děje s umělou inteligencí stále.

AI can be really destructive and not know it.

UI může být opravdu destruktivní a nevědět o tom.

So the AIs that recommend new content in Facebook, in YouTube,

UI, která doporučuje obsah na Facebooku nebo YouTube,

they're optimized to increase the number of clicks and views.

je optimalizovaná na zvyšování počtu kliknutí a shlédnutí.

And unfortunately, one way that they have found of doing this

Bohužel se ukázalo, že jeden způsob jak toho dosahuje,

is to recommend the content of conspiracy theories or bigotry.

je doporučovat obsah plný předsudků nebo konspiračních teorií.

The AIs themselves don't have any concept of what this content actually is,

Samotná umělá inteligence nemá ponětí, co ten obsah skutečně znamená

and they don't have any concept of what the consequences might be

a nemá ani ponětí o možných důsledcích doporučování takového obsahu.

of recommending this content.

So, when we're working with AI,

Takže když pracujeme s UI,

it's up to us to avoid problems.

je na nás, abychom se vyvarovali problémů.

And avoiding things going wrong,

A vyvarovat se problémů

that may come down to the age-old problem of communication,

může být otázkou prastarého problému komunikace,

where we as humans have to learn how to communicate with AI.

přičemž my jako lidé se musíme naučit komunikovat s umělou inteligencí.

We have to learn what AI is capable of doing and what it's not,

Musíme se naučit, co UI dokáže a co nedokáže

and to understand that, with its tiny little worm brain,

a pochopit, že se svým malinkatým žížalím mozečkem

AI doesn't really understand what we're trying to ask it to do.

UI tak úplně nerozumí tomu, o co se ji snažíme požádat.

So in other words, we have to be prepared to work with AI

Jinými slovy, musíme být připraveni pracovat s UI,

that's not the super-competent, all-knowing AI of science fiction.

která není superschopná vševědoucí umělá inteligence ze sci-fi.

We have to be prepared to work with an AI

Musíme být připraveni pracovat s UI,

that's the one that we actually have in the present day.

kterou máme k dispozici dnes.

And present-day AI is plenty weird enough.

Dnešní UI je docela dost divná.

Thank you.

Děkuji.

(Applause)

(Potlesk)