The danger of AI is weirder than you think | Janelle Shane

Перекладач: Vadym Korniienko Утверджено: Sofia Kovalchuk

So, artificial intelligence

Штучний інтелект

is known for disrupting all kinds of industries.

відомий своїм впливом на усі галузі промисловості.

What about ice cream?

А як щодо морозива?

What kind of mind-blowing new flavors could we generate

Які нові дивовижні смаки ми можемо отримати

with the power of an advanced artificial intelligence?

за допомогою передового штучного інтелекту?

So I teamed up with a group of coders from Kealing Middle School

Отож, я об'єднала свої зусилля із групою програмістів зі школи Кілінг Міддл Скул,

to find out the answer to this question.

щоб знайти відповідь на це запитання.

They collected over 1,600 existing ice cream flavors,

Програмісти зібрали понад 1600 існуючих назв смаків морозива,

and together, we fed them to an algorithm to see what it would generate.

і ми пов'язали ці смаки із алгоритмом, щоб побачити, що він видасть.

And here are some of the flavors that the AI came up with.

Ось неповний перелік смаків, які нам видав штучний інтелект (ШІ).

[Pumpkin Trash Break]

[Смак гарбуза зі сміттям]

(Laughter)

(Сміх)

[Peanut Butter Slime]

[Смак арахісового масла зі слизом]

[Strawberry Cream Disease]

[Полунично-вершкова інфекція]

(Laughter)

(Сміх)

These flavors are not delicious, as we might have hoped they would be.

Ці смаки видалися не такими смачними, як ми на те сподівалися.

So the question is: What happened?

Із цього випливає питання: Що сталося?

What went wrong?

Що пішло не так?

Is the AI trying to kill us?

Невже ШІ намагається нас вбити?

Or is it trying to do what we asked, and there was a problem?

Чи він намагається зробити те, що ми попросили, а це і стало проблемою?

In movies, when something goes wrong with AI,

У фільмах, коли щось пішло не так зі ШІ,

it's usually because the AI has decided

зазвичай поясненням є те, що ШІ вирішив,

that it doesn't want to obey the humans anymore,

що він більше не хоче підкорятися людині,

and it's got its own goals, thank you very much.

та він має власні цілі, і все, дуже дякую.

In real life, though, the AI that we actually have

Проте у реальному житті, ШІ, який фактично існує зараз,

is not nearly smart enough for that.

ще не настільки розумний, щоб утнути таке.

It has the approximate computing power

Він має приблизно таку саму обчислювальну потужність,

of an earthworm,

як дощовий черв'як,

or maybe at most a single honeybee,

або максимум, як одна бджола,

and actually, probably maybe less.

а насправді, можливо і менше.

Like, we're constantly learning new things about brains

Подібним чином ми дізнаємося щось нове про наш мозок

that make it clear how much our AIs don't measure up to real brains.

і тоді бачимо, як далеко ще знаходиться ШІ у порівнянні з людським мозком.

So today's AI can do a task like identify a pedestrian in a picture,

У наш час ШІ здатний, наприклад, розпізнати пішохода на малюнку,

but it doesn't have a concept of what the pedestrian is

але він не має уявлення про те, що це таке -- пішохід.

beyond that it's a collection of lines and textures and things.

Для ШІ пішохід -- це набір ліній та текстури, і таке інше.

It doesn't know what a human actually is.

Він не розуміє насправді, що це таке -- людина.

So will today's AI do what we ask it to do?

Тож чи виконає сучасний ШІ те, що нам потрібно зробити?

It will if it can,

Виконає, якщо зможе,

but it might not do what we actually want.

але мабуть він виконає це не так, як би нам того хотілося.

So let's say that you were trying to get an AI

Уявімо, що ви намагаєтеся зробити так, щоб ШІ

to take this collection of robot parts

взяв ці окремі частини робота

and assemble them into some kind of robot to get from Point A to Point B.

і склав із них іншого робота, який повинен дістатися з точки А у точку Б.

Now, if you were going to try and solve this problem

Якби ви намагалися вирішити цю проблему

by writing a traditional-style computer program,

шляхом написання традиційної комп'ютерної програми,

you would give the program step-by-step instructions

ви б надали цій програмі покрокові вказівки стосовно того,

on how to take these parts,

як взяти ці частини,

how to assemble them into a robot with legs

як скласти з них робота з ногами,

and then how to use those legs to walk to Point B.

і як застосувати ці ноги, щоб дійти до точки Б.

But when you're using AI to solve the problem,

Але якщо застосувати ШІ для вирішення цієї проблеми,

it goes differently.

він зробить по-іншому.

You don't tell it how to solve the problem,

Ви не повідомляєте йому, як вирішити цю проблему,

you just give it the goal,

ви лише ставите перед ним мету,

and it has to figure out for itself via trial and error

а він повинен визначити для себе шляхом спроб та помилок,

how to reach that goal.

як досягти цієї мети.

And it turns out that the way AI tends to solve this particular problem

І, виявляється, що спосіб, за допомогою якого ШІ намагається вирішити цю проблему,

is by doing this:

полягає в наступному:

it assembles itself into a tower and then falls over

він складає із тих частин вежу, яка потім падає

and lands at Point B.

і приземляється у точку Б.

And technically, this solves the problem.

Фактично, цим вирішується дана проблема.

Technically, it got to Point B.

Фактично, він дістався до точки Б.

The danger of AI is not that it's going to rebel against us,

Небезпека ШІ полягає не в тому, що він повстане проти нас,

it's that it's going to do exactly what we ask it to do.

а в тому, що він робитиме конкретно те, що ми його попросимо зробити.

So then the trick of working with AI becomes:

Головна складність роботи зі ШІ полягає у цьому:

How do we set up the problem so that it actually does what we want?

як вирішити проблему, щоб ШІ зробив саме те, що нам потрібно?

So this little robot here is being controlled by an AI.

Тож зараз ви бачите маленького робота, яким керує ШІ.

The AI came up with a design for the robot legs

ШІ спроектував ноги робота,

and then figured out how to use them to get past all these obstacles.

а потім спланував, як їх застосувати, щоб подолати ці перешкоди.

But when David Ha set up this experiment,

Але коли Дейвід Ха проводив цей експеримент,

he had to set it up with very, very strict limits

він був змушений провести його у дуже суворих рамках

on how big the AI was allowed to make the legs,

стосовно того, який розмір ніг дозволялося мати ШІ,

because otherwise ...

тому що у іншому випадку...

(Laughter)

(Сміх)

And technically, it got to the end of that obstacle course.

Фактично, він дістався до кінця смуги перешкод.

So you see how hard it is to get AI to do something as simple as just walk.

Тож ви бачите, як складно навчити ШІ навіть такому простому, як ходьба.

So seeing the AI do this, you may say, OK, no fair,

Коли ви побачили, як це робить ШІ, ви можете сказати, що це нечесно,

you can't just be a tall tower and fall over,

ти не можеш просто стати вежею, а потім впасти,

you have to actually, like, use legs to walk.

фактично, тобі необхідно застосувати ноги, щоб ходити.

And it turns out, that doesn't always work, either.

І виявляється, це теж не завжди спрацьовує.

This AI's job was to move fast.

Це завдання ШІ полягало у швидкому русі.

They didn't tell it that it had to run facing forward

У ШІ не було вказівок стосовно того, що він повинен бігти обличчям вперед,

or that it couldn't use its arms.

або що йому заборонено використовувати руки.

So this is what you get when you train AI to move fast,

Ось, що ви отримаєте, коли будете тренувати ШІ рухатися швидко.

you get things like somersaulting and silly walks.

Ви отримаєте такий результат, як перекочування та незграбна ходьба.

It's really common.

Це справді так.

So is twitching along the floor in a heap.

Або дивні рухи по підлозі у вигляді купи.

(Laughter)

(Сміх)

So in my opinion, you know what should have been a whole lot weirder

На мою думку, більш чудернацькими були б

is the "Terminator" robots.

роботи "Термінатори".

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

ШІ може навіть зламати "Матрицю", якщо ви дасте йому таке завдання.

So if you train an AI in a simulation,

Під час навчання в ком'ютерній симуляції,

it will learn how to do things like hack into the simulation's math errors

ШІ навчиться, як зламувати математичні помилки симуляції

and harvest them for energy.

та збирати їх для енергії.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Або він зрозуміє, як рухатися швидше, повторно відштовхуючись від підлоги.

When you're working with AI,

Коли ви працюєте зі ШІ,

it's less like working with another human

це не схоже на роботу з іншою людиною,

and a lot more like working with some kind of weird force of nature.

а більш схоже на співпрацю зі згубною силою природи.

And it's really easy to accidentally give AI the wrong problem to solve,

І дуже легко випадково поставити перед ШІ зовсім не ту проблему,

and often we don't realize that until something has actually gone wrong.

і часто ми усвідомлюємо це лише тоді, коли щось пішло не так.

So here's an experiment I did,

Ось результати проведеного експерименту,

where I wanted the AI to copy paint colors,

під час якого я хотіла, щоб ШІ скопіював фарби

to invent new paint colors,

для винайдення нових кольорів,

given the list like the ones here on the left.

на основі переліку фарб, які подані зліва.

And here's what the AI actually came up with.

І ось, що ШІ фактично вигадав.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Сіндійський Дурень, Випорожнення, Страждання, Сіре Суспільство]

(Laughter)

(Сміх)

So technically,

Фактично,

it did what I asked it to.

він зробив те, про що я його попросила.

I thought I was asking it for, like, nice paint color names,

Я думала, що попросила його, скажімо, вигадати красиві назви кольорів,

but what I was actually asking it to do

але насправді я поставила перед ним завдання

was just imitate the kinds of letter combinations

лише зімітувати різні варіанти буквосполучень,

that it had seen in the original.

які він побачив в оригіналі.

And I didn't tell it anything about what words mean,

І я не говорила нічого про значення цих слів

or that there are maybe some words

або про те, що, можливо, існують певні слові,

that it should avoid using in these paint colors.

яких слід уникати, вигадуючи назви цих кольорів.

So its entire world is the data that I gave it.

Отже, його знання обмежуються лише інформацією, яку я надала.

Like with the ice cream flavors, it doesn't know about anything else.

Наприклад, як назви смаків морозива, про які він більше нічого не знає.

So it is through the data

Саме через подачу такої інформації

that we often accidentally tell AI to do the wrong thing.

трапляється, що ми часто просимо ШІ робити не те, що нам потрібно.

This is a fish called a tench.

На екрані ви бачите зображення риби під назвою "лин".

And there was a group of researchers

Отже, одна група дослідників

who trained an AI to identify this tench in pictures.

тренувала ШІ розпізнавати зображення цього лина на малюнках.

But then when they asked it

Коли вони запитали його,

what part of the picture it was actually using to identify the fish,

яку частину малюнка він застосовував для розпізнавання цієї риби,

here's what it highlighted.

результат був наступним:

Yes, those are human fingers.

так, це були людські пальці.

Why would it be looking for human fingers

Чому він шукав зображення пальців,

if it's trying to identify a fish?

якщо він намагався розпізнати рибу?

Well, it turns out that the tench is a trophy fish,

Виявляється, що лин -- це рідкісна риба,

and so in a lot of pictures that the AI had seen of this fish

тому на багатьох фотографіях цієї риби, які бачив ШІ

during training,

під час тренувань,

the fish looked like this.

ця риба виглядала ось так.

(Laughter)

(Сміх)

And it didn't know that the fingers aren't part of the fish.

І він не розумів, що пальці не є частиною цієї риби.

So you see why it is so hard to design an AI

Тепер зрозуміло, чому так важко запрограмувати ШІ таким чином,

that actually can understand what it's looking at.

щоб він міг зрозуміти те, на що він дивиться.

And this is why designing the image recognition

Саме тому розробка системи розпізнавання зображень

in self-driving cars is so hard,

для самокерованих автомобілів дуже складна.

and why so many self-driving car failures

І тому часті збої у роботі цих автомобілів

are because the AI got confused.

пояснюються тим, що ШІ опинився у безвиході.

I want to talk about an example from 2016.

Я хочу розповісти про аварію, яка сталася у 2016 році.

There was a fatal accident when somebody was using Tesla's autopilot AI,

Причина фатального ДТП -- режим автопілота під керуванням ШІ у електрокарі Тесла,

but instead of using it on the highway like it was designed for,

але замість застосування ШІ на автомагістралі, для чого його і створили,

they used it on city streets.

його використали на дорогах міста.

And what happened was,

І сталось так, що

a truck drove out in front of the car and the car failed to brake.

вантажівка виїхала перед електрокаром, і йому не вдалося загальмувати.

Now, the AI definitely was trained to recognize trucks in pictures.

Розумієте, ШІ точно тренували на розпізнавання вантажівок на фото.

But what it looks like happened is

Але, здається, трапилось так, що

the AI was trained to recognize trucks on highway driving,

ШІ тренували для розпізнавання вантажівок на автомагістралі,

where you would expect to see trucks from behind.

де ви очікуєте побачити вантажівки позаду.

Trucks on the side is not supposed to happen on a highway,

Вантажівки не можуть бути на бічній смузі автомагістралі,

and so when the AI saw this truck,

тому, коли ШІ помітив цю вантажівку,

it looks like the AI recognized it as most likely to be a road sign

схоже на те, що він розпізнав її, імовірніше, як дорожній знак,

and therefore, safe to drive underneath.

і тому збирався безпечно проїхати під ним.

Here's an AI misstep from a different field.

Ще один приклад збою ШІ з іншої сфери.

Amazon recently had to give up on a résumé-sorting algorithm

Компанія Amazon була змушена відмовитися від алгоритму сортування резюме,

that they were working on

над яким вона працювала,

when they discovered that the algorithm had learned to discriminate against women.

коли стало відомо, що цей алгоритм навчився дискримінувати жінок.

What happened is they had trained it on example résumés

Трапилося так, що вони тренували ШІ на прикладах резюме

of people who they had hired in the past.

людей, яких найняли раніше.

And from these examples, the AI learned to avoid the résumés of people

І на основі цих прикладів ШІ навчився уникати резюме тих людей,

who had gone to women's colleges

які навчалися у жіночих коледжах,

or who had the word "women" somewhere in their resume,

або в чиїх резюме десь траплялося слово ''жінка'',

as in, "women's soccer team" or "Society of Women Engineers."

наприклад, ''жіноча футбольна команда'' або ''Спілка інженеринь''.

The AI didn't know that it wasn't supposed to copy this particular thing

ШІ не знав, що йому не потрібно було копіювати цю конкретну інформацію

that it had seen the humans do.

стосовно того, чим займалися ці люди.

And technically, it did what they asked it to do.

І фактично, він зробив те, що його попросили.

They just accidentally asked it to do the wrong thing.

Його просто випадково неправильно попросили це зробити.

And this happens all the time with AI.

І це постійно трапляється зі ШІ.

AI can be really destructive and not know it.

ШІ дійсно може бути руйнівним, навіть не знаючи про це.

So the AIs that recommend new content in Facebook, in YouTube,

Тому ШІ, який рекомендує новий контент для перегляду у Facebook або Youtube,

they're optimized to increase the number of clicks and views.

він оптимізований для підвищення кількості кліків та переглядів.

And unfortunately, one way that they have found of doing this

І, на жаль, спосіб, як ШІ навчився це робити,

is to recommend the content of conspiracy theories or bigotry.

полягає у рекомендації вмісту, пов'язаного із теорією змови або фанатизмом.

The AIs themselves don't have any concept of what this content actually is,

Сам ШІ не має жодного уявлення стосовно того, про що ця інформація,

and they don't have any concept of what the consequences might be

і він не має жодного уявлення стосовно можливих наслідків

of recommending this content.

від рекомендації такого контенту.

So, when we're working with AI,

Тож, коли ми працюємо зі ШІ,

it's up to us to avoid problems.

саме ми повинні усунути будь-які проблеми.

And avoiding things going wrong,

І, усуваючи проблеми,

that may come down to the age-old problem of communication,

які зводяться до однієї одвічної проблеми спілкування,

where we as humans have to learn how to communicate with AI.

ми, як представники людського роду, повинні навчитися спілкуватися із ШІ.

We have to learn what AI is capable of doing and what it's not,

Нам слід навчитися дізнаватися, що здатний зробити ШІ, а що ні,

and to understand that, with its tiny little worm brain,

і розуміти те, що зі своїм крихітним примітивним мозком

AI doesn't really understand what we're trying to ask it to do.

ШІ насправді не розуміє, про що його намагаються попросити зробити.

So in other words, we have to be prepared to work with AI

Іншими словами, ми повинні бути готові працювати зі ШІ,

that's not the super-competent, all-knowing AI of science fiction.

який не є компетентним, всезнаючим ШІ із області наукової фантастики.

We have to be prepared to work with an AI

Нам треба бути готовими працювати зі ШІ,

that's the one that we actually have in the present day.

з яким ми маємо справу у наш час.

And present-day AI is plenty weird enough.

І теперішній Ші здатний принести нам багато неочікуваних сюрпризів.

Thank you.

Дякую.

(Applause)

(Оплески)