The danger of AI is weirder than you think | Janelle Shane

Переводчик: Maria Kibel Редактор: Yulia Kallistratova

So, artificial intelligence

Итак, искусственный интеллект

is known for disrupting all kinds of industries.

известен тем, что вмешивается во все виды промышленности.

What about ice cream?

А как насчёт мороженого?

What kind of mind-blowing new flavors could we generate

Какие новые умопомрачительные вкусы мы можем создать

with the power of an advanced artificial intelligence?

с помощью продвинутого искусственного интеллекта?

So I teamed up with a group of coders from Kealing Middle School

Чтобы это выяснить, я объединилась с группой программистов

to find out the answer to this question.

из средней школы Килинга.

They collected over 1,600 existing ice cream flavors,

Они собрали более 1 600 уже существующих вкусов мороженого,

and together, we fed them to an algorithm to see what it would generate.

и мы загрузили их в алгоритм, чтобы посмотреть, что он сгенерирует.

And here are some of the flavors that the AI came up with.

И вот некоторые из вкусов, которые придумал ИИ.

[Тыквенная мусорная куча]

[Pumpkin Trash Break]

(Laughter)

(Смех)

[Слизь арахисового масла]

[Peanut Butter Slime]

[Strawberry Cream Disease]

[Клубничное заболевание]

(Laughter)

(Смех)

These flavors are not delicious, as we might have hoped they would be.

Эти вкусы не такие приятные, как мы надеялись.

So the question is: What happened?

Так что же произошло?

What went wrong?

Что пошло не так?

Is the AI trying to kill us?

ИИ пытается убить нас?

Or is it trying to do what we asked, and there was a problem?

Или он пытается сделать именно то, о чём мы его просили, и в этом проблема?

In movies, when something goes wrong with AI,

В фильмах, когда с ИИ что-то не в порядке,

it's usually because the AI has decided

обычно это потому, что ИИ решил,

that it doesn't want to obey the humans anymore,

что больше не хочет подчиняться людям

and it's got its own goals, thank you very much.

и имеет свои цели, спасибо большое.

In real life, though, the AI that we actually have

Однако в реальной жизни современный ИИ

is not nearly smart enough for that.

недостаточно умён для этого.

It has the approximate computing power

Его вычислительная мощность приблизительно совпадает

of an earthworm,

с дождевым червём

or maybe at most a single honeybee,

или максимум с одной пчелой.

and actually, probably maybe less.

Хотя на самом деле она, скорее всего, даже меньше.

Like, we're constantly learning new things about brains

Мы постоянно узнаём что-то новое о нашем мозге,

that make it clear how much our AIs don't measure up to real brains.

что показывает, как сильно ИИ отстаёт от нашего разума.

So today's AI can do a task like identify a pedestrian in a picture,

Например, современный ИИ может распознавать пешеходов на изображении,

but it doesn't have a concept of what the pedestrian is

но он не понимает, что такое пешеход,

beyond that it's a collection of lines and textures and things.

кроме набора линий, текстур и объектов.

It doesn't know what a human actually is.

Он не знает, что такое человек на самом деле.

So will today's AI do what we ask it to do?

Так что сделает ли современный ИИ то, о чём мы его попросим?

It will if it can,

Да, если сможет,

but it might not do what we actually want.

но в итоге может получиться не то, чего мы хотели на самом деле.

So let's say that you were trying to get an AI

Допустим, вы хотите, чтобы ИИ

to take this collection of robot parts

взял эти детали и собрал из них робота,

and assemble them into some kind of robot to get from Point A to Point B.

который сможет добраться из точки А в точку Б.

Now, if you were going to try and solve this problem

Если бы вы пытались решить эту задачу

by writing a traditional-style computer program,

с помощью обычной компьютерной программы,

you would give the program step-by-step instructions

вы бы запрограммировали пошаговые инструкции о том,

on how to take these parts,

как взять эти детали,

how to assemble them into a robot with legs

как собрать из них робота с ногами

and then how to use those legs to walk to Point B.

и как потом использовать эти ноги, чтобы дойти до точки Б.

But when you're using AI to solve the problem,

Но при использовании ИИ

it goes differently.

всё происходит по-другому.

You don't tell it how to solve the problem,

Вы не говорите ему, как решить эту задачу,

you just give it the goal,

вы просто указываете цель,

and it has to figure out for itself via trial and error

и ИИ должен сам методом проб и ошибок решить,

how to reach that goal.

как достичь этой цели.

And it turns out that the way AI tends to solve this particular problem

И оказывается, что ИИ пытается решить

эту конкретную задачу так:

is by doing this:

it assembles itself into a tower and then falls over

он собирается в башню и падает,

and lands at Point B.

приземляясь в точке Б.

And technically, this solves the problem.

И технически это решает поставленную задачу.

Technically, it got to Point B.

Технически он попадает в точку Б.

The danger of AI is not that it's going to rebel against us,

Опасность ИИ заключается не в том, что он восстанет против нас,

it's that it's going to do exactly what we ask it to do.

а в том, что он будет делать именно то, о чём мы его попросим.

So then the trick of working with AI becomes:

Так что основная сложность при работе с ИИ

How do we set up the problem so that it actually does what we want?

в том, как поставить задачу, чтобы он сделал именно то, что мы хотим.

So this little robot here is being controlled by an AI.

Этот маленький робот управляется ИИ.

The AI came up with a design for the robot legs

ИИ разработал конструкцию ног робота

and then figured out how to use them to get past all these obstacles.

и придумал, как их использовать для преодоления всех этих препятствий.

But when David Ha set up this experiment,

Но когда Дэвид Ха проводил этот эксперимент,

he had to set it up with very, very strict limits

ему пришлось установить очень жёсткие ограничения

on how big the AI was allowed to make the legs,

длинны ног, которые мог сделать ИИ,

because otherwise ...

потому что иначе...

(Смех)

(Laughter)

And technically, it got to the end of that obstacle course.

И технически он преодолел эту полосу препятствий.

So you see how hard it is to get AI to do something as simple as just walk.

Так что вы видите, как сложно заставить ИИ сделать что-то такое простое, как ходьба.

So seeing the AI do this, you may say, OK, no fair,

Конечно, можно попробовать сказать: «Нет, так не честно,

you can't just be a tall tower and fall over,

ты не можешь просто стать башней и упасть,

you have to actually, like, use legs to walk.

ты должен использовать ноги, чтобы ходить».

And it turns out, that doesn't always work, either.

И оказывается, что даже это не всегда работает.

This AI's job was to move fast.

Задачей этого ИИ было научиться быстро двигаться.

They didn't tell it that it had to run facing forward

Но ему не сказали, что нужно бежать лицом вперёд

or that it couldn't use its arms.

или что нельзя использовать руки.

So this is what you get when you train AI to move fast,

Так что часто, если вы пытаетесь научить ИИ быстро передвигаться,

you get things like somersaulting and silly walks.

у него получаются такие сальто и глупые движения.

It's really common.

Это происходит очень часто.

So is twitching along the floor in a heap.

Или он просто ползает кучкой по полу.

(Laughter)

(Смех)

So in my opinion, you know what should have been a whole lot weirder

Так что я считаю, что Терминаторы должны были быть

is the "Terminator" robots.

гораздо более странными.

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

А ещё ИИ постоянно пытается взломать «Матрицу».

So if you train an AI in a simulation,

Если вы обучаете ИИ в симуляции,

it will learn how to do things like hack into the simulation's math errors

он научится использовать её математические ошибки

and harvest them for energy.

для получения энергии.

Or it will figure out how to move faster by glitching repeatedly into the floor.

Или он научится двигаясь быстрее, постоянно врезаясь в пол.

When you're working with AI,

Когда вы работаете с ИИ,

это совсем не похоже на взаимодействие с другим человеком,

it's less like working with another human

and a lot more like working with some kind of weird force of nature.

это больше похоже на какую-то странную силу природы.

And it's really easy to accidentally give AI the wrong problem to solve,

И на самом деле очень легко случайно поставить перед ИИ неправильную цель,

and often we don't realize that until something has actually gone wrong.

даже того не осознавая, пока что-то не пойдёт не так.

So here's an experiment I did,

Вот эксперимент, который я провела:

where I wanted the AI to copy paint colors,

я хотела, чтобы ИИ использовал существующие цвета,

to invent new paint colors,

чтобы придумывать новые

given the list like the ones here on the left.

из подобных списков.

And here's what the AI actually came up with.

И вот что из этого получилось.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[Какашки Синди, Дурацкий, Страдание, Серый лобковый]

(Laughter)

(Смех)

So technically,

Технически

it did what I asked it to.

он сделал то, о чём я просила.

I thought I was asking it for, like, nice paint color names,

Я думала, что прошу его придумать красивые названия цветов,

but what I was actually asking it to do

но на самом деле я попросила его

was just imitate the kinds of letter combinations

просто подражать комбинациям букв,

that it had seen in the original.

которые он видел в оригинале.

And I didn't tell it anything about what words mean,

И я ничего не сказала ему о значении слов

or that there are maybe some words

или о том, что некоторые слова

that it should avoid using in these paint colors.

лучше не использовать в названиях цветов.

So its entire world is the data that I gave it.

Всё, что он знает о мире, — это данные, которые я ему предоставила.

Like with the ice cream flavors, it doesn't know about anything else.

Так же как со вкусами мороженого, он не знает ничего другого.

So it is through the data

Так что именно посредством данных

that we often accidentally tell AI to do the wrong thing.

мы случайно можем поручить ИИ сделать что-то неправильное.

This is a fish called a tench.

Эта рыба называется линь.

And there was a group of researchers

Одна группа исследователей

who trained an AI to identify this tench in pictures.

обучила ИИ распознавать линя на фотографиях.

But then when they asked it

Но когда они спросили,

what part of the picture it was actually using to identify the fish,

какие части изображений ИИ использовал, чтобы распознать эту рыбу,

here's what it highlighted.

вот что они получили в ответ.

Yes, those are human fingers.

Да, это человеческие пальцы.

Why would it be looking for human fingers

Но с какой стати ИИ ищет на изображении пальцы,

if it's trying to identify a fish?

пытаясь распознать рыбу?

Well, it turns out that the tench is a trophy fish,

Оказывается, линь — трофейная рыба,

and so in a lot of pictures that the AI had seen of this fish

и на множестве фотографий, которые видел ИИ

during training,

в ходе обучения,

the fish looked like this.

рыба выглядела вот так.

(Laughter)

(Смех)

And it didn't know that the fingers aren't part of the fish.

И ИИ не знал, что пальцы не относятся к рыбе.

So you see why it is so hard to design an AI

Так что теперь вы понимаете, почему так сложно разработать ИИ,

that actually can understand what it's looking at.

который сможет понять, что он видит.

And this is why designing the image recognition

И поэтому распознавание изображений в беспилотных автомобилях

in self-driving cars is so hard,

так сложно спроектировать.

and why so many self-driving car failures

И так много сбоев в них происходит из-за того,

are because the AI got confused.

что ИИ неправильно распознал объекты.

I want to talk about an example from 2016.

Например, автомобильная катастрофа,

которая произошла в 2016 году из-за того,

There was a fatal accident when somebody was using Tesla's autopilot AI,

что водитель использовал автопилот Теслы в городе,

but instead of using it on the highway like it was designed for,

хотя он был разработан для передвижения по трассе.

they used it on city streets.

And what happened was,

Вот, что произошло:

a truck drove out in front of the car and the car failed to brake.

перед машиной выехал грузовик, но машина не затормозила.

Now, the AI definitely was trained to recognize trucks in pictures.

Конечно, ИИ был обучен распознавать грузовики на изображениях.

But what it looks like happened is

Но, судя по всему,

the AI was trained to recognize trucks on highway driving,

ИИ был обучен распознавать их при движении по шоссе,

where you would expect to see trucks from behind.

где грузовики можно увидеть только сзади.

Trucks on the side is not supposed to happen on a highway,

Вид на грузовики сбоку обычно не встречается на шоссе.

and so when the AI saw this truck,

Так что когда ИИ увидел этот грузовик,

it looks like the AI recognized it as most likely to be a road sign

судя по всему, он распознал его как дорожный знак

and therefore, safe to drive underneath.

и поэтому решил, что под ним можно безопасно проехать.

Here's an AI misstep from a different field.

Вот ещё одна ошибка ИИ из другой области.

Amazon recently had to give up on a résumé-sorting algorithm

Недавно Amazon отказался от использования алгоритма отбора резюме,

that they were working on

который они разрабатывали,

when they discovered that the algorithm had learned to discriminate against women.

когда они выяснили, что алгоритм дискриминирует женщин.

Из-за того, что алгоритм обучался на выборке резюме

What happened is they had trained it on example résumés

of people who they had hired in the past.

кандидатов, которых нанимали в прошлом,

And from these examples, the AI learned to avoid the résumés of people

ИИ научился избегать резюме кандидатов,

who had gone to women's colleges

которые учились в женских колледжах

or who had the word "women" somewhere in their resume,

или у которых встречались слова «женщина» или «женский» в резюме.

as in, "women's soccer team" or "Society of Women Engineers."

Например, «женская футбольная команда» или «Общество женщин-инженеров».

The AI didn't know that it wasn't supposed to copy this particular thing

ИИ не знал, что не нужно было повторять это конкретное поведение людей.

that it had seen the humans do.

And technically, it did what they asked it to do.

И технически он сделал то, о чём его просили.

They just accidentally asked it to do the wrong thing.

Просто перед ним неправильно поставили задачу.

And this happens all the time with AI.

И подобные вещи происходят с ИИ постоянно.

AI can be really destructive and not know it.

ИИ может оказывать разрушительный эффект, не осознавая этого.

So the AIs that recommend new content in Facebook, in YouTube,

Например, алгоритмы ИИ, которые предлагают новый контент на Facebook и YouTube,

they're optimized to increase the number of clicks and views.

оптимизированы для увеличения количества кликов и просмотров.

And unfortunately, one way that they have found of doing this

И к сожалению, один из способов этого добиться —

is to recommend the content of conspiracy theories or bigotry.

рекомендовать контент с теориями заговора и фанатизмом.

The AIs themselves don't have any concept of what this content actually is,

Сами ИИ понятия не имеют о содержании контента,

and they don't have any concept of what the consequences might be

так же как и о последствиях

of recommending this content.

рекомендации такого контента.

So, when we're working with AI,

Так что при использовании ИИ

it's up to us to avoid problems.

заботиться об избежании проблем должны именно мы.

And avoiding things going wrong,

И попытки избежать проблем

that may come down to the age-old problem of communication,

можно свести к извечной проблеме коммуникации,

where we as humans have to learn how to communicate with AI.

при которой нам, людям, нужно научиться общаться с ИИ.

We have to learn what AI is capable of doing and what it's not,

Мы должны изучить, но что ИИ способен, а что ему недоступно.

and to understand that, with its tiny little worm brain,

И мы должны понять, что ИИ с его крошечным разумом червяка

AI doesn't really understand what we're trying to ask it to do.

на самом деле не понимает, чего мы от него хотим.

So in other words, we have to be prepared to work with AI

Другими словами, нужно смириться с тем, что нам придётся работать

that's not the super-competent, all-knowing AI of science fiction.

не с суперумным всезнающим ИИ из научной фантастики.

We have to be prepared to work with an AI

Мы должны быть готовы к работе

that's the one that we actually have in the present day.

а с тем, что у нас есть сейчас.

And present-day AI is plenty weird enough.

И современный ИИ достаточно странный.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)