3 principles for creating safer AI | Stuart Russell

Переводчик: Nataliia Pysemska Редактор: Yekaterina Jussupova

This is Lee Sedol.

Это Ли Седоль.

Lee Sedol is one of the world's greatest Go players,

Ли Седоль — один из лучших игроков в го в мире,

and he's having what my friends in Silicon Valley call

и сейчас он в ситуации, которую мои друзья

из Силиконовой долины называют «Мама дорогая!» —

a "Holy Cow" moment --

(Laughter)

(Смех)

a moment where we realize

момент осознания того,

that AI is actually progressing a lot faster than we expected.

что искусственный интеллект развивается гораздо быстрее, чем мы ожидали.

So humans have lost on the Go board. What about the real world?

Итак, человечество проиграло партию в го. Но как же реальный мир?

Well, the real world is much bigger,

Ну, реальный мир гораздо больше

much more complicated than the Go board.

и сложнее, чем доска для игры в го.

It's a lot less visible,

Несмотря на то, что это не столь очевидно,

but it's still a decision problem.

всё упирается в принятие решений.

And if we think about some of the technologies

Если мы задумаемся о грядущих

that are coming down the pike ...

технологических инновациях...

Noriko [Arai] mentioned that reading is not yet happening in machines,

Норико [Араи] упомянула, что машины ещё не понимают

at least with understanding.

смысл прочитанного.

But that will happen,

Но в будущем это произойдёт,

and when that happens,

и в этот момент,

very soon afterwards,

совсем скоро,

machines will have read everything that the human race has ever written.

машины прочитают всё, что когда-либо написали люди.

And that will enable machines,

Благодаря этому машины

along with the ability to look further ahead than humans can,

смогут предугадывать развитие событий лучше, чем люди;

as we've already seen in Go,

что и случилось во время игры в го.

if they also have access to more information,

Получив больший доступ к информации,

they'll be able to make better decisions in the real world than we can.

они смогут принимать решения лучше, чем мы.

So is that a good thing?

Хорошо ли это?

Well, I hope so.

Надеюсь, что да.

Our entire civilization, everything that we value,

Вся наша цивилизация, всё, чем мы дорожим,

is based on our intelligence.

основывается на нашем интеллекте.

And if we had access to a lot more intelligence,

Если бы наш интеллект увеличился,

then there's really no limit to what the human race can do.

человеческим возможностям не было бы предела.

And I think this could be, as some people have described it,

Думаю, это стало бы тем, что некоторые называют

the biggest event in human history.

величайшим событием в истории человечества.

So why are people saying things like this,

Почему же тогда люди говорят,

that AI might spell the end of the human race?

что ИИ может положить конец человечеству?

Is this a new thing?

Это что-то новое?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

Это лишь мнение Илона Маска, Билла Гейтса и Стивена Хокинга?

Actually, no. This idea has been around for a while.

На самом деле нет. Эта идея появилась довольно давно.

Here's a quotation:

Вот цитата:

"Even if we could keep the machines in a subservient position,

«Даже если бы мы сохранили власть над машинами,

for instance, by turning off the power at strategic moments" --

например, имея возможность отключить их в любой момент, —

and I'll come back to that "turning off the power" idea later on --

чуть позже я вернусь к этой идее отключения, —

"we should, as a species, feel greatly humbled."

мы, как вид, должны чувствовать себя довольно униженными».

So who said this? This is Alan Turing in 1951.

Кто же сказал это? Алан Тьюринг в 1951 году.

Alan Turing, as you know, is the father of computer science

Как известно, Алан Тьюринг является отцом информатики,

and in many ways, the father of AI as well.

а также, во многих аспектах, отцом ИИ.

So if we think about this problem,

Если мы задумаемся

the problem of creating something more intelligent than your own species,

над проблемой создания чего-то более разумного, чем наш вид,

we might call this "the gorilla problem,"

это можно будет назвать «проблемой гориллы»,

because gorillas' ancestors did this a few million years ago,

потому что предки горилл думали об этом несколько миллионов лет назад,

and now we can ask the gorillas:

и теперь гориллам можно задать вопрос:

Was this a good idea?

«Это была хорошая идея?»

So here they are having a meeting to discuss whether it was a good idea,

Они бы собрались, чтобы решить, была ли это хорошая идея,

and after a little while, they conclude, no,

и через некоторое время пришли бы к заключению,

this was a terrible idea.

что это была ужасная идея.

Our species is in dire straits.

Наш вид находится в ужасном состоянии.

In fact, you can see the existential sadness in their eyes.

Фактически в их глазах можно увидеть экзистенциальную печаль.

(Laughter)

(Смех)

So this queasy feeling that making something smarter than your own species

Что нам делать с тошнотворным ощущением,

is maybe not a good idea --

что создание кого-то умнее нас

what can we do about that?

может оказаться не лучшей идеей?

Well, really nothing, except stop doing AI,

Единственный выход — прекратить разработку ИИ.

and because of all the benefits that I mentioned

Но, учитывая упомянутые мной преимущества

and because I'm an AI researcher,

и тот факт, что я исследователь ИИ,

I'm not having that.

лично я против.

I actually want to be able to keep doing AI.

Я хочу продолжать создавать ИИ.

So we actually need to nail down the problem a bit more.

Поэтому нам следует обсудить проблему более подробно.

What exactly is the problem?

В чём суть проблемы?

Why is better AI possibly a catastrophe?

Почему совершенный ИИ может обернуться катастрофой?

So here's another quotation:

Вот ещё цитата:

"We had better be quite sure that the purpose put into the machine

«Нам следует быть уверенными, что цели, заложенные в машину,

is the purpose which we really desire."

совпадают с нашими желаниями».

This was said by Norbert Wiener in 1960,

Это сказал Норберт Винер в 1960 году,

shortly after he watched one of the very early learning systems

вскоре после того, как увидел, как одна из первых обучающихся систем

learn to play checkers better than its creator.

научилась играть в шашки лучше своего создателя.

But this could equally have been said

Нечто подобное сказал

by King Midas.

царь Мидас:

King Midas said, "I want everything I touch to turn to gold,"

«Хочу, чтобы всё, к чему я прикоснусь, превращалось в золото».

and he got exactly what he asked for.

Он получил именно то, что просил.

That was the purpose that he put into the machine,

Именно эту цель он вложил в машину,

so to speak,

так сказать,

and then his food and his drink and his relatives turned to gold

и затем еда, напитки и его семья превратились в золото,

and he died in misery and starvation.

а он сам умер мучительной и голодной смертью.

So we'll call this "the King Midas problem"

Итак, назовём это проблемой царя Мидаса:

of stating an objective which is not, in fact,

постановка цели, которая в действительности

truly aligned with what we want.

не совпадает с нашим желанием.

In modern terms, we call this "the value alignment problem."

В современном мире это называется проблемой согласования.

Putting in the wrong objective is not the only part of the problem.

Некорректная постановка цели — лишь часть проблемы.

There's another part.

Есть ещё кое-что.

If you put an objective into a machine,

Если вы закладываете в машину цель,

even something as simple as, "Fetch the coffee,"

даже такую простую как сварить кофе,

the machine says to itself,

машина задастся вопросом:

"Well, how might I fail to fetch the coffee?

«Как я могу потерпеть неудачу в приготовлении кофе?

Someone might switch me off.

Кто-то может отключить меня.

OK, I have to take steps to prevent that.

Тогда я должен предотвратить это.

I will disable my 'off' switch.

Я сломаю свой выключатель.

I will do anything to defend myself against interference

Я сделаю что угодно, чтобы защититься от любых вмешательств

with this objective that I have been given."

в процесс выполнения поставленной мне задачи».

So this single-minded pursuit

На деле этот режим

in a very defensive mode of an objective that is, in fact,

крайней самозащиты

not aligned with the true objectives of the human race --

не имеет ничего общего с первоначальной целью человечества —

that's the problem that we face.

именно с этой проблемой мы столкнулись.

And in fact, that's the high-value takeaway from this talk.

Фактически это главный тезис выступления.

If you want to remember one thing,

Единственное, что вам нужно помнить:

it's that you can't fetch the coffee if you're dead.

вы не сможете сварить кофе, если вы покойник.

(Laughter)

(Смех)

It's very simple. Just remember that. Repeat it to yourself three times a day.

Всё очень просто. Всего лишь помните это. Повторяйте себе это три раза в день.

(Laughter)

(Смех)

And in fact, this is exactly the plot

На самом деле, в этом заключается сюжет фильма

of "2001: [A Space Odyssey]"

«2001: [Космическая Одиссея]»:

HAL has an objective, a mission,

у HAL есть цель, миссия,

which is not aligned with the objectives of the humans,

которая не совпадает с целью людей,

and that leads to this conflict.

что и приводит к конфликту.

Now fortunately, HAL is not superintelligent.

К счастью, HAL не обладает сверхразумом.

He's pretty smart, but eventually Dave outwits him

Он довольно умный, но в итоге Дэйв смог перехитрить

and manages to switch him off.

и отключить его.

But we might not be so lucky.

Но нам может повезти меньше.

So what are we going to do?

Что же нам делать?

I'm trying to redefine AI

Я пытаюсь переосмыслить ИИ,

to get away from this classical notion

чтобы уйти от классического понятия машин,

of machines that intelligently pursue objectives.

которые благоразумно преследуют цель.

There are three principles involved.

Здесь задействованы три правила.

The first one is a principle of altruism, if you like,

Первое, правило альтруизма:

that the robot's only objective

единственная цель робота —

is to maximize the realization of human objectives,

помочь человеку добиться всего, к чему он стремится,

of human values.

и приумножить его ценности.

And by values here I don't mean touchy-feely, goody-goody values.

Я подразумеваю не сентиментальные ценности,

I just mean whatever it is that the human would prefer

а любые представления людей

their life to be like.

об идеальной жизни.

And so this actually violates Asimov's law

И это правило нарушает закон Азимова,

that the robot has to protect its own existence.

который гласит: робот должен защищать себя.

It has no interest in preserving its existence whatsoever.

Он вообще не заинтересован в сохранении своей жизни.

The second law is a law of humility, if you like.

Второе, правило покорности.

And this turns out to be really important to make robots safe.

Это действительно важно для того, чтобы обезопасить нас от роботов.

It says that the robot does not know

Оно гласит: робот не знает,

what those human values are,

что именно относится к человеческим ценностям,

so it has to maximize them, but it doesn't know what they are.

он должен приумножать их, не зная, что они из себя представляют.

And that avoids this problem of single-minded pursuit

Это позволяет избежать проблемы концентрации

of an objective.

на одной цели.

This uncertainty turns out to be crucial.

Эта неопределённость оказывается решающей.

Now, in order to be useful to us,

Но, чтобы приносить пользу,

it has to have some idea of what we want.

у него должно быть общее понимание наших желаний.

It obtains that information primarily by observation of human choices,

Он узнаёт об этом, в первую очередь, из решений, принимаемых людьми,

so our own choices reveal information

так что принятые нами решения содержат информацию о том,

about what it is that we prefer our lives to be like.

какой мы хотим сделать нашу жизнь.

So those are the three principles.

Итак, вот эти три правила.

Let's see how that applies to this question of:

Теперь рассмотрим, как они применяются к вопросу,

"Can you switch the machine off?" as Turing suggested.

поставленному Тьюрингом: «Можно ли отключить машину?»

So here's a PR2 robot.

Итак, это робот PR2

This is one that we have in our lab,

из нашей лаборатории.

and it has a big red "off" switch right on the back.

Прямо на спине у него есть красная кнопка «Выкл».

The question is: Is it going to let you switch it off?

Вопрос: позволит ли он вам отключить его?

If we do it the classical way,

Если мы пойдём старым путём,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

у него будет цель «Варить кофе; я должен варить кофе;

I can't fetch the coffee if I'm dead,"

я не могу варить кофе, если я мёртв».

so obviously the PR2 has been listening to my talk,

Очевидно, PR2 слушал моё выступление,

and so it says, therefore, "I must disable my 'off' switch,

и поэтому он говорит: «Я должен сломать свой выключатель

and probably taser all the other people in Starbucks

и вырубить работников Starbucks,

who might interfere with me."

которые могут мне помешать».

(Laughter)

(Смех)

So this seems to be inevitable, right?

Это кажется неизбежным, не так ли?

This kind of failure mode seems to be inevitable,

Кажется, этого фатального режима невозможно избежать,

and it follows from having a concrete, definite objective.

он следует из конкретно определённой цели.

So what happens if the machine is uncertain about the objective?

Что же случится, если у машины не будет чётко поставленной цели?

Well, it reasons in a different way.

Тогда она будет рассуждать по-другому

It says, "OK, the human might switch me off,

и скажет: «Человек может отключить меня,

but only if I'm doing something wrong.

но только если я допущу ошибку.

Well, I don't really know what wrong is,

Я точно не знаю, что правильно, а что нет,

but I know that I don't want to do it."

но я точно знаю, что не хочу ошибаться».

So that's the first and second principles right there.

Здесь действуют первые два правила.

"So I should let the human switch me off."

«Следовательно, я должен разрешить людям отключить меня».

And in fact you can calculate the incentive that the robot has

Фактически вы можете просчитать стимул, благодаря которому

to allow the human to switch it off,

робот позволит людям отключить себя,

and it's directly tied to the degree

и этот стимул тесно связан

of uncertainty about the underlying objective.

с неопределённостью поставленной цели.

And then when the machine is switched off,

А когда машина отключена,

that third principle comes into play.

начинает действовать третье правило.

It learns something about the objectives it should be pursuing,

Она узнаёт что-то о целях, которые должна преследовать,

because it learns that what it did wasn't right.

потому что понимает, что сделала что-то не так.

In fact, we can, with suitable use of Greek symbols,

По сути, мы, подобно математикам,

as mathematicians usually do,

можем применить греческие символы

we can actually prove a theorem

для доказательства теоремы,

that says that such a robot is provably beneficial to the human.

согласно которой именно такой робот принесёт человеку пользу.

You are provably better off with a machine that's designed in this way

Вероятно, вам будет лучше работать с машиной, которая разработана

than without it.

с учётом этого момента.

So this is a very simple example, but this is the first step

Данный пример очень прост,

in what we're trying to do with human-compatible AI.

но это лишь начало наших попыток разработки робота-компаньона.

Now, this third principle,

Итак, думаю, третье правило

I think is the one that you're probably scratching your head over.

озадачивает вас.

You're probably thinking, "Well, you know, I behave badly.

Вероятно, вы думаете: «Допустим, я поступаю плохо,

I don't want my robot to behave like me.

я не хочу, чтобы робот поступал так же, как я.

I sneak down in the middle of the night and take stuff from the fridge.

По ночам я пробираюсь к холодильнику за едой.

I do this and that."

Я делаю то-то и то-то».

There's all kinds of things you don't want the robot doing.

Вы бы не хотели, чтобы робот повторял за вами всё.

But in fact, it doesn't quite work that way.

На самом деле система работает немного иначе.

Just because you behave badly

Робот не будет копировать

doesn't mean the robot is going to copy your behavior.

ваше плохое поведение.

It's going to understand your motivations and maybe help you resist them,

Он попытается понять ваши мотивы и, возможно, поможет вам противостоять им

if appropriate.

в случае необходимости.

But it's still difficult.

Но это сложная задача.

What we're trying to do, in fact,

Фактически мы пытаемся

is to allow machines to predict for any person and for any possible life

разрешить машинам прогнозировать все возможные варианты

that they could live,

своей жизни

and the lives of everybody else:

и жизни каждого человека.

Which would they prefer?

Какую жизнь они бы предпочли?

And there are many, many difficulties involved in doing this;

Этот процесс сопряжён с множеством затруднений.

I don't expect that this is going to get solved very quickly.

Я не ожидаю, что с ними можно справиться быстро.

The real difficulties, in fact, are us.

Главная сложность заключается именно в нас.

As I have already mentioned, we behave badly.

Как я уже упоминал, мы ведём себя плохо.

In fact, some of us are downright nasty.

Некоторые из нас просто ужасны.

Now the robot, as I said, doesn't have to copy the behavior.

Но роботу, как я уже говорил, не нужно копировать поведение.

The robot does not have any objective of its own.

У робота нет своих собственных целей.

It's purely altruistic.

Он абсолютно альтруистичный

And it's not designed just to satisfy the desires of one person, the user,

и создан не только для удовлетворения потребностей своего пользователя,

but in fact it has to respect the preferences of everybody.

он должен уважать предпочтения каждого.

So it can deal with a certain amount of nastiness,

Он может справиться с плохими поступками

and it can even understand that your nastiness, for example,

и даже понять, что вы поступаете плохо,

you may take bribes as a passport official

например, берёте взятки, работая паспортистом,

because you need to feed your family and send your kids to school.

потому что вам нужно кормить семью и оплачивать обучение детей.

It can understand that; it doesn't mean it's going to steal.

Он может это понять, и это не значит, что он будет воровать.

In fact, it'll just help you send your kids to school.

По сути, это лишь помогает вам оплатить учёбу детей.

We are also computationally limited.

Наши вычислительные способности также ограничены.

Lee Sedol is a brilliant Go player,

Ли Седоль прекрасно играет в го,

but he still lost.

но он всё равно проиграл.

So if we look at his actions, he took an action that lost the game.

Сделанные им ходы привели к поражению.

That doesn't mean he wanted to lose.

Это не значит, что он хотел проиграть.

So to understand his behavior,

Чтобы понять его поведение,

we actually have to invert through a model of human cognition

нам следует смотреть сквозь призму человеческого познания, включающего

that includes our computational limitations -- a very complicated model.

наши вычислительные ограничения и являющегося очень сложной моделью.

But it's still something that we can work on understanding.

Но нам всё ещё есть над чем поразмыслить.

Probably the most difficult part, from my point of view as an AI researcher,

С моей точки зрения, самым сложным в исследовании ИИ

is the fact that there are lots of us,

является тот факт, что нас очень много,

and so the machine has to somehow trade off, weigh up the preferences

и поэтому машине нужно идти на компромисс, сопоставлять пожелания

of many different people,

множества разных людей,

and there are different ways to do that.

и для этого существуют разные способы.

Economists, sociologists, moral philosophers have understood that,

Экономисты, социологи, нравственные философы поняли это,

and we are actively looking for collaboration.

и мы стараемся активно сотрудничать.

Let's have a look and see what happens when you get that wrong.

Давайте посмотрим, что произойдёт, если вы допу́стите ошибку.

So you can have a conversation, for example,

Итак, например, вы беседуете

with your intelligent personal assistant

с умным личным помощником,

that might be available in a few years' time.

который может появиться через несколько лет.

Think of a Siri on steroids.

Представьте Siri на стероидах.

So Siri says, "Your wife called to remind you about dinner tonight."

Siri говорит: «Звонила ваша жена, чтобы напомнить о сегодняшнем вечере».

And of course, you've forgotten. "What? What dinner?

И, разумеется, вы забыли. «Что? Какой ужин?

What are you talking about?"

О чём ты говоришь?»

"Uh, your 20th anniversary at 7pm."

«Ваша 20-я годовщина в 19:00».

"I can't do that. I'm meeting with the secretary-general at 7:30.

«Я не могу, у меня встреча с генеральным секретарём в 19:30.

How could this have happened?"

Как такое могло случиться?»

"Well, I did warn you, but you overrode my recommendation."

«Я предупреждала вас, но вы проигнорировали мой совет».

"Well, what am I going to do? I can't just tell him I'm too busy."

«Что же мне делать? Я же не могу просто сказать ему, что занят».

"Don't worry. I arranged for his plane to be delayed."

«Не беспокойтесь. Я задержала его рейс».

(Laughter)

(Смех)

"Some kind of computer malfunction."

«Какая-то компьютерная неисправность».

(Laughter)

(Смех)

"Really? You can do that?"

«Ты и такое можешь сделать?»

"He sends his profound apologies

«Он приносит глубочайшие извинения

and looks forward to meeting you for lunch tomorrow."

и приглашает вас на обед завтра».

(Laughter)

(Смех)

So the values here -- there's a slight mistake going on.

Итак, есть небольшая ошибка в оценке приоритетов.

This is clearly following my wife's values

Чёткое следование ценностям моей жены и её принципу

which is "Happy wife, happy life."

«Счастливая жена — счастливая жизнь».

(Laughter)

(Смех)

It could go the other way.

Могло быть и по-другому.

You could come home after a hard day's work,

Вы приходите домой после тяжёлого рабочего дня,

and the computer says, "Long day?"

а компьютер спрашивает: «Трудный день?»

"Yes, I didn't even have time for lunch."

«Даже не успел пообедать».

"You must be very hungry."

«Думаю, вы очень голодны».

"Starving, yeah. Could you make some dinner?"

«Умираю с голоду. Можешь приготовить ужин?»

"There's something I need to tell you."

«Я должна кое-что вам сказать».

(Laughter)

(Смех)

"There are humans in South Sudan who are in more urgent need than you."

«Люди в Южном Судане нуждаются в помощи больше, чем вы».

(Laughter)

(Смех)

"So I'm leaving. Make your own dinner."

«Так что я ухожу. Готовьте себе ужин сами».

(Laughter)

(Смех)

So we have to solve these problems,

Итак, нам нужно решить эти проблемы,

and I'm looking forward to working on them.

и мне не терпится поработать над ними.

There are reasons for optimism.

Для оптимизма есть основания.

One reason is,

Во-первых,

there is a massive amount of data.

собран огромный объём данных.

Because remember -- I said they're going to read everything

Помните, я говорил, что они прочитают всё,

the human race has ever written.

что когда-либо написали люди?

Most of what we write about is human beings doing things

В основном мы писали о том, как одни люди что-либо делают,

and other people getting upset about it.

а другие расстраиваются по этому поводу.

So there's a massive amount of data to learn from.

Так что у нас есть множество данных для изучения.

There's also a very strong economic incentive

Также есть важный экономический стимул

to get this right.

сделать всё правильно.

So imagine your domestic robot's at home.

Представьте вашего робота у себя дома.

You're late from work again and the robot has to feed the kids,

Вы снова задерживаетесь на работе, и робот должен накормить детей,

and the kids are hungry and there's nothing in the fridge.

а кормить их нечем, потому что холодильник пуст.

And the robot sees the cat.

И робот видит кошку.

(Laughter)

(Смех)

And the robot hasn't quite learned the human value function properly,

Робот не изучил сущность человеческих ценностей

so it doesn't understand

и не понимает,

the sentimental value of the cat outweighs the nutritional value of the cat.

что сентиментальная ценность кошки превосходит её питательную ценность.

(Laughter)

(Смех)

So then what happens?

Что происходит тогда?

Well, it happens like this:

Что вроде этого:

"Deranged robot cooks kitty for family dinner."

«Ненормальный робот готовит котёнка на семейный ужин».

That one incident would be the end of the domestic robot industry.

Этот инцидент положил бы конец производству домашних роботов.

So there's a huge incentive to get this right

Так что у нас есть огромный стимул сделать всё правильно

long before we reach superintelligent machines.

до того, как мы создадим суперумную машину.

So to summarize:

Итак, подытожим.

I'm actually trying to change the definition of AI

По сути, я пытаюсь изменить определение ИИ,

so that we have provably beneficial machines.

чтобы наши машины были действительно полезными.

And the principles are:

Основные моменты:

machines that are altruistic,

это альтруистичные машины,

that want to achieve only our objectives,

которые хотят добиваться лишь наших целей,

but that are uncertain about what those objectives are,

но не знают, каких именно целей,

and will watch all of us

и будут наблюдать за всеми нами,

to learn more about what it is that we really want.

чтобы узнать, чего мы на самом деле хотим.

And hopefully in the process, we will learn to be better people.

Надеюсь, в процессе мы сами станем лучше.

Thank you very much.

Большое спасибо.

(Applause)

(Аплодисменты)

Chris Anderson: So interesting, Stuart.

Крис Андерсон: Очень интересно, Стюарт.

We're going to stand here a bit because I think they're setting up

Мы задержимся здесь немного, потому что, сейчас идёт подготовка

for our next speaker.

к следующему выступлению.

A couple of questions.

Пара вопросов.

So the idea of programming in ignorance seems intuitively really powerful.

Идея программирования незнания подсознательно кажется очень мощной.

As you get to superintelligence,

Что помешает роботу,

what's going to stop a robot

получившему суперразум,

reading literature and discovering this idea that knowledge

почитать книги и обнаружить, что на самом деле знания

is actually better than ignorance

лучше невежества,

and still just shifting its own goals and rewriting that programming?

начать следовать другим целям и перепрограммировать себя?

Stuart Russell: Yes, so we want it to learn more, as I said,

Стюарт Рассел: Как я уже сказал, мы хотим, чтобы роботы узнали больше

about our objectives.

о наших целях.

It'll only become more certain as it becomes more correct,

Они станут более определёнными лишь когда станут правильными,

so the evidence is there

робот будет запрограммирован

and it's going to be designed to interpret it correctly.

правильно понимать полученные данные.

It will understand, for example, that books are very biased

Например, он будет понимать, что книги описывают мир

in the evidence they contain.

довольно однобоко.

They only talk about kings and princes

Они повествуют лишь о королях, принцах

and elite white male people doing stuff.

и знатных белых мужчинах, которые делают свою работу.

So it's a complicated problem,

Это сложная проблема,

but as it learns more about our objectives

но чем больше он будет узнавать о наших целях,

it will become more and more useful to us.

тем больше пользы он будет приносить нам.

CA: And you couldn't just boil it down to one law,

КА: Вы не можете свести всё к одному закону,

you know, hardwired in:

который бы гласил:

"if any human ever tries to switch me off,

«Если когда-нибудь человек попытается меня выключить,

I comply. I comply."

я подчинюсь. Я подчинюсь»?

SR: Absolutely not.

СР: Абсолютно исключено.

That would be a terrible idea.

Это была бы ужасная идея.

So imagine that you have a self-driving car

Представьте, что у вас есть беспилотный автомобиль,

and you want to send your five-year-old

и вы хотите отправить на нём своего пятилетнего сына

off to preschool.

в детский сад.

Do you want your five-year-old to be able to switch off the car

Хотели бы вы, чтобы ваш пятилетний сын мог отключить машину,

while it's driving along?

когда она едет?

Probably not.

Вероятно, нет.

So it needs to understand how rational and sensible the person is.

Поэтому нужно понимать степень рациональности и здравомыслия личности.

The more rational the person,

Чем более рационален человек,

the more willing you are to be switched off.

тем вероятнее робот согласится на отключение.

If the person is completely random or even malicious,

Если это случайный человек или даже злоумышленник,

then you're less willing to be switched off.

он отключится с меньшей охотой.

CA: All right. Stuart, can I just say,

КА: Хорошо Стюарт. Я очень надеюсь,

I really, really hope you figure this out for us.

что вы разберётесь с этим ради нас.

Thank you so much for that talk. That was amazing.

Большое спасибо за выступление. Это было потрясающе.

SR: Thank you.

СР: Спасибо.

(Applause)

(Аплодисменты)