Can we build AI without losing control over it? | Sam Harris

Переводчик: Effy May Редактор: Alexander Treshin

I'm going to talk about a failure of intuition

Я хочу поговорить о неспособности к интуиции,

that many of us suffer from.

от которой страдают многие из нас.

It's really a failure to detect a certain kind of danger.

Фактически, это неспособность распознавать определённую опасность.

I'm going to describe a scenario

Я опишу сценарий,

that I think is both terrifying

который назвал бы одновременно пугающим

and likely to occur,

и вполне вероятным,

and that's not a good combination,

и это не хорошее сочетание,

as it turns out.

как выясняется.

And yet rather than be scared, most of you will feel

Всё же вместо того, чтобы пугаться, многие подумают,

that what I'm talking about is kind of cool.

что то, о чём я говорю, здóрово.

I'm going to describe how the gains we make

Я расскажу, как наши достижения

in artificial intelligence

в развитии искусственного интеллекта

could ultimately destroy us.

могут в итоге нас уничтожить.

And in fact, I think it's very difficult to see how they won't destroy us

По-моему, вообще трудно понять, как они могут нас не уничтожить

or inspire us to destroy ourselves.

или не побудить к самоуничтожению.

And yet if you're anything like me,

Всё же, если вы в чём-то схожи со мной,

you'll find that it's fun to think about these things.

то вам нравится думать о таких вещах.

And that response is part of the problem.

И эта реакция — часть проблемы.

OK? That response should worry you.

Эта реакция должна вас беспокоить.

And if I were to convince you in this talk

И если бы мне надо было убедить вас,

that we were likely to suffer a global famine,

что нам грозит всемирный голод

either because of climate change or some other catastrophe,

из-за изменения климата или некой другой катастрофы

and that your grandchildren, or their grandchildren,

и что ваши внуки или их внуки,

are very likely to live like this,

вероятно, будут жить вот так,

you wouldn't think,

вы бы не подумали:

"Interesting.

«Интересно.

I like this TED Talk."

Хорошее выступление».

Famine isn't fun.

В голоде нет ничего забавного.

Death by science fiction, on the other hand, is fun,

Смерть от научной фантастики, с другой стороны, — это круто,

and one of the things that worries me most about the development of AI at this point

и меня очень сильно беспокоит на данном этапе развития ИИ

наша неспособность к выстраиванию подобающей эмоциональной реакции

is that we seem unable to marshal an appropriate emotional response

to the dangers that lie ahead.

на ожидающие нас опасности.

I am unable to marshal this response, and I'm giving this talk.

Я сам не могу выстроить эту реакцию, потому и говорю об этом.

It's as though we stand before two doors.

Как будто мы стои́м перед двумя дверьми.

Behind door number one,

За первой дверью

we stop making progress in building intelligent machines.

у нас останавливается прогресс в создании интеллектуальных устройств.

Our computer hardware and software just stops getting better for some reason.

Аппаратное и программное обеспечение почему-то больше не становится лучше.

Now take a moment to consider why this might happen.

Теперь на секунду задумайтесь, почему это может произойти.

I mean, given how valuable intelligence and automation are,

Ведь учитывая, насколько ценны интеллект и автоматизация,

we will continue to improve our technology if we are at all able to.

мы продолжим совершенствовать технологии, пока способны на это.

What could stop us from doing this?

Что может нас остановить?

A full-scale nuclear war?

Полномасштабная ядерная война?

A global pandemic?

Глобальная пандемия?

An asteroid impact?

Падение астероида?

Justin Bieber becoming president of the United States?

Избрание Джастина Бибера президентом США?

(Laughter)

(Смех)

The point is, something would have to destroy civilization as we know it.

Суть в том, что что-то должно будет уничтожить цивилизацию в нашем понимании.

You have to imagine how bad it would have to be

Только представьте себе, насколько всё должно быть плохо,

to prevent us from making improvements in our technology

чтобы мы перестали совершенствовать технологии

permanently,

навсегда,

generation after generation.

на все грядущие поколения.

Almost by definition, this is the worst thing

Практически по определению это худшее,

that's ever happened in human history.

что может случиться с человечеством.

So the only alternative,

Единственная альтернатива,

and this is what lies behind door number two,

которая и находится за второй дверью, —

is that we continue to improve our intelligent machines

продолжение совершенствования интеллектуальных устройств

year after year after year.

из года в год.

At a certain point, we will build machines that are smarter than we are,

В какой-то момент мы создадим устройства, которые будут умнее нас,

and once we have machines that are smarter than we are,

и когда такие устройства появятся,

they will begin to improve themselves.

они начнут улучшать себя сами.

And then we risk what the mathematician IJ Good called

И тогда появится риск того, что математик И. Д. Гуд называл

an "intelligence explosion,"

«взрывом интеллекта» —

that the process could get away from us.

риск утраты нами контроля над процессом.

Now, this is often caricatured, as I have here,

Это часто изображают в виде подобных картинок,

as a fear that armies of malicious robots

пугающих армиями злых роботов,

will attack us.

которые нападут на нас.

But that isn't the most likely scenario.

Но это не самый вероятный сценарий.

It's not that our machines will become spontaneously malevolent.

Проблема не в том, что наша техника внезапно рассвирепеет.

The concern is really that we will build machines

Беспокоит на самом деле то, что мы создаём устройства,

that are so much more competent than we are

которые настолько нас превосходят,

that the slightest divergence between their goals and our own

что малейшее расхождение между их целями и нашими

could destroy us.

может нас уничтожить.

Just think about how we relate to ants.

Подумайте о том, как мы относимся к муравьям.

We don't hate them.

Мы не ненавидим их.

We don't go out of our way to harm them.

Мы не лезем из кожи вон, чтобы навредить им.

In fact, sometimes we take pains not to harm them.

На самом деле, иногда мы стараемся не навредить им.

We step over them on the sidewalk.

Мы перешагиваем их на тротуаре.

But whenever their presence

Но если вдруг их присутствие

seriously conflicts with one of our goals,

серьёзно мешает нашим целям,

let's say when constructing a building like this one,

например, если мы строим здание вроде этого,

we annihilate them without a qualm.

мы без колебаний их истребляем.

The concern is that we will one day build machines

Беспокоит то, что однажды мы создадим устройства,

that, whether they're conscious or not,

которые независимо от наличия у них сознания

could treat us with similar disregard.

могут так же пренебречь нами.

Now, I suspect this seems far-fetched to many of you.

Я подозреваю, многим из вас это кажется надуманным.

I bet there are those of you who doubt that superintelligent AI is possible,

Уверен, среди вас есть сомневающиеся в возможности сверхразумного ИИ,

much less inevitable.

не говоря уж о его неизбежности.

But then you must find something wrong with one of the following assumptions.

Значит, вы не согласны с одним из следующих допущений.

And there are only three of them.

Их всего три.

Intelligence is a matter of information processing in physical systems.

Интеллект — это результат обработки информации в физической системе.

Actually, this is a little bit more than an assumption.

На самом деле это немного больше, чем допущение.

We have already built narrow intelligence into our machines,

Мы заложили ограниченный интеллект в свои технологии,

and many of these machines perform

и многие из них уже работают

at a level of superhuman intelligence already.

на уровне сверхчеловеческого интеллекта.

And we know that mere matter

И мы знаем, что из одной лишь материи

возможно развитие так называемого «общего интеллекта» —

can give rise to what is called "general intelligence,"

an ability to think flexibly across multiple domains,

способности к гибкому мышлению в разных сферах,

because our brains have managed it. Right?

потому что на это способен наш мозг. Так?

I mean, there's just atoms in here,

Я имею в виду: здесь всего лишь атомы,

and as long as we continue to build systems of atoms

и покуда мы продолжаем создавать системы из атомов,

that display more and more intelligent behavior,

проявляющие всё более разумное поведение,

we will eventually, unless we are interrupted,

в итоге мы — если ничто не помешает —

we will eventually build general intelligence

в итоге мы наделим общим интеллектом

into our machines.

свои устройства.

It's crucial to realize that the rate of progress doesn't matter,

Очень важно осознавать, что темп прогресса не важен,

because any progress is enough to get us into the end zone.

потому что любой прогресс может привести нас к конечному итогу.

We don't need Moore's law to continue. We don't need exponential progress.

Нам не нужно, чтобы закон Мура работал. Нам не нужен экспоненциальный прогресс.

We just need to keep going.

Нам просто нужно не останавливаться.

The second assumption is that we will keep going.

Второе предположение — что мы не остановимся.

We will continue to improve our intelligent machines.

Мы продолжим улучшать свои интеллектуальные устройства.

And given the value of intelligence --

И, учитывая ценность интеллекта —

I mean, intelligence is either the source of everything we value

ведь интеллект либо порождает всё, что мы ценим,

or we need it to safeguard everything we value.

либо нужен нам для защиты всего, что мы ценим, —

It is our most valuable resource.

это наш ценнейший ресурс.

So we want to do this.

Поэтому мы хотим этим заниматься.

We have problems that we desperately need to solve.

У нас есть проблемы, которые непременно нужно решить.

We want to cure diseases like Alzheimer's and cancer.

Мы хотим излечить болезни вроде Альцгеймера и рака.

We want to understand economic systems. We want to improve our climate science.

Мы хотим понимать экономические системы. Мы хотим больше знать о климате.

So we will do this, if we can.

Так что мы это сделаем, если сможем.

The train is already out of the station, and there's no brake to pull.

Поезд уже тронулся, и тóрмоза нет.

Finally, we don't stand on a peak of intelligence,

Наконец, мы не на пике интеллекта

or anywhere near it, likely.

и даже не близко к нему, вероятно.

And this really is the crucial insight.

И это действительно важно понимать.

This is what makes our situation so precarious,

Именно из-за этого наша система так уязвима,

and this is what makes our intuitions about risk so unreliable.

а наши интуитивные оценки риска так ненадёжны.

Now, just consider the smartest person who has ever lived.

Теперь представьте умнейшего из когда-либо живших людей.

On almost everyone's shortlist here is John von Neumann.

Почти все среди прочих называют Джона фон Неймана.

I mean, the impression that von Neumann made on the people around him,

Ведь впечатление, которое фон Нейман производил на окружающих,

and this included the greatest mathematicians and physicists of his time,

в том числе величайших математиков и физиков своего времени,

is fairly well-documented.

очень хорошо задокументировано.

If only half the stories about him are half true,

Если половина историй о нём хотя бы наполовину правдивы,

there's no question

сомнений нет:

he's one of the smartest people who has ever lived.

он один из умнейших людей, когда-либо живших.

So consider the spectrum of intelligence.

Подумайте о диапазоне интеллектуальных способностей.

Here we have John von Neumann.

Здесь у нас Джон фон Нейман.

And then we have you and me.

Здесь мы с вами.

And then we have a chicken.

А здесь курица.

(Laughter)

(Смех)

Sorry, a chicken.

Прошу прощения. Курица.

(Laughter)

(Смех)

There's no reason for me to make this talk more depressing than it needs to be.

Ни к чему делать эту лекцию более депрессивной, чем надо.

(Laughter)

(Смех)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Однако кажется чрезвычайно вероятным, что интеллект варьируется

extends much further than we currently conceive,

в куда бóльших масштабах, чем мы себе сейчас представляем,

and if we build machines that are more intelligent than we are,

и если мы создадим устройства, которые будут умнее нас,

they will very likely explore this spectrum

они, очень вероятно, будут осваивать эти масштабы

in ways that we can't imagine,

невообразимыми для нас способами

and exceed us in ways that we can't imagine.

и превзойдут нас невообразимыми способами.

And it's important to recognize that this is true by virtue of speed alone.

И важно признавать, что это верно в силу одной только скорости.

Right? So imagine if we just built a superintelligent AI

Так? Представьте, что мы построили сверхразумный ИИ,

that was no smarter than your average team of researchers

который не умнее среднестатистической группы учёных

at Stanford or MIT.

из Стэнфорда или МТИ.

Электронные схемы примерно в миллион раз быстрее

Well, electronic circuits function about a million times faster

than biochemical ones,

биохимических,

so this machine should think about a million times faster

поэтому машина будет думать в миллион раз быстрее,

than the minds that built it.

чем создавший её разум.

So you set it running for a week,

Вы запускаете её на неделю,

and it will perform 20,000 years of human-level intellectual work,

и она выполняет 20 000-летнюю работу интеллекта человеческого уровня

week after week after week.

неделю за неделей.

How could we even understand, much less constrain,

Как мы только можем понять, не говоря о том, чтобы сдержать,

a mind making this sort of progress?

ум, работающий с подобной скоростью?

The other thing that's worrying, frankly,

Ещё беспокоит, если честно,

is that, imagine the best case scenario.

вот что: представьте себе наилучший сценарий.

So imagine we hit upon a design of superintelligent AI

Представьте, что у нас в распоряжении проект сверхразумного ИИ,

не угрожающего безопасности.

that has no safety concerns.

We have the perfect design the first time around.

У нас сразу оказывается идеальная разработка.

It's as though we've been handed an oracle

Как будто она дана нам свыше

that behaves exactly as intended.

и работает точно так, как задумано.

Well, this machine would be the perfect labor-saving device.

Это устройство было бы идеально для снижения трудозатрат.

It can design the machine that can build the machine

Оно может придумать машину, которая построит машину,

that can do any physical work,

которая сможет делать физическую работу,

powered by sunlight,

питаясь энергией солнца

more or less for the cost of raw materials.

приблизительно по цене сырья.

So we're talking about the end of human drudgery.

Это означает конец изматывающей работы для людей.

We're also talking about the end of most intellectual work.

Это также означает конец большей части умственной работы.

So what would apes like ourselves do in this circumstance?

А что такие приматы, как мы, делают в такой ситуации?

Well, we'd be free to play Frisbee and give each other massages.

Ну, мы сможем играть во фрисби и делать друг другу массаж.

Add some LSD and some questionable wardrobe choices,

Добавьте немного ЛСД и немного смелых нарядов,

and the whole world could be like Burning Man.

и мир будет похож на фестиваль «Burning Man».

(Laughter)

(Смех)

Now, that might sound pretty good,

Возможно, звучит неплохо,

but ask yourself what would happen

но спроси́те себя, что бы случилось

under our current economic and political order?

при нынешнем экономико-политическом устройстве?

It seems likely that we would witness

Кажется вероятным, что мы станем свидетелями

a level of wealth inequality and unemployment

такого уровня имущественного неравенства и безработицы,

that we have never seen before.

какого не наблюдали раньше.

Absent a willingness to immediately put this new wealth

В отсутствие желания сразу поставить новые блага

to the service of all humanity,

на службу человечеству

a few trillionaires could grace the covers of our business magazines

несколько магнатов смогут украшать обложки деловых журналов,

while the rest of the world would be free to starve.

пока остальные будут голодать.

And what would the Russians or the Chinese do

Что бы сделали русские или китайцы,

if they heard that some company in Silicon Valley

узнав, что некая компания в Силиконовой долине

was about to deploy a superintelligent AI?

на грани внедрения сверхразумного ИИ?

This machine would be capable of waging war,

Такое устройство могло бы спровоцировать войну,

whether terrestrial or cyber,

наземную или кибер-войну

with unprecedented power.

беспрецедентного размаха.

Это сценарий, в котором победитель получает всё.

This is a winner-take-all scenario.

To be six months ahead of the competition here

Полугодовое преимущество в такой конкуренции —

is to be 500,000 years ahead,

всё равно что преимущество в 500 000 лет

at a minimum.

как минимум.

So it seems that even mere rumors of this kind of breakthrough

Поэтому представляется, что даже слухи о такого рода прорыве

could cause our species to go berserk.

могут привести человечество в неистовство.

Now, one of the most frightening things,

Одна из самых пугающих вещей,

in my view, at this moment,

как мне кажется, на данный момент —

are the kinds of things that AI researchers say

это те слова, которые твердят все исследователи ИИ,

when they want to be reassuring.

когда хотят звучать обнадёживающе.

And the most common reason we're told not to worry is time.

И чаще всего нас просят не беспокоиться по причине времени.

This is all a long way off, don't you know.

До этого ещё далеко, если вы не знали.

This is probably 50 or 100 years away.

До этого, вероятно, ещё лет 50 или 100.

One researcher has said,

Один исследователь сказал:

"Worrying about AI safety

«Волноваться о безопасности ИИ —

is like worrying about overpopulation on Mars."

всё равно что волноваться о перенаселении Марса».

This is the Silicon Valley version

В Силиконовой долине это означает:

of "don't worry your pretty little head about it."

«не морочь этим свою милую головку».

(Laughter)

(Смех)

No one seems to notice

Кажется, что никто не замечает,

that referencing the time horizon

что ссылаться на отдалённость во времени —

is a total non sequitur.

нарушение всякой логики.

If intelligence is just a matter of information processing,

Если интеллект — лишь результат обработки информации

and we continue to improve our machines,

и мы продолжим совершенствовать технику,

we will produce some form of superintelligence.

мы создадим некую форму сверхинтеллекта.

And we have no idea how long it will take us

И мы не имеем понятия, сколько времени займёт

to create the conditions to do that safely.

создание для этого безопасных условий.

Let me say that again.

Позвольте повторить.

We have no idea how long it will take us

Мы не имеем понятия, сколько времени займёт

to create the conditions to do that safely.

создание для этого безопасных условий.

And if you haven't noticed, 50 years is not what it used to be.

И если вы не заметили, 50 лет — не те 50 лет, что раньше.

This is 50 years in months.

Вот 50 лет по месяцам.

This is how long we've had the iPhone.

Вот так давно у нас есть iPhone.

This is how long "The Simpsons" has been on television.

Так долго «Симпсонов» показывают по ТВ.

Fifty years is not that much time

Пятьдесят лет — не так много

to meet one of the greatest challenges our species will ever face.

для решения одной из важнейших для нашего вида задач.

Once again, we seem to be failing to have an appropriate emotional response

Опять же, нам не удаётся выстроить подобающую эмоциональную реакцию

to what we have every reason to believe is coming.

на то, что по всем признакам нам предстоит.

The computer scientist Stuart Russell has a nice analogy here.

Специалист в области информатики Стюарт Рассел провёл хорошую аналогию.

He said, imagine that we received a message from an alien civilization,

Он предложил представить, что мы получили послание от внеземной цивилизации,

which read:

в котором говорится:

"People of Earth,

«Земляне,

we will arrive on your planet in 50 years.

мы прибудем на вашу планету через 50 лет.

Get ready."

Готовьтесь».

And now we're just counting down the months until the mothership lands?

И теперь мы просто считаем месяцы до посадки их корабля-носителя?

We would feel a little more urgency than we do.

Мы бы немножко больше суетились.

Another reason we're told not to worry

Ещё мы якобы не должны волноваться потому,

is that these machines can't help but share our values

что эти машины не могут не разделять наши ценности,

because they will be literally extensions of ourselves.

так как будут буквально дополнениями к нам самим.

They'll be grafted onto our brains,

Они будут присоединены к нашему мозгу,

and we'll essentially become their limbic systems.

и мы по сути станем их лимбической системой.

Now take a moment to consider

Теперь на миг задумайтесь,

that the safest and only prudent path forward,

что самый безопасный и единственно благоразумный путь,

recommended,

по рекомендациям, —

is to implant this technology directly into our brains.

имплантация этой технологии прямо в мозг.

Now, this may in fact be the safest and only prudent path forward,

Это действительно может быть самым безопасным и благоразумным путём,

but usually one's safety concerns about a technology

но обычно озабоченность безопасностью технологии

have to be pretty much worked out before you stick it inside your head.

нужно развеивать до того, как запихивать её себе в голову.

(Laughter)

(Смех)

The deeper problem is that building superintelligent AI on its own

Более глубокая проблема в том, что создание сверхразумного ИИ как такового

seems likely to be easier

кажется намного легче,

than building superintelligent AI

чем создание сверхразумного ИИ

and having the completed neuroscience

и всех нейротехнологий,

that allows us to seamlessly integrate our minds with it.

необходимых для их бесшовной интеграции с нашим разумом.

And given that the companies and governments doing this work

Учитывая, что компании и правительства, ведущие эту работу,

are likely to perceive themselves as being in a race against all others,

могут представлять себя участниками гонки против всех остальных

given that to win this race is to win the world,

и для них выиграть гонку значит выиграть весь мир,

provided you don't destroy it in the next moment,

учитывая, что вы не уничтожите его через секунду,

then it seems likely that whatever is easier to do

тогда вероятным кажется, что самое простое

will get done first.

будет сделано в первую очередь.

Now, unfortunately, I don't have a solution to this problem,

К сожалению, у меня нет решения этой проблемы,

apart from recommending that more of us think about it.

кроме рекомендации, чтобы больше людей задумывались о ней.

I think we need something like a Manhattan Project

Я думаю, нам нужно что-то вроде проекта «Манхэттен»

on the topic of artificial intelligence.

в области искусственного интеллекта.

Not to build it, because I think we'll inevitably do that,

Не чтобы его создать — я думаю, это неизбежно случится, —

but to understand how to avoid an arms race

а чтобы понять, как избежать гонки вооружений

and to build it in a way that is aligned with our interests.

и создать его так, чтобы это совпало с нашими интересами.

When you're talking about superintelligent AI

Когда говоришь о сверхразумном ИИ,

that can make changes to itself,

который может менять себя сам,

it seems that we only have one chance to get the initial conditions right,

кажется, что есть только одна попытка для создания правильных начальных условий,

and even then we will need to absorb

и даже тогда нам нужно совладать

the economic and political consequences of getting them right.

с экономико-политическими последствиями их правильного создания.

But the moment we admit

Но как только мы признаем,

that information processing is the source of intelligence,

что источник интеллекта — обработка информации,

that some appropriate computational system is what the basis of intelligence is,

что интеллект основан на некой подходящей вычислительной системе,

and we admit that we will improve these systems continuously,

и признаем, что будем совершенствовать эти системы непрерывно

and we admit that the horizon of cognition very likely far exceeds

и что предел сознания, весьма вероятно, намного дальше,

what we currently know,

чем мы сейчас представляем,

then we have to admit

тогда мы должны признать,

that we are in the process of building some sort of god.

что мы в процессе создания своего рода бога.

Now would be a good time

Теперь самое время

to make sure it's a god we can live with.

убедиться, что мы сможем с ним ужиться.

Thank you very much.

Большое спасибо.

(Applause)

(Аплодисменты)