Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED

Переводчик: Elena McDonnell Редактор: Yulia Kallistratova

Since 2001, I have been working on what we would now call

С 2001 года я работаю над тем, что сейчас можно назвать

the problem of aligning artificial general intelligence:

проблемой выверки общего искусственного интеллекта —

how to shape the preferences and behavior

как сформировать предпочтения и поведение

of a powerful artificial mind such that it does not kill everyone.

мощного искусственного разума таким образом, чтобы он не поубивал всех нас.

I more or less founded the field two decades ago,

Я, можно сказать, создал это направление двадцать лет назад,

when nobody else considered it rewarding enough to work on.

когда все остальные считали это неблагодарным трудом.

I tried to get this very important project started early

Я хотел начать эту важную работу как можно раньше,

so we'd be in less of a drastic rush later.

чтобы избежать спешки на следующих этапах.

I consider myself to have failed.

Похоже, я не справился.

(Laughter)

(Смех)

Nobody understands how modern AI systems do what they do.

Никто не понимает, как работают современные системы ИИ.

They are giant, inscrutable matrices of floating point numbers

Огромные непонятные матрицы из чисел с плавающей запятой,

that we nudge in the direction of better performance

которые мы подталкиваем в нужном направлении,

пока они необъяснимым образом не начинают работать.

until they inexplicably start working.

At some point, the companies rushing headlong to scale AI

В один прекрасный момент компании, торопящиеся масштабно внедрить ИИ,

will cough out something that's smarter than humanity.

выдадут нам нечто, что будет умнее человечества.

Nobody knows how to calculate when that will happen.

Никто не может предсказать, когда это произойдёт.

My wild guess is that it will happen after zero to two more breakthroughs

Мне кажется, что ещё 0–2 открытия,

подобного трансформерам, и это случится.

the size of transformers.

What happens if we build something smarter than us

Что будет, если мы создадим нечто умнее нас самих,

that we understand that poorly?

совершенно не понимая этого?

Some people find it obvious that building something smarter than us

Для некоторых очевидно, что создание того, что умнее нас

that we don't understand might go badly.

и чего мы не понимаем, ничем хорошим не кончится.

Others come in with a very wide range of hopeful thoughts

Другие же питают различные надежды

about how it might possibly go well.

на то, что, возможно, всё будет хорошо.

Даже если бы я готовился к этому выступлению несколько месяцев

Even if I had 20 minutes for this talk and months to prepare it,

и у меня было бы 20 минут,

I would not be able to refute all the ways people find to imagine

я не смог бы опровергнуть все эти воображаемые сценарии того,

that things might go well.

как всё будет хорошо.

But I will say that there is no standard scientific consensus

Скажу лишь одно: научного консенсуса об успешном исходе

for how things will go well.

не существует.

There is no hope that has been widely persuasive

Ни одна из этих надежд не была достаточно убедительной

and stood up to skeptical examination.

и не выдержала критического рассмотрения.

There is nothing resembling a real engineering plan for us surviving

У нас даже нет настоящего плана выживания в этой ситуации,

который я мог бы раскритиковать.

that I could critique.

This is not a good place in which to find ourselves.

Это незавидная ситуация.

If I had more time,

Будь у меня побольше времени,

I'd try to tell you about the predictable reasons

я бы рассказал вам о предсказуемых причинах того,

why the current paradigm will not work

почему текущая парадигма не подходит

to build a superintelligence that likes you

для создания суперинтеллекта, который нас любит,

or is friends with you, or that just follows orders.

дружелюбно настроен или просто выполняет приказы.

Why, if you press "thumbs up" when humans think that things went right

Почему, если мы жмём «Нравится», когда человек считает, что дела идут хорошо,

or "thumbs down" when another AI system thinks that they went wrong,

или «Не нравится», когда другой ИИ считает, что они идут плохо,

you do not get a mind that wants nice things

в результате не создаётся разум, желающий всем добра

in a way that generalizes well outside the training distribution

и хорошо работающий вне обучающих программ даже там,

to where the AI is smarter than the trainers.

где ИИ умнее тренеров.

You can search for "Yudkowsky list of lethalities" for more.

Подробнее об этом можно почитать в моём «Списке летальных исходов».

(Laughter)

(Смех)

But to worry, you do not need to believe me

Но чтобы начать волноваться, вам необязательно верить

about exact predictions of exact disasters.

моим точным предсказаниям грядущих катастроф.

You just need to expect that things are not going to work great

Вам достаточно понимать, что ничего хорошего не выйдет,

on the first really serious, really critical try

когда будет предпринята первая серьёзная, критическая попытка,

because an AI system smart enough to be truly dangerous

потому что система ИИ, которая умна настолько, чтобы быть опасной,

was meaningfully different from AI systems stupider than that.

будет значительно отличаться от систем, которые были глупее неё.

My prediction is that this ends up with us facing down something smarter than us

Моё предсказание таково: нам придётся противостоять чему-то умнее нас,

that does not want what we want,

которое при этом не разделяет наших желаний,

that does not want anything we recognize as valuable or meaningful.

стремлений и ценностей.

I cannot predict exactly how a conflict between humanity and a smarter AI would go

Не могу точно сказать, как будет выглядеть конфликт между человечеством и таким ИИ,

for the same reason I can't predict exactly how you would lose a chess game

по той же причине, по которой нельзя предсказать, как именно вы проиграете

to one of the current top AI chess programs, let's say Stockfish.

в шахматы одной из программ ИИ, например Stockfish.

If I could predict exactly where Stockfish could move,

Если бы я точно знал, какой ход сделает Stockfish,

I could play chess that well myself.

я бы и сам играл в шахматы не хуже.

I can't predict exactly how you'll lose to Stockfish,

Не могу сказать точно, как вы проиграете в игре с Stockfish,

but I can predict who wins the game.

но могу предсказать, кто победит.

I do not expect something actually smart to attack us with marching robot armies

Я не думаю, что нечто разумное нападёт на нас с войсками роботов

with glowing red eyes

с красными горящими глазами,

where there could be a fun movie about us fighting them.

хотя из нашего с ними сражения получился бы классный фильм.

I expect an actually smarter and uncaring entity

Я считаю, что нечто умнее нас и при этом безразличное

will figure out strategies and technologies

разработает стратегии и технологии,

that can kill us quickly and reliably and then kill us.

способные нас легко и просто убить, и затем убьёт нас.

I am not saying that the problem of aligning superintelligence

Я не говорю, что проблему выверки суперинтеллекта

is unsolvable in principle.

невозможно решить в принципе.

I expect we could figure it out with unlimited time and unlimited retries,

Я думаю, мы решили бы её, если бы имели бесконечное количество времени и попыток,

which the usual process of science assumes that we have.

как предполагает стандартный научный процесс.

The problem here is the part where we don't get to say,

Но штука в том, что у нас не будет возможности сказать:

“Ha ha, whoops, that sure didn’t work.

«Ха-ха, в этот раз не получилось!

That clever idea that used to work on earlier systems

Та классная идея, которая работала для более ранних систем,

sure broke down when the AI got smarter, smarter than us.”

не применима к этому ИИ, который стал умнее».

We do not get to learn from our mistakes and try again

Мы не сможем учиться на своих ошибках,

because everyone is already dead.

потому что все уже умрут.

It is a large ask

В принципе невозможно

to get an unprecedented scientific and engineering challenge

решить беспрецедентную научную и техническую задачу

correct on the first critical try.

правильно с первой попытки.

Humanity is not approaching this issue with remotely

Человечество смотрит на эту проблему,

даже близко не походя к ней с той серьёзностью, которая тут требуется.

the level of seriousness that would be required.

Some of the people leading these efforts

Некоторые из тех, кто возглавляет эту работу,

have spent the last decade not denying

в последнее десятилетие не опровергают возможность

that creating a superintelligence might kill everyone,

создания суперинтеллекта, способного всех погубить,

but joking about it.

а шутят об этом.

We are very far behind.

Мы сильно отстаём.

И это не задержка, которую можно наверстать за полгода,

This is not a gap we can overcome in six months,

given a six-month moratorium.

если будет шестимесячный мораторий.

If we actually try to do this in real life,

Если мы действительно попытаемся сделать это таким образом,

we are all going to die.

мы все умрём.

People say to me at this point, what's your ask?

Обычно все спрашивают меня, чего я добиваюсь.

I do not have any realistic plan,

У меня нет никаких реалистичных планов,

which is why I spent the last two decades

и именно поэтому последние 20 лет

trying and failing to end up anywhere but here.

я безуспешно пытаюсь прийти к какому-либо результату, отличному от текущего.

My best bad take is that we need an international coalition

Я считаю, что наш лучший шанс — это международная коалиция,

banning large AI training runs,

запрещающая крупные проекты по обучению ИИ.

including extreme and extraordinary measures

Нам также нужны крайние и чрезвычайные меры

to have that ban be actually and universally effective,

по достижению универсальной эффективности этого запрета,

like tracking all GPU sales,

например, отслеживание всех продаж GPU,

monitoring all the data centers,

мониторинг всех центров обработки данных,

being willing to risk a shooting conflict between nations

принятие риска международного вооружённого конфликта

in order to destroy an unmonitored data center

с целью уничтожения неконтролируемого центра данных

in a non-signatory country.

в стране, не подписавшей договор.

I say this, not expecting that to actually happen.

Я говорю это, не веря, что это на самом деле случится.

I say this expecting that we all just die.

Я говорю это, считая, что мы все просто умрём.

But it is not my place to just decide on my own

Но у меня нет права единолично решить,

that humanity will choose to die,

что человечество выберет смерть,

to the point of not bothering to warn anyone.

поэтому я должен хотя бы предостеречь.

Говорят, что люди за пределами отрасли высоких технологий

I have heard that people outside the tech industry

are getting this point faster than people inside it.

более восприимчивы к этой идее, чем люди в ней.

Maybe humanity wakes up one morning and decides to live.

Возможно, однажды человечество проснётся и выберет жизнь.

Спасибо, что выслушали моё краткое выступление TED.

Thank you for coming to my brief TED talk.

(Laughter)

(Смех)

(Applause and cheers)

(Аплодисменты и одобрительные возгласы)

Chris Anderson: So, Eliezer, thank you for coming and giving that.

Крис Андерсон: Элиезер, спасибо за ваше выступление.

It seems like what you're raising the alarm about is that like,

Я правильно понимаю, что вы хотите предостеречь нас,

for this to happen, for an AI to basically destroy humanity,

что ИИ может уничтожить человечество,

it has to break out, escape controls of the internet and, you know,

если он высвободится из-под контроля Интернета

start commanding actual real-world resources.

и начнёт управлять реальными жизненными ресурсами?

You say you can't predict how that will happen,

Вы говорите, что не можете предсказать, как это произойдёт,

but just paint one or two possibilities.

но приведите нам несколько возможных сценариев.

Eliezer Yudkowsky: OK, so why is this hard?

Элиезер Юдковский: Да. Почему это сложно?

First, because you can't predict exactly where a smarter chess program will move.

Во-первых, потому что мы не знаем, какой ход сделает умная шахматная программа.

Maybe even more importantly than that,

Возможно, даже важнее вот что:

imagine sending the design for an air conditioner

представьте, если мы перенесём чертёж кондиционера

back to the 11th century.

в XI век.

Even if they -- if it’s enough detail for them to build it,

Даже если его соберут там — если чертёж будет достаточно подробным —

they will be surprised when cold air comes out

они очень удивятся, когда из него подует холодом,

because the air conditioner will use the temperature-pressure relation

потому что в основе кондиционера лежит зависимость температура-давление,

and they don't know about that law of nature.

а им не знаком такой природный закон.

So if you want me to sketch what a superintelligence might do,

Поэтому, если вы хотите, чтобы я описа́л, что может сделать суперинтеллект,

I can go deeper and deeper into places

я могу углубиться в то,

where we think there are predictable technological advancements

какие предсказуемые технические достижения могут произойти,

that we haven't figured out yet.

о которых мы ещё не знаем.

And as I go deeper, it will get harder and harder to follow.

И чем глубже я буду копать, тем сложнее это будет для понимания.

It could be super persuasive.

Возможно, ИИ будет очень убедительным.

That's relatively easy to understand.

Это достаточно просто понять.

We do not understand exactly how the brain works,

Мы точно не знаем, как работает мозг,

so it's a great place to exploit laws of nature that we do not know about.

поэтому это хороший старт для изучения неизвестных нам законов природы.

Rules of the environment,

Правила среды.

invent new technologies beyond that.

Изобрести новые технологии.

Can you build a synthetic virus that gives humans a cold

Можно ли создать искусственный вирус простуды

and then a bit of neurological change and they're easier to persuade?

и внести неврологические изменения, чтобы человека было легче убедить?

Can you build your own synthetic biology,

Можно ли создать новую искусственную биологию,

synthetic cyborgs?

синтетических киборгов?

Can you blow straight past that

Можно ли пронестись сразу

to covalently bonded equivalents of biology,

к ковалентно связанным эквивалентам биологии,

where instead of proteins that fold up and are held together by static cling,

где вместо белков, которые сворачиваются и удерживаются статической связью,

you've got things that go down much sharper potential energy gradients

мы получим вещества с более резким градиентом потенциальной энергии

and are bonded together?

и соединяющиеся друг с другом?

People have done advanced design work about this sort of thing

Уже была проделана огромная работа по разработке таких моделей,

for artificial red blood cells that could hold 100 times as much oxygen

например искусственные эритроциты, которые удерживают в 100 раз больше кислорода,

if they were using tiny sapphire vessels to store the oxygen.

используя микроскопические сапфирные сосуды для его хранения.

There's lots and lots of room above biology,

В сфере биологии для ИИ огромный простор,

but it gets harder and harder to understand.

но это очень сложно для понимания.

CA: So what I hear you saying

КА: То есть вы говорите,

is that these terrifying possibilities there

что существуют страшные возможные сценарии,

but your real guess is that AIs will work out something more devious than that.

но вы считаете, что ИИ разработает что-то более хитрое.

Is that really a likely pathway in your mind?

На ваш взгляд, это действительно вероятный сценарий?

EY: Which part?

ЭЮ: Что именно?

That they're smarter than I am? Absolutely.

Что они умнее меня? Без сомнения.

CA: Not that they're smarter,

КА: Не то что они умнее,

but why would they want to go in that direction?

а что они захотят пойти именно этим путём?

Like, AIs don't have our feelings of sort of envy and jealousy and anger

Ведь ИИ не наделён чувствами зависти, ревности, злости

and so forth.

и так далее.

So why might they go in that direction?

Тогда зачем ему идти этим путём?

EY: Because it's convergently implied by almost any of the strange,

ЭЮ: Потому что это подразумевается почти всеми странными,

inscrutable things that they might end up wanting

непостижимыми желаниями, которые могут возникнуть у него

as a result of gradient descent

в результате градиентного спуска

on these "thumbs up" and "thumbs down" things internally.

по «Нравится» и «Не нравится».

If all you want is to make tiny little molecular squiggles

Если единственная цель — создать малюсенькие молекулярные загогулинки,

or that's like, one component of what you want,

или если это один из компонентов цели,

but it's a component that never saturates, you just want more and more of it,

которого постоянно недостаточно, вам нужно ещё и ещё,

the same way that we would want more and more galaxies filled with life

так же, как нам хотелось бы создавать галактики, наполненные жизнью,

and people living happily ever after.

и людей, живущих долго и счастливо.

Anything that just keeps going,

Для любого бесконечного процесса

you just want to use more and more material for that,

вам понадобится всё больше и больше материи,

that could kill everyone on Earth as a side effect.

и побочным эффектом может стать смерть всего живого на земле.

It could kill us because it doesn't want us making other superintelligences

ИИ может уничтожить нас, чтобы мы не создали другие суперинтеллекты,

to compete with it.

с которыми ему придётся соперничать.

It could kill us because it's using up all the chemical energy on earth

Он может уничтожить нас, так как использует всю химическую энергию Земли,

and we contain some chemical potential energy.

а в нас тоже есть потенциальная химическая энергия.

CA: So some people in the AI world worry that your views are strong enough

КА: Некоторых представителей мира ИИ, возможно, беспокоит то,

что ваши взгляды настолько категоричны

and they would say extreme enough

и даже настолько радикальны,

that you're willing to advocate extreme responses to it.

что вы готовы выступать за радикальные меры.

And therefore, they worry that you could be, you know,

И поэтому, возможно, вас считают

in one sense, a very destructive figure.

в какой-то мере разрушительной силой.

Do you draw the line yourself in terms of the measures

Вы сами устанавливаете какие-то границы на меры,

that we should take to stop this happening?

которые нам нужно предпринимать?

Or is actually anything justifiable to stop

Или вы считаете любую меру оправданной для того,

the scenarios you're talking about happening?

чтобы предотвратить эти сценарии?

EY: I don't think that "anything" works.

ЭЮ: Ну не любую.

I think that this takes state actors

Я считаю, что необходимо участие государственных властей

and international agreements

и международных соглашений.

and all international agreements by their nature,

А все международные соглашения, по своей сути,

tend to ultimately be backed by force

обычно подкреплены силой

on the signatory countries and on the non-signatory countries,

как со стороны подписавших его стран, так и со стороны не подписавших,

which is a more extreme measure.

что является радикальной мерой.

I have not proposed that individuals run out and use violence,

Я не призываю людей выходить на улицы и прибегать к насилию,

and I think that the killer argument for that is that it would not work.

и основная причина в том, что это не поможет.

CA: Well, you are definitely not the only person to propose

КА: Ну, вы точно не единственный, кто говорит,

that what we need is some kind of international reckoning here

что нам нужен какой-то международный план

on how to manage this going forward.

того, что с этим делать в будущем.

Thank you so much for coming here to TED, Eliezer.

Большое спасибо, что поговорили с нами, Элиезер.

(Applause)

(Аплодисменты)