How to Keep AI Under Control | Max Tegmark | TED

Переводчик: Alena Chernykh Редактор: Olga Mansurova

Five years ago,

Пять лет назад

I stood on the TED stage

я выступал на сцене TED

and warned about the dangers of superintelligence.

и предупреждал об опасностях суперинтеллекта.

I was wrong.

Я ошибался.

It went even worse than I thought.

Всё случилось хуже, чем я думал.

(Laughter)

(Смех)

I never thought governments would let AI companies get this far

Я не думал, что правительства позволят разработчикам ИИ продвинуться так далеко

without any meaningful regulation.

без какого-либо значимого регулирования.

And the progress of AI went even faster than I predicted.

Искусственный интеллект развивался даже быстрее, чем я предсказывал.

Look, I showed this abstract landscape of tasks

Я показал этот абстрактный ландшафт задач,

where the elevation represented how hard it was for AI

где высота над уровнем моря показывает, насколько сложно ИИ

to do each task at human level.

выполнять каждую задачу как человеку.

And the sea level represented what AI could be back then.

Уровень моря представлял собой то, каким мог быть ИИ в то время.

And boy or boy, has the sea been rising fast ever since.

И неважно как, но с тех пор уровень моря быстро поднялся.

But a lot of these tasks have already gone blub blub blub blub blub blub.

Многие из этих задач уже решены, буль, буль, буль, буль...

And the water is on track to submerge all land,

И вода может затопить всю сушу,

matching human intelligence at all cognitive tasks.

не уступая человеческому интеллекту во всех когнитивных задачах.

This is a definition of artificial general intelligence, AGI,

Это определение общего искусственного интеллекта, ОИИ,

which is the stated goal of companies like OpenAI,

которое и является заявленной целью таких компаний, как OpenAI,

Google DeepMind and Anthropic.

Google DeepMind и Anthropic.

And these companies are also trying to build superintelligence,

Эти компании также пытаются создать суперинтеллект,

leaving human intelligence far behind.

который оставит человеческий интеллект далеко позади.

And many think it'll only be a few years, maybe, from AGI to superintelligence.

И многие считают, что немного лет пройдёт от ОИИ до суперинтеллекта.

So when are we going to get AGI?

Так когда же мы получим ОИИ?

Well, until recently, most AI researchers thought it was at least decades away.

Не так давно многие исследователи ИИ считали, что до этого ещё десятилетия.

And now Microsoft is saying, "Oh, it's almost here."

А теперь Microsoft говорит: «Он уже почти здесь».

We're seeing sparks of AGI in ChatGPT-4,

В ChatGPT-4 мы видим зачатки ОИИ,

and the Metaculus betting site is showing the time left to AGI

а сайт ставок Metaculus показывает, что оставшееся до появления ОИИ время

plummeting from 20 years away to three years away

резко сократилось с двадцати до трёх лет

in the last 18 months.

за последние 18 месяцев.

And leading industry people are now predicting

Лидеры отрасли теперь предсказывают, что нам осталось,

that we have maybe two or three years left until we get outsmarted.

может быть, два или три года, прежде чем нас перехитрят.

So you better stop talking about AGI as a long-term risk,

Так что, перестаньте говорить об ОИИ как о долгосрочном риске,

or someone might call you a dinosaur stuck in the past.

иначе кто-то может назвать вас динозавром, застрявшим в прошлом.

It's really remarkable how AI has progressed recently.

Удивительно, как продвинулся ИИ за последние годы.

Not long ago, robots moved like this.

Не так давно роботы двигались подобным образом.

(Music)

(Музыка)

Now they can dance.

Теперь они умеют танцевать.

(Music)

(Музыка)

Just last year, Midjourney produced this image.

Буквально в прошлом году студия Midjourney создала этот образ.

This year, the exact same prompt produces this.

В этом году они получили уже вот такой результат.

Deepfakes are getting really convincing.

Дипфейки становятся очень убедительными.

(Video) Deepfake Tom Cruise: I’m going to show you some magic.

(Видео) Дипфейк Тома Круза: «Я покажу вам волшебство.

It's the real thing.

Это настоящая вещь.

(Laughs)

(Смеётся)

I mean ...

Я имею в виду...

It's all ...

Это всё...

the real ...

настоящие...

thing.

вещи».

Max Tegmark: Or is it?

Макс Тегмарк: «Или так?»

And Yoshua Bengio now argues

А теперь Йошуа Бенджио утверждает,

that large language models have mastered language

что большие языковые модели освоили язык

and knowledge to the point that they pass the Turing test.

и знания до такой степени, что они сдают тест Тьюринга.

I know some skeptics are saying,

Некоторые скептики говорят:

"Nah, they're just overhyped stochastic parrots

«Нет, это просто преувеличенные попугаи,

that lack a model of the world,"

у которых нет модели мира».

but they clearly have a representation of the world.

Но у них явно есть представление о мире.

In fact, we recently found that Llama-2 even has a literal map of the world in it.

Недавно мы обнаружили, что в Llama-2 есть даже буквальная карта мира.

And AI also builds

Кроме того, ИИ создаёт

geometric representations of more abstract concepts

геометрические представления более абстрактных понятий,

like what it thinks is true and false.

которые он считает истинными и ложными.

So what's going to happen if we get AGI and superintelligence?

Так что же произойдёт, когда появится ОИИ и суперинтеллект?

If you only remember one thing from my talk, let it be this.

Если вы запомните лишь одну мысль из моего выступления, пусть она будет такой.

AI godfather, Alan Turing predicted

Алан Тьюринг, крёстный отец ИИ,

that the default outcome is the machines take control.

предсказал, что по умолчанию машины возьмут управление в свои руки.

The machines take control.

Машины берут управление в свои руки.

I know this sounds like science fiction,

Понимаю, звучит как научная фантастика,

but, you know, having AI as smart as GPT-4

но недавно использование ИИ, такого же умного как GPT-4,

also sounded like science fiction not long ago.

тоже казалось научной фантастикой.

And if you think of AI,

И если вы думаете об ИИ,

if you think of superintelligence in particular, as just another technology,

особенно о суперинтеллекте, как о ещё одной технологии,

like electricity,

такой как электричество, то, вероятно,

you're probably not very worried.

вас это не очень-то беспокоит.

But you see,

Но дело в том,

Turing thinks of superintelligence more like a new species.

что Тьюринг воспринимает суперинтеллект скорее как новый вид.

Think of it,

Вы только представьте:

we are building creepy, super capable,

мы создаём жутких, супер способных

amoral psychopaths

и аморальных психопатов,

that don't sleep and think much faster than us,

которые не спят и мыслят гораздо быстрее нас,

can make copies of themselves

могут копировать самих себя

and have nothing human about them at all.

и не имеют в себе ничего человеческого.

So what could possibly go wrong?

Что же может пойти не так?

(Laughter)

(Смех)

And it's not just Turing.

И дело не только в Тьюринге.

OpenAI CEO Sam Altman, who gave us ChatGPT,

Генеральный директор OpenAI Сэм Альтман, давший нам ChatGPT,

recently warned that it could be "lights out for all of us."

недавно предупредил, что нам всем может быть «выключен свет».

Anthropic CEO, Dario Amodei, even put a number on this risk:

Генеральный директор Anthropic Дарио Амодей даже обозначил

10-25 percent.

этот риск в 10-25 процентов.

And it's not just them.

И дело не только в них.

Human extinction from AI went mainstream in May

Вымирание людей от ИИ стало основной темой в мае,

when all the AGI CEOs and who's who of AI researchers

когда все генеральные директора создателей ОИИ и исследователи ИИ

came on and warned about it.

выступили с предупреждением.

And last month, even the number one of the European Union

А в прошлом месяце даже первые лица Европейского Союза

warned about human extinction by AI.

предупреждали о том, что ИИ уничтожит человечество.

So let me summarize everything I've said so far

Хочу обобщить всё вышесказанное

in just one slide of cat memes.

на одном слайде с кошачьими мемами.

Three years ago,

Три года назад

people were saying it's inevitable, superintelligence,

люди говорили: «Суперинтеллект неизбежен,

it'll be fine,

всё будет хорошо,

it's decades away.

впереди ещё десятилетия».

Last year it was more like,

В прошлом году это звучало по-другому:

It's inevitable, it'll be fine.

«Это неизбежно, всё будет хорошо».

Now it's more like,

А сейчас они просто говорят:

It's inevitable.

«Это неизбежно».

(Laughter)

(Смех)

But let's take a deep breath and try to raise our spirits

Но давайте сделаем глубокий вдох и постараемся поднять себе настроение

and cheer ourselves up,

и обнадёжить себя,

because the rest of my talk is going to be about the good news,

потому что далее я поделюсь с вами хорошими новостями,

that it's not inevitable, and we can absolutely do better,

что это не неизбежно, и мы можем добиться большего,

alright?

понятно?

(Applause)

(Аплодисменты)

So ...

Итак...

The real problem is that we lack a convincing plan for AI safety.

Настоящая проблема в том, что у нас нет убедительного плана в безопасности ИИ.

People are working hard on evals

Люди усердно работают

looking for risky AI behavior, and that's good,

над оценкой рискованного поведения ИИ, и это хорошо,

but clearly not good enough.

но явно недостаточно.

They're basically training AI to not say bad things

По сути, они учат искусственный интеллект не говорить плохих вещей,

rather than not do bad things.

вернее чем не делать их.

Moreover, evals and debugging are really just necessary,

Более того, оценка и отладка на самом деле просто необходимы,

not sufficient, conditions for safety.

но их мало для обеспечения безопасности.

In other words,

Другими словами,

they can prove the presence of risk,

они могут доказать наличие риска,

not the absence of risk.

но не его отсутствие.

So let's up our game, alright?

Итак, давайте улучшим нашу игру, хорошо?

Try to see how we can make provably safe AI that we can control.

Попытайтесь понять, как сделать ИИ безопасным и которым мы можем управлять.

Guardrails try to physically limit harm.

Ограждения направлены на физическое ограничение вреда.

But if your adversary is superintelligence

Но если ваш противник — суперинтеллект

or a human using superintelligence against you, right,

или человек, использующий суперинтеллект против вас,

trying is just not enough.

то одних усилий недостаточно.

You need to succeed.

Вам нужно добиться успеха.

Harm needs to be impossible.

Нанесение вреда должно быть невозможным.

So we need provably safe systems.

Поэтому нам нужны доказуемо безопасные системы.

Provable, not in the weak sense of convincing some judge,

Доказуемо, но не в слабом смысле, чтобы убедить какого-нибудь судью,

but in the strong sense of there being something that's impossible

а в сильном прямом смысле того, что не существует нечто такое,

according to the laws of physics.

что невозможно по законам физики.

Because no matter how smart an AI is,

Потому что, каким бы умным ни был ИИ,

it can't violate the laws of physics and do what's provably impossible.

он не может нарушать законы физики и делать доказуемо невозможное.

Steve Omohundro and I wrote a paper about this,

Мы со Стивом Омохундро написали об этом статью

and we're optimistic that this vision can really work.

и надеемся, что такая концепция действительно сработает.

So let me tell you a little bit about how.

Хочу рассказать о том, как это сделать.

There's a venerable field called formal verification,

Существует древняя наука, называемая формальной верификацией,

which proves stuff about code.

которая доказывает многое о коде.

And I'm optimistic that AI will revolutionize automatic proving business

И я с оптимизмом смотрю на то, что ИИ революционизирует автоматическое

and also revolutionize program synthesis,

тестирование бизнеса и синтез программ,

the ability to automatically write really good code.

способность автоматически писать действительно хороший код.

So here is how our vision works.

Вот как работает наша концепция.

You, the human, write a specification

Вы, человек, пишете спецификацию,

that your AI tool must obey,

которой должен соответствовать ваш инструмент ИИ,

that it's impossible to log in to your laptop

что невозможно войти в ноутбук

without the correct password,

без правильного пароля

or that a DNA printer cannot synthesize dangerous viruses.

или что принтер ДНК не может синтезировать опасные вирусы.

Then a very powerful AI creates both your AI tool

Затем очень мощный ИИ создаёт и ваш инструмент ИИ и доказательство,

and a proof that your tool meets your spec.

что ваш инструмент соответствует вашим спецификациям.

Machine learning is uniquely good at learning algorithms,

Машинное обучение уникально хорошо изучает алгоритмы,

but once the algorithm has been learned,

но как только алгоритм будет изучен,

you can re-implement it in a different computational architecture

его можно повторно реализовать в другой вычислительной архитектуре,

that's easier to verify.

которую легче верифицировать.

Now you might worry,

И тут возникает вопрос:

how on earth am I going to understand this powerful AI

«Как же разобраться в этом мощном ИИ,

and the powerful AI tool it built

созданном им инструменте ИИ,

and the proof,

и в их доказательствах,

if they're all too complicated for any human to grasp?

если они все слишком сложны для понимания человеком?»

Here is the really great news.

Вот действительно отличная новость.

You don't have to understand any of that stuff,

Вам не нужно разбираться во всём этом,

because it's much easier to verify a proof than to discover it.

потому что проверить доказательство гораздо проще, чем найти его.

So you only have to understand or trust your proof-checking code,

Вам нужно только понять код проверки подлинности или доверять ему.

which could be just a few hundred lines long.

Он может содержать всего несколько сотен строк.

And Steve and I envision

Мы со Стивом предполагаем,

that such proof checkers get built into all our compute hardware,

что такие средства проверки будут встроены в вычислительное оборудование,

so it just becomes impossible to run very unsafe code.

поэтому запускать очень небезопасный код станет просто невозможно.

What if the AI, though, isn't able to write that AI tool for you?

Но что, если искусственный интеллект не может написать этот инструмент для вас?

Then there's another possibility.

Тогда есть ещё одна возможность.

You train an AI to first just learn to do what you want

Вы учите ИИ сначала просто научиться делать то, что вы хотите,

and then you use a different AI

а затем используете другой ИИ,

to extract out the learned algorithm and knowledge for you,

чтобы извлечь из него изученный алгоритм и знания,

like an AI neuroscientist.

как нейробиолог, работающий с ИИ.

This is in the spirit of the field of mechanistic interpretability,

Это соответствует духу области механистической интерпретируемости,

which is making really impressive rapid progress.

которая стремительно развивается.

Provably safe systems are clearly not impossible.

Очевидно, что доказуемо безопасные системы вполне возможны.

Let's look at a simple example

Рассмотрим простой пример того,

of where we first machine-learn an algorithm from data

как мы сначала создаём и обучаем машинный алгоритм на данных,

and then distill it out in the form of code

а затем выводим его в виде кода,

that provably meets spec, OK?

который, вероятно, соответствует спецификации.

Let’s do it with an algorithm that you probably learned in first grade,

Давайте сделаем это с алгоритмом, который вы, вероятно, изучили ещё в первом классе,

addition,

где вы

where you loop over the digits from right to left,

перебираете цифры справа налево,

and sometimes you do a carry.

а иногда и переносите их.

We'll do it in binary,

Сделаем это в двоичном формате,

as if you were counting on two fingers instead of ten.

как если бы вы считали двумя пальцами, а не десятью.

And we first train a recurrent neural network,

И сначала мы обучим рекуррентную нейронную сеть,

never mind the details,

не зацикливаясь на деталях,

to nail the task.

справляться с этой задачей.

So now you have this algorithm that you don't understand how it works

Теперь у вас есть алгоритм, который непонятно как работает

in a black box

в чёрном ящике,

defined by a bunch of tables of numbers that we, in nerd speak,

состоящем из множества таблиц чисел, которые мы привычно

call parameters.

называем параметрами.

Then we use an AI tool we built to automatically distill out from this

Затем мы используем инструмент ИИ, чтобы автоматически извлечь из этого

the learned algorithm in the form of a Python program.

обученный алгоритм в виде программы на языке Python.

And then we use the formal verification tool known as Daphne

Затем мы используем формальное средство проверки, известное как Dafny,

to prove that this program correctly adds up any numbers,

чтобы доказать, что эта программа правильно складывает любые числа,

not just the numbers that were in your training data.

а не только числа из ваших тренировочных данных.

So in summary,

Короче говоря, я убеждён,

provably safe AI, I'm convinced is possible,

что безопасный ИИ, вероятно, возможен,

but it's going to take time and work.

но для этого потребуется время и работа.

And in the meantime,

А пока давайте вспомним,

let's remember that all the AI benefits

что все преимущества ИИ,

that most people are excited about

которые нравятся большинству людей,

actually don't require superintelligence.

на самом деле не требуют суперинтеллекта.

We can have a long and amazing future with AI.

У нас может быть долгое и удивительное будущее с ИИ.

So let's not pause AI.

Поэтому давайте не будем останавливать ИИ.

Let's just pause the reckless race to superintelligence.

Давайте просто остановим безрассудную гонку за суперинтеллектом.

Let's stop obsessively training ever-larger models

Давайте перестанем одержимо тренировать всё более крупные модели,

that we don't understand.

в которых мы не разбираемся.

Let's heed the warning from ancient Greece

Давайте прислушаемся к предостережениям древних греков

and not get hubris, like in the story of Icarus.

и не будем проявлять высокомерия, как в истории об Икаре.

Because artificial intelligence

Потому что искусственный интеллект

is giving us incredible intellectual wings

даёт нам невероятные интеллектуальные крылья,

with which we can do things beyond our wildest dreams

с помощью которых мы можем свершить самые смелые мечты,

if we stop obsessively trying to fly to the sun.

если перестанем одержимо пытаться полететь к солнцу.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)