What happens when our computers get smarter than we are? | Nick Bostrom

Ник Бостром: Что произойдёт, когда компьютеры станут умнее нас?

Переводчик: Marina Vereschagina Редактор: Myo Aung

I work with a bunch of mathematicians, philosophers and computer scientists,

Я работаю с математиками, философами и информатиками.

and we sit around and think about the future of machine intelligence,

Среди всего прочего, мы собираемся и думаем

among other things.

о будущем машинного интеллекта.

Some people think that some of these things are sort of science fiction-y,

Некоторые люди полагают, что это вроде научной фантастики,

far out there, crazy.

далеко отсюда, безумие какое-то.

But I like to say,

Но я люблю говорить

okay, let's look at the modern human condition.

хорошо, давайте глянем на современное состояние человечества.

(Laughter)

(Смех)

This is the normal way for things to be.

Всё как обычно.

But if we think about it,

Но если задуматься над этим,

we are actually recently arrived guests on this planet,

на самом деле мы гости, появившиеся совсем недавно на этой планете,

the human species.

человеческий род.

Think about if Earth was created one year ago,

Задумайтесь, если бы Земля была создана год назад,

the human species, then, would be 10 minutes old.

человеческому роду было бы всего 10 минут от роду.

The industrial era started two seconds ago.

Индустриальная эра началась две секунды назад.

Another way to look at this is to think of world GDP over the last 10,000 years,

Другой способ взглянуть на это — подумать о мировом ВВП за последние 10000 лет.

I've actually taken the trouble to plot this for you in a graph.

Я построил для вас график.

It looks like this.

Это выглядит вот так.

(Laughter)

(Смех)

It's a curious shape for a normal condition.

Это любопытная форма для обычного состояния.

I sure wouldn't want to sit on it.

Я бы не хотел сидеть на этом.

(Laughter)

(Смех)

Let's ask ourselves, what is the cause of this current anomaly?

Давайте спросим себя, что же является причиной нынешней аномалии?

Some people would say it's technology.

Кто-то скажет, что это технологии.

Now it's true, technology has accumulated through human history,

Да, это правда, технологии накопились за всё время существования человека,

and right now, technology advances extremely rapidly --

и сейчас технологии развиваются чрезвычайно быстро —

that is the proximate cause,

это непосредственная причина,

that's why we are currently so very productive.

вот почему мы в последнее время очень продуктивны.

But I like to think back further to the ultimate cause.

Но мне хочется думать дальше, об окончательной цели.

Look at these two highly distinguished gentlemen:

Взгляните на этих двух выдающихся джентльменов:

We have Kanzi --

У нас есть Канзи,

he's mastered 200 lexical tokens, an incredible feat.

он освоил 200 лексем, невероятный подвиг.

And Ed Witten unleashed the second superstring revolution.

И Эд Уиттен, развязавший вторую революцию в теории струн.

If we look under the hood, this is what we find:

Если мы посмотрим вглубь, вот что мы найдём:

basically the same thing.

в основном одно и то же.

One is a little larger,

Один чуть крупнее,

it maybe also has a few tricks in the exact way it's wired.

может быть, хитрее устроен изнутри.

These invisible differences cannot be too complicated, however,

Как бы там ни было, невидимые различия не могут быть очень сложными,

because there have only been 250,000 generations

потому что появилось всего 250 000 поколений

since our last common ancestor.

после нашего последнего общего предка.

We know that complicated mechanisms take a long time to evolve.

Мы знаем, что сложным механизмам для эволюции требуется много времени.

So a bunch of relatively minor changes

Куча относительно незначительных изменений

take us from Kanzi to Witten,

привела нас от Канзи к Уиттену,

from broken-off tree branches to intercontinental ballistic missiles.

от палок-копалок к межконтинентальным баллистическим ракетам.

So this then seems pretty obvious that everything we've achieved,

Поэтому становится довольно очевидным, что всё достигнутое,

and everything we care about,

и всё важное для нас

depends crucially on some relatively minor changes that made the human mind.

кардинально зависит от незначительных изменений, создавших человеческий разум.

And the corollary, of course, is that any further changes

И следствием, конечно же, является, то, что какие-либо дальнейшие изменения,

that could significantly change the substrate of thinking

которые могли бы существенно изменить основание мышления,

could have potentially enormous consequences.

могут иметь потенциально огромные последствия.

Some of my colleagues think we're on the verge

Некоторые из моих коллег думают, что мы на грани

of something that could cause a profound change in that substrate,

чего-то, что может создать глубокое изменение в том основании

and that is machine superintelligence.

и это машинный суперинтеллект.

Artificial intelligence used to be about putting commands in a box.

Искусственным интеллектом ранее считался ввод команд в ящик.

You would have human programmers

У вас есть программисты-люди,

that would painstakingly handcraft knowledge items.

которые кропотливо вручную создавали крупицы знаний.

You build up these expert systems,

Вы строите экспертные системы,

and they were kind of useful for some purposes,

и они были в какой-то степени полезны для некоторых целей,

but they were very brittle, you couldn't scale them.

но они были очень хрупкими, они не масштабировались.

Basically, you got out only what you put in.

В основном мы получали только то, что вводили.

But since then,

Но с тех пор

a paradigm shift has taken place in the field of artificial intelligence.

в области искусственного интеллекта произошла смена парадигмы.

Today, the action is really around machine learning.

Сегодня вся активность сосредоточена вокруг машинного обучения.

So rather than handcrafting knowledge representations and features,

Вместо создания знания вручную мы создаём алгоритмы,

we create algorithms that learn, often from raw perceptual data.

которые обучаются, зачастую из необработанных сигналов сенсоров.

Basically the same thing that the human infant does.

Почти то же, что делает младенец.

The result is A.I. that is not limited to one domain --

В результате ИИ не ограничен одной областью знаний.

the same system can learn to translate between any pairs of languages,

Одна и та же система может научиться переводить между несколькими парами языков,

or learn to play any computer game on the Atari console.

или научиться играть в компьютерные игры на игровой приставке Atari.

Now of course,

Конечно,

A.I. is still nowhere near having the same powerful, cross-domain

ИИ до сих пор далёк от мощной междисциплинарной способности

ability to learn and plan as a human being has.

обучаться и планировать, как это делает человек.

The cortex still has some algorithmic tricks

У коры мозга всё ещё есть некоторые алгоритмические приёмы,

that we don't yet know how to match in machines.

которые мы ещё не знаем, как реализовать в машинах.

So the question is,

Вопрос в том,

how far are we from being able to match those tricks?

как мы далеки от возможности реализовать эти приёмы?

A couple of years ago,

Пару лет назад

we did a survey of some of the world's leading A.I. experts,

мы опросили ведущих мировых экспертов по ИИ.

to see what they think, and one of the questions we asked was,

Одним из наших вопросов был:

"By which year do you think there is a 50 percent probability

«К какому году будет 50% вероятности,

that we will have achieved human-level machine intelligence?"

что мы достигнем машинного интеллекта человеческого уровня?»

We defined human-level here as the ability to perform

Мы определили человеческий уровень как способность выполнять

almost any job at least as well as an adult human,

практически любую работу также хорошо, как взрослый человек.

so real human-level, not just within some limited domain.

Обычный человеческий уровень, не только в пределах какой-то ограниченной области.

And the median answer was 2040 or 2050,

И средний ответ был 2040 или 2050,

depending on precisely which group of experts we asked.

в зависимости от группы экспертов, которую мы опрашивали.

Now, it could happen much, much later, or sooner,

Это может произойти намного-намного позднее или же раньше,

the truth is nobody really knows.

по правде говоря, никто точно не знает.

What we do know is that the ultimate limit to information processing

Но мы точно знаем, что предел скорости обработки информации машинами

in a machine substrate lies far outside the limits in biological tissue.

лежит далеко за пределами возможностей биологической ткани.

This comes down to physics.

Всё сводится к физике.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Биологический нейрон срабатывает примерно 200 раз в секунду, 200 герц.

But even a present-day transistor operates at the Gigahertz.

Но даже современный транзистор работает на гигагерцах.

Neurons propagate slowly in axons, 100 meters per second, tops.

Нейроны медленно двигаются в аксонах, максимум 100 метров в секунду.

But in computers, signals can travel at the speed of light.

А в компьютерах сигналы могут путешествовать со скоростью света.

There are also size limitations,

Есть также ограничения по размеру.

like a human brain has to fit inside a cranium,

Человеческий мозг обязан умещаться внутри черепа,

but a computer can be the size of a warehouse or larger.

а компьютер может быть размером со склад или даже больше.

So the potential for superintelligence lies dormant in matter,

Потенциал для интеллекта дремлет в материи,

much like the power of the atom lay dormant throughout human history,

так же как энергия атома дремала на протяжении всей человеческой истории,

patiently waiting there until 1945.

терпеливо ожидая 1945 года.

In this century,

В этом столетии

scientists may learn to awaken the power of artificial intelligence.

учёные могут узнать, как пробудить энергию искусственного интеллекта.

And I think we might then see an intelligence explosion.

И я думаю, что тогда мы могли бы увидеть взрыв интеллекта.

Now most people, when they think about what is smart and what is dumb,

Сейчас большинство людей, когда они думают о том, что умно, а что глупо,

I think have in mind a picture roughly like this.

думаю у них в голове примерно такая картинка.

So at one end we have the village idiot,

На одном конце у нас есть деревенский идиот,

and then far over at the other side

а далеко на другой стороне

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

у нас есть Эд Уиттен или Альберт Эйнштейн, или кто-либо из ваших любимых гуру.

But I think that from the point of view of artificial intelligence,

Но я думаю, что с точки зрения искусственного интеллекта

the true picture is actually probably more like this:

настоящая картинка выглядит примерно вот так.

AI starts out at this point here, at zero intelligence,

ИИ начинается отсюда, в нулевом интеллекте

and then, after many, many years of really hard work,

и затем, после многих, многих лет очень тяжёлой работы,

maybe eventually we get to mouse-level artificial intelligence,

может быть, в итоге, мы получим искусственный интеллект уровня мыши.

something that can navigate cluttered environments

Что-то, что сможет перемещаться по беспорядочным средам,

as well as a mouse can.

также как может мышь.

And then, after many, many more years of really hard work, lots of investment,

Затем, после многих, многих лет тяжёлой работы, множества инвестиций,

maybe eventually we get to chimpanzee-level artificial intelligence.

может быть, в итоге, мы получим искусственный интеллект уровня шимпанзе.

And then, after even more years of really, really hard work,

Затем, после многих, многих лет очень, очень тяжёлой работы,

we get to village idiot artificial intelligence.

мы придём к искусственному интеллекту деревенского дурачка.

And a few moments later, we are beyond Ed Witten.

И несколько мгновений спустя окажемся дальше Эда Уиттена.

The train doesn't stop at Humanville Station.

Поезд не останавливается на станции «Человечество».

It's likely, rather, to swoosh right by.

Скорее он со свистом пронесётся мимо.

Now this has profound implications,

У этого далеко идущие последствия,

particularly when it comes to questions of power.

особенно когда это касается вопросов энергии.

For example, chimpanzees are strong --

Например, шимпанзе сильные

pound for pound, a chimpanzee is about twice as strong as a fit human male.

во всех отношениях, шимпанзе примерно в два раза сильнее мужчины в форме.

And yet, the fate of Kanzi and his pals depends a lot more

И ещё — судьба Канзи и его товарищей гораздо больше зависит

on what we humans do than on what the chimpanzees do themselves.

от людей, чем от самих шимпанзе.

Once there is superintelligence,

Как только появится суперинтеллект,

the fate of humanity may depend on what the superintelligence does.

судьба человечества может зависеть от того, что будет делать суперинтеллект.

Think about it:

Подумайте об этом:

Machine intelligence is the last invention that humanity will ever need to make.

машинный интеллект — последнее изобретение человечества.

Machines will then be better at inventing than we are,

Тогда машины будут лучше в изобретениях, чем мы,

and they'll be doing so on digital timescales.

и они будут это делать с цифровой скоростью.

What this means is basically a telescoping of the future.

Это означает телескопичность будущего.

Think of all the crazy technologies that you could have imagined

Подумайте обо всех сумасшедших технологиях,

maybe humans could have developed in the fullness of time:

которые люди могли бы открыть, имея время в избытке:

cures for aging, space colonization,

лекарства от старения, колонизация космоса,

self-replicating nanobots or uploading of minds into computers,

самовоспроизводящиеся нанороботы или загрузка мозгов в компьютеры,

all kinds of science fiction-y stuff

все виды вещей из научной фантастики,

that's nevertheless consistent with the laws of physics.

в рамках законов физики, конечно.

All of this superintelligence could develop, and possibly quite rapidly.

Всё это мог бы открыть суперинтеллект и, возможно, довольно таки быстро.

Now, a superintelligence with such technological maturity

Суперинтеллект с такой технологической зрелостью

would be extremely powerful,

был бы чрезвычайно влиятельным,

and at least in some scenarios, it would be able to get what it wants.

и, по крайней мере по некоторым сценариям, он сможет получить всё, что захочет.

We would then have a future that would be shaped by the preferences of this A.I.

Мы бы тогда имели будущее, сформированное предпочтениями этого ИИ.

Now a good question is, what are those preferences?

Теперь интересный вопрос в том, каковы эти предпочтения?

Here it gets trickier.

Тут всё хитрее.

To make any headway with this,

Чтобы как-то сдвинуться,

we must first of all avoid anthropomorphizing.

прежде всего мы обязаны избегать очеловечивания.

And this is ironic because every newspaper article

И это иронично, потому что в каждой газетной статье

about the future of A.I. has a picture of this:

о будущем ИИ есть такая картинка.

So I think what we need to do is to conceive of the issue more abstractly,

Я думаю, что нам необходимо представить проблему более абстрактно,

not in terms of vivid Hollywood scenarios.

без ярких голливудских сценариев.

We need to think of intelligence as an optimization process,

Нам нужно подумать об интеллекте, как о процессе оптимизации,

a process that steers the future into a particular set of configurations.

процессе, регулирующем будущее в определённый набор конфигураций.

A superintelligence is a really strong optimization process.

Суперинтеллект это очень сильный процесс оптимизации.

It's extremely good at using available means to achieve a state

Он чрезвычайно хорош в использовании доступных средств

in which its goal is realized.

для достижения цели.

This means that there is no necessary connection between

Это значит, что нет обязательной связи между

being highly intelligent in this sense,

«быть очень интеллектуальным» в этом смысле

and having an objective that we humans would find worthwhile or meaningful.

и «иметь цель, которую мы люди нашли бы стоящей и значимой».

Suppose we give an A.I. the goal to make humans smile.

Предположим, что мы дали ИИ цель — «улыбнуть» людей.

When the A.I. is weak, it performs useful or amusing actions

Когда ИИ слаб, он выполняет полезные и забавные действия,

that cause its user to smile.

которые вызывают улыбку у пользователя.

When the A.I. becomes superintelligent,

Когда ИИ становится суперумным,

it realizes that there is a more effective way to achieve this goal:

он понимает, что существует более эффективный способ достичь эту цель:

take control of the world

взять мир под контроль

and stick electrodes into the facial muscles of humans

и вживлять электроды в лицевые мышцы людей,

to cause constant, beaming grins.

вызывая постоянные сияющие улыбки.

Another example,

Другой пример.

suppose we give A.I. the goal to solve a difficult mathematical problem.

Предположим, мы даём ИИ цель — решить трудную математическую проблему.

When the A.I. becomes superintelligent,

Когда ИИ становится суперумным,

it realizes that the most effective way to get the solution to this problem

он понимает, что самый эффективный способ решить проблему —

is by transforming the planet into a giant computer,

преобразовать планету в гигантский компьютер,

so as to increase its thinking capacity.

чтобы улучшить свою мыслительную способность.

And notice that this gives the A.I.s an instrumental reason

И заметьте, что это даёт ИИ инструментальное обоснование

to do things to us that we might not approve of.

делать для нас вещи, которые мы можем не одобрить.

Human beings in this model are threats,

Люди в этой модели являются угрозами —

we could prevent the mathematical problem from being solved.

мы могли препятствовать решению математической проблемы.

Of course, perceivably things won't go wrong in these particular ways;

Конечно, вещи не выйдут из-под контроля именно такими способами,

these are cartoon examples.

это надуманные примеры.

But the general point here is important:

Но главная суть здесь важна:

if you create a really powerful optimization process

если вы создаёте очень мощный процесс оптимизации

to maximize for objective x,

для максимизации цели «икс»,

you better make sure that your definition of x

вам лучше убедиться, что ваше определение «икс»

incorporates everything you care about.

включает всё, что вас волнует.

This is a lesson that's also taught in many a myth.

Это урок, который также давался во многих мифах.

King Midas wishes that everything he touches be turned into gold.

Король Мидас желает, чтобы всё, чего он касается, превращалось в золото.

He touches his daughter, she turns into gold.

Он трогает свою дочь, она превращается в золото.

He touches his food, it turns into gold.

Он трогает свою еду, она превращается в золото.

This could become practically relevant,

Это могло стать актуальным на практике,

not just as a metaphor for greed,

не только как метафора для жадности,

but as an illustration of what happens

но как иллюстрация возможности,

if you create a powerful optimization process

что будет, если вы создадите мощный процесс оптимизации

and give it misconceived or poorly specified goals.

и дадите ему неправильное представление или плохо определённые цели.

Now you might say, if a computer starts sticking electrodes into people's faces,

Вы можете сказать, что если компьютер начнёт вживлять электроды в лица людей,

we'd just shut it off.

мы просто отключим его.

A, this is not necessarily so easy to do if we've grown dependent on the system --

А) это не обязательно легко сделать, если мы стали зависимыми от системы.

like, where is the off switch to the Internet?

Например, где кнопка отключения интернета?

B, why haven't the chimpanzees flicked the off switch to humanity,

Б) почему шимпанзе не отключили кнопку человечества

or the Neanderthals?

или неандертальцы?

They certainly had reasons.

У них определённо были причины.

We have an off switch, for example, right here.

У нас есть кнопка выключения, например, прямо здесь.

(Choking)

(Душит)

The reason is that we are an intelligent adversary;

Причина в том, что мы интеллектуальные соперники:

we can anticipate threats and plan around them.

мы можем предвидеть угрозы и планировать обходные пути.

But so could a superintelligent agent,

Но это может и суперумный агент,

and it would be much better at that than we are.

и он будет намного лучше в этом, чем мы.

The point is, we should not be confident that we have this under control here.

Суть в том, что мы не должны быть уверены, что у нас это под контролем.

And we could try to make our job a little bit easier by, say,

И мы могли бы попытаться сделать нашу работу проще, скажем,

putting the A.I. in a box,

запихнув ИИ в коробку,

like a secure software environment,

в безопасную программную среду,

a virtual reality simulation from which it cannot escape.

виртуальную имитацию реальности из которой он не сможет сбежать.

But how confident can we be that the A.I. couldn't find a bug.

Но насколько мы можем быть уверены, что ИИ не сможет найти такую ошибку.

Given that merely human hackers find bugs all the time,

Учитывая, что даже человеческие хакеры находят ошибки всё время,

I'd say, probably not very confident.

я бы сказал, возможно, не очень уверены.

So we disconnect the ethernet cable to create an air gap,

Мы отсоединили сетевой кабель, чтобы создать воздушный зазор.

but again, like merely human hackers

Но опять же, человеческие хакеры

routinely transgress air gaps using social engineering.

регулярно нарушают воздушные зазоры, используя социальную инженерию.

Right now, as I speak,

В то время как я говорю,

I'm sure there is some employee out there somewhere

я уверен, где-то там есть некий работник,

who has been talked into handing out her account details

которого убедил раскрыть свой пароль

by somebody claiming to be from the I.T. department.

кто-то, утверждающий, что он из отдела ИТ.

More creative scenarios are also possible,

Возможно, будут ещё более творческие сценарии,

like if you're the A.I.,

как если бы ИИ

you can imagine wiggling electrodes around in your internal circuitry

представлялся вам шевелящимися электродами вокруг вашей внутренней схемы,

to create radio waves that you can use to communicate.

создающим радиоволны, которые вы можете использовать для общения.

Or maybe you could pretend to malfunction,

Или, может, вы могли бы симулировать сбои,

and then when the programmers open you up to see what went wrong with you,

и затем, когда программисты вскроют вас, что же с вами пошло не так,

they look at the source code -- Bam! --

они посмотрят на исходный код — Бам!

the manipulation can take place.

Манипуляция имеет место быть.

Or it could output the blueprint to a really nifty technology,

Или он может напечатать схему действительно отличной технологии,

and when we implement it,

и когда мы реализуем её,

it has some surreptitious side effect that the A.I. had planned.

будут некоторые тайные побочные эффекты, которые ИИ уже спланировал.

The point here is that we should not be confident in our ability

Суть здесь в том, что мы не должны быть уверены в нашей способности

to keep a superintelligent genie locked up in its bottle forever.

вечно держать сверхразумного джина взаперти в бутылке.

Sooner or later, it will out.

Рано или поздно он выйдет наружу.

I believe that the answer here is to figure out

Я верю, что ответ заключается в том, чтобы выяснить,

how to create superintelligent A.I. such that even if -- when -- it escapes,

как создать сверхразумный ИИ с учётом, что если он сбежит,

it is still safe because it is fundamentally on our side

он всё равно будет безопасен, потому что он по существу на нашей стороне

because it shares our values.

и разделяет наши ценности.

I see no way around this difficult problem.

Я не вижу путей обхода этой сложной проблемы.

Now, I'm actually fairly optimistic that this problem can be solved.

Вообще я довольно оптимистичен, что эту проблему можно решить.

We wouldn't have to write down a long list of everything we care about,

Не нужно писать длинный список всего что нас волнует,

or worse yet, spell it out in some computer language

или ещё хуже, расшифровывать это на каком-нибудь компьютерном языке,

like C++ or Python,

как C++ или Python.

that would be a task beyond hopeless.

Это было бы безнадёжной задачей.

Instead, we would create an A.I. that uses its intelligence

Вместо этого мы бы создали ИИ, который использует свой интеллект

to learn what we value,

для познания того, чем мы дорожим.

and its motivation system is constructed in such a way that it is motivated

ИИ, который был бы мотивирован преследовать наши ценности

to pursue our values or to perform actions that it predicts we would approve of.

или выполнять действия, наше одобрение на которые он предсказал.

We would thus leverage its intelligence as much as possible

Следовательно, мы бы использовали его интеллект как можно больше,

to solve the problem of value-loading.

чтобы решить проблему наполнения ценностями.

This can happen,

Это может произойти,

and the outcome could be very good for humanity.

и результат может быть очень полезен для человечества.

But it doesn't happen automatically.

Но это не произойдёт автоматически.

The initial conditions for the intelligence explosion

Начальные условия для взрыва интеллекта

might need to be set up in just the right way

нуждаются в правильной установке,

if we are to have a controlled detonation.

если мы хотим иметь контролируемый взрыв.

The values that the A.I. has need to match ours,

Ценности ИИ должны согласовываться с нашими,

not just in the familiar context,

не просто в знакомых контекстах,

like where we can easily check how the A.I. behaves,

где мы можем легко проверить, как ИИ себя ведёт,

but also in all novel contexts that the A.I. might encounter

но также во всех новых контекстах, с которыми ИИ может столкнуться

in the indefinite future.

в неопределённом будущем.

And there are also some esoteric issues that would need to be solved, sorted out:

Также, есть несколько необычных проблем, которые нам необходимо решить:

the exact details of its decision theory,

точные детали его теории принятия решений,

how to deal with logical uncertainty and so forth.

как обращаться с логической неуверенностью и так далее.

So the technical problems that need to be solved to make this work

Технические проблемы, нужные для завершения этой работы,

look quite difficult --

выглядят весьма трудно,

not as difficult as making a superintelligent A.I.,

не так трудно, как создание сверхразумного ИИ,

but fairly difficult.

но довольно трудно.

Here is the worry:

Вот что нас волнует:

Making superintelligent A.I. is a really hard challenge.

создание сверхразумного ИИ — действительно сложная задача.

Making superintelligent A.I. that is safe

Создание сверхразумного и безопасного ИИ

involves some additional challenge on top of that.

включает в себя ещё некоторые дополнительные проблемы.

The risk is that if somebody figures out how to crack the first challenge

Риск в том, что кто-то сможет решить первую задачу

without also having cracked the additional challenge

без решения второй задачи,

of ensuring perfect safety.

без обеспечения безопасности.

So I think that we should work out a solution

Я думаю, мы должны заранее найти

to the control problem in advance,

решение проблемы контроля,

so that we have it available by the time it is needed.

чтобы оно было доступно, когда понадобится.

Now it might be that we cannot solve the entire control problem in advance

Возможно, мы не сможем решить проблему контроля целиком и заранее,

because maybe some elements can only be put in place

потому что, возможно, некоторые элементы могут быть разработаны

once you know the details of the architecture where it will be implemented.

только со знанием деталей архитектуры места реализации.

But the more of the control problem that we solve in advance,

Но чем большую часть проблемы контроля мы решим заранее,

the better the odds that the transition to the machine intelligence era

тем больше наши шансы на благополучный переход

will go well.

к эре машинного интеллекта.

This to me looks like a thing that is well worth doing

Для меня это выглядит проблемой, достойной решения,

and I can imagine that if things turn out okay,

и я могу представить, что если всё пойдёт хорошо,

that people a million years from now look back at this century

через миллион лет люди взглянут назад на этот век, и, вполне возможно,

and it might well be that they say that the one thing we did that really mattered

они скажут, что единственной важной вещью

was to get this thing right.

была именно эта.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)