What happens when our computers get smarter than we are? | Nick Bostrom

Перекладач: Daria Prichantovskaya Утверджено: Khrystyna Romashko

I work with a bunch of mathematicians, philosophers and computer scientists,

Я працював із купою математиків, філософів та інформатиків,

and we sit around and think about the future of machine intelligence,

і ми сиділи й думали про майбутнє машинного інтелекту,

among other things.

серед іншого.

Some people think that some of these things are sort of science fiction-y,

Дехто вважає, що дещо з цього щось типу наукової фантастики,

far out there, crazy.

недосяжне, божевільне.

But I like to say,

Але я люблю казати:

okay, let's look at the modern human condition.

"Добре, подивімося на те, якою є сучасна людина".

(Laughter)

(Сміх)

This is the normal way for things to be.

Це звичайний стан речей.

But if we think about it,

Але якщо ми замислимося над цим,

we are actually recently arrived guests on this planet,

ми, власне, гості на цій планеті,

the human species.

людський рід.

Think about if Earth was created one year ago,

Задумайтесь, що, якби Землю було створено рік тому,

the human species, then, would be 10 minutes old.

людство тоді б було віком лише 10 хвилин.

The industrial era started two seconds ago.

Індустріальна ера розпочалася дві секунди тому.

Another way to look at this is to think of world GDP over the last 10,000 years,

Інший кут зору - подумати про світовий ВВП за останні 10 000 років,

I've actually taken the trouble to plot this for you in a graph.

я взагалі-то подбав про те, щоб накреслити для вас графік.

It looks like this.

Він виглядає отак.

(Laughter)

(Сміх)

It's a curious shape for a normal condition.

Це цікава форма для звичайного стану.

I sure wouldn't want to sit on it.

Я, напевне, не хотів би сидіти на цьому.

(Laughter)

(Сміх)

Let's ask ourselves, what is the cause of this current anomaly?

Давайте спитаємо себе: "Що спричинило цю теперішню аномалію?"

Some people would say it's technology.

Хтось скаже, що це технології.

Now it's true, technology has accumulated through human history,

Дійсно, технології накопичувалися протягом людської історії.

and right now, technology advances extremely rapidly --

і просто зараз технології розвиваються вкрай швидко -

that is the proximate cause,

це безпосередня причина,

that's why we are currently so very productive.

чому ми зараз такі продуктивні.

But I like to think back further to the ultimate cause.

Але я волію згадувати про кінцеву мету.

Look at these two highly distinguished gentlemen:

Подивіться на цих двох шляхетних джентльменів:

We have Kanzi --

Це Канзі --

he's mastered 200 lexical tokens, an incredible feat.

він вивчив 200 лексичних символів, неймовірне досягнення.

And Ed Witten unleashed the second superstring revolution.

І Ед Віттен, котрий спричинив другу суперструнну революцію.

If we look under the hood, this is what we find:

Якщо ми заглянемо "під капот", ось що з'ясується:

basically the same thing.

по суті, те саме.

One is a little larger,

Один трошки більший,

it maybe also has a few tricks in the exact way it's wired.

він може мати певні особливості в сплетінні.

These invisible differences cannot be too complicated, however,

Ці невидимі відмінності однак не можуть бути надто складними,

because there have only been 250,000 generations

тому що було лише 250 000 поколінь

since our last common ancestor.

від останнього спільного предка.

We know that complicated mechanisms take a long time to evolve.

Ми знаємо, що складний механізм потребує багато часу, щоб розвинутися.

So a bunch of relatively minor changes

Тому купа відносно незначних змін

take us from Kanzi to Witten,

привели нас від Канзі до Віттена,

from broken-off tree branches to intercontinental ballistic missiles.

від відламаних гілок дерева до міжконтинентальних балістичних ракет.

So this then seems pretty obvious that everything we've achieved,

Отже тоді виглядає цілком очевидно, що все, чого ми досягли,

and everything we care about,

і все, що нам небайдуже,

depends crucially on some relatively minor changes that made the human mind.

принципово залежить від досить неістотних змін, яких зазнав людський мозок.

And the corollary, of course, is that any further changes

І як наслідок, звичайно, усі подальші зміни,

that could significantly change the substrate of thinking

які можуть докорінно змінити підґрунтя для мислення,

could have potentially enormous consequences.

матимуть потенційно величезні наслідки.

Some of my colleagues think we're on the verge

Дехто з моїх колег вважає, що ми на межі

of something that could cause a profound change in that substrate,

чогось, що може призвести до глибоких змін у цьому підґрунті,

and that is machine superintelligence.

і це машинний суперінтелект.

Artificial intelligence used to be about putting commands in a box.

Штучний інтелект був чимось на кшталт введення команд у коробку.

You would have human programmers

У вас мають бути люди-програмісти,

that would painstakingly handcraft knowledge items.

які скрупульозно вручну створюватимуть одиниці знань.

You build up these expert systems,

Ви будуєте цю систему штучного інтелекту,

and they were kind of useful for some purposes,

і вона типу корисна для якихось цілей,

but they were very brittle, you couldn't scale them.

але надто крихка, її не можна масштабувати.

Basically, you got out only what you put in.

По суті, ви отримуєте лише те, що самі вклали всередину.

But since then,

Але відтоді

a paradigm shift has taken place in the field of artificial intelligence.

стався зсув парадигми у галузі штучного інтелекту.

Today, the action is really around machine learning.

Сьогодні дія відбувається довкола машинного навчання.

So rather than handcrafting knowledge representations and features,

Тому, радше, ніж створювати вручну образи та характеристики знань,

we create algorithms that learn, often from raw perceptual data.

ми створюємо алгоритми, які вчаться на "сирих" сприйняттєвих даних.

Basically the same thing that the human infant does.

Власне, це те саме, що робить дитина.

The result is A.I. that is not limited to one domain --

Результатом є штучний інтелект, не обмежений однією цариною -

the same system can learn to translate between any pairs of languages,

та ж система спроможна навчитися перекладати між будь-якими парами мов,

or learn to play any computer game on the Atari console.

або навчитися грати у будь-яку комп'ютерну гру на консолі Атарі.

Now of course,

Зараз, звісно,

A.I. is still nowhere near having the same powerful, cross-domain

штучний інтелект далекий від того, щоб мати таку могутню міжгалузеву

ability to learn and plan as a human being has.

здатність вчитися і планувати, яку має людина.

The cortex still has some algorithmic tricks

Кора головного мозку досі має деякі хитрощі,

that we don't yet know how to match in machines.

які ми поки що не знаємо, як створити у машинах.

So the question is,

Тому питання:

how far are we from being able to match those tricks?

як далеко ми від спроможності розгадати ці хитрощі?

A couple of years ago,

Пару років тому

we did a survey of some of the world's leading A.I. experts,

ми провели опитування серед провідних експертів зі штучного інтелекту,

to see what they think, and one of the questions we asked was,

щоб побачити, що вони думають, і одним із питань було:

"By which year do you think there is a 50 percent probability

"У якому році, на вашу думку, існує 50-відсоткова імовірність

that we will have achieved human-level machine intelligence?"

досягнення людського рівня інтелекту у машині?"

We defined human-level here as the ability to perform

Тут ми визначили людський рівень як спроможність виконувати

almost any job at least as well as an adult human,

майже будь-яку роботу, принаймні так само, як доросла людина,

so real human-level, not just within some limited domain.

отже справжній людський рівень, не лише в межах певної обмеженої галузі.

And the median answer was 2040 or 2050,

І середня відповідь була 2040 або 2050,

depending on precisely which group of experts we asked.

залежно від того, яку групу експертів ми питали.

Now, it could happen much, much later, or sooner,

Це може статися набагато пізніше, або раніше,

the truth is nobody really knows.

правду кажучи, ніхто в дійсності не знає.

What we do know is that the ultimate limit to information processing

Ми знаємо, що остаточний ліміт на оброблення інформації

in a machine substrate lies far outside the limits in biological tissue.

на машинному підґрунті дуже перевершує обмеження біологічних тканин.

This comes down to physics.

Це походить з фізики.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

Біологічний нейрон передає, мабуть, на 200 герц, 200 разів за секунду.

But even a present-day transistor operates at the Gigahertz.

Але навіть сьогоднішній транзистор оперує гігагерцами.

Neurons propagate slowly in axons, 100 meters per second, tops.

Нейрони поширюються повільно в аксонах, 100 метрів за секунду найбільше.

But in computers, signals can travel at the speed of light.

Але в комп'ютерах сигнали можуть ширитися зі швидкістю світла.

There are also size limitations,

Тут теж є обмеження за величиною,

like a human brain has to fit inside a cranium,

бо людський мозок має вміщуватися у череп,

but a computer can be the size of a warehouse or larger.

але комп'ютер може бути завбільшки з цілий склад або й більшим.

So the potential for superintelligence lies dormant in matter,

Тому потенціал суперінтелекту поки що спить у матерії,

much like the power of the atom lay dormant throughout human history,

точнісінько як потужність атома спала протягом людської історії,

patiently waiting there until 1945.

терпляче чекаючи на 1945.

In this century,

Цього століття

scientists may learn to awaken the power of artificial intelligence.

науковці можуть навчитися, як розбудити могутність штучного інтелекту.

And I think we might then see an intelligence explosion.

І мені здається, що ми можемо тоді спостерегти бурхливий розвиток інтелекту.

Now most people, when they think about what is smart and what is dumb,

Зараз більшість людей, думаючи про те, що є розумним і що дурним,

I think have in mind a picture roughly like this.

мені здається, тримають у голові десь схожу на оцю картинку.

So at one end we have the village idiot,

На початку ми маємо сільського дурника,

and then far over at the other side

і далеко на іншому кінці -

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

Еда Віттена, Альберта Ейнштейна, або хто там ваш улюблений гуру.

But I think that from the point of view of artificial intelligence,

Але мені здається, що з точки зору штучного інтелекту,

the true picture is actually probably more like this:

справжня картинка дійсно більше схожа на ось таку.

AI starts out at this point here, at zero intelligence,

Все починається в цій точці отут, на нульовому інтелекті,

and then, after many, many years of really hard work,

і потім, після багатьох-багатьох років направду тяжкої праці,

maybe eventually we get to mouse-level artificial intelligence,

мабуть, зрештою ми досягнемо штучного інтелекту на рівні миші,

something that can navigate cluttered environments

який зможе орієнтуватися у захаращених середовищах

as well as a mouse can.

так само, як це може миша.

And then, after many, many more years of really hard work, lots of investment,

Потім, після ще більшої кількості років дуже тяжкої праці, інвестицій,

maybe eventually we get to chimpanzee-level artificial intelligence.

мабуть, зрештою ми досягнемо рівня інтелекту на рівні шимпанзе.

And then, after even more years of really, really hard work,

І потім, після ще більшої кількості років дуже-дуже тяжкої праці,

we get to village idiot artificial intelligence.

ми досягнемо штучного інтелекту на рівні сільського дурника.

And a few moments later, we are beyond Ed Witten.

А кілька митей потому ми вже вийдемо за межі Еда Віттена.

The train doesn't stop at Humanville Station.

Потяг не спиняється на станції "Людствоград".

It's likely, rather, to swoosh right by.

Він, скоріше, мчить повз неї зі свистом.

Now this has profound implications,

Тепер це має глибокі наслідки,

particularly when it comes to questions of power.

особливо, коли йдеться про питання влади.

For example, chimpanzees are strong --

Приміром, шимпанзе сильні -

pound for pound, a chimpanzee is about twice as strong as a fit human male.

за будь-яких умов шимпанзе принаймні удвічі сильніший за здорового чоловіка.

And yet, the fate of Kanzi and his pals depends a lot more

Тим не менше, доля Канзі і його товаришів набагато більше залежить

on what we humans do than on what the chimpanzees do themselves.

від того, що робимо ми, люди, ніж від того, що шимпанзе роблять самі.

Once there is superintelligence,

Коли з'явиться суперінтелект,

the fate of humanity may depend on what the superintelligence does.

доля людства може залежати від того, що робитиме цей інтелект.

Think about it:

Подумайте про це:

Machine intelligence is the last invention that humanity will ever need to make.

машинний інтелект - це остання річ, яку людство має винайти.

Machines will then be better at inventing than we are,

Машини після цього будуть кращими винахідниками, ніж ми,

and they'll be doing so on digital timescales.

і вони робитимуть це із цифровою швидкістю.

What this means is basically a telescoping of the future.

Це фактично означає телескопіювання майбутнього.

Think of all the crazy technologies that you could have imagined

Уявіть лише всі божевільні технології,

maybe humans could have developed in the fullness of time:

які людство могло б розвинути, маючи вдосталь часу:

cures for aging, space colonization,

ліки від старіння, колонізація космосу,

self-replicating nanobots or uploading of minds into computers,

самовідтворювані наноботи чи завантаження свідомості у комп'ютер,

all kinds of science fiction-y stuff

усі ці науково-фантастичні штуки,

that's nevertheless consistent with the laws of physics.

які, тим не менше, сумісні із законами фізики.

All of this superintelligence could develop, and possibly quite rapidly.

Усе це суперінтелект може розвинути, і, можливо, цілком швидко.

Now, a superintelligence with such technological maturity

Суперінтелект із такою технологічною довершеністю

would be extremely powerful,

буде неймовірно могутнім,

and at least in some scenarios, it would be able to get what it wants.

і принаймні за кількох сценаріїв він досягне того, чого прагне.

We would then have a future that would be shaped by the preferences of this A.I.

Ми тоді матимемо майбутнє, окреслене цінностями цього штучного інтелекту.

Now a good question is, what are those preferences?

Тепер хороше питання: які це цінності?

Here it gets trickier.

Тут все стає складнішим.

To make any headway with this,

Щоб просунутися із цим уперед,

we must first of all avoid anthropomorphizing.

ми маємо насамперед уникати антропоморфічності.

And this is ironic because every newspaper article

І в цьому іронія, адже кожна стаття в газеті

about the future of A.I. has a picture of this:

про майбутнє штучного інтелекту проілюстрована ось цим.

So I think what we need to do is to conceive of the issue more abstractly,

Тому я думаю, що ми повинні підійти до питання абстрактніше,

not in terms of vivid Hollywood scenarios.

не в дусі яскравих голлівудських сценаріїв.

We need to think of intelligence as an optimization process,

Ми маємо подумати про інтелект як про процес оптимізації,

a process that steers the future into a particular set of configurations.

процес, що кермує майбутнє у визначений набір структур.

A superintelligence is a really strong optimization process.

Суперінтелект направду є сильним опитимізаційним процесом.

It's extremely good at using available means to achieve a state

Він неймовірний у використанні доступних зособів

in which its goal is realized.

для досягнення мети.

This means that there is no necessary connection between

Це значить, що немає необхідних зв'язків між

being highly intelligent in this sense,

бути високорозвиненим у цьому сенсі

and having an objective that we humans would find worthwhile or meaningful.

і мати ціль, яку ми, люди, вважатимемо вартісною і змістовною.

Suppose we give an A.I. the goal to make humans smile.

Припустимо, ми поставили перед Ш. І. мету викликати у людей посмішку.

When the A.I. is weak, it performs useful or amusing actions

Коли Ш. І. слабкий, він робитиме потрібні або кумедні речі,

that cause its user to smile.

які змусять його користувача посміхатися.

When the A.I. becomes superintelligent,

Коли Ш. І. стане суперінтелектом,

it realizes that there is a more effective way to achieve this goal:

він зрозуміє, що є ефективніші шляхи досягти цієї мети:

take control of the world

підкорити світ

and stick electrodes into the facial muscles of humans

і приклеїти електроди до лицевих м'язів людей,

to cause constant, beaming grins.

щоб викликати постійний променистий вищир.

Another example,

Інший приклад:

suppose we give A.I. the goal to solve a difficult mathematical problem.

скажімо, ми даємо Ш. І. завдання вирішити складну математичну проблему.

When the A.I. becomes superintelligent,

Коли Ш. І. стане суперінтелектом,

it realizes that the most effective way to get the solution to this problem

він зрозуміє, що найефективніший шлях отримати вирішення цієї проблеми --

is by transforming the planet into a giant computer,

це перетворити планету на гігантський комп'ютер,

so as to increase its thinking capacity.

щоб збільшити свою спроможність мислити.

And notice that this gives the A.I.s an instrumental reason

Зауважте, що це дає Ш. І. інструментальну причину

to do things to us that we might not approve of.

робити якісь речі так, що ми цього не схвалимо.

Human beings in this model are threats,

Людські створіння у цій моделі - це загрози,

we could prevent the mathematical problem from being solved.

ми можемо перешкодити вирішенню цієї проблеми.

Of course, perceivably things won't go wrong in these particular ways;

Звичайно, відчутно речі не підуть цим хибним шляхом;

these are cartoon examples.

це гіпертрофовані приклади.

But the general point here is important:

Але загалом це важливо:

if you create a really powerful optimization process

якщо ви створюєте дійсно потужний оптимізаційний процес

to maximize for objective x,

для збільшення об'єктивного х,

you better make sure that your definition of x

краще впевніться, що ваше визначення х

incorporates everything you care about.

включає все, що вам небайдуже.

This is a lesson that's also taught in many a myth.

Це урок, якому нас вчать у багатьох міфах.

King Midas wishes that everything he touches be turned into gold.

Цар Мідас бажав, щоб усе, до чого він торкався, оберталося на золото.

He touches his daughter, she turns into gold.

Він торкнувся своєї доньки, вона перетворилася на золото.

He touches his food, it turns into gold.

Він торкнувся їжі -- вона стала золотом.

This could become practically relevant,

Це може стати практично дійсністю,

not just as a metaphor for greed,

не лише як метафора жадібності,

but as an illustration of what happens

а й як ілюстрація того, що стається,

if you create a powerful optimization process

коли ви створюєте потужний оптимізаційний процес

and give it misconceived or poorly specified goals.

і ставите перед ним несформульовані або погано описані цілі.

Now you might say, if a computer starts sticking electrodes into people's faces,

Ви можете зауважити: якщо комп'ютер почне тицяти електродами людям в обличчя,

we'd just shut it off.

ми просто вимкнемо його.

A, this is not necessarily so easy to do if we've grown dependent on the system --

А) Це необов'язково просто зробити, якщо ми виросли залежними від системи --

like, where is the off switch to the Internet?

типу, як тепер вимкнути інтернет?

B, why haven't the chimpanzees flicked the off switch to humanity,

Б) Чому ж шимпанзе не натиснули на вимикач людства,

or the Neanderthals?

чи неандертальці?

They certainly had reasons.

Вони, напевно, мали причини.

We have an off switch, for example, right here.

Ми маємо вимикач, наприклад, прямо тут.

(Choking)

(Тисне)

The reason is that we are an intelligent adversary;

Причина в тому, що ми - розумний супротивник;

we can anticipate threats and plan around them.

ми можемо передбачати загрози і планувати навколо них.

But so could a superintelligent agent,

Але так зможе і суперінтелектелект,

and it would be much better at that than we are.

і він буде набагато вправнішим в цьому за нас.

The point is, we should not be confident that we have this under control here.

Справа в тому, що ми не можемо бути впевнені, що у нас усе під контролем.

And we could try to make our job a little bit easier by, say,

І ми можемо спробувати зробити своє завдання трохи легшим, скажімо,

putting the A.I. in a box,

поклавши Ш. І. до коробки,

like a secure software environment,

як у безпечне софтверне середовище,

a virtual reality simulation from which it cannot escape.

у симулятор віртуальної реальності, з якої він не може втекти.

But how confident can we be that the A.I. couldn't find a bug.

Але як ми можемо бути певні, що Ш. І. не зможе знайти баг?

Given that merely human hackers find bugs all the time,

Зважаючи, що навіть хакери-люди постійно знаходять баги,

I'd say, probably not very confident.

я б сказав, імовірно, не дуже впевнено.

So we disconnect the ethernet cable to create an air gap,

Ми від'єднуємо кабель локальної мережі, щоб створити повітряний проміжок,

but again, like merely human hackers

але знов-таки, навіть хакери-люди

routinely transgress air gaps using social engineering.

"перестрибують" повітряні проміжки, використовуючи соціальну інженерію.

Right now, as I speak,

Зараз, коли я розмовляю,

I'm sure there is some employee out there somewhere

впевнений, що є десь якийсь службовець,

who has been talked into handing out her account details

який повідомляє дані свого акаунту

by somebody claiming to be from the I.T. department.

комусь, хто стверджує, що він з ІТ-департаменту.

More creative scenarios are also possible,

Більш оригінальні сценарії теж можливі,

like if you're the A.I.,

типу, якщо ви Ш.І.,

you can imagine wiggling electrodes around in your internal circuitry

ви можете уявити тремтячі електроди навколо свого устаткування,

to create radio waves that you can use to communicate.

щоб створити радіохвилі, які можна використати для комунікації.

Or maybe you could pretend to malfunction,

Або ви навіть можете удати з себе зламаного,

and then when the programmers open you up to see what went wrong with you,

і коли програміст відкриє вас, щоб подивитися, що з вами не так,

they look at the source code -- Bam! --

вони дивляться у вихідний код -- Бам! --

the manipulation can take place.

може статися маніпуляція.

Or it could output the blueprint to a really nifty technology,

Або він може надрукувати схему дійсно вартісної технології,

and when we implement it,

і коли ми реалізуємо її,

it has some surreptitious side effect that the A.I. had planned.

вона матиме якісь побічні ефекти, які Ш. І. нишком спланував.

The point here is that we should not be confident in our ability

Справа в тому, що ми не повинні бути впевнені у нашій можливості

to keep a superintelligent genie locked up in its bottle forever.

тримати суперінтелектуального джина у його пляшці довіку.

Sooner or later, it will out.

Раніш чи пізніш він визволиться.

I believe that the answer here is to figure out

Я вірю, що відповідь тут - це з'ясувати,

how to create superintelligent A.I. such that even if -- when -- it escapes,

як створити такий супер Ш. І., щоб навіть якщо він втече,

it is still safe because it is fundamentally on our side

він залишатиметься безпечним, бо буде принципово на нашому боці,

because it shares our values.

бо розділятиме наші цінності.

I see no way around this difficult problem.

Я не бачу виходу з цієї складної проблеми.

Now, I'm actually fairly optimistic that this problem can be solved.

Зараз я досить оптимістичний щодо її вирішення.

We wouldn't have to write down a long list of everything we care about,

Ми не повинні писати довгий список того, до чого ми небайдужі,

or worse yet, spell it out in some computer language

або навіть гірше, промовляти це якоюсь комп'ютерною мовою,

like C++ or Python,

типу С++ або Пітону,

that would be a task beyond hopeless.

це буде безнадійне завдання.

Instead, we would create an A.I. that uses its intelligence

Натомість ми маємо створити Ш. І., що використовує свій інтелект,

to learn what we value,

щоб дізнатися про наші цінності,

and its motivation system is constructed in such a way that it is motivated

і його мотиваційна система сконструйована так, що він мотивований

to pursue our values or to perform actions that it predicts we would approve of.

розділяти наші цінності або виконувати дії, які ми маємо схвалити.

We would thus leverage its intelligence as much as possible

Тоді ми подіємо на його інтелект так сильно, як тільки зможемо,

to solve the problem of value-loading.

щоб вирішити проблему "завантаження цінностей".

This can happen,

Це може статися,

and the outcome could be very good for humanity.

і результат може виявитись дуже вагомим для людства.

But it doesn't happen automatically.

Але це не станеться автоматично.

The initial conditions for the intelligence explosion

Початкові умови інтелектуального вибуху

might need to be set up in just the right way

потрібно правильно встановити,

if we are to have a controlled detonation.

так, ніби ми маємо контрольований детонатор.

The values that the A.I. has need to match ours,

Цінності, за якими Ш.І. має свівпадати з нами,

not just in the familiar context,

мають бути не лише вже нам знайомими,

like where we can easily check how the A.I. behaves,

такими, за якими ми легко перевіримо поведінку Ш.І.,

but also in all novel contexts that the A.I. might encounter

але також і в новітньому контексті, який Ш.І. прораховуватиме

in the indefinite future.

в невизначеному майбутньому.

And there are also some esoteric issues that would need to be solved, sorted out:

Є також певні потаємні проблеми, які необхідно вирішити, наприклад:

the exact details of its decision theory,

конкретні деталі теорії прийняття рішень,

how to deal with logical uncertainty and so forth.

як справлятись з логічними невизначенностями і таке інше.

So the technical problems that need to be solved to make this work

Тому технічні проблеми, які будемо вирішувати, щоб все спрацювало,

look quite difficult --

є досить складними --

not as difficult as making a superintelligent A.I.,

не настільки, як власне створення Ш.І.,

but fairly difficult.

але достатньо складними.

Here is the worry:

Мене хвилює наступне:

Making superintelligent A.I. is a really hard challenge.

створення Ш.І. є, по-справжньому, складним випробуванням.

Making superintelligent A.I. that is safe

Створення безпечного Ш.І.

involves some additional challenge on top of that.

включає ще додаткову складність.

The risk is that if somebody figures out how to crack the first challenge

Ризик у тому, що хтось зможе розгадати перше випробування,

without also having cracked the additional challenge

не розгадуючи додаткове,

of ensuring perfect safety.

по забезпеченню абсолютної безпеки.

So I think that we should work out a solution

Тому, я вважаю, що розв'язок проблеми контролю

to the control problem in advance,

нам потрібно розробити в першу чергу,

so that we have it available by the time it is needed.

щоб мати його одразу тоді, коли знадобиться.

Now it might be that we cannot solve the entire control problem in advance

Зараз ми, можливо, не можемо розгадати всю проблему контролю наперед,

because maybe some elements can only be put in place

оскільки деякі елементи можна створити

once you know the details of the architecture where it will be implemented.

лише знаючи деталі загальної архітектури, куди їх буде впроваджено.

But the more of the control problem that we solve in advance,

Але чим більше ми розробимо наперед,

the better the odds that the transition to the machine intelligence era

тим більша ймовірність того, що перехід до ери машинного інтеллекту

will go well.

пройде успішно.

This to me looks like a thing that is well worth doing

Як на мене, цим дійсно варто займатись,

and I can imagine that if things turn out okay,

і можна уявити, що у випадку, якщо все пройде успішно,

that people a million years from now look back at this century

люди через мільйони років, споглядаючи в наше століття,

and it might well be that they say that the one thing we did that really mattered

можливо, вважатимуть, що єдина важлива річ, яку ми зробили,

was to get this thing right.

було створити цю річ правильно.

Thank you.

Дякую.

(Applause)

(Оплески)