Can we build AI without losing control over it? | Sam Harris

Перекладач: Olga Murphy Утверджено: Hanna Leliv

I'm going to talk about a failure of intuition

Сьогодні я розповім про нездатність до інтуїції,

that many of us suffer from.

від якої страждають багато з нас.

It's really a failure to detect a certain kind of danger.

Це дійсно нездатність визначати певний вид небезпеки.

I'm going to describe a scenario

Я опишу сценарій,

що, на мою думку, є водночас жахливий

that I think is both terrifying

and likely to occur,

та дуже ймовірний

and that's not a good combination,

і не є гарною комбінацією,

as it turns out.

як виявляється.

Та все одно, замість того, щоб злякатися, більшість з вас відчують,

And yet rather than be scared, most of you will feel

that what I'm talking about is kind of cool.

що те, про що я веду мову, скоріше прикольне.

I'm going to describe how the gains we make

Я розповім, як прибутки,

що ми отримуємо від штучного інтелекту,

in artificial intelligence

можуть, врешті-решт, знищити нас.

could ultimately destroy us.

And in fact, I think it's very difficult to see how they won't destroy us

Насправді, я думаю, дуже важко зрозуміти, як вони НЕ знищать нас

або не надихнуть нас знищити самих себе.

or inspire us to destroy ourselves.

And yet if you're anything like me,

Та якщо ви такий як я,

you'll find that it's fun to think about these things.

вам здасться, що думати про такі речі - весело,

And that response is part of the problem.

І така реакція є частиною проблеми.

OK? That response should worry you.

Ця реакція має хвилювати вас.

And if I were to convince you in this talk

І якщо б я хотів запевнити вас у цій промові,

that we were likely to suffer a global famine,

що нам, скоріше за все, доведеться страждати від глобального голоду

either because of climate change or some other catastrophe,

через кліматичні зміни або якусь іншу катастрофу,

and that your grandchildren, or their grandchildren,

та що ваші онуки та їхні онуки

are very likely to live like this,

будуть ймовірно жити саме так,

you wouldn't think,

ви б не подумали:

"Interesting.

"Цікаво.

I like this TED Talk."

Мені подобається цей виступ на ТED".

Famine isn't fun.

Голод - це не весело.

Death by science fiction, on the other hand, is fun,

А от смерть у науковій фантастиці, з іншого боку - це весело,

та одна з речей, що мене найбільше турбує щодо розвитку штучного інтелекту -

and one of the things that worries me most about the development of AI at this point

це наша нездатність мати відповідну емоційну реакцію

is that we seem unable to marshal an appropriate emotional response

to the dangers that lie ahead.

щодо небезпек, що чигають на нас попереду.

I am unable to marshal this response, and I'm giving this talk.

Я не здатний осягнути цю реакцію і саме тому виступаю на цій сцені.

It's as though we stand before two doors.

Це так, наче ми стоїмо навпроти двох дверей.

Behind door number one,

За дверима номер 1

we stop making progress in building intelligent machines.

ми припиняємо прогрес у створенні розумних машин.

Our computer hardware and software just stops getting better for some reason.

Технічне та програмне забезпечення перестає покращуватись через якісь обставини.

Now take a moment to consider why this might happen.

А тепер поміркуймо, чому б це могло трапитися.

I mean, given how valuable intelligence and automation are,

Знаючи, якими цінними є інтелект та автоматизація,

we will continue to improve our technology if we are at all able to.

ми продовжимо удосконалювати наші технології, якщо матимемо можливість.

What could stop us from doing this?

Що нас може зупинити від цього?

A full-scale nuclear war?

Широкомасштабна ядерна війна?

A global pandemic?

Глобальна пандемія?

An asteroid impact?

Падіння астероїду?

Justin Bieber becoming president of the United States?

Джастін Бібер, що став президентом Сполучених Штатів?

(Laughter)

(Сміх)

The point is, something would have to destroy civilization as we know it.

Суть у тому, що щось має знищити цивілізацію у знайомому нас вигляді.

You have to imagine how bad it would have to be

Уявіть собі, яке страхіття має статися,

to prevent us from making improvements in our technology

щоб завадити нам удосконалювати наші технології

permanently,

постійно,

generation after generation.

покоління за поколінням.

Almost by definition, this is the worst thing

Майже за визначенням, це найгірше,

that's ever happened in human history.

що траплялося в історії людства.

So the only alternative,

Тому єдиною альтернативою,

and this is what lies behind door number two,

а саме вона знаходиться за дверима номер два,

is that we continue to improve our intelligent machines

є подальше удосконалення розумних машин

year after year after year.

рік за роком, рік за роком.

At a certain point, we will build machines that are smarter than we are,

Та в певний момент ми збудуємо машини, розумніші за нас,

and once we have machines that are smarter than we are,

та щойно з'являться машини, що розумніші за нас,

they will begin to improve themselves.

вони почнуть самі себе удосконалювати.

And then we risk what the mathematician IJ Good called

А тоді ми ризикуємо тим, що математик І.Дж. Ґуд назвав

an "intelligence explosion,"

"інтелектуальним вибухом",

that the process could get away from us.

тим, що цей процес може вийти з-під нашого контролю.

Now, this is often caricatured, as I have here,

Тепер це часто висміюють, як ось на цьому зображенні,

as a fear that armies of malicious robots

як страх, що армії злісних роботів

will attack us.

нас атакують.

But that isn't the most likely scenario.

Та це не найімовірніший сценарій.

It's not that our machines will become spontaneously malevolent.

Йдеться не про те, що наші машини зненацька зробляться злими.

The concern is really that we will build machines

Викликає тривогу те, що ми збудуємо машини,

that are so much more competent than we are

які будуть настільки компетентніші за нас,

that the slightest divergence between their goals and our own

що найменші відхилення між нашими та їхніми цілями

could destroy us.

зможуть нас знищити.

Just think about how we relate to ants.

Лише поміркуйте, як ми поводимося з мурахами.

We don't hate them.

Ми не ненавидимо їх.

We don't go out of our way to harm them.

Ми не звертаємо зі шляху, щоб нашкодити їм.

In fact, sometimes we take pains not to harm them.

Насправді іноді ми намагаємося не нашкодити їм.

We step over them on the sidewalk.

Ми переступаємо через них на стежці.

But whenever their presence

Та коли їхня присутність

seriously conflicts with one of our goals,

відчутно конфліктує з будь-якою нашою метою,

let's say when constructing a building like this one,

скажімо, коли ми будуємо таку споруду, як на зображенні,

we annihilate them without a qualm.

ми знищуємо їх без сумнівів.

The concern is that we will one day build machines

Тривога полягає в тому, що одного дня ми збудуємо машини,

that, whether they're conscious or not,

які, свідомі чи ні,

could treat us with similar disregard.

можуть поставитися до нас так само байдуже.

Now, I suspect this seems far-fetched to many of you.

Гадаю, що це здається багатьом з вас малоймовірним.

I bet there are those of you who doubt that superintelligent AI is possible,

Я впевнений, серед вас є ті, хто сумнівається, що надрозумні машини можливі,

much less inevitable.

що й казати про неминучість.

But then you must find something wrong with one of the following assumptions.

Тоді ви засумніваєтеся у правильності одного з таких припущень.

And there are only three of them.

А їх лише три.

Intelligence is a matter of information processing in physical systems.

Інтелект - це обробка інформації у фізичних системах.

Actually, this is a little bit more than an assumption.

Насправді, це трохи більше, ніж припущення.

We have already built narrow intelligence into our machines,

Ми вже вбудували певний інтелект в наші машини,

and many of these machines perform

і багато з цих машин видають результати

at a level of superhuman intelligence already.

на рівні надлюдського інтелекту вже сьогодні.

And we know that mere matter

Та ми знаємо, що найменший привід

can give rise to what is called "general intelligence,"

може призвести до так званого "інтелектуального вибуху",

an ability to think flexibly across multiple domains,

спроможності гнучко мислити у багатьох сферах,

because our brains have managed it. Right?

адже наш мозок вже зміг це зробити. Чи не так?

I mean, there's just atoms in here,

Я маю на увазі, що тут є лише атоми,

and as long as we continue to build systems of atoms

та допоки ми продовжуємо будувати системи з атомів,

that display more and more intelligent behavior,

що демонструють все більш інтелектуальну поведінку,

we will eventually, unless we are interrupted,

ми поступово, якщо нас не зупинять,

we will eventually build general intelligence

поступово вбудуємо загальний інтелект

into our machines.

в наші машини.

It's crucial to realize that the rate of progress doesn't matter,

Важливо зрозуміти, що рівень прогресу не має значення,

тому що будь-який прогрес здатний призвести нас до фінального пункту.

because any progress is enough to get us into the end zone.

We don't need Moore's law to continue. We don't need exponential progress.

Нам не треба закону Мура, щоб продовжувати. Нам не потрібний експоненційний прогрес.

We just need to keep going.

Нам лише треба не зупинятися.

The second assumption is that we will keep going.

Друге припущення полягає в тому, що ми не зупинимося.

We will continue to improve our intelligent machines.

Будемо далі удосконалювати наші розумні машини.

And given the value of intelligence --

Та враховуючи цінність інтелекту--

I mean, intelligence is either the source of everything we value

Я маю на увазі, інтелект є або джерелом всього, що ми цінуємо,

or we need it to safeguard everything we value.

або він нам потрібен, щоб зберегти все, що ми цінуємо.

It is our most valuable resource.

Це наш найцінніший ресурс.

So we want to do this.

Тому ми хочемо це робити.

We have problems that we desperately need to solve.

В нас є проблеми, що їх нам вкрай необхідно залагодити.

We want to cure diseases like Alzheimer's and cancer.

Ми хочемо лікувати такі захворювання, як Альцгеймер та рак.

We want to understand economic systems. We want to improve our climate science.

Ми хочемо зрозуміти економічні системи. Ми хочемо покращити нашу кліматичну науку.

So we will do this, if we can.

Тому ми будемо це робити, якщо зможемо.

The train is already out of the station, and there's no brake to pull.

Потяг вже поїхав зі станції, і немає гальма, щоб його зупинити.

Finally, we don't stand on a peak of intelligence,

Нарешті, ми не стоїмо на вершині інтелекту,

or anywhere near it, likely.

і навряд чи десь поблизу.

And this really is the crucial insight.

І це насправді ключовий факт.

This is what makes our situation so precarious,

Це те, що робить нашу ситуацію такою небезпечною,

and this is what makes our intuitions about risk so unreliable.

і це те, що робить нашу інтуїцію щодо ризику настільки ненадійною.

Now, just consider the smartest person who has ever lived.

Тепер подумайте про найрозумнішу людину, яка будь-коли існувала.

On almost everyone's shortlist here is John von Neumann.

Майже у всіх у списку є Джон фон Нейман.

I mean, the impression that von Neumann made on the people around him,

Я гадаю, що враження, яке фон Нейман справляв на людей довкола,

and this included the greatest mathematicians and physicists of his time,

до яких входили найвидатніші математики та фізики його часу,

is fairly well-documented.

достатньо добре задокументоване.

If only half the stories about him are half true,

Якщо лише половина історій про нього бодай наполовину правдива,

there's no question

немає сумнівів, що

he's one of the smartest people who has ever lived.

він один із найрозумніших людей, які коли-небудь існували.

So consider the spectrum of intelligence.

Тож обміркуємо спектр інтелекту.

Here we have John von Neumann.

Ось тут у нас Джон фон Нейман.

And then we have you and me.

А ось тут ми з вами.

And then we have a chicken.

А ось тут курка.

(Laughter)

(Сміх)

Sorry, a chicken.

Вибачте, курка.

(Laughter)

(Сміх)

There's no reason for me to make this talk more depressing than it needs to be.

Мені нема чого робити цю промову гнітючішою, аніж вона має бути.

(Laughter)

(Сміх)

It seems overwhelmingly likely, however, that the spectrum of intelligence

Здається надзвичайно ймовірним, що спектр інтелекту

extends much further than we currently conceive,

простягається набагато далі, ніж ми сьогодні уявляємо,

and if we build machines that are more intelligent than we are,

і якщо ми збудуємо машини, що розумніші за нас,

they will very likely explore this spectrum

вони, дуже ймовірно, розвідають цей спектр

in ways that we can't imagine,

шляхами, які ми не можемо уявити,

and exceed us in ways that we can't imagine.

та перевершать нас так, як ми не можемо уявити.

And it's important to recognize that this is true by virtue of speed alone.

Та важливо визнати, що це правда вже з огляду на саму силу швидкості.

Right? So imagine if we just built a superintelligent AI

Правильно? Тож уявіть, що ми збудували надрозумний штучний інтелект,

that was no smarter than your average team of researchers

такий же розумний, як ваша середньостатистична команда дослідників

at Stanford or MIT.

у Стенфорді чи МТІ.

Well, electronic circuits function about a million times faster

Електронні ланцюги функціюють у мільйон разів швидше

за біохемічні,

than biochemical ones,

so this machine should think about a million times faster

тож ці машини мають думати в мільйон разів швидше,

than the minds that built it.

ніж розуми, що їх сконструювали.

So you set it running for a week,

Тож ви запускаєте її на тиждень,

and it will perform 20,000 years of human-level intellectual work,

і вона демонструє 20 000 років інтелектуальної роботи людського рівня,

week after week after week.

тиждень за тижнем, тиждень за тижнем.

How could we even understand, much less constrain,

Як ми можемо зрозуміти, тим паче стримати

a mind making this sort of progress?

інтелект, що так прогресує?

The other thing that's worrying, frankly,

Тривогу викликає ще одна річ:

is that, imagine the best case scenario.

це, уявіть собі, найкращий сценарій.

So imagine we hit upon a design of superintelligent AI

А тепер уявіть, ми створюємо надрозумний штучний інтелект,

that has no safety concerns.

не зважаючи на жодні міркування безпеки.

We have the perfect design the first time around.

В нас уперше з'являється бездоганний проект.

It's as though we've been handed an oracle

Так наче ми отримали оракула,

that behaves exactly as intended.

що поводиться саме так, як планувалося.

Well, this machine would be the perfect labor-saving device.

Тож така машина була б ідеальним пристроєм з економії праці.

It can design the machine that can build the machine

Вона може проектувати машини, що можуть будувати машини,

that can do any physical work,

що можуть робити будь-яку фізичну роботу,

powered by sunlight,

працюватимуть на сонячній енергії,

more or less for the cost of raw materials.

більш-менш за ціною сировини.

So we're talking about the end of human drudgery.

Тож ми говоримо про кінець важкої людської праці.

We're also talking about the end of most intellectual work.

Ми також говоримо про кінець найбільш інтелектуальної праці.

So what would apes like ourselves do in this circumstance?

То що ж такі мавпи, як ми, будуть робити за цих обставин?

Well, we'd be free to play Frisbee and give each other massages.

Ми зможемо вільно грати в Фрізбі та робити одне одному масаж.

Add some LSD and some questionable wardrobe choices,

Додайте трохи ЛСД та трохи сумнівного гардеробу,

and the whole world could be like Burning Man.

і весь світ буде як фестиваль Burning Man.

(Laughter)

(Сміх)

Now, that might sound pretty good,

Непогано звучить,

but ask yourself what would happen

але запитайте себе, що станеться

under our current economic and political order?

з нашим теперішнім економічним та політичним ладом?

It seems likely that we would witness

Ймовірно, ми станемо свідками

a level of wealth inequality and unemployment

такої нерівності розподілу багатства та безробіття,

that we have never seen before.

яких ми ніколи не бачили.

Absent a willingness to immediately put this new wealth

Не бажаючи одразу використовувати це нове багатство

to the service of all humanity,

на користь всього людства,

a few trillionaires could grace the covers of our business magazines

декілька мільярдерів прикрасять обкладинки наших бізнес-журналів,

while the rest of the world would be free to starve.

тоді як решта світу голодуватиме.

And what would the Russians or the Chinese do

А що робитимуть росіяни та китайці,

if they heard that some company in Silicon Valley

якщо вони почують, що якась компанія у Кремнієвій долині

was about to deploy a superintelligent AI?

збирається ввести в дію надрозумний штучний інтелект?

This machine would be capable of waging war,

Ця машина зможе вести війну,

whether terrestrial or cyber,

наземну або кібер,

with unprecedented power.

з безпрецедентною могутністю.

This is a winner-take-all scenario.

Це сценарій, де переможець отримує все.

To be six months ahead of the competition here

Бути на шість місяців попереду у цьому змаганні,

is to be 500,000 years ahead,

це бути на 500 000 років попереду,

at a minimum.

як мінімум.

So it seems that even mere rumors of this kind of breakthrough

Тож здається, що навіть незначні чутки про такі досягнення

could cause our species to go berserk.

можуть спричинити люту ненависть між людьми.

Now, one of the most frightening things,

Але одна з найжахливіших речей,

in my view, at this moment,

на мою думку, на цей час -

are the kinds of things that AI researchers say

це те, що кажуть розробники штучного інтелекту,

when they want to be reassuring.

коли хочуть заспокоїти нас.

And the most common reason we're told not to worry is time.

Найпоширенішою підставою не турбуватися, кажуть вони, є час.

This is all a long way off, don't you know.

Це ще так далеко, хіба ви не знаєте.

This is probably 50 or 100 years away.

Це ще може тривати 50 або 100 років.

One researcher has said,

Один із дослідників сказав:

"Worrying about AI safety

"Хвилюватися через безпеку штучного інтелекту -

is like worrying about overpopulation on Mars."

те ж саме, що перейматися перенаселенням на Марсі".

This is the Silicon Valley version

Це така версія Кремнієвої долини

of "don't worry your pretty little head about it."

фрази: "Не забивай цим свою гарненьку голівку".

(Laughter)

(Сміх)

No one seems to notice

Здається, ніхто не помічає,

that referencing the time horizon

що посилатися на часову віддаленість -

is a total non sequitur.

хибно.

If intelligence is just a matter of information processing,

Якщо інтелект - це питання обробки інформації,

and we continue to improve our machines,

і ми далі удосконалюватимемо наші машини,

we will produce some form of superintelligence.

то ми створимо якусь форму супер-інтелекту.

And we have no idea how long it will take us

І ми не уявляємо, скільки часу нам потрібно,

to create the conditions to do that safely.

щоб створити умови, де це буде безпечно.

Повторюю ще раз.

Let me say that again.

We have no idea how long it will take us

Ми не уявляємо, скільки часу нам потрібно,

to create the conditions to do that safely.

щоб створити умови, де це буде безпечно.

And if you haven't noticed, 50 years is not what it used to be.

І якщо ви не помітили, 50 років - вже не ті, що раніше.

This is 50 years in months.

Це 50 років у місяцях.

This is how long we've had the iPhone.

Стільки часу в нас уже є iPhone.

This is how long "The Simpsons" has been on television.

Стільки часу "Сімпсони" вже існують на телебаченні.

Fifty years is not that much time

П'ятдесят років - це не так вже й багато часу,

to meet one of the greatest challenges our species will ever face.

щоб прийняти найбільший виклик, з яким зіткнеться людський рід.

Once again, we seem to be failing to have an appropriate emotional response

Повторюю: ми, здається, не маємо відповідної емоційної реакції

to what we have every reason to believe is coming.

на те, що точно до нас наближається.

The computer scientist Stuart Russell has a nice analogy here.

Комп'ютерний експерт Стюарт Рассел наводить гарну аналогію.

He said, imagine that we received a message from an alien civilization,

Він сказав: "Уявіть, що ми отримали повідомлення від інопланетної цивілізації,

which read:

в якому йдеться:

"People of Earth,

"Земляни,

we will arrive on your planet in 50 years.

ми прибудемо на вашу планету через 50 років.

Get ready."

Готуйтеся".

And now we're just counting down the months until the mothership lands?

І тепер ми лише рахуємо місяці, що лишилися до прибуття космічного корабля?

We would feel a little more urgency than we do.

Ми б відчули тоді трохи більше терміновості, ніж ми відчуваємо тепер.

Another reason we're told not to worry

Інша причина, чому нам кажуть не хвилюватися, полягає в тому,

is that these machines can't help but share our values

що ці машини муситимуть поділяти наші цінності,

because they will be literally extensions of ourselves.

адже вони будуть фактично продовженням нас самих.

They'll be grafted onto our brains,

Їх трансплантують у наші мізки,

and we'll essentially become their limbic systems.

і ми, по суті, станемо їхньою лімбічною системою.

Now take a moment to consider

Але задумаймось:

that the safest and only prudent path forward,

найбезпечніший та єдиний розважливий шлях уперед,

recommended,

що його нам рекомендують -

is to implant this technology directly into our brains.

це імплантація цієї технології прямо у мозок.

Now, this may in fact be the safest and only prudent path forward,

Так, це може бути найбезпечнішим та єдиним розважливим шляхом уперед,

but usually one's safety concerns about a technology

але зазвичай усі проблеми з безпекою

have to be pretty much worked out before you stick it inside your head.

мають бути розв'язані до того, як технологію вставлять у вашу голову.

(Laughter)

(Сміх)

The deeper problem is that building superintelligent AI on its own

Глибшою проблемою є те, що створення лише надрозумного штучного інтелекту

seems likely to be easier

здається легшим,

than building superintelligent AI

ніж створення надрозумного штучного інтелекту

and having the completed neuroscience

та володіння повноцінною неврологією,

that allows us to seamlessly integrate our minds with it.

яка б дала нам змогу ефективно інтегрувати наш розум із ним.

And given that the companies and governments doing this work

І, знаючи це, компанії та уряди, що займаються цією розробкою,

are likely to perceive themselves as being in a race against all others,

сприймають себе наче у перегонах проти всіх інших,

given that to win this race is to win the world,

тому що виграти ці перегони - це виграти світ,

provided you don't destroy it in the next moment,

якщо звісно його не буде знищено наступної хвилини,

then it seems likely that whatever is easier to do

отже, здається, що те, що зробити найлегше,

will get done first.

зроблять у першу чергу.

Now, unfortunately, I don't have a solution to this problem,

На жаль, у мене немає розв'язку цієї проблеми,

apart from recommending that more of us think about it.

окрім як порадити, щоб більшість із нас думала про це.

I think we need something like a Manhattan Project

Гадаю, нам потрібно, щось на кшталт "Проекту Мангеттен"

on the topic of artificial intelligence.

на тему штучного інтелекту.

Not to build it, because I think we'll inevitably do that,

Не для того, щоб створити його, адже я думаю, ми неминуче це зробимо,

but to understand how to avoid an arms race

а щоб зрозуміти, як уникнути збройних перегонів

and to build it in a way that is aligned with our interests.

та створити його так, щоб він відповідав нашим інтересам.

When you're talking about superintelligent AI

Коли ми розмовляємо про надрозумний штучний інтелект,

that can make changes to itself,

що може самозмінюватися,

it seems that we only have one chance to get the initial conditions right,

здається, в нас є лише один шанс отримати правильні початкові умови,

and even then we will need to absorb

і навіть тоді нам доведеться пережити

the economic and political consequences of getting them right.

економічні та політичні наслідки отримання правильних умов.

But the moment we admit

Та в той момент. коли ми визнаємо,

that information processing is the source of intelligence,

що оброблення інформації є джерелом інтелекту,

that some appropriate computational system is what the basis of intelligence is,

що деякі відповідні обчислювальні системи є базою інтелекту,

and we admit that we will improve these systems continuously,

і визнаємо, що ми будемо удосконалювати ці системи беззупинно,

and we admit that the horizon of cognition very likely far exceeds

а також те, що горизонт пізнання, скоріш за все, простягається набагато далі,

what we currently know,

ніж ми на цей час розуміємо,

тоді нам доведеться визнати,

then we have to admit

that we are in the process of building some sort of god.

що ми в процесі створення своєрідного бога.

Now would be a good time

І настав час переконатися,

to make sure it's a god we can live with.

що з цим богом ми зможемо жити.

Thank you very much.

Дуже вам дякую.

(Applause)

(Оплески)