Don't fear superintelligent AI | Grady Booch

Перекладач: Olena Gapak Утверджено: Hanna Leliv

When I was a kid, I was the quintessential nerd.

Коли я був малим, я був еталонним "ботаніком".

I think some of you were, too.

Думаю, деякі з вас теж такими були.

(Laughter)

(Сміх)

And you, sir, who laughed the loudest, you probably still are.

А ви, пане, що сміявся найголосніше, ним, мабуть, і залишились.

(Laughter)

(Сміх)

I grew up in a small town in the dusty plains of north Texas,

Я ріс у маленькому містечку на запиленій рівнині північного Техасу,

the son of a sheriff who was the son of a pastor.

син шерифа, який був сином пастора.

Getting into trouble was not an option.

Вскочити в якусь халепу було не варіант.

And so I started reading calculus books for fun.

І тому заради розваги я почав читати книжки з обчислення.

(Laughter)

(Сміх)

You did, too.

Ви також це робили?

That led me to building a laser and a computer and model rockets,

Це призвело до того, що я зробив лазер, і комп'ютер, і модель ракети,

and that led me to making rocket fuel in my bedroom.

і це призвело до того, що я зробив ракетне паливо в спальні.

Now, in scientific terms,

Науковою мовою

we call this a very bad idea.

ми називаємо це дуже поганою ідеєю.

(Laughter)

(Сміх)

Around that same time,

Приблизно в той самий час

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

"2001: Космічна Одісея" Стенлі Кубрика з'явилась в кінотеатрах,

and my life was forever changed.

і моє життя назавжди змінилось.

I loved everything about that movie,

Мені все подобалось у тому фільмі,

especially the HAL 9000.

особливо ХАЛ 9000.

Now, HAL was a sentient computer

ХАЛ був кмітливим комп'ютером,

designed to guide the Discovery spacecraft

призаченим направляти космічний корабель Дискавері

from the Earth to Jupiter.

з Землі на Юпітер.

HAL was also a flawed character,

ХАЛ також був персонажем з недоліками,

for in the end he chose to value the mission over human life.

бо врешті вирішив, що місія важливіша за людське життя.

Now, HAL was a fictional character,

ХАЛ був вигаданим персонажем,

but nonetheless he speaks to our fears,

проте він говорить з нашими страхами,

our fears of being subjugated

зі страхом бути підкореним

by some unfeeling, artificial intelligence

позбавленим почуттів штучним інтелектом,

who is indifferent to our humanity.

що є байдужим до людства.

I believe that such fears are unfounded.

Я вважаю, що такі страхи безпідставні.

Indeed, we stand at a remarkable time

Насправді ми живемо в неймовірний час

in human history,

людської історії,

where, driven by refusal to accept the limits of our bodies and our minds,

де, відмовляючись визнати обмеження свого тіла і розуму,

we are building machines

ми будуємо машини

of exquisite, beautiful complexity and grace

фантастичної, немислимої складності та величі,

that will extend the human experience

які розширять досвід людини так,

in ways beyond our imagining.

що зараз і не уявити.

After a career that led me from the Air Force Academy

Після кар'єри, яка привела мене з Академії повітряних сил

to Space Command to now,

до Космічного командування,

I became a systems engineer,

я обійняв посаду системного інженера

and recently I was drawn into an engineering problem

і нещодавно мене залучили до інженерної проблеми,

associated with NASA's mission to Mars.

пов'язаною з місією на Марс НАСА.

Now, in space flights to the Moon,

Під час польотів на Місяць

we can rely upon mission control in Houston

ми можемо покладатись на керування місією в Хьюстоні,

to watch over all aspects of a flight.

що спостерігатиме за всіма особливостями польоту.

However, Mars is 200 times further away,

Однак Марс у 200 разів віддаленіший,

and as a result it takes on average 13 minutes

і тому потрібно в середньому 13 хвилин,

for a signal to travel from the Earth to Mars.

щоб сигнал подолав відстань від Землі до Марсу.

If there's trouble, there's not enough time.

Якщо виникне проблема, часу забракне.

And so a reasonable engineering solution

І тому розумним інженерним рішенням

calls for us to put mission control

є розмістити контроль над місією

inside the walls of the Orion spacecraft.

всередині космічного корабля Оріон.

Another fascinating idea in the mission profile

Ще одна чудова ідея в організації місії -

places humanoid robots on the surface of Mars

помістити робота-гуманоїда на поверхню Марсу

before the humans themselves arrive,

перед тим, як туди прибуде людина, -

first to build facilities

спочатку побудувати споруди,

and later to serve as collaborative members of the science team.

а згодом служити одним із членів наукової команди.

Now, as I looked at this from an engineering perspective,

Коли я подивився на це з точки зору інженерії,

it became very clear to me that what I needed to architect

мені стало зрозуміло, що мені потрібно створити

was a smart, collaborative,

розумний, здатний до співпраці,

socially intelligent artificial intelligence.

соціально розумний штучний інтелект.

In other words, I needed to build something very much like a HAL

Іншими словами, мені потрібно побудувати щось дуже схоже на ХАЛа,

but without the homicidal tendencies.

але без схильності до вбивств.

(Laughter)

(Сміх)

Let's pause for a moment.

Зупинімося на хвилину.

Is it really possible to build an artificial intelligence like that?

Чи можливо ось так просто створити штучний інтелект?

Actually, it is.

Власне, так.

In many ways,

З багатьох міркувань

this is a hard engineering problem

це складне інженерне завдання

with elements of AI,

стосовно штучного інтелекту,

not some wet hair ball of an AI problem that needs to be engineered.

не якась скажена кулька, що має бути спроектована.

To paraphrase Alan Turing,

Якщо перефразувати Алана Тюрінґа,

I'm not interested in building a sentient machine.

я не зацікавлений в будуванні кмітливої машини.

I'm not building a HAL.

Я не будую ХАЛА.

All I'm after is a simple brain,

Все, що я хочу, - простий мозок,

something that offers the illusion of intelligence.

що може створювати відчуття інтелекту.

The art and the science of computing have come a long way

Мистецтво і наука програмування пройшли довгий шлях

since HAL was onscreen,

з того часу, як ХАЛ з'явився на екрані

and I'd imagine if his inventor Dr. Chandra were here today,

і я можу уявити, якщо б його винахідник доктор Чандра був тут сьогодні,

he'd have a whole lot of questions for us.

скільки він мав би до нас питань.

Is it really possible for us

Чи дійсно ми можемо

to take a system of millions upon millions of devices,

змусити мільйони і мільйони приладів

to read in their data streams,

зчитувати потоки даних,

to predict their failures and act in advance?

передбачувати власні помилки і діяти заздалегідь?

Yes.

Так.

Can we build systems that converse with humans in natural language?

Чи вміємо ми будувати системи, які спілкуються природною мовою?

Yes.

Так.

Can we build systems that recognize objects, identify emotions,

Чи ми вміємо будувати системи, які розрізняють об'єкти, емоції,

emote themselves, play games and even read lips?

відчувають емоції самі, грають в ігри чи навіть читають по губах?

Yes.

Так.

Can we build a system that sets goals,

Чи можемо збудувати систему, яка ставить перед собою цілі,

that carries out plans against those goals and learns along the way?

яка будує плани відносно цих цілей і навчається одночасно?

Yes.

Так.

Can we build systems that have a theory of mind?

Чи вміємо будувати системи, що моделюють психіку людини?

This we are learning to do.

Ми вчимося це робити.

Can we build systems that have an ethical and moral foundation?

Чи вміємо будувати системи, які мають етичні та моральні засади?

This we must learn how to do.

Ми маємо цього навчитись.

So let's accept for a moment

Тож припустімо на мить,

that it's possible to build such an artificial intelligence

що можна побудувати штучний інтелект

for this kind of mission and others.

для цього типу місії та подібних.

The next question you must ask yourself is,

Наступне питання, яке ви маєте поставити:

should we fear it?

чи слід його боятися?

Now, every new technology

Кожна нова технологія

brings with it some measure of trepidation.

тягне за собою певне занепокоєння.

When we first saw cars,

Коли ми вперше побачили авто,

people lamented that we would see the destruction of the family.

люди галасували, що з цього почнеться руйнування сім'ї.

When we first saw telephones come in,

Коли ми вперше побачили телефони,

people were worried it would destroy all civil conversation.

люди були стурбовані, що вони зруйнують всі повсякденні розмови.

At a point in time we saw the written word become pervasive,

Коли ми побачили, що письмове слово стало поширеним,

people thought we would lose our ability to memorize.

люди думали, що ми втратимо вміння запам'ятовувати.

These things are all true to a degree,

Усі ці речі до певної міри правдиві,

but it's also the case that these technologies

але водночас ці технології

brought to us things that extended the human experience

принесли нам винаходи, які якісно поглибили людський досвід -

in some profound ways.

до нового рівня.

So let's take this a little further.

Тому міркуймо далі.

I do not fear the creation of an AI like this,

Я не боюсь створення подібного штучного інтелекту,

because it will eventually embody some of our values.

оскільки, зрештою, він вбере в себе деякі наші цінності.

Consider this: building a cognitive system is fundamentally different

Задумайтесь: побудова когнітивної системи фундаментально відрізняється

than building a traditional software-intensive system of the past.

від побудови традиційного програмного забезпечення минулого.

We don't program them. We teach them.

Ми не програмуємо їх. Ми їх вчимо.

In order to teach a system how to recognize flowers,

Щоб навчити систему розпізнавати квіти,

I show it thousands of flowers of the kinds I like.

я показую їй тисячу квітів, які мені подобаються.

In order to teach a system how to play a game --

Щоб навчити систему грати у гру --

Well, I would. You would, too.

Ну, я б показував. Ви б теж.

I like flowers. Come on.

Я люблю квіти. Ну справді.

To teach a system how to play a game like Go,

Щоб навчити систему, як грати у гру - наприклад, го -

I'd have it play thousands of games of Go,

мені б довелося зіграти тисячі партій в го,

but in the process I also teach it

але в процесі я також навчаю її,

how to discern a good game from a bad game.

як відрізнити хорошу партію від поганої.

If I want to create an artificially intelligent legal assistant,

Якщо я хочу створити штучний інтелект, який допомагає в правових питаннях,

I will teach it some corpus of law

мені потрібно навчити його законам,

but at the same time I am fusing with it

але водночас я вливаю туди

the sense of mercy and justice that is part of that law.

почуття милосердя і справедливості, що є частиною закону.

In scientific terms, this is what we call ground truth,

Науковці називають це фундаментальною правдою,

and here's the important point:

і тут є важливий момент:

in producing these machines,

створюючи ці машини,

we are therefore teaching them a sense of our values.

ми водночас вчимо їх нашим цінностям.

To that end, I trust an artificial intelligence

І через це я довіряю штучному інтелекту

the same, if not more, as a human who is well-trained.

так само, якщо не більше, ніж добре навченій людині.

But, you may ask,

Але ви можете запитати,

what about rogue agents,

а що ж щодо шахраїв,

some well-funded nongovernment organization?

якихось добре фінансованих неурядових організацій?

I do not fear an artificial intelligence in the hand of a lone wolf.

Я не боюсь штучного інтелекту в руках самотнього вовка.

Clearly, we cannot protect ourselves against all random acts of violence,

Зрозуміло, ми не можемо захистити себе від всіх актів насильства,

but the reality is such a system

але реальність є такою системою,

requires substantial training and subtle training

яка вимагає суттєвої підготовки і тонкого навчання,

far beyond the resources of an individual.

для яких окремій людині забракне ресурсів.

And furthermore,

І більше того,

it's far more than just injecting an internet virus to the world,

це набагато складніше, ніж просто пустити інтернет-вірус у світ,

where you push a button, all of a sudden it's in a million places

де ти натискаєш кнопку - і ось він у мільйоні місць,

and laptops start blowing up all over the place.

і ноутбуки починають вибухати усюди.

Now, these kinds of substances are much larger,

Але такі події є значно масштабнішими,

and we'll certainly see them coming.

і ми обов'язково зможемо їх помітити.

Do I fear that such an artificial intelligence

Чи я боюсь, що такий штучний інтелект

might threaten all of humanity?

може загрожувати всьому людству?

If you look at movies such as "The Matrix," "Metropolis,"

Якщо ви подивитесь такі фільми, як "Матриця", "Метрополіс",

"The Terminator," shows such as "Westworld,"

"Термінатор", серіал "Західний світ",

they all speak of this kind of fear.

вони всі розповідають про такий страх.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

Насправді, у своїй книжці "Суперрозум" філософ Нік Бостром

he picks up on this theme

порушує цю тему

and observes that a superintelligence might not only be dangerous,

і стверджує, що суперрозум може не тільки бути небезпечним,

it could represent an existential threat to all of humanity.

він може становити екзистенційну загрозу людству.

Dr. Bostrom's basic argument

Головним аргументом доктора Бострома

is that such systems will eventually

є те, що така система одного разу

have such an insatiable thirst for information

матиме таку ненаситну спрагу до інформації,

that they will perhaps learn how to learn

що вона, можливо, навчиться вчитися -

and eventually discover that they may have goals

і врешті зрозуміє, що вона може ставити цілі,

that are contrary to human needs.

які суперечать потребам людства.

Dr. Bostrom has a number of followers.

У доктора Бострома є багато прихильників.

He is supported by people such as Elon Musk and Stephen Hawking.

Його підтримують такі люди, як Ілон Маск і Стівен Гокінґ.

With all due respect

З усією повагою

to these brilliant minds,

до цих блискучих розумів,

I believe that they are fundamentally wrong.

я думаю, що вони серйозно помиляються.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Є багато аргументів доктора Бострома, що варто обговорити,

and I don't have time to unpack them all,

і в мене немає часу розглядати їх усі,

but very briefly, consider this:

але дуже стисло:

super knowing is very different than super doing.

неймовірне знання дуже відрізняється від неймовірних дій.

HAL was a threat to the Discovery crew

ХАЛ був загрозою для команди Дискавері,

only insofar as HAL commanded all aspects of the Discovery.

оскільки ХАЛ керував усіма аспектами Дискавері.

So it would have to be with a superintelligence.

Тому йому потрібно було мати суперрозум.

It would have to have dominion over all of our world.

Йому довелось би панувати в усьому світі.

This is the stuff of Skynet from the movie "The Terminator"

Це випадок Скайнет з фільму "Термінатор",

in which we had a superintelligence

в якому був суперрозум,

that commanded human will,

який контролював людську волю,

that directed every device that was in every corner of the world.

направляв кожен пристрій в будь-якому куточку світу.

Practically speaking,

З практичної точки зору,

it ain't gonna happen.

цього ніколи не станеться.

We are not building AIs that control the weather,

Ми не будуємо штучних інтелектів, які контролюють погоду,

that direct the tides,

які направляють хвилі,

that command us capricious, chaotic humans.

які командують нами - примхливими, хаотичними людьми.

And furthermore, if such an artificial intelligence existed,

І більше того, якщо б такий штучний інтелект справді існував,

it would have to compete with human economies,

йому б доводилось конкурувати з людською економікою,

and thereby compete for resources with us.

а значить, конкурувати з нами за ресурси.

And in the end --

І зрештою -

don't tell Siri this --

не кажіть Сірі цього -

ми завжди можемо їх вимкнути.

we can always unplug them.

(Laughter)

(Сміх)

We are on an incredible journey

Ми в неймовірній подорожі

of coevolution with our machines.

співеволюції з нашими машинами.

The humans we are today

Люди, якими ми є сьогодні,

are not the humans we will be then.

відрізняються від людей, якими ми станемо завтра.

To worry now about the rise of a superintelligence

Хвилюватися тепер про розвиток суперрозуму -

is in many ways a dangerous distraction

досить небезпечне відволікання,

because the rise of computing itself

бо розвиток комп'ютерів як такий

brings to us a number of human and societal issues

порушує багато гуманітарних і суспільних проблем,

to which we must now attend.

на які нам треба звернути увагу.

How shall I best organize society

Як краще організувати суспільство,

коли потреба в людській праці зменшується?

when the need for human labor diminishes?

How can I bring understanding and education throughout the globe

Як донести порозуміння й освіту до всіх куточків планети

and still respect our differences?

і поважати при цьому наші відмінності?

How might I extend and enhance human life through cognitive healthcare?

Як поліпшити і продовжити людське життя за допомогою охорони когнітивного здоров'я?

How might I use computing

Як використати комп'ютери,

to help take us to the stars?

щоб привели нас до зірок?

And that's the exciting thing.

Ось що цікаво.

The opportunities to use computing

Можливості використати обчислювання

to advance the human experience

для поліпшення людського досвіду

are within our reach,

доступні нам

here and now,

тут і тепер,

and we are just beginning.

і це тільки початок.

Thank you very much.

Дуже дякую.

(Applause)

(Оплески)