Don't fear superintelligent AI | Grady Booch

Переводчик: Alena Chernykh Редактор: Marina Lee

When I was a kid, I was the quintessential nerd.

В детстве я был типичным ботаником.

I think some of you were, too.

Думаю, некоторые из вас тоже.

(Laughter)

(Смех)

And you, sir, who laughed the loudest, you probably still are.

А вы, смеётесь громче всех, наверняка таким и остались.

(Laughter)

(Смех)

I grew up in a small town in the dusty plains of north Texas,

Я вырос в маленьком городке среди равнин Северного Техаса.

the son of a sheriff who was the son of a pastor.

Мой отец был шерифом, а дед — пастором.

Getting into trouble was not an option.

Никаких вариантов бедокурить.

And so I started reading calculus books for fun.

Поэтому ради забавы я начал читать книги по математическому анализу.

(Laughter)

(Смех)

You did, too.

И вы — тоже!

That led me to building a laser and a computer and model rockets,

Благодаря этому я сконструировал в своей комнате лазер,

and that led me to making rocket fuel in my bedroom.

компьютер и модель, а потом и топливо для ракеты.

Now, in scientific terms,

Научный термин для этого —

we call this a very bad idea.

очень плохая идея.

(Laughter)

(Смех)

Around that same time,

Как раз в то время

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

вышел фильм Стенли Кубрика «Космическая одиссея 2001 года»,

and my life was forever changed.

он кардинально изменил мою жизнь.

Мне нравилось в этом фильме абсолютно всё,

I loved everything about that movie,

especially the HAL 9000.

особенно HAL 9000.

Now, HAL was a sentient computer

HAL был разумным компьютером,

designed to guide the Discovery spacecraft

управляющим космическим кораблём Discovery,

from the Earth to Jupiter.

направляющимся от Земли к Юпитеру.

HAL was also a flawed character,

У него был небезупречный характер,

for in the end he chose to value the mission over human life.

и в итоге человеческой жизни он предпочёл миссию.

Now, HAL was a fictional character,

HAL был вымышленным персонажем,

but nonetheless he speaks to our fears,

но тем не менее, он вызывает страх,

our fears of being subjugated

страх быть порабощённым

by some unfeeling, artificial intelligence

бесчувственным искусственным интеллектом,

who is indifferent to our humanity.

равнодушным к человеку.

I believe that such fears are unfounded.

Я считаю, такие страхи безосновательны.

Indeed, we stand at a remarkable time

В самом деле, мы живём в удивительное время

in human history,

в человеческой истории,

where, driven by refusal to accept the limits of our bodies and our minds,

когда, не принимая ограничения наших тел и нашего разума,

we are building machines

мы создаём механизмы

of exquisite, beautiful complexity and grace

изумительной, невероятной сложности и тонкости,

that will extend the human experience

которые расширят способности человека

in ways beyond our imagining.

за грани нашего воображения.

After a career that led me from the Air Force Academy

Начав карьеру в Академии ВВС,

to Space Command to now,

продолжив в Космическом командовании ВС США,

I became a systems engineer,

я стал инженером-системотехником.

and recently I was drawn into an engineering problem

А в настоящее время занимаюсь инженерными разработками,

associated with NASA's mission to Mars.

связанными с миссией НАСА на Марсе.

Now, in space flights to the Moon,

Сейчас в полётах на Луну

we can rely upon mission control in Houston

мы можем полагаться на управление полётами в Хьюстоне,

to watch over all aspects of a flight.

чтобы следить за всеми аспектами полёта.

However, Mars is 200 times further away,

Однако Марс в 200 раз дальше Луны,

and as a result it takes on average 13 minutes

и поэтому сигнал от Земли к Марсу

for a signal to travel from the Earth to Mars.

идёт в среднем 13 минут.

If there's trouble, there's not enough time.

Случись какая-то неполадка, времени не хватит.

And so a reasonable engineering solution

Поэтому разумное инженерное решение —

calls for us to put mission control

разместить центр управления полётами

inside the walls of the Orion spacecraft.

внутри космического корабля Orion.

Another fascinating idea in the mission profile

Другая увлекательная идея для миссии —

places humanoid robots on the surface of Mars

отправить роботов-гуманоидов на Марс

before the humans themselves arrive,

до прилёта людей:

first to build facilities

сначала они построят базы,

and later to serve as collaborative members of the science team.

а потом будут помогать научной команде.

Now, as I looked at this from an engineering perspective,

Когда я посмотрел на это как инженер,

it became very clear to me that what I needed to architect

стало ясно, что нужно спроектировать

умный, способный к сотрудничеству,

was a smart, collaborative,

socially intelligent artificial intelligence.

социально-сознательный искусственный интеллект.

In other words, I needed to build something very much like a HAL

Другими словами, нужно было создать что-то очень похожее на HAL,

but without the homicidal tendencies.

но без склонности к убийствам.

(Laughter)

(Смех)

Let's pause for a moment.

Давайте на минуту остановимся.

Is it really possible to build an artificial intelligence like that?

Реально ли сделать такой искусственный интеллект?

Actually, it is.

Вполне.

In many ways,

Во многом

this is a hard engineering problem

это сложная инженерная задача

with elements of AI,

с использованием ИИ,

not some wet hair ball of an AI problem that needs to be engineered.

а не запутанный клубок проблем ИИ, который нужно распутать.

To paraphrase Alan Turing,

Перефразируя Алана Туринга,

I'm not interested in building a sentient machine.

я не собираюсь создавать разумного робота.

I'm not building a HAL.

Я не собираюсь создавать HAL.

All I'm after is a simple brain,

Мне всего лишь нужен простой разум

something that offers the illusion of intelligence.

с иллюзией интеллекта.

The art and the science of computing have come a long way

Искусство и наука о вычислительной технике прошли долгий путь

since HAL was onscreen,

с появления HAL на экранах,

and I'd imagine if his inventor Dr. Chandra were here today,

и я представляю, сколько вопросов возникло бы у его изобретателя

he'd have a whole lot of questions for us.

д-ра Чандра, будь он сейчас здесь.

Is it really possible for us

Возможно ли на самом деле

to take a system of millions upon millions of devices,

взять систему из миллионов устройств,

to read in their data streams,

прочитать их потоки данных,

to predict their failures and act in advance?

предугадать их ошибки и заранее исправить?

Yes.

Да.

Can we build systems that converse with humans in natural language?

Можно ли создать механизмы, которые говорят на человеческом языке?

Yes.

Да.

Can we build systems that recognize objects, identify emotions,

Создать механизмы, способные распознавать объекты, эмоции,

emote themselves, play games and even read lips?

выражать свои эмоции, играть и даже читать по губам?

Yes.

Да.

Can we build a system that sets goals,

Механизмы, которые смогут формулировать цели,

that carries out plans against those goals and learns along the way?

составлять планы для их достижения и учиться в процессе их выполнения?

Yes.

Да.

Can we build systems that have a theory of mind?

Можем ли мы создать механизмы, способные понимать чужое сознание?

This we are learning to do.

Мы работаем над этим.

Can we build systems that have an ethical and moral foundation?

Можем ли мы создать механизмы с этическими и нравственными основами?

This we must learn how to do.

Это задача для нас на будущее.

So let's accept for a moment

Давайте на минуту представим

that it's possible to build such an artificial intelligence

возможность создания такого искусственного разума

for this kind of mission and others.

именно для таких целей, и не только.

The next question you must ask yourself is,

Следующий вопрос, который вы должны себе задать:

should we fear it?

а следует ли нам его бояться?

Now, every new technology

Любая новая технология

brings with it some measure of trepidation.

вызывает некоторое беспокойство.

When we first saw cars,

Когда впервые появились автомобили,

people lamented that we would see the destruction of the family.

люди переживали, что это разрушит семьи.

When we first saw telephones come in,

Когда появились телефоны,

people were worried it would destroy all civil conversation.

люди боялись, что перестанут общаться вживую.

At a point in time we saw the written word become pervasive,

В какой-то момент мы увидели, что распространилась письменность,

people thought we would lose our ability to memorize.

и подумали, что потеряем способность к запоминанию.

These things are all true to a degree,

В этом есть доля истины,

but it's also the case that these technologies

но также правда и то, что эти технологии

brought to us things that extended the human experience

привели нас к огромнейшему расширению

in some profound ways.

сознания и возможностей человека.

So let's take this a little further.

Давайте пойдём дальше.

I do not fear the creation of an AI like this,

Я не боюсь появления ИИ с такими возможностями,

because it will eventually embody some of our values.

потому что со временем он вберёт в себя наши ценности.

Consider this: building a cognitive system is fundamentally different

Подумайте, создание мыслящей системы принципиально отличается

than building a traditional software-intensive system of the past.

от создания традиционных систем, требующих множества программ.

We don't program them. We teach them.

Мы не программируем ИИ. Мы его обучаем.

In order to teach a system how to recognize flowers,

Чтобы научить систему распознать цветок,

I show it thousands of flowers of the kinds I like.

я показываю ей тысячи цветов, которые нравятся мне.

In order to teach a system how to play a game --

Чтобы научить систему, как играть...

Well, I would. You would, too.

Ну, я бы научил. Вы бы тоже.

I like flowers. Come on.

Ну же! Я люблю цветы.

To teach a system how to play a game like Go,

Чтобы научить систему играть, например, в игру го,

I'd have it play thousands of games of Go,

ей нужно сыграть в неё тысячи раз,

but in the process I also teach it

но в процессе я буду обучать её

how to discern a good game from a bad game.

отличать хорошую игру от плохой.

If I want to create an artificially intelligent legal assistant,

Если я захочу создать помощника юриста с ИИ,

I will teach it some corpus of law

я познакомлю его с законодательством,

but at the same time I am fusing with it

при этом обучая его

the sense of mercy and justice that is part of that law.

милосердию и справедливости, которые являются частью закона.

In scientific terms, this is what we call ground truth,

Специалисты называют это контрольными данными,

and here's the important point:

и вот что самое важное:

in producing these machines,

создавая эти машины,

we are therefore teaching them a sense of our values.

мы прививаем им наши ценности.

To that end, I trust an artificial intelligence

И с этой точки зрения я доверяю ИИ столь же,

the same, if not more, as a human who is well-trained.

если не больше, чем человеку с хорошим воспитанием.

But, you may ask,

Но вы можете спросить:

what about rogue agents,

а как насчёт неконтролируемых лиц,

some well-funded nongovernment organization?

например, хорошо финансируемых неправительственных организаций?

I do not fear an artificial intelligence in the hand of a lone wolf.

Я не боюсь ИИ в руках таких одиночек.

Clearly, we cannot protect ourselves against all random acts of violence,

Очевидно, мы не можем защитить себя от всех случайных актов насилия,

but the reality is such a system

но на деле такая система требует

requires substantial training and subtle training

значительной подготовки и тщательного обучения,

far beyond the resources of an individual.

что далеко за пределами частных ресурсов.

And furthermore,

Более того,

it's far more than just injecting an internet virus to the world,

это сложнее, чем распространить интернет-вирус по всему миру,

where you push a button, all of a sudden it's in a million places

когда достаточно нажать кнопку — и он повсюду,

and laptops start blowing up all over the place.

везде начинают взрываться компьютеры.

Now, these kinds of substances are much larger,

Эти вещи гораздо глобальнее,

and we'll certainly see them coming.

и мы обязательно их увидим.

Do I fear that such an artificial intelligence

Боюсь ли я, что такой искусственный интеллект

might threaten all of humanity?

станет угрозой для человечества?

If you look at movies such as "The Matrix," "Metropolis,"

Если вспомнить фильмы «Матрица», «Метрополь»,

"The Terminator," shows such as "Westworld,"

«Терминатор», сериал «Западный мир»,

they all speak of this kind of fear.

во всех говорится о подобном страхе.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

Философ Ник Бостром в книге «Искусственный интеллект»

he picks up on this theme

поднимает эту проблему

and observes that a superintelligence might not only be dangerous,

и пишет, что ИИ может быть не только опасен,

it could represent an existential threat to all of humanity.

он может быть угрозой существованию человечества.

Dr. Bostrom's basic argument

Главный аргумент Бострома:

is that such systems will eventually

со временем у этих машин появится

have such an insatiable thirst for information

ненасытная жажда информации,

that they will perhaps learn how to learn

они, возможно, научатся учиться самостоятельно

and eventually discover that they may have goals

и в конце концов обнаружат, что у них могут быть цели,

that are contrary to human needs.

которые противоречат потребностям человека.

Dr. Bostrom has a number of followers.

У Бострома есть последователи.

He is supported by people such as Elon Musk and Stephen Hawking.

Его поддерживают такие люди, как Элон Маск и Стивен Хокинг.

With all due respect

При всём уважении

to these brilliant minds,

к этим выдающимся умам,

I believe that they are fundamentally wrong.

я всё-таки полагаю, что они ошибаются.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

Можно поспорить со многими аргументами Бострома,

and I don't have time to unpack them all,

и у меня нет на это времени,

but very briefly, consider this:

но вкратце, знайте,

super knowing is very different than super doing.

что сверхзнание — не то же самое, что сверхвозможности.

HAL was a threat to the Discovery crew

HAL был угрозой для экипажа Discovery

only insofar as HAL commanded all aspects of the Discovery.

только пока он контролировал управление Discovery.

So it would have to be with a superintelligence.

То же и с суперинтеллектом.

It would have to have dominion over all of our world.

Он должен будет господствовать над миром.

This is the stuff of Skynet from the movie "The Terminator"

Как Скайнет из фильма «Терминатор»,

in which we had a superintelligence

где суперинтеллект

that commanded human will,

командовал человеком,

that directed every device that was in every corner of the world.

который управлял каждым устройством в любой части мира.

Practically speaking,

На практике

it ain't gonna happen.

такого не произойдёт.

We are not building AIs that control the weather,

Мы не создаём ИИ, который контролирует погоду,

that direct the tides,

управляет приливами,

that command us capricious, chaotic humans.

командует нами, непредсказуемыми людьми.

And furthermore, if such an artificial intelligence existed,

И даже если такой ИИ и появился бы,

it would have to compete with human economies,

ему пришлось бы иметь дело с нашей экономикой

and thereby compete for resources with us.

и конкурировать с нами за владение ресурсами.

And in the end --

И наконец,

don't tell Siri this --

не говорите об этом Siri.

we can always unplug them.

Всегда можно их отключить.

(Laughter)

(Смех)

We are on an incredible journey

Мы эволюционируем с нашими машинами,

of coevolution with our machines.

и это — невероятное путешествие.

The humans we are today

Человек станет

are not the humans we will be then.

совершенно другим в будущем.

To worry now about the rise of a superintelligence

Беспокоиться из-за суперинтеллекта —

is in many ways a dangerous distraction

во многом опасная трата времени,

because the rise of computing itself

потому что сама компьютеризация

brings to us a number of human and societal issues

поднимает общечеловеческие и социальные проблемы,

to which we must now attend.

которые мы должны разрешить.

How shall I best organize society

Как лучше организовать общество,

когда уменьшается необходимость в человеческом труде?

when the need for human labor diminishes?

How can I bring understanding and education throughout the globe

Как добиться взаимопонимания и дать образование всему миру,

and still respect our differences?

при этом учитывая различия?

How might I extend and enhance human life through cognitive healthcare?

Как продлить и улучшить жизнь через разумное здравоохранение?

How might I use computing

Как с помощью компьютеров

to help take us to the stars?

достичь звёзд?

And that's the exciting thing.

И вот это вдохновляет.

The opportunities to use computing

Возможность использовать компьютеры

to advance the human experience

для расширения опыта человека

are within our reach,

вполне достижима

here and now,

здесь и сейчас.

and we are just beginning.

Мы стоим в самом начале пути.

Thank you very much.

Большое спасибо.

(Applause)

(Аплодисменты)