How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Переводчик: Olia Francia Редактор: Natalia Ost

Chris Anderson: Nick Bostrom.

Крис Андерсон: Ник Бостром

So, you have already given us so many crazy ideas out there.

Вы уже делились с нами своими безумными идеями.

I think a couple of decades ago,

Пару десятилетий назад, как мне

you made the case that we might all be living in a simulation,

помнится, вы предположили, что мы будем жить в симуляции

or perhaps probably were.

или мы уже в ней.

More recently,

А относительно недавно

you've painted the most vivid examples of how artificial general intelligence

вы представили самый наглядный пример того, как может навредить

could go horribly wrong.

всеобщий искусственный интеллект.

And now this year,

И уже в этом году

you're about to publish

вы собираетесь издавать

a paper that presents something called the vulnerable world hypothesis.

книгу с самыми уязвимыми мировыми гипотезами.

And our job this evening is to give the illustrated guide to that.

И сегодняшний выпуск должен стать иллюстрированным руководством к ней.

So let's do that.

Давайте начнём.

What is that hypothesis?

Что это за гипотезы?

Nick Bostrom: It's trying to think about

Ник Бостром: Это попытка осмысления структурных компонентов

a sort of structural feature of the current human condition.

текущего состояния человечества.

You like the urn metaphor,

Вам нравится метафора про урну,

so I'm going to use that to explain it.

поэтому я использую её.

So picture a big urn filled with balls

Представьте большу́ю урну, наполненную шарами,

representing ideas, methods, possible technologies.

которые представляют собой идеи, методы

You can think of the history of human creativity

и всевозможные технологии. Всю творческую деятельность человечества

as the process of reaching into this urn and pulling out one ball after another,

можно сравнить с погружением в эту урну и вытаскиванием оттуда шариков.

and the net effect so far has been hugely beneficial, right?

И долгие годы мы всегда получали только пользу от этого, верно?

We've extracted a great many white balls,

Мы изъяли слишком много белых шаров,

some various shades of gray, mixed blessings.

несколько с оттенками серого, с неоднозначными последствиями.

We haven't so far pulled out the black ball --

Но нам так давно не попадался чёрный шар — технология,

a technology that invariably destroys the civilization that discovers it.

которая непременно уничтожит своих создателей.

So the paper tries to think about what could such a black ball be.

В книге содержатся версии того, что́ будет внутри чёрного шара.

CA: So you define that ball

КА: То есть, вы определяете этот шар

as one that would inevitably bring about civilizational destruction.

как причину гибели цивилизации.

NB: Unless we exit what I call the semi-anarchic default condition.

НБ: Пока мы не выйдем из своего стандартного состояния полуанархии,

But sort of, by default.

CA: So, you make the case compelling

КА: В качестве доказательства вы приводите

by showing some sort of counterexamples

несколько контрпримеров.

where you believe that so far we've actually got lucky,

Вы убеждены, что нам везло на протяжении многих лет.

that we might have pulled out that death ball

И возможно мы, сами того не подозревая,

without even knowing it.

уже вытянули этот шар смерти.

So there's this quote, what's this quote?

Также вы приводите цитату. Что она означает?

NB: Well, I guess it's just meant to illustrate

НБ: Она только показывает,

the difficulty of foreseeing

насколько сложно предусмотреть

what basic discoveries will lead to.

все последствия базовых открытий.

We just don't have that capability.

У нас нет такой возможности.

Because we have become quite good at pulling out balls,

Мы хорошо научились вытаскивать шары из урны,

but we don't really have the ability to put the ball back into the urn, right.

но не умеем возвращать их обратно.

We can invent, but we can't un-invent.

То есть, мы можем изобретать, но не наоборот.

So our strategy, such as it is,

В качестве стратегии у нас есть только надежда на то,

is to hope that there is no black ball in the urn.

что в урне нет шаров чёрного цвета.

CA: So once it's out, it's out, and you can't put it back in,

КА: Однажды мы его вытащим и не сможем вернуть обратно,

and you think we've been lucky.

и вы считаете нам пока везло.

So talk through a couple of these examples.

Прокомментируйте примеры, где вы упоминаете

You talk about different types of vulnerability.

несколько типов уязвимости.

NB: So the easiest type to understand

НБ: Самый простой тип для понимания —

is a technology that just makes it very easy

технология, которая сможет без особого труда

to cause massive amounts of destruction.

вызвать много массовых разрушений.

Synthetic biology might be a fecund source of that kind of black ball,

Синтетическая биология может стать богатым источником

but many other possible things we could --

чёрных шаров подобного рода.

think of geoengineering, really great, right?

Также стоит задуматься о продуктах геоинженерии.

We could combat global warming,

Мы можем бороться с глобальным потеплением,

but you don't want it to get too easy either,

но не нужно облегчать себе задачу.

you don't want any random person and his grandmother

Не нужно, чтобы случайный человек и его бабушка

to have the ability to radically alter the earth's climate.

имели возможность радикальным образом изменить климат на земле.

Or maybe lethal autonomous drones,

Или смертоносные беспилотные дроны размером с комара,

massed-produced, mosquito-sized killer bot swarms.

которые массово производят для уничтожения вредителей

Nanotechnology, artificial general intelligence.

Нанотехнологии, всеобщий искусственный интеллект.

CA: You argue in the paper

КА: В книге есть сомнение,

that it's a matter of luck that when we discovered

что нам повезло открыть ядерную энергию

that nuclear power could create a bomb,

для создания атомной бомбы.

it might have been the case

Возможно, это тот случай,

that you could have created a bomb

когда возможно создать бомбу

with much easier resources, accessible to anyone.

с помощью более лёгких ресурсов, доступных каждому.

NB: Yeah, so think back to the 1930s

НБ: Вернёмся в 30-е годы ХХ века,

where for the first time we make some breakthroughs in nuclear physics,

когда мы впервые достигли прогресса в ядерной физике.

some genius figures out that it's possible to create a nuclear chain reaction

Некоторые выдающиеся учёные выяснили, как создать цепную ядерную реакцию

and then realizes that this could lead to the bomb.

и потом довели её до бомбы.

And we do some more work,

Мы провели исследование.

it turns out that what you require to make a nuclear bomb

Выяснилось, что для создания атомной бомбы, содержащей

is highly enriched uranium or plutonium,

в огромном количестве уран и плутоний,

which are very difficult materials to get.

которые получить довольно трудно,

You need ultracentrifuges,

нужны ультрацентрифуги, нужны реакторы,

you need reactors, like, massive amounts of energy.

а также большое количество энергии.

But suppose it had turned out instead

Мы предполагаем, что вместо этого

there had been an easy way to unlock the energy of the atom.

существует более лёгкий способ высвободить энергию из атома.

That maybe by baking sand in the microwave oven

А что, если окажется возможным вызвать ядерный взрыв

or something like that

из песка в микроволновке

you could have created a nuclear detonation.

или более простым способом.

So we know that that's physically impossible.

Сейчас это невозможно с точки зрения физики.

But before you did the relevant physics

Но пока не проведены такие опыты,

how could you have known how it would turn out?

как узнать, что из этого выйдет?

CA: Although, couldn't you argue

КА: Согласитесь, для нормального

that for life to evolve on Earth

развития жизни на Земле необходима

that implied sort of stable environment,

стабильная среда.

that if it was possible to create massive nuclear reactions relatively easy,

И если бы имелся более лёгкий способ получения крупных ядерных реакций,

the Earth would never have been stable,

то стабильной среды на Земле бы не существовало,

that we wouldn't be here at all.

и нас здесь не было.

NB: Yeah, unless there were something that is easy to do on purpose

НБ: Да, если бы существовало что-то, созданное специально,

but that wouldn't happen by random chance.

а не само по себе.

So, like things we can easily do,

Так мы делаем многое.

we can stack 10 blocks on top of one another,

Мы можем уложить 10 блоков друг на друга,

but in nature, you're not going to find, like, a stack of 10 blocks.

но в природе такого не встретишь.

CA: OK, so this is probably the one

КА: А сейчас поговорим о том,

that many of us worry about most,

что волнует нас больше всего.

and yes, synthetic biology is perhaps the quickest route

На данный момент, из того, что мы можем предсказать,

that we can foresee in our near future to get us here.

синтетическая биология — кратчайший путь к самоуничтожению.

NB: Yeah, and so think about what that would have meant

НБ: И только представьте, как это будет выглядеть,

if, say, anybody by working in their kitchen for an afternoon

если сказать кому-то, что он может разнести город,

could destroy a city.

готовя что-то на кухне.

It's hard to see how modern civilization as we know it

Трудно представить, как современная цивилизация в привычном нам виде

could have survived that.

сможет пережить подобное.

Because in any population of a million people,

Потому что среди любого многомилионного населения

there will always be some who would, for whatever reason,

найдутся те, кто по непонятной причине

choose to use that destructive power.

захотят использовать эту разрушительную силу.

So if that apocalyptic residual

И если бы этот любитель апокалипсиса

would choose to destroy a city, or worse,

выбрал бы уничтожить город или, что-то хуже,

then cities would get destroyed.

то города были бы разрушены.

CA: So here's another type of vulnerability.

КА: Есть другой тип уязвимости.

Talk about this.

Расскажите о нём, пожалуйста.

NB: Yeah, so in addition to these kind of obvious types of black balls

НБ: Помимо простых для понимания чёрных шаров,

that would just make it possible to blow up a lot of things,

которые снесут всё на своем пути,

other types would act by creating bad incentives

другие будут создавать людям стимул для совершения плохих поступков

for humans to do things that are harmful.

и причинение вреда.

So, the Type-2a, we might call it that,

То есть, если подумать о так называемом Типе-2а, то это технология,

is to think about some technology that incentivizes great powers

которая подвигнет великие мировые державы

to use their massive amounts of force to create destruction.

на использование всей своей военной мощи для разрушения.

So, nuclear weapons were actually very close to this, right?

На самом деле, ядерное оружие очень близко к этому, да?

What we did, we spent over 10 trillion dollars

Что мы сделали: мы потратили более 10 триллионов долларов

to build 70,000 nuclear warheads

на создание 70 тыс. ядерных боеголовок

and put them on hair-trigger alert.

и держим их в состоянии повышенной боевой готовности.

And there were several times during the Cold War

Во время Холодной войны мы несколько раз

we almost blew each other up.

были на грани взаимоуничтожения.

It's not because a lot of people felt this would be a great idea,

Не потому, что люди считают замечательной идеей

let's all spend 10 trillion dollars to blow ourselves up,

спустить 10 миллионов долларов на самоуничтожение.

but the incentives were such that we were finding ourselves --

Стимулировало то, что мы только ищем себя,

this could have been worse.

и это могло быть худшим.

Imagine if there had been a safe first strike.

Представьте, если бы первый удар прошёл без особых последствий,

Then it might have been very tricky,

то было бы очень сложно

in a crisis situation,

в кризисной ситуации

to refrain from launching all their nuclear missiles.

воздержаться от запуска всех ядерных ракет.

If nothing else, because you would fear that the other side might do it.

Если не иначе, потому что вы боитесь, что это сделают с другой стороны.

CA: Right, mutual assured destruction

КА: Гарантированное взаимоуничтожение

kept the Cold War relatively stable,

поддерживало стабильность в период холодной войны.

without that, we might not be here now.

Иначе нас бы тут не было.

NB: It could have been more unstable than it was.

НБ: Да, это бы сделало её более нестабильной.

And there could be other properties of technology.

Тут могла бы проявиться другая сторона технологий.

It could have been harder to have arms treaties,

Было бы труднее достигнуть соглашений по вооружению,

if instead of nuclear weapons

если бы вместо ядерного оружия

there had been some smaller thing or something less distinctive.

существовал какой-нибудь мелкий предмет или менее заметный.

CA: And as well as bad incentives for powerful actors,

КА: Как и плохие мотивы влиятельных субъектов мира,

you also worry about bad incentives for all of us, in Type-2b here.

вы также переживаете из-за плохих побуждений каждого из нас в типе 2б.

NB: Yeah, so, here we might take the case of global warming.

НБ: Да, тут лучше взять в пример глобальное потепление.

There are a lot of little conveniences

Каждый из нас пользуется в быту

that cause each one of us to do things

какими-то современными удобствами,

that individually have no significant effect, right?

использование которых не имеет значительных последствий, так?

But if billions of people do it,

Но миллиарды людей делают то же самое,

cumulatively, it has a damaging effect.

что вместе имеет разрушительное действие

Now, global warming could have been a lot worse than it is.

сейчас проблема глобального потепления может усугубиться.

So we have the climate sensitivity parameter, right.

Существует параметр влияния на климат.

It's a parameter that says how much warmer does it get

Он показывает на сколько усилится потепление

if you emit a certain amount of greenhouse gases.

при выхлопе определённого количества парниковых газов.

But, suppose that it had been the case

Предположим, что при количестве парниковых газов,

that with the amount of greenhouse gases we emitted,

выпускаемых на данный момент,

instead of the temperature rising by, say,

к 2100 году вместо увеличения температуры

between three and 4.5 degrees by 2100,

всего на 3–4,5 градуса мы столкнёмся

suppose it had been 15 degrees or 20 degrees.

с увеличением на 15 или даже 20 градусов.

Like, then we might have been in a very bad situation.

То есть мы можем оказаться в очень плохом положении.

Or suppose that renewable energy had just been a lot harder to do.

Предположим, что очень сложно создать возобновляемый источник энергии

Or that there had been more fossil fuels in the ground.

или в земле есть больше ископаемых видов топлива

CA: Couldn't you argue that if in that case of --

КА: Утверждаете ли вы, что если тот образ жизни,

if what we are doing today

который мы ведём сегодня

had resulted in 10 degrees difference in the time period that we could see,

со временем приведёт к видимой разнице в 10 градусов,

actually humanity would have got off its ass and done something about it.

то люди бы уже засуетились и сделали что-нибудь с этим.

We're stupid, but we're not maybe that stupid.

Возможно, мы и глупы, но не настолько.

Or maybe we are.

Но кто знает.

NB: I wouldn't bet on it.

НБ: Я бы не был так уверен.

(Laughter)

(Смех)

You could imagine other features.

Подумайте и о других свойствах.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

На данный момент переключиться на возобновляемые энергоносители и подобные

but it can be done.

вещи сложно, но возможно.

But it might just have been, with slightly different physics,

Возможно с использованием немного других физических свойств

it could have been much more expensive to do these things.

осуществление этого выйдет намного дороже.

CA: And what's your view, Nick?

КА: А какое у вас мнение?

Do you think, putting these possibilities together,

Находится ли наша планета,

that this earth, humanity that we are,

человечество со всеми своими техническими возможностями,

we count as a vulnerable world?

в уязвимом положении?

That there is a death ball in our future?

Есть ли шар смерти в нашем будущем?

NB: It's hard to say.

НБ: Трудно сказать.

I mean, I think there might well be various black balls in the urn,

Я думаю, что в этой урне с большой вероятностью будут

that's what it looks like.

разнообразные чёрные шары.

There might also be some golden balls

Но также будут и золотые,

that would help us protect against black balls.

которые помогут нам в битве против чёрных шаров.

And I don't know which order they will come out.

Но я не знаю, в каком порядке они будут появляться.

CA: I mean, one possible philosophical critique of this idea

КА: Ваша идея слегка противоречит

is that it implies a view that the future is essentially settled.

философской мысли о том, что будущее предопределено и неизбежно,

That there either is that ball there or it's not.

независимо от цвета очередного шара

And in a way,

и в некоторой степени

that's not a view of the future that I want to believe.

мне не хочется верить в такое будущее.

I want to believe that the future is undetermined,

Я хочу верить, что будущее не предопределено,

that our decisions today will determine

что решения, принимаемые нами сегодня,

what kind of balls we pull out of that urn.

повлияют на цвет шара, который мы вытащим.

NB: I mean, if we just keep inventing,

НБ: Я думаю, если мы будем продолжать изобретать

like, eventually we will pull out all the balls.

в конечном итоге мы вытащим все шары.

I mean, I think there's a kind of weak form of technological determinism

Есть некая слабая форма технологического детерминизма,

которая имеет веские основания,

that is quite plausible,

like, you're unlikely to encounter a society

то есть вы вряд ли встретите сообщество,

that uses flint axes and jet planes.

где пользуются кремниевыми топорами и реактивными самолетами.

But you can almost think of a technology as a set of affordances.

Технологии можно считать пакетом возможностей.

So technology is the thing that enables us to do various things

Технологии позволяют нам делать различные вещи и достигать

and achieve various effects in the world.

разнообразных результатов в мире.

How we'd then use that, of course depends on human choice.

Как использовать их, зависит только от нашего выбора.

But if we think about these three types of vulnerability,

Но если задуматься об этих трёх типах уязвимости

they make quite weak assumptions about how we would choose to use them.

они могут пошатнуть представление об их использовании

So a Type-1 vulnerability, again, this massive, destructive power,

Напомню, первый тип уязвимости — огромная разрушительная сила

it's a fairly weak assumption

и предположение о том,

to think that in a population of millions of people

что среди многомиллионного населения найдутся те,

there would be some that would choose to use it destructively.

кто захотят использовать её для разрушения, довольно слабое.

CA: For me, the most single disturbing argument

КА: Меня больше всего беспокоит мысль о том,

is that we actually might have some kind of view into the urn

что мы на данный момент в некотором роде погрузились в эту урну настолько,

that makes it actually very likely that we're doomed.

чтобы понять, что мы обречены.

Namely, if you believe in accelerating power,

То есть, если вы верите в увеличение мощи,

that technology inherently accelerates,

в развитие технологий,

that we build the tools that make us more powerful,

в создание техники, которая сделает нас сильнее,

then at some point you get to a stage

то в какой-то момент вы доходите до мысли,

where a single individual can take us all down,

что отдельно взятый человек может уничтожить всех нас.

and then it looks like we're screwed.

И в таком случае нам всем конец.

Isn't that argument quite alarming?

Вас это не тревожит?

NB: Ah, yeah.

НБ: Ах, да

(Laughter)

(Смех)

I think --

Я считаю....

Yeah, we get more and more power,

Да, мы становимся всё сильнее,

and [it's] easier and easier to use those powers,

и применять эту силу становится всё легче,

but we can also invent technologies that kind of help us control

но мы также можем изобрести технологию, которая позволит нам контролировать

how people use those powers.

использование этой силы людьми

CA: So let's talk about that, let's talk about the response.

КА: Давайте обсудим это. Поговорим об ответных реакциях.

Suppose that thinking about all the possibilities

Предположим, размышляя о всех возможностях,

that are out there now --

которые мы имеем на сегодняшний день, —

it's not just synbio, it's things like cyberwarfare,

это не только синбиотехнологии, но и вещи вроде кибервойны,

artificial intelligence, etc., etc. --

искусственный интеллект и т.д. —

that there might be serious doom in our future.

за что, возможно, в будущем нас ожидает серьёзная расплата.

What are the possible responses?

Какими будут ответные реакции?

And you've talked about four possible responses as well.

Вы упомянули также четыре типа этих ответных реакций.

NB: Restricting technological development doesn't seem promising,

НБ: Ограничение в развитии технического прогресса не вселяет надежды,

if we are talking about a general halt to technological progress.

если мы все имеем в виду остановку технического прогресса в целом.

I think neither feasible,

Я думаю, у нас нет

nor would it be desirable even if we could do it.

ни желания, ни возможности сделать это.

I think there might be very limited areas

Или, возможно, только в некоторых областях

where maybe you would want slower technological progress.

вам захочется замедлить технический прогресс

You don't, I think, want faster progress in bioweapons,

Я думаю, вы не захотите быстрого развития биологического оружия

or in, say, isotope separation,

или разделения изотопов, что поспособствует

that would make it easier to create nukes.

более лёгкому созданию ядерного оружия

CA: I mean, I used to be fully on board with that.

КА: Я полностью согласен с вами,

But I would like to actually push back on that for a minute.

но я бы хотел заострить внимание на этом,

Just because, first of all,

во-первых, потому что,

if you look at the history of the last couple of decades,

если посмотреть на историю двух последних десятилетий,

you know, it's always been push forward at full speed,

мы продвигаемся вперёд на полной скорости,

it's OK, that's our only choice.

хорошо, что это только наш выбор,

But if you look at globalization and the rapid acceleration of that,

но если посмотреть на глобализацию и её стремительный рост,

if you look at the strategy of "move fast and break things"

на стратегию «двигайся быстрее и ломай преграды»

and what happened with that,

и во что это превратилось,

and then you look at the potential for synthetic biology,

а потом на весь потенциал синтетической биологии.

I don't know that we should move forward rapidly

Я не уверен, что нам стоит продвигаться настолько быстро,

or without any kind of restriction

без каких-либо ограничений,

to a world where you could have a DNA printer in every home

в мир, где ДНК-принтер будет в каждом доме и в лаборатории

and high school lab.

старшей школы

There are some restrictions, right?

Должны быть какие-то ограничения.

NB: Possibly, there is the first part, the not feasible.

НБ: Возможно, первая часть, не самая подходящая.

If you think it would be desirable to stop it,

Если люди всё же захотят остановить это,

there's the problem of feasibility.

то возникнут проблемы с реализацией.

So it doesn't really help if one nation kind of --

Ничего на деле не выйдет, если население одной страны...

CA: No, it doesn't help if one nation does,

КА: Нет, если действует только один народ,

but we've had treaties before.

но мы уже заключали международные соглашения ранее.

That's really how we survived the nuclear threat,

Благодаря этому нам удалось устранить ядерную угрозу

was by going out there

путём встреч

and going through the painful process of negotiating.

и длительных сложных переговоров.

I just wonder whether the logic isn't that we, as a matter of global priority,

Интересно, не будет ли нам более логично не выходить сюда по важному делу

we shouldn't go out there and try,

и пытаться обсуждать

like, now start negotiating really strict rules

строгие правила по вопросам

on where synthetic bioresearch is done,

синтетических биоисследований.

that it's not something that you want to democratize, no?

Разве не это вы хотите демократизировать?

NB: I totally agree with that --

НБ: Я полностью согласен.

that it would be desirable, for example,

Хотелось бы, например,

maybe to have DNA synthesis machines,

чтобы ДНК-синтезатор был не устройством,

not as a product where each lab has their own device,

которое будет стоять в каждой лаборатории,

but maybe as a service.

а, быть может, сервисом.

Maybe there could be four or five places in the world

Допустим, в мире будет всего четыре или пять мест,

where you send in your digital blueprint and the DNA comes back, right?

куда можно будет отправить электронный образец ДНК и вам придут результаты.

And then, you would have the ability,

А потом у вас будет возможность

if one day it really looked like it was necessary,

при необходимости

we would have like, a finite set of choke points.

получить конечное множество уязвимых мест.

So I think you want to look for kind of special opportunities,

Думаю, вы захотите узнать об особых ситуациях,

where you could have tighter control.

которые можно будет жёстко контролировать.

CA: Your belief is, fundamentally,

КА: По сути, ваше мнение в том,

we are not going to be successful in just holding back.

что ничего не выйдет, если мы просто замедлим прогресс .

Someone, somewhere -- North Korea, you know --

Кто-нибудь, где-нибудь, предположим в Северной Корее,

someone is going to go there and discover this knowledge,

найдётся тот, кто захочет добыть именно чёрный шар из урны,

if it's there to be found.

если там такой есть.

NB: That looks plausible under current conditions.

НБ: В текущих условиях — вполне вероятно.

It's not just synthetic biology, either.

И дело не в синтетической биологии.

I mean, any kind of profound, new change in the world

Чёрным шаром могут оказаться абсолютно любые

could turn out to be a black ball.

новые серьезные изменения в мире.

CA: Let's look at another possible response.

КА: Есть ещё вариант развития. [Ликвидация опасных людей]

NB: This also, I think, has only limited potential.

НБ: Но вероятность довольно мала.

So, with the Type-1 vulnerability again,

Касательно первого типа уязвимости.

I mean, if you could reduce the number of people who are incentivized

Если бы можно было уменьшить количество людей, заинтересованных

to destroy the world,

в уничтожении мира,

if only they could get access and the means,

будь у них доступ к оружию и средства,

that would be good.

то было бы прекрасно.

CA: In this image that you asked us to do

КА: Вы просили показать этот слайд,

you're imagining these drones flying around the world

с дронами с функцией распознавания лиц,

with facial recognition.

летающими по всему миру.

When they spot someone showing signs of sociopathic behavior,

И когда обнаружат людей с признаками асоциального поведения,

they shower them with love, they fix them.

они засыпят их любовью, «починят» так сказать

NB: I think it's like a hybrid picture.

НБ: Всё не так однозначно.

Eliminate can either mean, like, incarcerate or kill,

Под ликвидацией подразумевается также, например, лишение свободы или уничтожение,

or it can mean persuade them to a better view of the world.

или изменение их взглядов на жизнь на более правильные.

But the point is that,

Смысл в том, что,

suppose you were extremely successful in this,

допустим, вы справились с задачей,

and you reduced the number of such individuals by half.

сократили количество опасных людей вдвое.

And if you want to do it by persuasion,

Если делать ликвидацию путём убеждения,

you are competing against all other powerful forces

то вы столкнётесь с другими мощными факторами,

that are trying to persuade people,

влияющими на людей:

parties, religion, education system.

партиями, религией, образованием.

But suppose you could reduce it by half,

Если число опасных людей сократилось вдвое.

I don't think the risk would be reduced by half.

Мне кажется риск снизится не на 50%,

Maybe by five or 10 percent.

а только на 5 или 10%.

CA: You're not recommending that we gamble humanity's future on response two.

КА: Вы считаете, что мы не рискуем будущим человечества во втором варианте?

NB: I think it's all good to try to deter and persuade people,

НБ: Думаю нет ничего плохого в попытке разубедить людей,

but we shouldn't rely on that as our only safeguard.

но данный метод не сможет обеспечить безопасность в одиночку.

CA: How about three?

КА: А третий вариант?

NB: I think there are two general methods

НБ: Существует два основных метода,

that we could use to achieve the ability to stabilize the world

пользуясь которыми мы сможем укрепить наш мир

against the whole spectrum of possible vulnerabilities.

против целого комплекса возможных уязвимостей.

And we probably would need both.

Но, возможно, понадобятся оба.

So, one is an extremely effective ability

Первый — высоко эффективная правоохранительная деятельность полиции,

to do preventive policing.

[Способ 3. Тотальная слежка]

Such that you could intercept.

возможность перехвата.

If anybody started to do this dangerous thing,

Если кто-то захочет пойти на преступление,

you could intercept them in real time, and stop them.

то было бы возможно перехватить и остановить его.

So this would require ubiquitous surveillance,

В таком случае потребуется повсеместный надзор,

everybody would be monitored all the time.

каждый из нас будет находится под наблюдением.

CA: This is "Minority Report," essentially, a form of.

КА: Как в фильме «Особое мнение».

NB: You would have maybe AI algorithms,

НБ: В наблюдении нам могут помочь

big freedom centers that were reviewing this, etc., etc.

алгоритмы искусственного интеллекта, огромные центры свободы и т.д.

CA: You know that mass surveillance is not a very popular term right now?

КА: Вы знаете, термин «тотальная слежка» сейчас не очень популярен?

(Laughter)

(Смех)

NB: Yeah, so this little device there,

НБ: Это будет небольшое устройство

imagine that kind of necklace that you would have to wear at all times

с разнонаправленными камерами, встроенное в так называемый чокер,

with multidirectional cameras.

который нужно будет носить постоянно.

But, to make it go down better,

Чтобы это не казалось обременяющим,

just call it the "freedom tag" or something like that.

просто назовём его чем-то вроде «символа свободы».

(Laughter)

(Смех)

CA: OK.

КА: Хорошо

I mean, this is the conversation, friends,

Друзья, именно поэтому наша беседа

this is why this is such a mind-blowing conversation.

настолько увлекательная.

NB: Actually, there's a whole big conversation on this

НБ: На самом деле об этом можно долго разговаривать,

on its own, obviously.

что очевидно.

There are huge problems and risks with that, right?

Мы обсуждали риски и проблемы, не так ли?

We may come back to that.

Можем вернуться к этому.

So the other, the final,

И четвёртая, [Глобальное управление]

the other general stabilization capability

последняя возможность для стабилизации —

is kind of plugging another governance gap.

заделать бреши в работе правительства.

So the surveillance would be kind of governance gap at the microlevel,

Контроль стал бы недостатком в управлении на микроуровне,

like, preventing anybody from ever doing something highly illegal.

мешая кому-либо совершить что-то противозаконное.

Then, there's a corresponding governance gap

Конечно, такая же проблема наблюдается

at the macro level, at the global level.

и на макроуровне, на глобальном уровне.

You would need the ability, reliably,

Однозначно, потребуется компетенция для предотвращения

to prevent the worst kinds of global coordination failures,

сбоев в глобальной координации,

to avoid wars between great powers,

чтобы избежать войны между великими державами,

arms races,

гонки вооружений,

cataclysmic commons problems,

общих проблем с катаклизмами,

in order to deal with the Type-2a vulnerabilities.

чтобы справится с уязвимостями типа 2а.

CA: Global governance is a term

КА: Термин «глобальное управление»

that's definitely way out of fashion right now,

сейчас явно не в моде,

but could you make the case that throughout history,

но вы можете привести довод, что в ходе

the history of humanity

истории человечества

is that at every stage of technological power increase,

на каждой новой стадии развития технологическая мощь возрастает.

people have reorganized and sort of centralized the power.

Люди преобразовали и сосредоточили эту мощь.

So, for example, when a roving band of criminals

Например, когда бродячая преступная группировка

could take over a society,

может возглавить общество

the response was, well, you have a nation-state

ответ был, что у вас государство-нация

and you centralize force, a police force or an army,

и вы сосредоточиваете силы — полицейских или армию

so, "No, you can't do that."

и «Вы не можете так сделать».

The logic, perhaps, of having a single person or a single group

Логика, возможно, в том, что если отдельно взятый человек или группа людей

able to take out humanity

смогут уничтожить человечество,

means at some point we're going to have to go this route,

когда-то мы встанем на этот путь, по крайней мере

at least in some form, no?

в некоторых аспектах?

NB: It's certainly true that the scale of political organization has increased

НБ: Однозначно, в ходе развития истории человечества

over the course of human history.

масштабы политического аппарата увеличились.

It used to be hunter-gatherer band, right,

Сначала была группа охотников-собирателей,

and then chiefdom, city-states, nations,

потом глава племени, города-государства, нации,

now there are international organizations and so on and so forth.

сейчас существуют международные организации и т.д.

Again, I just want to make sure

Я просто хочу убедиться,

I get the chance to stress

что мне удалось подчеркнуть

that obviously there are huge downsides

большое количество негативных сторон

and indeed, massive risks,

и риска

both to mass surveillance and to global governance.

как в случае тотальной слежки, так и в глобальном управлении.

I'm just pointing out that if we are lucky,

Просто хочу отметить, если нам повезёт, то мир может

the world could be such that these would be the only ways

оказаться таким, что всё вышеперечисленное будет только

you could survive a black ball.

спасением от чёрного шара.

CA: The logic of this theory,

КА: Как я понимаю, логика данной теории в том, что,

it seems to me,

надо понимать,

is that we've got to recognize we can't have it all.

что все произойдёт не сразу.

That the sort of,

Это что-то вроде

I would say, naive dream that many of us had

наивной мечты, которая есть у многих из нас,

that technology is always going to be a force for good,

что технологии всегда используются во благо.

keep going, don't stop, go as fast as you can

Продолжай, не останавливайся, поторопись, если возможно,

and not pay attention to some of the consequences,

и не думай о последствиях,

that's actually just not an option.

которые могут даже не произойти.

We can have that.

Это может случится.

If we have that,

И если всё же произойдёт,

we're going to have to accept

то нам придётся принять

some of these other very uncomfortable things with it,

и другие сопутствующие обстоятельства,

and kind of be in this arms race with ourselves

и стать частью гонки вооружений.

of, you want the power, you better limit it,

Если хотите иметь мощь, лучше её ограничить,

you better figure out how to limit it.

или выяснить, как её ограничить.

NB: I think it is an option,

НБ: Думаю, это вариант,

a very tempting option, it's in a sense the easiest option

причём очень хороший, в некотором смысле даже самый лёгкий

and it might work,

и он может сработать.

but it means we are fundamentally vulnerable to extracting a black ball.

Но это значит мы очень уязвимы перед появлением чёрного шара.

Now, I think with a bit of coordination,

Думаю, что добавив немного координации,

like, if you did solve this macrogovernance problem,

если бы мы разрешили все проблемы

and the microgovernance problem,

на уровне макро- и микроуправления,

then we could extract all the balls from the urn

то вытащили бы все шары из урны

and we'd benefit greatly.

и извлекли немало выгоды.

CA: I mean, if we're living in a simulation, does it matter?

КА: Какая разница, если мы живём в симуляции?

We just reboot.

Мы просто перезагружаемся.

(Laughter)

(Смех)

NB: Then ... I ...

НБ: я...

(Laughter)

(Смех)

I didn't see that one coming.

Не думаю, что это настало.

CA: So what's your view?

КА: Как вы считаете?

Putting all the pieces together, how likely is it that we're doomed?

Если сложить всё вместе, какова вероятность, что мы обречены?

(Laughter)

(Смех)

I love how people laugh when you ask that question.

Мне нравится смех людей, когда звучит этот вопрос.

NB: On an individual level,

НБ: На индивидуальном уровне

we seem to kind of be doomed anyway, just with the time line,

нам придёт конец в любом случае, со временем мы стареем,

we're rotting and aging and all kinds of things, right?

разлагаемся, и всё в этом духе, да?

(Laughter)

(Смех)

It's actually a little bit tricky.

На самом деле всй немного сложнее.

If you want to set up so that you can attach a probability,

Если вы хотите посчитать вероятность того, что нам конец,

first, who are we?

во-первых, кто «мы»?

If you're very old, probably you'll die of natural causes,

Если вам много лет, то, возможно, умрёте своей смертью.

if you're very young, you might have a 100-year --

Если вы молоды, то у вас может быть целых 100 лет.

the probability might depend on who you ask.

Вероятность индивидуальна.

Then the threshold, like, what counts as civilizational devastation?

Затем порог, то есть ограничить понятие разрушения цивилизации.

In the paper I don't require an existential catastrophe

В своей книге я не считаю экзистенциальную катастрофу

in order for it to count.

разрушением цивилизации.

This is just a definitional matter,

Это всё вопрос определения.

I say a billion dead,

Допустим, будет миллиард погибших

or a reduction of world GDP by 50 percent,

или сокращение мирового ВВП на 50%,

but depending on what you say the threshold is,

но от того, как вы обозначите порог,

you get a different probability estimate.

вы получите разную степень вероятности.

But I guess you could put me down as a frightened optimist.

Думаю, вы назовёте меня запуганным оптимистом.

(Laughter)

(Смех)

CA: You're a frightened optimist,

КА: Вы запуганный оптимист,

and I think you've just created a large number of other frightened ...

и я думаю, сейчас вы создали немало себе подобных запуганных

people.

...людей.

(Laughter)

(Смех)

NB: In the simulation.

НБ: Живущих в симуляции.

CA: In a simulation.

КА: Точно.

Nick Bostrom, your mind amazes me,

Ник Бостром, ваши идеи удивляют.

thank you so much for scaring the living daylights out of us.

Спасибо, что запугали нас до смерти.

(Applause)

(Аплодисменты)