How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Перекладач: Sandra Alekseeva Утверджено: Inna Fedorenko

Кріс Андерсон: Нік Бостром.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

Ви вже встигли подати нам безліч божевільних ідей.

I think a couple of decades ago,

Десь два десятки років тому

you made the case that we might all be living in a simulation,

ви обстоювали думку, що ми всі живемо в симуляції,

or perhaps probably were.

чи то радше жили.

More recently,

А нещодавно

you've painted the most vivid examples of how artificial general intelligence

ви в дуже яскравих прикладах зобразили, до якого лиха може привести

could go horribly wrong.

загальний штучний інтелект.

And now this year,

Цього ж року ви збираєтеся видати статтю,

you're about to publish

a paper that presents something called the vulnerable world hypothesis.

в якій представлено таку собі гіпотезу вразливого світу.

And our job this evening is to give the illustrated guide to that.

І сьогодні ми маємо на меті презентувати ілюстрований посібник з цього питання.

Отже, почнімо.

So let's do that.

What is that hypothesis?

Що це за гіпотеза?

Nick Bostrom: It's trying to think about

Нік Бостром: Це спроба уявити таку собі

a sort of structural feature of the current human condition.

структурну властивість теперішнього стану людства.

Вам подобається метафора урни,

You like the urn metaphor,

so I'm going to use that to explain it.

тож її я й використаю для пояснення.

So picture a big urn filled with balls

Уявіть собі велику урну, наповнену кульками —

representing ideas, methods, possible technologies.

ідеями, методами, можливими технологіями.

Історію людської творчості можна показати як:

You can think of the history of human creativity

as the process of reaching into this urn and pulling out one ball after another,

ви запускаєте руку в цю урну та виймаєте з неї одну кульку за іншою.

and the net effect so far has been hugely beneficial, right?

Досі це приносило нам користь, так?

We've extracted a great many white balls,

Ми витягнули багато білих кульок,

some various shades of gray, mixed blessings.

декілька сірих — це сумнівні переваги.

Але ми ще не витягнули чорної кульки —

We haven't so far pulled out the black ball --

технологію, що неодмінно знищить цивілізацію, яка її винайде.

a technology that invariably destroys the civilization that discovers it.

Отже, в статті я розмірковую про те, чим саме може виявитись така чорна кулька.

So the paper tries to think about what could such a black ball be.

CA: So you define that ball

К.А.: Отже, цю кульку ви визначаєте

as one that would inevitably bring about civilizational destruction.

як таку, що неодмінно призведе до руйнації цивілізації.

NB: Unless we exit what I call the semi-anarchic default condition.

Н.Б.: Якщо тільки ми не вийдемо з усталеного напіванархічного стану.

But sort of, by default.

Але, так би мовити, за загальним принципом.

CA: So, you make the case compelling

К.А.: Отже, ви переконуєте,

by showing some sort of counterexamples

демонструючи щось на кшталт контрприкладів,

where you believe that so far we've actually got lucky,

і вважаєте, що досі нам просто щастило,

that we might have pulled out that death ball

ми могли б витягнути кульку смерті,

навіть не здогадуючись про це.

without even knowing it.

"Постійний прогрес механіки небесних тіл

So there's this quote, what's this quote?

створить водневу бомбу", Ісаак Ньютон (ні) Нік Бостром.

NB: Well, I guess it's just meant to illustrate

Ця цитата — що вона означає?

Н.Б.: Думаю, вона просто ілюструє,

the difficulty of foreseeing

як складно передбачити,

what basic discoveries will lead to.

до чого призведуть головні відкриття.

We just don't have that capability.

Ми просто не здатні на це.

Because we have become quite good at pulling out balls,

Бо ми непогано навчилися витягати кульки,

but we don't really have the ability to put the ball back into the urn, right.

але таки не вміємо покласти кульку назад до урни.

We can invent, but we can't un-invent.

Можемо винаходити, але не "розвинаходити".

So our strategy, such as it is,

Отже, наша стратегія, яка б вона не була —

is to hope that there is no black ball in the urn.

це сподіватися, що в урні немає чорної кульки.

CA: So once it's out, it's out, and you can't put it back in,

К.А.: Тобто, якщо її витягнено, то вже витягнено, і назад не повернеш,

and you think we've been lucky.

і на вашу думку, нам таланить.

So talk through a couple of these examples.

Поясніть декілька з цих прикладів.

You talk about different types of vulnerability.

Ви говорите про різні типи вразливості.

NB: So the easiest type to understand

Н.Б.: Цей тип найлегший для розуміння:

is a technology that just makes it very easy

технологія, яка значно полегшує

руйнування у величезних масштабах.

to cause massive amounts of destruction.

[Вразливість типу 1: Демократизація масового знищення]

Synthetic biology might be a fecund source of that kind of black ball,

Синтетична біологія може бути гарним ґрунтом для такої чорної кульки,

but many other possible things we could --

але можна згадати багато інших речей...

think of geoengineering, really great, right?

подумайте про геоінженерію — чудова річ, вірно?

We could combat global warming,

Можна боротися з глобальним потеплінням.

but you don't want it to get too easy either,

Але й не слід робити її занадто доступною,

you don't want any random person and his grandmother

адже тоді будь-хто, навіть чиясь бабуся,

to have the ability to radically alter the earth's climate.

матиме можливість радикально змінювати клімат Землі.

Or maybe lethal autonomous drones,

Або, скажімо, летальні автономні дрони,

massed-produced, mosquito-sized killer bot swarms.

убивчі, комашиного розміру рої, що виробляються масово.

Nanotechnology, artificial general intelligence.

Нанотехнології, загальний штучний інтелект.

CA: You argue in the paper

К.А.: Ви стверджуєте в статті,

that it's a matter of luck that when we discovered

що нам просто поталанило, адже коли ми з'ясували,

that nuclear power could create a bomb,

що ядерна енегрія дозволяє створити бомбу,

it might have been the case

а могло б так статися,

that you could have created a bomb

що створення бомби

with much easier resources, accessible to anyone.

вимагало би значно простіших, доступних ресурсів.

NB: Yeah, so think back to the 1930s

Р.Б.: Так, згадаймо 1930-ті,

where for the first time we make some breakthroughs in nuclear physics,

коли ми зробили перші прориви в ядерній фізиці.

some genius figures out that it's possible to create a nuclear chain reaction

От, якийсь геній зрозуміє, як можна створити ядерну ланцюгову реакцію,

and then realizes that this could lead to the bomb.

а потім усвідомлює, що це може призвести до появи бомби.

And we do some more work,

Ми працюємо ще трохи,

it turns out that what you require to make a nuclear bomb

і виявляється, що створення бомби

is highly enriched uranium or plutonium,

вимагає збагаченого урану чи плутонію,

which are very difficult materials to get.

а ці матеріали дістати дуже складно.

You need ultracentrifuges,

Потрібні ультрацентрифуги,

you need reactors, like, massive amounts of energy.

потрібні реактори та велетенські об'єми енергії.

But suppose it had turned out instead

Але уявімо собі, що натомість

знайшовся би значно легший спосіб вивільнити енергію атома.

there had been an easy way to unlock the energy of the atom.

Наприклад, випікаючи пісок в мікрохвильовій печі,

That maybe by baking sand in the microwave oven

or something like that

чи щось подібне,

you could have created a nuclear detonation.

можна було б викликати ядерний вибух.

So we know that that's physically impossible.

Зрозуміло, що це фізично неможливо.

But before you did the relevant physics

Та хіба можна таке передбачити,

how could you have known how it would turn out?

перш ніж дослідиш усі потрібні фізичні закони?

CA: Although, couldn't you argue

К.А.: Та чи не можна сказати,

that for life to evolve on Earth

що життя на Землі може розвиватися

that implied sort of stable environment,

тільки за певних стабільних умов,

that if it was possible to create massive nuclear reactions relatively easy,

і якби викликати потужну ядерну реакцію було відносно легко,

the Earth would never have been stable,

Земля ніколи б не була стабільною,

that we wouldn't be here at all.

і ми ніколи б не з'явились.

Н.Б.: Так, якщо тільки не йдеться про щось, що легко робиться навмисно,

NB: Yeah, unless there were something that is easy to do on purpose

but that wouldn't happen by random chance.

але випадково не трапляється.

So, like things we can easily do,

Наприклад, можна легко

we can stack 10 blocks on top of one another,

скласти у стос 10 цеглин,

but in nature, you're not going to find, like, a stack of 10 blocks.

але в природі стоси з 10-ти цеглин не зустрічаються.

CA: OK, so this is probably the one

К.А.: Отже, мабуть, саме це

that many of us worry about most,

турбує нас найбільше.

and yes, synthetic biology is perhaps the quickest route

Тож, синтетична біологія обіцяє в найближчому майбутньому,

that we can foresee in our near future to get us here.

ймовірно, стати найшвидшим шляхом до такого результату.

NB: Yeah, and so think about what that would have meant

Н.Б.: Так, уявіть собі, як би то було,

if, say, anybody by working in their kitchen for an afternoon

якщо будь-хто, скажімо, за день роботи на власній кухні,

could destroy a city.

міг би зруйнувати місто.

It's hard to see how modern civilization as we know it

Важко уявити, як сучасна цивілізація в її сьогоднішньому вигляді

could have survived that.

могла б таке пережити.

Because in any population of a million people,

Адже на будь-яке мільйонне населення

there will always be some who would, for whatever reason,

завжди знайдеться хтось, хто матиме свої причини

choose to use that destructive power.

скористатися такою руйнівною силою.

Отже, якщо цей апокаліптичний радикал

So if that apocalyptic residual

would choose to destroy a city, or worse,

вирішив би зруйнувати місто,

then cities would get destroyed.

то його було б зруйновано.

CA: So here's another type of vulnerability.

К.А.: Є й інший тип вразливості.

Talk about this.

Розкажіть про нього.

NB: Yeah, so in addition to these kind of obvious types of black balls

Н.Б.: Так, якщо ці очевидні типи чорних кульок

that would just make it possible to blow up a lot of things,

просто дозволяють багато чого винищити,

other types would act by creating bad incentives

то інші стимулюватимуть людей

до згубних учинків.

[Вразливість типу 2-А: Погані стимули для могутніх гравців]

for humans to do things that are harmful.

Цей інший тип, назвімо його тип 2-А,

So, the Type-2a, we might call it that,

is to think about some technology that incentivizes great powers

це певна технологія, що спонукає великі держави

to use their massive amounts of force to create destruction.

використовувати свою велетенську потужність для знищення.

So, nuclear weapons were actually very close to this, right?

Наприклад, ядерна зброя майже з цим впоралась, так?

What we did, we spent over 10 trillion dollars

Ми витратили більше 10 трильйонів доларів

to build 70,000 nuclear warheads

на побудову 70 000 ядерних боєголовок

and put them on hair-trigger alert.

та тримаємо їх у підвищеній готовності.

And there were several times during the Cold War

Кілька разів протягом холодної війни

we almost blew each other up.

ми майже знищили одне одного.

It's not because a lot of people felt this would be a great idea,

І не тому, що багатьом подобалась ідея

let's all spend 10 trillion dollars to blow ourselves up,

витратити 10 трильйонів на самознищення,

but the incentives were such that we were finding ourselves --

але ситуація склалась така, що ми опинилися...

this could have been worse.

все могло скінчитися гірше.

Imagine if there had been a safe first strike.

Уявіть, що перший удар не мав би великих наслідків.

Then it might have been very tricky,

Тоді в кризовій ситуації

in a crisis situation,

було б дуже важко

to refrain from launching all their nuclear missiles.

утриматися від запуску усіх наявних ядерних ракет.

If nothing else, because you would fear that the other side might do it.

Хоча б через страх, що супротивник встигне першим.

CA: Right, mutual assured destruction

К.А.: Так, гарантоване взаємне знищення

kept the Cold War relatively stable,

дещо стабілізувало холодну війну —

without that, we might not be here now.

без цього нас могло б уже й не бути.

NB: It could have been more unstable than it was.

Н.Б.: Рівновага могла би виявитися хиткішою.

And there could be other properties of technology.

Та й технологія могла б мати інші властивості.

It could have been harder to have arms treaties,

Укласти угоду про контроль над озброєнням

if instead of nuclear weapons

було б складніше,

there had been some smaller thing or something less distinctive.

якби замість ядерної була б менша за розміром чи менш помітна зброя.

CA: And as well as bad incentives for powerful actors,

К.А.: Крім поганих стимулів для потужних гравців

you also worry about bad incentives for all of us, in Type-2b here.

вас також непокоять погані стимули для нас усіх, як-от у типі 2-Б.

NB: Yeah, so, here we might take the case of global warming.

Н.Б.: Так, візьмемо, наприклад, проблему глобального потепління.

There are a lot of little conveniences

Існує безліч маленьких зручностей,

that cause each one of us to do things

які змушують нас робити маленькі справи,

that individually have no significant effect, right?

які самі по собі нічого не змінюють, так?

But if billions of people do it,

Але коли так роблять мільйони людей,

cumulatively, it has a damaging effect.

сукупно це призводить до шкоди.

Now, global warming could have been a lot worse than it is.

Втім глобальне потепління могло б бути значно гіршим.

So we have the climate sensitivity parameter, right.

Маємо параметр кліматичної чутливості.

It's a parameter that says how much warmer does it get

Він описує, наскільки теплішає,

якщо викидати певний об'єм парникових газів.

if you emit a certain amount of greenhouse gases.

[Вразливість типу 2-Б: Погані стимули для населення]

But, suppose that it had been the case

Але уявімо,

that with the amount of greenhouse gases we emitted,

що за такого ж об'єму парникових викидів

instead of the temperature rising by, say,

температура зростала б

between three and 4.5 degrees by 2100,

не, скажімо, на 4,5 градуси до 2100 року,

suppose it had been 15 degrees or 20 degrees.

а на 15 чи 20 градусів.

Like, then we might have been in a very bad situation.

Тоді б ми опинилися в дуже неприємному становищі.

Or suppose that renewable energy had just been a lot harder to do.

Або припустімо, що відновлювану енегрію було б складніше добути,

Or that there had been more fossil fuels in the ground.

або резерв корисних копалин був би більший.

CA: Couldn't you argue that if in that case of --

К.А.: Чи не можна в такому разі сказати,

if what we are doing today

що якби наші сьогоднішні дії

had resulted in 10 degrees difference in the time period that we could see,

призвели б до підвищення в 10 градусів за осяжний період часу,

actually humanity would have got off its ass and done something about it.

людство таки відірвало б сідниці від дивана і щось зробило.

We're stupid, but we're not maybe that stupid.

Ми, звісно, дурні, але, може, все ж таки не настільки.

Or maybe we are.

А може, і настільки.

NB: I wouldn't bet on it.

Н.Б.: Я б на це не сподівався.

(Laughter)

(Сміх)

You could imagine other features.

Можна уявити й інші особливості.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

Зараз, наприклад, важко перейти на відновлювану енегретику,

but it can be done.

але це можливо.

But it might just have been, with slightly different physics,

Але якби фізика процесів дещо різнилася,

it could have been much more expensive to do these things.

цей перехід міг би бути значно дорожчим.

CA: And what's your view, Nick?

К.А.: То як ви це бачите, Нік?

Do you think, putting these possibilities together,

Якщо скласти докупи всі ці можливості:

that this earth, humanity that we are,

нашу землю, людство — чи можна вважати

we count as a vulnerable world?

цей світ вразливим?

That there is a death ball in our future?

Чи в майбутньому на нас чекає чорна кулька?

NB: It's hard to say.

Н.Б.: Важко сказати.

I mean, I think there might well be various black balls in the urn,

Я вважаю, що в урні можуть опинитися кілька чорних кульок —

that's what it looks like.

скидається на те.

There might also be some golden balls

Там можуть бути і кілька золотих кульок,

that would help us protect against black balls.

що допоможуть захиститися від чорних.

And I don't know which order they will come out.

В якому порядку їх витягнуть — невідомо.

CA: I mean, one possible philosophical critique of this idea

К.А.: Одне з можливих критичних заперечень цієї ідеї полягає в тому,

is that it implies a view that the future is essentially settled.

що вона натякає на визначеність майбутнього.

That there either is that ball there or it's not.

Що кулька або є, або її немає.

And in a way,

У певному сенсі

that's not a view of the future that I want to believe.

не в таке майбутнє мені б хотілося вірити.

I want to believe that the future is undetermined,

Я б хотів вірити, що майбутнє невизначене,

that our decisions today will determine

що його визначають наші рішення,

what kind of balls we pull out of that urn.

те, які саме кульки ми витягнемо з тієї урни.

Н.Б.: Якщо ми й далі робитимемо винаходи,

NB: I mean, if we just keep inventing,

like, eventually we will pull out all the balls.

зрештою ми витягнемо всі кульки.

I mean, I think there's a kind of weak form of technological determinism

Я б сказав, що існує певна слабка форма технологічного детермінізму,

that is quite plausible,

яка є цілком слушною.

like, you're unlikely to encounter a society

Наприклад, навряд чи ви знайдете суспільство,

that uses flint axes and jet planes.

яке водночас використовує крем'яні сокири та реактивні літаки.

Технологію можна уявити набором дозволеностей.

But you can almost think of a technology as a set of affordances.

So technology is the thing that enables us to do various things

Тобто технологія — це те, що дає можливість робити певні речі

and achieve various effects in the world.

та досягати у світі певних результатів.

How we'd then use that, of course depends on human choice.

Як її зрештою використовувати, люди, звісно, обирають самі.

But if we think about these three types of vulnerability,

Але якщо подумати про ці три види вразливостей,

they make quite weak assumptions about how we would choose to use them.

дуже важко уявити, як саме ми їх вирішимо використати.

So a Type-1 vulnerability, again, this massive, destructive power,

У випадку вразливості типу один, цієї потужної нищівної сили,

it's a fairly weak assumption

припущення, що серед мільйонів людей знайдуться такі,

to think that in a population of millions of people

there would be some that would choose to use it destructively.

що захочуть використати її для знищення, не є переконливим.

CA: For me, the most single disturbing argument

К.А.: Мене найбільше непокоїть аргумент,

згідно якого ми таки маємо певну можливість зазирнути в урну,

is that we actually might have some kind of view into the urn

that makes it actually very likely that we're doomed.

і схоже на те, що ми таки приречені.

Namely, if you believe in accelerating power,

Наприклад, якщо вірити у прискорення потужності,

that technology inherently accelerates,

що технологія, по суті, прискорюється,

that we build the tools that make us more powerful,

і ми створюємо засоби, які роблять нас могутнішими,

then at some point you get to a stage

тоді в певний момент ми опинимося на етапі,

where a single individual can take us all down,

коли один окремий індивідуум зможе нас усіх знищити,

and then it looks like we're screwed.

і в такому разі нам кінець.

Isn't that argument quite alarming?

Надзвичайно бентежний аргумент, правда?

NB: Ah, yeah.

Н.Б.: О, так.

(Сміх)

(Laughter)

I think --

Я думаю...

Yeah, we get more and more power,

Так, ми стаємо могутнішими,

and [it's] easier and easier to use those powers,

і використовувати нашу могутність з часом стає все простіше,

but we can also invent technologies that kind of help us control

але ми також можемо винаходити технології, що допоможуть контролювати,

how people use those powers.

як саме люди використовують цю силу.

CA: So let's talk about that, let's talk about the response.

К.А.: Поговорімо про цю реакцію.

Suppose that thinking about all the possibilities

Припустімо, що враховуючи всі ті можливості,

that are out there now --

які є на сьогодні —

it's not just synbio, it's things like cyberwarfare,

не тільки синтетична біологія, це також кібервійна,

artificial intelligence, etc., etc. --

штучний інтелект і таке інше —

that there might be serious doom in our future.

на нас у майбутньому може чекати дійсно похмура доля.

What are the possible responses?

Що ми можемо вдіяти?

And you've talked about four possible responses as well.

[Реакція 1: Обмежити розвиток технології]

Ви говорили також і про чотири можливі реакції.

NB: Restricting technological development doesn't seem promising,

Н.Б.: Обмеження технологічного розвитку не видається перспективним,

if we are talking about a general halt to technological progress.

якщо ми говоримо про загальну зупинку технологічного прогресу.

I think neither feasible,

Не вважаю це ані можливим,

nor would it be desirable even if we could do it.

ані бажаним, навіть якби то було нам під силу.

I think there might be very limited areas

Небагато знайдеться сфер діяльності,

where maybe you would want slower technological progress.

де б захотілося сповільнити технологічний прогрес.

You don't, I think, want faster progress in bioweapons,

Не хотілося б, певно, пришвидшувати розвиток біологічної зброї

or in, say, isotope separation,

або, скажімо, ділення ізотопів,

that would make it easier to create nukes.

яке може спростити створення ядерної зброї.

К.А.: Раніше я б цілком з цим погодився.

CA: I mean, I used to be fully on board with that.

But I would like to actually push back on that for a minute.

Але спробую все ж таки трохи посперечатися.

Just because, first of all,

Оскільки, по-перше,

if you look at the history of the last couple of decades,

якщо розглянути історію останніх двох десятиріч,

you know, it's always been push forward at full speed,

курс завжди був такий: повний вперед, все гаразд,

it's OK, that's our only choice.

іншого шляху все одно немає.

But if you look at globalization and the rapid acceleration of that,

Але якщо поглянути на глобалізацію та її стрімке пришвидшення,

якщо поглянути на стратегію "роби швидко, ламай речі"

if you look at the strategy of "move fast and break things"

and what happened with that,

та її результатів,

and then you look at the potential for synthetic biology,

а потім подивитися на потеніцал синтетичної біології,

I don't know that we should move forward rapidly

то в мене з'являються сумніви в тому, чи потрібно так летіти вперед

or without any kind of restriction

без жодних обмежень

to a world where you could have a DNA printer in every home

у світ, де ДНК-принтер може опинитися в кожному домі

and high school lab.

та шкільній лабораторії.

There are some restrictions, right?

Адже є ж якісь обмеження, правда?

NB: Possibly, there is the first part, the not feasible.

Н.Б.: Можливо, в тій частині, що стосується "не можливо".

If you think it would be desirable to stop it,

Якщо ви вважаєте необхідним це зупинити,

there's the problem of feasibility.

лишається проблема здійсненності.

So it doesn't really help if one nation kind of --

Користі буде небагато, якщо якась одна нація...

CA: No, it doesn't help if one nation does,

К.А.: Ні, якщо одна нація, це не допоможе,

but we've had treaties before.

але ж ми й раніше підписували угоди.

That's really how we survived the nuclear threat,

Адже саме так ми пережили ядерну загрозу:

was by going out there

ми зібралися і пройшли

and going through the painful process of negotiating.

весь важкий шлях переговорів.

I just wonder whether the logic isn't that we, as a matter of global priority,

Я тільки думаю, чи не слід нам, керуючись глобальними пріоритетами,

зібратися і спробувати вже зараз

we shouldn't go out there and try,

like, now start negotiating really strict rules

почати перемовини про насправді жорсткі обмеження

on where synthetic bioresearch is done,

проведення біологічних дослідів,

that it's not something that you want to democratize, no?

адже якраз саме це не слід було б демократизувати.

Н.Б.: З цим я цілком згоден...

NB: I totally agree with that --

that it would be desirable, for example,

Було б, наприклад, бажано

maybe to have DNA synthesis machines,

перетворити синтез ДНК на сервіс,

not as a product where each lab has their own device,

адже зараз кожна лабораторія

but maybe as a service.

має свій апарат.

Maybe there could be four or five places in the world

Зробити чотири-п'ять таких місць на цілий світ,

where you send in your digital blueprint and the DNA comes back, right?

куди можна надіслати свій цифровий проєкт, а назад отримати ДНК, вірно?

And then, you would have the ability,

Тоді була б можливість...

if one day it really looked like it was necessary,

якщо колись з'явилася б така необхідність,

we would have like, a finite set of choke points.

ми б мали обмежену кількість стратегічних точок.

So I think you want to look for kind of special opportunities,

Отже, думаю, слід шукати певних особливих умов,

за яких можна було б підсилити констроль.

where you could have tighter control.

CA: Your belief is, fundamentally,

К.А.: Тобто, по суті, ви вважаєте,

we are not going to be successful in just holding back.

що самого стримування нам буде недостатньо.

Someone, somewhere -- North Korea, you know --

Хтось десь, якась, скажімо, Північна Корея,

someone is going to go there and discover this knowledge,

зрештою здобуде ці знання,

if it's there to be found.

якщо вони десь чекають.

NB: That looks plausible under current conditions.

Н.Б.: За теперішніх умов це здається ймовірним.

It's not just synthetic biology, either.

Йдеться не лише про синтетичну біологію.

I mean, any kind of profound, new change in the world

Адже будь-яка глибока нова зміна у світі

could turn out to be a black ball.

може виявитися чорною кулькою.

CA: Let's look at another possible response.

К.А.: Розгляньмо ще одну можливу реакцію.

NB: This also, I think, has only limited potential.

Н.Б.: Ця також, думаю, має обмежені можливості.

So, with the Type-1 vulnerability again,

Повернімося до вразливості першого типу: наприклад, якщо би можна було

I mean, if you could reduce the number of people who are incentivized

зменшити кількість людей,

[Реакція 2: Усунути правопорушників]

що можуть бажати знищити світ,

to destroy the world,

if only they could get access and the means,

якби вони мали для цього необхідні засоби,

that would be good.

то було б непогано.

CA: In this image that you asked us to do

К.А.: На цьому зображенні, яке ви попросили нас зробити,

you're imagining these drones flying around the world

бачимо дронів, що літають світом

with facial recognition.

і розпізнають обличчя.

When they spot someone showing signs of sociopathic behavior,

Помічаючи когось з ознаками соціопатичної поведінки,

they shower them with love, they fix them.

вони заливають його любов'ю і лагодять його.

NB: I think it's like a hybrid picture.

Н.Б.: Тут, мабуть, ідеться про гібридну картину.

Eliminate can either mean, like, incarcerate or kill,

"Усувати" може значити як ув'язнити чи вбити,

or it can mean persuade them to a better view of the world.

так і схилити до кращого бачення світу.

But the point is that,

Але справа ось у чому:

suppose you were extremely successful in this,

скажімо, цей сценарій є успішним,

and you reduced the number of such individuals by half.

нам вдається зменшити кількість таких людей наполовину.

And if you want to do it by persuasion,

Якщо ми обираємо шлях переконання,

you are competing against all other powerful forces

то маємо змагатися проти усіх інших могутніх сил,

that are trying to persuade people,

що намагаються переконувати людей:

parties, religion, education system.

партії, релігія, система освіти.

But suppose you could reduce it by half,

Але нехай вдалося-таки скоротити вдвічі.

I don't think the risk would be reduced by half.

Не думаю, що і ризик буде скорочено вдвічі.

Maybe by five or 10 percent.

Можливо, на відсотків 5 чи 10.

CA: You're not recommending that we gamble humanity's future on response two.

К.А.: Отже, ви не радите ставити майбутнє людства на другий спосіб.

NB: I think it's all good to try to deter and persuade people,

Н.Б.: Думаю, стримувати й переконувати — справа корисна,

but we shouldn't rely on that as our only safeguard.

та не варто покладатися лише на це.

CA: How about three?

К.А.: Як щодо третього?

NB: I think there are two general methods

Н.Б.: Думаю, є два основних способи,

які можна використовувати, аби стабілізувати світ

that we could use to achieve the ability to stabilize the world

[Реакція 3: Масове стеження]

against the whole spectrum of possible vulnerabilities.

проти цілого спектру можливих загроз.

And we probably would need both.

Нам, певно, знадобляться обидва.

So, one is an extremely effective ability

Отже, перший є надзвичайно ефективним

to do preventive policing.

для запобігання злочинам.

Йдеться про можливість втручання.

Such that you could intercept.

If anybody started to do this dangerous thing,

Якщо хтось почне робити щось небезпечне,

you could intercept them in real time, and stop them.

то їх можна буде зупинити у реальному часі.

So this would require ubiquitous surveillance,

Це б вимагало повсюдного стеження,

everybody would be monitored all the time.

коли кожен постійно знаходиться під контролем.

CA: This is "Minority Report," essentially, a form of.

К.А.: Це вже майже як у фільмі "Особлива думка".

NB: You would have maybe AI algorithms,

Н.Б.: Тут мав би бути залучений штучний інтелект,

big freedom centers that were reviewing this, etc., etc.

діяли б великі центри спостереження і таке інше.

CA: You know that mass surveillance is not a very popular term right now?

К.А.: Знаєте, сьогодні "масове стеження" не найпопулярніші слова.

(Сміх)

(Laughter)

NB: Yeah, so this little device there,

Н.Б.: Так, оцей маленький пристрій,

imagine that kind of necklace that you would have to wear at all times

таке собі намисто, яке потрібно мати на собі постійно,

with multidirectional cameras.

з різнонаправленими камерами.

Аби він краще сприймався,

But, to make it go down better,

just call it the "freedom tag" or something like that.

назвіть його, скажімо, "емблемою свободи".

(Laughter)

(Сміх)

CA: OK.

К.А.: Добре.

I mean, this is the conversation, friends,

Отака в нас розмова, друзі,

this is why this is such a mind-blowing conversation.

саме тому вона така захоплююча.

NB: Actually, there's a whole big conversation on this

Н.Б.: Насправді, про це можна говорити і говорити,

on its own, obviously.

це очевидно.

There are huge problems and risks with that, right?

Та й проблем і ризиків тут повно, правда?

We may come back to that.

Ми ще до цього, може, повернемось.

So the other, the final,

Отже, остання можливість загальної стабілізації —

the other general stabilization capability

[Реакція 4: Глобальне управління]

is kind of plugging another governance gap.

це виправлення управлінських похибок.

So the surveillance would be kind of governance gap at the microlevel,

Отже, нагляд стосувався б, скажімо, управлінських похибок на мікрорівні,

like, preventing anybody from ever doing something highly illegal.

як-от не допустити дійсно протизаконних учинків.

Then, there's a corresponding governance gap

І є відповідна управлінська похибка

at the macro level, at the global level.

на макрорівні, на світовому рівні.

You would need the ability, reliably,

Потрібна надійна можливість запобігти

to prevent the worst kinds of global coordination failures,

найгіршим координаційним помилкам на світовому рівні,

to avoid wars between great powers,

уникнути воєн між могутніми країнами,

arms races,

гонки озброєнь,

катастрофічних спільних трагедій,

cataclysmic commons problems,

in order to deal with the Type-2a vulnerabilities.

аби впоратися з загрозами типу 2-А.

CA: Global governance is a term

К.А.: Термін "глобальне управління"

that's definitely way out of fashion right now,

зараз точно не на піку популярності,

but could you make the case that throughout history,

але чи не можна стверджувати,

the history of humanity

що за всю історію людства

is that at every stage of technological power increase,

на кожному етапі зростання технологічної потужності

people have reorganized and sort of centralized the power.

люди реорганізовувалися і, так би мовити, централізували владу.

So, for example, when a roving band of criminals

Наприклад, коли з'являлася загроза, що владу може захопити

could take over a society,

якесь мандрівне угрупування,

the response was, well, you have a nation-state

у відповідь лунало: "Ні, цього не можна,

and you centralize force, a police force or an army,

адже є держава і централізована влада,

so, "No, you can't do that."

поліція чи армія."

The logic, perhaps, of having a single person or a single group

Загроза того, що одна людина чи група людей

able to take out humanity

зможуть знищити людство, означає,

means at some point we're going to have to go this route,

що колись нам, можливо, доведеться хоч певною мірою

at least in some form, no?

піти цим шляхом, хіба ні?

NB: It's certainly true that the scale of political organization has increased

Н.Б.: Рівень політичної організації, звісно, зріс протягом історії людства,

over the course of human history.

це правда.

It used to be hunter-gatherer band, right,

Спочатку були групи мисливців-збирачів,

and then chiefdom, city-states, nations,

потім племена, поліси, нації,

now there are international organizations and so on and so forth.

а тепер міжнародні організації і так далі.

Again, I just want to make sure

Але я хотів би знову наголосити,

I get the chance to stress

безумовно існують

that obviously there are huge downsides

великі недоліки і величезні ризики

and indeed, massive risks,

як у випадку масового нагляду,

both to mass surveillance and to global governance.

так і у випадку глобального управління.

I'm just pointing out that if we are lucky,

Хочу відмітити, якщо нам пощастить, і світ буде таким,

the world could be such that these would be the only ways

що тільки цими способами ми й зможемо захиститися

you could survive a black ball.

від чорної кульки.

CA: The logic of this theory,

К.А.: Логіка цієї теорії,

здається мені,

it seems to me,

is that we've got to recognize we can't have it all.

полягає в нашому визнанні неможливості отримати все.

That the sort of,

Це, можна сказати, така наївна мрія,

яку багато з нас плекали,

I would say, naive dream that many of us had

that technology is always going to be a force for good,

що технологія завжди буде силою добра,

keep going, don't stop, go as fast as you can

і треба йти вперед, не зупинятися, якнайшвидше,

and not pay attention to some of the consequences,

не звертаючи уваги на певні наслідки.

that's actually just not an option.

Та це насправді так не працює.

We can have that.

Так не вийде.

If we have that,

Якщо робити так,

we're going to have to accept

то нам заодно доведеться прийняти

some of these other very uncomfortable things with it,

деякі інші неприємні речі,

and kind of be in this arms race with ourselves

почати таку собі гонку озброєння з самими собою:

of, you want the power, you better limit it,

хочеш силу — навчись її обмежувати,

you better figure out how to limit it.

знайди спосіб, як це зробити.

NB: I think it is an option,

Н.Б.: Думаю, це варіант,

a very tempting option, it's in a sense the easiest option

і то дуже спокусливий, можна сказати, найпростіший,

and it might work,

і він може спрацювати,

but it means we are fundamentally vulnerable to extracting a black ball.

але він означає, що ми, по суті, ризикуємо витягнути чорну кульку.

Now, I think with a bit of coordination,

Думаю, за умови деякої координації,

like, if you did solve this macrogovernance problem,

якщо ми вирішимо проблеми

and the microgovernance problem,

макро- та мікроуправління,

then we could extract all the balls from the urn

то зможемо витягнути з урни всі кульки

and we'd benefit greatly.

та отримати від цього велику користь.

CA: I mean, if we're living in a simulation, does it matter?

К.А.: Але якщо ми живемо в симуляції, то хіба це має значення?

Ми лише перезавантажимось і все.

We just reboot.

(Laughter)

(Сміх)

NB: Then ... I ...

Н.Б.: Тоді... я...

(Laughter)

(Сміх)

I didn't see that one coming.

Цього я не чекав.

CA: So what's your view?

К.А.: То як ви вважаєте?

Putting all the pieces together, how likely is it that we're doomed?

Якщо скласти все докупи, чи велика вірогідність того, що ми приречені?

(Laughter)

(Сміх)

Люблю, як люди сміються, коли питаєш про таке.

I love how people laugh when you ask that question.

NB: On an individual level,

Н.Б.: На індивідуальному рівні

we seem to kind of be doomed anyway, just with the time line,

ми за будь-яких обставин приречені, тільки за певним графіком.

we're rotting and aging and all kinds of things, right?

Ми ж усі чахнемо і старіємо, правда?

(Laughter)

(Сміх)

It's actually a little bit tricky.

Насправді, це дещо складно.

If you want to set up so that you can attach a probability,

Якщо говорити про ймовірність, то спочатку треба визначитися,

first, who are we?

хто є "ми".

If you're very old, probably you'll die of natural causes,

Якщо ви дуже старий, то помрете, мабуть, природною смертю,

if you're very young, you might have a 100-year --

якщо молодий, то можете мати 100 років...

the probability might depend on who you ask.

все залежить від того, кого ви спитаєте.

Then the threshold, like, what counts as civilizational devastation?

Далі, межі. Що вважати руйнуванням цивілізації?

In the paper I don't require an existential catastrophe

В статті я говорю не лише про екзистенційну катастрофу.

in order for it to count.

This is just a definitional matter,

Тут справа у визначенні.

I say a billion dead,

Я кажу: мільярд мертвих

or a reduction of world GDP by 50 percent,

чи зниження світового ВВП на 50%,

but depending on what you say the threshold is,

але оцінка вірогідності залежатиме

you get a different probability estimate.

від визначеної вами межі.

But I guess you could put me down as a frightened optimist.

Гадаю, мене можна віднести до наляканих оптимістів.

(Laughter)

(Сміх)

CA: You're a frightened optimist,

К.А.: Ви наляканий оптиміст,

and I think you've just created a large number of other frightened ...

який щойно, думаю, створив багато інших наляканих...

people.

людей.

(Laughter)

(Сміх)

NB: In the simulation.

Н.Б.: В симуляції.

CA: In a simulation.

К.А.: В симуляції.

Nick Bostrom, your mind amazes me,

Нік Бостром, ваш розум мене вражає.

thank you so much for scaring the living daylights out of us.

Красно дякую, що нажахали нас усіх.

(Applause)

(Оплески)