How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

Translator: ‌Behdad Khazaeli Reviewer: Masoud Motamedifar

Chris Anderson: Nick Bostrom.

کریس اندرسن: نیک بوستروم.

So, you have already given us so many crazy ideas out there.

خوب، تو تا الان نظرات عجیب و غریب زیادی داشته ای.

I think a couple of decades ago,

فکر کنم چند دهه قبل است،

you made the case that we might all be living in a simulation,

پیشنهاد دادی که ممکن است همه ما در یک شبیه سازی زندگی کنیم،

or perhaps probably were.

یا شاید می کردیم.

More recently,

این اواخر،

you've painted the most vivid examples of how artificial general intelligence

مثال های کاملا زنده ای ترسیم کردی از اینکه چطور هوش مصنوعی عمومی

could go horribly wrong.

می تواند به شکل وحشتناکی اشتباه باشد.

And now this year,

و حالا امسال،

you're about to publish

در حال نشرِ

a paper that presents something called the vulnerable world hypothesis.

مقاله ای هستی که فرضیات دنیایِ آسیب پذیر نام دارد.

And our job this evening is to give the illustrated guide to that.

و کار امروز عصر ما تهیه یک بروشور راهنما برای آن است.

So let's do that.

پس بیا تا انجامش دهیم.

What is that hypothesis?

این فرضیات چه هستند؟

Nick Bostrom: It's trying to think about

نیک بوستروم: سعی می کند تا درباره

a sort of structural feature of the current human condition.

نوعی از ویژگی های ساختاری وضعیت موجود انسان بیاندیشد.

You like the urn metaphor,

تو از استعاره گلدان خوشت می آید،

so I'm going to use that to explain it.

پس از آن برای مثال استفاده می کنم.

So picture a big urn filled with balls

یک گلدان بزرگ پر از توپ را تصور کن

representing ideas, methods, possible technologies.

که نمایشگر نظرات، راهکارها و فناوری های ممکن است.

You can think of the history of human creativity

می توانی تاریخ خلاقیت انسان را

as the process of reaching into this urn and pulling out one ball after another,

به شکل بردن دست در گلدان و بیرون آوردن توپ یکی پس از دیگری تصور کنی،

and the net effect so far has been hugely beneficial, right?

و تاثیر کلی آن تا حالا بسیار مفید بوده، درست؟

We've extracted a great many white balls,

تا حالا توپ های سفید خیلی خوبی را درآورده ایم،

some various shades of gray, mixed blessings.

انواع توپ های خاکستری، که چیزهای درهم خوب و بدی هستند.

We haven't so far pulled out the black ball --

و تا حالا هیچ توپ سیاهی بیرون نیامده --

a technology that invariably destroys the civilization that discovers it.

فناوری که به شکل دائمی، تمدنی که پیدایش کند را نابود می کند.

So the paper tries to think about what could such a black ball be.

این مقاله سعی دارد تا بررسی کند که چه چیزی ممکن است یک توپ سیاه باشد.

CA: So you define that ball

ک.ا: پس تعریف شما از این توپ

as one that would inevitably bring about civilizational destruction.

چیزی است که همراهش نابودی حتمی تمدن است.

NB: Unless we exit what I call the semi-anarchic default condition.

ن.ب.: مگر آنکه از شرایطی که من اسمش را نیمه-آشفته گذاشته ام خارج شویم.

But sort of, by default.

اما به شکلی، حتمی است.

CA: So, you make the case compelling

ک.ا.: پس شما برای این که این نظریه قابل را قبول کنید

by showing some sort of counterexamples

انواع مثال های مخالف را می آورید

where you believe that so far we've actually got lucky,

تا نشان دهید تا حالا شانس آورده ایم،

that we might have pulled out that death ball

و ممکن بود که توپ مرگ را بیرون می کشیدیم

without even knowing it.

بدون آنکه خودمان حتی بفهمیم.

So there's this quote, what's this quote?

گفته ای نقل شده، چه چیزی گفته شده؟

NB: Well, I guess it's just meant to illustrate

ن.ب.: خوب، معنی اش نشان دادن

the difficulty of foreseeing

سختی پیش بینی

what basic discoveries will lead to.

این است که اکتشافات بنیادی ما را به کجا خواهند برد.

We just don't have that capability.

ما هنوز این توانایی را نداریم.

Because we have become quite good at pulling out balls,

چون در توپ بیرون آوردن ماهر شده ایم،

but we don't really have the ability to put the ball back into the urn, right.

اما واقعا توانایی برگرداندن توپ به گلدان را نداریم، غیر از این است؟

We can invent, but we can't un-invent.

می توانیم اختراع کنیم، اما نمی توانیم حذف-اختراع کنیم.

So our strategy, such as it is,

پس راهبرد ما، هم این که داریم،

is to hope that there is no black ball in the urn.

امیدواری به این است که توپ سیاهی در گلدان نباشد.

CA: So once it's out, it's out, and you can't put it back in,

ک.ا.: پس وقتی بیرون آمد، بیرون آمده، و نمی شود برش گرداند،

and you think we've been lucky.

و فکر می کنی که ما شانس آورده ایم.

So talk through a couple of these examples.

برایمان از اینها چند مثال بیاور.

You talk about different types of vulnerability.

از انواع مختلف آسیب پذیری صحبت کرده ای.

NB: So the easiest type to understand

ن.ب : ساده ترین نوع آن برای فهمیدن

is a technology that just makes it very easy

فناوری است که به سادگی امکان می دهد

to cause massive amounts of destruction.

تا مقادیر عظیمی از تخریب ایجاد شود.

Synthetic biology might be a fecund source of that kind of black ball,

زیست شناسی مصنوعی ممکن است نمونه ای حاصلخیز از این توپ سیاه باشد،

but many other possible things we could --

اما خیلی چیزهای ممکن دیگر هم می توانیم انجام دهیم --

think of geoengineering, really great, right?

به مهندسی زمین شناسی توجه کنید که بسیار عالی است، نه؟

We could combat global warming,

می توانیم با گرمایش جهانی مبارزه کنیم،

but you don't want it to get too easy either,

اما نمی خواهی که خیلی هم ساده باشد،

you don't want any random person and his grandmother

نباید که هر آدمی و مامان بزرگش مثلا

to have the ability to radically alter the earth's climate.

این قدرت را داشته باشند که آب و هوای زمین را به شدت تغییر دهند.

Or maybe lethal autonomous drones,

یا شاید هم پهپادهای خودکار مرگبار،

massed-produced, mosquito-sized killer bot swarms.

تولید انبوه شوند، ربات هایی به اندازه پشه هجوم ربات های کشنده.

Nanotechnology, artificial general intelligence.

فناوری نانو، هوش مصنوعی عمومی.

CA: You argue in the paper

ک.ا : در این مقاله عنوان کرده ای

that it's a matter of luck that when we discovered

که این تنها از روی شانس است که وقتی ما کشف کردیم

that nuclear power could create a bomb,

که فناوری هسته ای می تواند بمب تولید کند،

it might have been the case

می توانست اینطور باشد

that you could have created a bomb

که بمبی اختراع شود

with much easier resources, accessible to anyone.

که منابع آن خیلی ساده تر باشد، در دسترس همه.

NB: Yeah, so think back to the 1930s

ن.ب: درسته، فکر کنید به سال های ۱۹۳۰ برگردیم

where for the first time we make some breakthroughs in nuclear physics,

موقعی که توانستیم برای اولین بار در فیزیک هسته ای پیشرفت هایی حاصل کنیم،

some genius figures out that it's possible to create a nuclear chain reaction

عده ای از نوابغ فهمیدند که می شود یک واکنش زنجیره ای هسته ای هم ایجاد کرد

and then realizes that this could lead to the bomb.

و بعد متوجه شدند که این می تواند تبدیل به بمب شود.

And we do some more work,

و بعد ما کمی کار بیشتر کردیم،

it turns out that what you require to make a nuclear bomb

و مشخص شد که چیزی که برای ساختن بمب نیاز داری

is highly enriched uranium or plutonium,

اورانیوم بسیار غنی شده یا پلوتونیم است،

which are very difficult materials to get.

که تهیه این مواد بسیار سخت و مشکل است.

You need ultracentrifuges,

به سانتریفیوژ های با سرعت خیلی بالا نیاز داری،

you need reactors, like, massive amounts of energy.

نیاز به راکتور دارید، مقادیر عظیم انرژی.

But suppose it had turned out instead

اما حالا فرض کنید به جایش

there had been an easy way to unlock the energy of the atom.

راه ساده ای وجود داشت تا انرژی اتم را آزاد کنی.

That maybe by baking sand in the microwave oven

مثا اگر با پختن شن توی دستگاه مایکروویو

or something like that

یا چیزی شبیه به آن

you could have created a nuclear detonation.

می توانستی انفجار هسته ای ایجاد کنی.

So we know that that's physically impossible.

این را می دانیم که از لحاظ فیزیکی ممکن نیست.

But before you did the relevant physics

اما قبل از انجام محاسبات فیزیکی لازم

how could you have known how it would turn out?

از کجا می دانستی که نتیجه اش چه می شود؟

CA: Although, couldn't you argue

ک.ا: اگرچه، نمی شود بحث کرد

that for life to evolve on Earth

که تکامل حیات روی زمین

that implied sort of stable environment,

به طور ضمنی به معنی محیطی ثابت است،

that if it was possible to create massive nuclear reactions relatively easy,

و اگر ایجاد واکنش های بزرگ هسته ای نسبتا ساده بود،

the Earth would never have been stable,

زمین هیچ وقت ثابت نمی بود،

that we wouldn't be here at all.

و ما اصلا اینجا نبودیم.

NB: Yeah, unless there were something that is easy to do on purpose

ن.ب: درسته، مگر آنکه چیزی باشد که انجام عمدی اش ساده باشد

but that wouldn't happen by random chance.

اما به شکل اتفاقی انجام نشده باشد.

So, like things we can easily do,

مثل کارهایی که به سادگی انجام می دهیم،

we can stack 10 blocks on top of one another,

ما می توانیم ده قطعه چیزی را روی هم بگذاریم،

but in nature, you're not going to find, like, a stack of 10 blocks.

اما در طبیعت نمی توانی دسته ای از ۱۰ قطعه روی هم پیدا کنی.

CA: OK, so this is probably the one

ک.ا: بسیار خوب، پس این احتمالا همانی است

that many of us worry about most,

که خیلی از ما بیشتر نگرانش هستیم،

and yes, synthetic biology is perhaps the quickest route

و بله، زیست شناسی مصنوعی احتمالا سریعترین مسیری است

that we can foresee in our near future to get us here.

که پیش بینی می کنیم که در آینده نزدیک ما را به اینجا بیاورد.

NB: Yeah, and so think about what that would have meant

ن.ب: درسته، و توجه کن معنی اش چه بود

if, say, anybody by working in their kitchen for an afternoon

اگر، مثلا، هر کسی در آشپزخانه اش بعد از ظهر کاری می کرد که

could destroy a city.

می توانست شهری را نابود کند.

It's hard to see how modern civilization as we know it

قابل تصور نیست که چطور تمدن های امروزی که ما می شناسیم

could have survived that.

می توانستند باقی بمانند.

Because in any population of a million people,

چون در هر جمعیتی از یک میلیون نفر،

there will always be some who would, for whatever reason,

همیشه کسی وجود دارد، که به هر دلیلی،

choose to use that destructive power.

بخواهد که از نیروی تخریب استفاده کند.

So if that apocalyptic residual

پس اگر آن بازمانده از آخر دنیا

would choose to destroy a city, or worse,

بخواهد که شهری را نابود کند، یا بدتر از آن،

then cities would get destroyed.

پس آن شهرها نابود می شوند.

CA: So here's another type of vulnerability.

ک.ا: پس این نوع دیگری از آسیب پذیری است.

Talk about this.

برایمان توضیح بده.

NB: Yeah, so in addition to these kind of obvious types of black balls

ن.ب: بله، علاوه بر این نمونه های کاملا واضح از توپ های سیاه

that would just make it possible to blow up a lot of things,

که می توانند چیزهای زیادی را منفجر کنند،

other types would act by creating bad incentives

انواع دیگر از راه ایجاد مشوق های بد عمل می کنند

for humans to do things that are harmful.

تا انسانها کارهای مضری انجام دهند.

So, the Type-2a, we might call it that,

اگر اسمش را نوع ۲-الف بگذاریم،

is to think about some technology that incentivizes great powers

درباره فناوری است که مشوق هایی برای قدرت های بزرگ ایجاد می کند

to use their massive amounts of force to create destruction.

که از نیروی عظیم شان برای تخریب استفاده کنند.

So, nuclear weapons were actually very close to this, right?

سلاح های هسته ای خیلی به این نزدیک هستند، نه؟

What we did, we spent over 10 trillion dollars

کاری که ما کردیم، کمی بیش از ۱۰ تریلیون دلار هزینه کردیم

to build 70,000 nuclear warheads

تا حدود ۷۰،۰۰۰ کلاهک هسته ای بسازیم

and put them on hair-trigger alert.

و آنها را آماده شلیک قرار دهیم.

And there were several times during the Cold War

و چند باری هم در طول جنگ سرد

we almost blew each other up.

تقریبا همدیگر را از بین بردیم.

It's not because a lot of people felt this would be a great idea,

دلیلش این نبود که خیلی از افراد فکر می کردند که این کار خیلی خوبی است،

let's all spend 10 trillion dollars to blow ourselves up,

بیایید ۱۰ تریلیون دلار خرج کنیم تا خودمان را منفجر کنیم،

but the incentives were such that we were finding ourselves --

اما مشوق ها به گونه ای بود که خودمان را --

this could have been worse.

می توانست خیلی بدتر باشد.

Imagine if there had been a safe first strike.

فرض کنید که یک تهاجم اولیه بدون مشکل انجام می شد.

Then it might have been very tricky,

بعد ممکن بود وضعیت خیلی پیچیده ای پیش بیاید،

in a crisis situation,

در شرایط بحران،

to refrain from launching all their nuclear missiles.

تا مانع از پرتاب تمام موشک های هسته ای بشویم.

If nothing else, because you would fear that the other side might do it.

اگر مانعی نباشد، چون می ترسی که طرف دیگر این کار را انجام دهد.

CA: Right, mutual assured destruction

ک.ا: درست، تضمین تخریب متقابل

kept the Cold War relatively stable,

باعث شد تا دوران جنگ سرد نسبتا ثابت باشد،

without that, we might not be here now.

بدون آن، شاید حالا الان اینجا نبودیم.

NB: It could have been more unstable than it was.

ن.ب: می توانست خیلی نامتعادل تر از آنچه بود باشد.

And there could be other properties of technology.

و می توانست مشخصات دیگر فناوری هم باشد.

It could have been harder to have arms treaties,

بستن پیمان های تسلیحاتی می توانست سخت تر باشد،

if instead of nuclear weapons

اگر بجای تسلیحات اتمی

there had been some smaller thing or something less distinctive.

چیزهایی کوچکتر یا نامشخص تر بود.

CA: And as well as bad incentives for powerful actors,

ک.ا: و مانند مشوق های بد برای بازیگران قدرت،

you also worry about bad incentives for all of us, in Type-2b here.

می توانی نگران مشوق های بد برای همه ما باشی، اینجا در نوع ۲-ب.

NB: Yeah, so, here we might take the case of global warming.

ن.ب.: درسته، اینجا می شود مسئله گرمایش جهانی را در نظر گرفت.

There are a lot of little conveniences

راحت طلبی های کوچک زیادی هستند

that cause each one of us to do things

که باعث می شوند ما کارهایی انجام دهیم

that individually have no significant effect, right?

که جداگانه هر کدام اثر خیلی زیادی ندارند، درست؟

But if billions of people do it,

اما اگر میلیاردها نفر انجامش دهند،

cumulatively, it has a damaging effect.

اثر تجمیعی آن، مخرب است.

Now, global warming could have been a lot worse than it is.

امروزه، گرمایش جهانی می توانست خیلی از این بدتر باشد.

So we have the climate sensitivity parameter, right.

ما مولفه حساسیت آب و هوا را داریم.

It's a parameter that says how much warmer does it get

این مولفه ای است که می گوید چقدر گرمتر می شود

if you emit a certain amount of greenhouse gases.

اگر مقدار معینی گاز گلخانه ای منتشر کنی.

But, suppose that it had been the case

اما، فرض کن به شکل دیگری بود

that with the amount of greenhouse gases we emitted,

اگر با همان میزان گاز گلخانه ای که منتشر می کردیم،

instead of the temperature rising by, say,

بجای افزایش دمای، مثلا،

between three and 4.5 degrees by 2100,

بین ۳ تا ۴/۵ درجه تا سال ۲۱۰۰،

suppose it had been 15 degrees or 20 degrees.

فرض کنید بین ۱۵ تا ۲۰ درجه می شد.

Like, then we might have been in a very bad situation.

اینطور، ممکن بود وضعیت خیلی بدی داشته باشیم.

Or suppose that renewable energy had just been a lot harder to do.

یا فرض کنید که استفاده از انرژی های تجدید پذیر خیلی مشکل تر بود.

Or that there had been more fossil fuels in the ground.

یا اینکه سوخت های فسیلی بیشتری در زمین بود.

CA: Couldn't you argue that if in that case of --

ک.ا: آیا می شد دلیل آورد که در آن حالت --

if what we are doing today

اگر کاری که امروز می کنیم

had resulted in 10 degrees difference in the time period that we could see,

موجب ۱۰ درجه تفاوت در مدت زمانی که می توانستیم ببینیم می شد،

actually humanity would have got off its ass and done something about it.

واقعا بشریت تکانی به خودش می داد و کاری می کرد.

We're stupid, but we're not maybe that stupid.

احمق هستیم. اما شاید نه آنقدر احمق.

Or maybe we are.

شاید هم هستیم.

NB: I wouldn't bet on it.

ن.ب: من اطمینان نمی کردم.

(Laughter)

(خنده حضار)

You could imagine other features.

می توانی ویژگی های دیگر را هم تصور کنی.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

همین حالا، تغییر به انرژی های تجدید پذیر کمی مشکل است، درست،

but it can be done.

اما شدنی است.

But it might just have been, with slightly different physics,

اما اگر خواص فیزیکی کمی متفاوت بود،

it could have been much more expensive to do these things.

ممکن بود این کارها خیلی پر هزینه تر باشند.

CA: And what's your view, Nick?

ک.ا: و تو چه نظری داری، نیک؟

Do you think, putting these possibilities together,

فکر می کنی با روی هم گذاشتن این احتمالات،

that this earth, humanity that we are,

که با این زمین، بشریتی که ما هستیم

we count as a vulnerable world?

ما دنیایی آسیب پذیر هستیم؟

That there is a death ball in our future?

که یک توپ مرگ در آینده ما وجود دارد؟

NB: It's hard to say.

ن.ب: پاسخ به آن سخت است.

I mean, I think there might well be various black balls in the urn,

منظورم اینکه فکر می کنم احتمال زیادی دارد که توپ های سیاه مختلفی در گلدان باشند،

that's what it looks like.

اینطور به نظر می رسد.

There might also be some golden balls

اما ممکن است توپ های طلایی هم باشند

that would help us protect against black balls.

که به ما در برابر توپ های سیاه کمک کنند.

And I don't know which order they will come out.

و نمی دانم که ترتیب بیرون آمدنشان به چه صورت است.

CA: I mean, one possible philosophical critique of this idea

ک.ا: منظورم، یک انتقاد محتمل فلسفی به این تفکر

is that it implies a view that the future is essentially settled.

این است که به طور ضمنی این دید را دارد که آینده اساسا تثبیت شده است.

That there either is that ball there or it's not.

که یا این توپ آنجاست یا نیست.

And in a way,

و به شکلی،

that's not a view of the future that I want to believe.

این نگاهی به آینده نیست که بخواهم باور کنم.

I want to believe that the future is undetermined,

می خواهم باور کنم که آینده قطعی نیست،

that our decisions today will determine

که تصمیمات امروز ما معین می کنند

what kind of balls we pull out of that urn.

که چه توپی را از گلدان بیرون می آوریم.

NB: I mean, if we just keep inventing,

ن.ب: منظورم این است، که اگر همینطور نوآوری را ادامه دهیم،

like, eventually we will pull out all the balls.

نهایتا همه توپ ها را بیرون خواهیم آورد.

I mean, I think there's a kind of weak form of technological determinism

یعنی، فکر می کنم وجود مقدار کمی جبرگرایی فناوری

that is quite plausible,

کاملا ممکن است.

like, you're unlikely to encounter a society

شبیه به اینکه، احتمال کمی دارد که جامعه ای پیدا کنی

that uses flint axes and jet planes.

که از سنگ چخماق و هواپیمای جت با هم استفاده کند.

But you can almost think of a technology as a set of affordances.

اما اغلب می شود یک فناوری را به عنوان مجموعه ای از ویژگی ها در نظر گرفت

So technology is the thing that enables us to do various things

پس فناوری چیزی است که به ما امکان انجام کارهای مختلف

and achieve various effects in the world.

و دسترسی به نتایج گوناگون را می دهد.

How we'd then use that, of course depends on human choice.

اینکه چطور از آن استفاده کنیم، مسلما به انتخاب انسان بستگی دارد.

But if we think about these three types of vulnerability,

اما اگر به این سه نوع آسیب پذیری فکر کنیم،

they make quite weak assumptions about how we would choose to use them.

آنها فرضیات کاملا ضعیفی از انتخاب ما در چگونه استفاده کردنشان اند.

So a Type-1 vulnerability, again, this massive, destructive power,

پس یک آسیب پذیری نوع ۱، مجددا، این نیروی عظیم مخرب،

it's a fairly weak assumption

این فرض ضعیفی است

to think that in a population of millions of people

که در میان میلیون ها انسان

there would be some that would choose to use it destructively.

بعضی ها هستند که بخواهند از آن برای تخریب استفاده کنند.

CA: For me, the most single disturbing argument

ک.ا: برای من، تنها موضوع ناراحت کننده

is that we actually might have some kind of view into the urn

این است که واقعا ممکن است ما نگاهی به داخل گلدان بیاندازیم

that makes it actually very likely that we're doomed.

که موجب شود واقعا محکوم به بدبختی شویم.

Namely, if you believe in accelerating power,

مثلا، اگر به قدرت مضاعف اعتقاد داشته باشی،

that technology inherently accelerates,

که شتاب فناوری ذاتی است،

that we build the tools that make us more powerful,

که ما ابزارهایی می سازیم که ما را قوی تر می کنند،

then at some point you get to a stage

پس زمانی به صحنه می آیی

where a single individual can take us all down,

که یک نفر به تنهایی می تواند حریف همه ما شود،

and then it looks like we're screwed.

و بعد انگار که ما شکست خورده ایم.

Isn't that argument quite alarming?

این موضوعی خیلی نگران کننده نیست؟

NB: Ah, yeah.

ن.ب: آه، بله.

(Laughter)

(خنده حضار)

I think --

به نظرم --

Yeah, we get more and more power,

بله، ما بیشتر و بیشتر قدرت پیدا می کنیم،

and [it's] easier and easier to use those powers,

و استفاده از آن ساده و ساده تر می شود،

but we can also invent technologies that kind of help us control

ولی ما می توانیم فناوری هایی هم بسازیم که به ما در کنترل آن

how people use those powers.

که چطور مردم از این قدرت ها استفاده کنند کمک کند.

CA: So let's talk about that, let's talk about the response.

ک.ا: بگذار در موردش صحبت کنیم، در مورد پاسخ به آن صحبت کنیم.

Suppose that thinking about all the possibilities

فرض کن در نظر گرفتن همه حالت های ممکن

that are out there now --

که حالا آنجا است --

it's not just synbio, it's things like cyberwarfare,

تنها زیست شناسی مصنوعی نیست، چیزهایی مثل نبرد سایبری،

artificial intelligence, etc., etc. --

هوش مصنوعی، غیره و غیره. --

that there might be serious doom in our future.

آن چیزها احتمالا آینده ما را محکوم می کنند.

What are the possible responses?

پاسخ های ممکن چه هستند؟

And you've talked about four possible responses as well.

تو درباره چهار پاسخ ممکن صحبت کرده ای.

NB: Restricting technological development doesn't seem promising,

ن.ب: محدود کردن توسعه فناوری به نظر امیدوار کننده نمی رسد،

if we are talking about a general halt to technological progress.

اگر منظورمان یک توقف عمومی در پیشرفت فناوری است.

I think neither feasible,

فکر نمی کنم هیچ کدام شدنی باشند،

nor would it be desirable even if we could do it.

هیچ کدام خواسته ما نیستند حتی اگر بتوانیم انجامشان دهیم.

I think there might be very limited areas

به نظرم ممکن است در موضوعات محدودی

where maybe you would want slower technological progress.

بخواهی که توسعه فناوری کندتر باشد.

You don't, I think, want faster progress in bioweapons,

فکر نکنم، توسعه سریعتر تسلیحات زیستی را بخواهی،

or in, say, isotope separation,

یا فرضا، جداسازی ایزوتوپ ها،

that would make it easier to create nukes.

که تولید تسلیحات هسته ای را ساده تر می کند.

CA: I mean, I used to be fully on board with that.

ک.ا: به نظرم، معمولا کاملا با آن همراه بودم.

But I would like to actually push back on that for a minute.

اما حالا واقعا می خواهم دقیقه ای آن را کنار بگذارم.

Just because, first of all,

تنها به دلیل، اول از همه،

if you look at the history of the last couple of decades,

اگر به تاریخ چند دهه اخیر نگاه کنی،

you know, it's always been push forward at full speed,

می بینی، که همیشه تخت گاز فشار به جلو با حداکثر سرعت بوده،

it's OK, that's our only choice.

اشکالی ندارد، این تنها انتخاب ماست.

But if you look at globalization and the rapid acceleration of that,

اما اگر به جهانی شدن و شتاب سریع آن فکر کنی،

if you look at the strategy of "move fast and break things"

اگر به راهبرد «تجربه مادر علم است» توجه کنی

and what happened with that,

و نتایجش را بررسی کنی،

and then you look at the potential for synthetic biology,

و بعد به توانایی ذاتی زیست شناسی مصنوعی توجه کنی،

I don't know that we should move forward rapidly

مطمئن نیستم که باید سریع حرکت کنیم

or without any kind of restriction

یا بدون هر گونه محدودیت

to a world where you could have a DNA printer in every home

به سمت جهانی که می توانی یک چاپگر دی ان ای در هر خانه

and high school lab.

یا آزمایشگاه دبیرستان داشته باشی.

There are some restrictions, right?

محدودیت هایی وجود دارند، بله؟

NB: Possibly, there is the first part, the not feasible.

ن.ب: احتمالا وجود دارند، در بخش اول، در امکان پذیر نبودن.

If you think it would be desirable to stop it,

اگر توقف اش را بخواهی،

there's the problem of feasibility.

مشکل انجام شدنی بودن آن است.

So it doesn't really help if one nation kind of --

پس واقعا فایده ای ندارد اگر نوعی از یک کشور --

CA: No, it doesn't help if one nation does,

ک.ا: فایده ای ندارد اگر یک کشور انجامش دهد،

but we've had treaties before.

ولی ما قبلا معاهده هایی داشته ایم.

That's really how we survived the nuclear threat,

روشی که واقعا از خطر هسته ای عبور کرده ایم،

was by going out there

با حرکت به سمتش بوده

and going through the painful process of negotiating.

و عبور از مسیر دردناک مذاکرات.

I just wonder whether the logic isn't that we, as a matter of global priority,

تعجب می کنم که آیا منطقی نیست اگر به عنوان اولویتی جهانی،

we shouldn't go out there and try,

بخواهیم تلاش کنیم،

like, now start negotiating really strict rules

مثلا، همین حالا مذاکره برای قوانینی خیلی محکم را شروع کنیم

on where synthetic bioresearch is done,

که تحقیقات زیست شناسی مصنوعی تا کجا ادامه یابد،

that it's not something that you want to democratize, no?

که این چیزی نیست که بخواهید به دست همه بدهید، نه؟

NB: I totally agree with that --

ن.ب: من کاملا موافقم که --

that it would be desirable, for example,

که این را می خواهیم، برای مثال،

maybe to have DNA synthesis machines,

شاید داشتن دستگاه های ترکیب دی ان ای،

not as a product where each lab has their own device,

وسیله ای نباشد که هر آزمایشگاه دستگاهش را داشته باشد،

but maybe as a service.

شاید خدمات آن داشته باشد.

Maybe there could be four or five places in the world

شاید مثلا چهار یا پنج محل در جهان باشند

where you send in your digital blueprint and the DNA comes back, right?

که شما الگوی دیجیتال خود را می فرستید و دی ان ای برایتان بر می گردد، درست؟

And then, you would have the ability,

و حالا این توانایی را دارید،

if one day it really looked like it was necessary,

که اگر روزی واقعا به نظر لازم رسید،

we would have like, a finite set of choke points.

محل های مشخصی برای خفه کردن داریم.

So I think you want to look for kind of special opportunities,

پس به نظرم به دنبال نوعی موقعیت خاص هستی،

where you could have tighter control.

که بتوانی کنترلی محکمتر داشته باشی.

CA: Your belief is, fundamentally,

ک.ا: به باور شما، اساسا،

we are not going to be successful in just holding back.

ما با عقب نگاه داشتن موفقیتی بدست نمی آوریم.

Someone, somewhere -- North Korea, you know --

کسی، جایی -- کره شمالی، می دانی --

someone is going to go there and discover this knowledge,

کسی به آنجا می رسد و دانش را بدست می آورد،

if it's there to be found.

اگر آنجا باشد.

NB: That looks plausible under current conditions.

ن.ب: در شرایط موجود قابل قبول است.

It's not just synthetic biology, either.

تنها زیست شناسی مصنوعی هم نیست.

I mean, any kind of profound, new change in the world

به نظرم هر نوعی از تغییرات جدید و عمیق در جهان

could turn out to be a black ball.

می تواند تبدیل به یک توپ سیاه شود.

CA: Let's look at another possible response.

ک.ا: بیا تا به شکل دیگری از پاسخ نگاه کنیم.

NB: This also, I think, has only limited potential.

ن.ب: این هم، به نظرم، تنها توانایی محدودی دارد.

So, with the Type-1 vulnerability again,

برای آسیب پذیری نوع ۱،

I mean, if you could reduce the number of people who are incentivized

منظورم اینکه اگر بتوانی تعداد کسانی را کاهش دهی که انگیزه

to destroy the world,

نابودی جهان را دارند،

if only they could get access and the means,

اگر تنها آنها به امکانات و روش ها دسترسی داشته باشند ،

that would be good.

CA: In this image that you asked us to do

چیز خوبی است.

ک.ا: در این تصویری که از ما می خواهی انجام دهیم

you're imagining these drones flying around the world

به نظرت این پهپاد هایی که دور دنیا پرواز می کنند

with facial recognition.

با توانایی تشخیص چهره.

When they spot someone showing signs of sociopathic behavior,

اگر کسی را پیدا کردند که رفتارهای جامعه ستیزانه دارد،

they shower them with love, they fix them.

باید با عشق نثارشان کرد، درمانشان کرد.

NB: I think it's like a hybrid picture.

ن.ب: فکر می کنم این مثل تصویری ترکیبی است.

Eliminate can either mean, like, incarcerate or kill,

حذف یا معنی، حبس و کشتن می دهد،

or it can mean persuade them to a better view of the world.

یا می تواند تشویق کردن به نگاه بهتری از جهان باشد.

But the point is that,

اما نکته اینجاست،

suppose you were extremely successful in this,

فرض کنید که بی نهایت در این موفق باشید،

and you reduced the number of such individuals by half.

و تعداد چنین افرادی را نصف کنید.

And if you want to do it by persuasion,

و اگر بخواهید با تشویق این کار را انجام دهید،

you are competing against all other powerful forces

مجبور به رقابت با همه انواع نیروهای قدرتمند دیگر می شوید

that are trying to persuade people,

که مردم را تشویق،

parties, religion, education system.

به صف بندی، دین، سیستم های آموزشی می کنند.

But suppose you could reduce it by half,

اما فرض کنید بتوانید نصفش کنید،

I don't think the risk would be reduced by half.

فکر نمی کنم که خطر آن به نصف کاهش یابد.

Maybe by five or 10 percent.

شاید پنج یا ۱۰ درصد.

CA: You're not recommending that we gamble humanity's future on response two.

ک.ا: توصیه نمی کنی که ما آینده بشریت را روی پاسخ دوم شرط بندی کنیم.

NB: I think it's all good to try to deter and persuade people,

ن.ب: به نظرم این کار خوبی است که برای تشویق و تغییر افراد تلاش کنیم،

but we shouldn't rely on that as our only safeguard.

اما نباید آن را به عنوان تنها راه حفاظت بدانیم.

CA: How about three?

ک.ا: سومی چطور؟

NB: I think there are two general methods

ن.ب: به نظر من دو روش عمومی وجود دارد

that we could use to achieve the ability to stabilize the world

که برای رسیدن به توانایی تثبیت جهان

against the whole spectrum of possible vulnerabilities.

در برابر طیف کاملی از نقاط ضعف احتمالی قابل استفاده هستند.

And we probably would need both.

که احتمالا به هر دو نیازمندیم.

So, one is an extremely effective ability

یکی، توانایی است بی نهایت موثر

to do preventive policing.

در ایجاد نظم پیشگیرانه.

Such that you could intercept.

به گونه ای که بتوانی رهگیری کنی.

If anybody started to do this dangerous thing,

هرکسی را که خواست از این کارهای خطرناک انجام دهد،

you could intercept them in real time, and stop them.

بتوانی در لحظه پیدایشان کنی، و جلویشان را بگیری.

So this would require ubiquitous surveillance,

و این نیازمند نظارت فراگیر در همه جاست،

everybody would be monitored all the time.

همه باید همیشه تحت نظر باشند.

CA: This is "Minority Report," essentially, a form of.

ک.ا: این مثل فیلم «گزارش اقلیت» است، اساسا، به شکلی.

NB: You would have maybe AI algorithms,

ن.ب: شاید الگوریتم های هوش مصنوعی داشته باشی،

big freedom centers that were reviewing this, etc., etc.

مراکز بزرگ آزادی خواهی که این را بررسی می کنند، غیره و غیره.

CA: You know that mass surveillance is not a very popular term right now?

ک.ا: می دانی که نظارت انبوه عمومی این روزها موضوع خیلی محبوبی نیست؟

(Laughter)

(خنده حضار)

NB: Yeah, so this little device there,

ن.ب: بله، این وسیله کوچک اینجا،

imagine that kind of necklace that you would have to wear at all times

فرض کن این نوع از گردنبند که باید همیشه ببندی

with multidirectional cameras.

با دوربین های تمام جهت.

But, to make it go down better,

اما، برای اینکه بهتر جا بیفتد،

just call it the "freedom tag" or something like that.

اسمش را بگذار «پلاک آزادی» یا چیزی مشابه آن.

(Laughter)

(خنده حضار)

CA: OK.

ک.ا: قبول.

I mean, this is the conversation, friends,

دوستان، این همان صحبتی است که باید باشد،

this is why this is such a mind-blowing conversation.

به این دلیل است که چرا این صحبت دیوانه کننده است.

NB: Actually, there's a whole big conversation on this

ن.ب: واقعا، بحث های زیادی است

on its own, obviously.

تنها در این مورد، مشخص است.

There are huge problems and risks with that, right?

مشکلات و مخاطراتی عظیم همراهش است، درسته؟

We may come back to that.

شاید به آن برگردیم.

So the other, the final,

آن بعدی، آخری،

the other general stabilization capability

توانایی ایجاد ثبات عمومی

is kind of plugging another governance gap.

به نوعی اتصال یک شکاف مدیریتی دیگر است.

So the surveillance would be kind of governance gap at the microlevel,

پس این نظارت نوعی از مدیریت شکاف مدیریتی در سطح-خرد است.

like, preventing anybody from ever doing something highly illegal.

مثل، جلوگیری از از اینکه کسی هیچوقت خطای خیلی بزرگی نکند.

Then, there's a corresponding governance gap

سپس، یک شکاف مدیریتی مشابه هم هست

at the macro level, at the global level.

در سطح-کلان، سطحی جهانی.

You would need the ability, reliably,

تو به توانایی و مطمئن بودن نیاز داری،

to prevent the worst kinds of global coordination failures,

تا مانع از بدترین نوع عدم هماهنگی جهانی شوی،

to avoid wars between great powers,

مانع از جنگ میان قدرت های بزرگ،

arms races,

مسابقات تسلیحاتی،

cataclysmic commons problems,

مشکلات فاجعه آمیز مشترک،

in order to deal with the Type-2a vulnerabilities.

تا بتوانی با آسیب پذیری های نوع ۲-الف مواجه شوی.

CA: Global governance is a term

ک.ا: مدیریت جهان عبارتی است

that's definitely way out of fashion right now,

که امروزه خیلی از مد افتاده،

but could you make the case that throughout history,

اما آیا می توانی اینطور نتیجه بگیری که در طول تاریخ،

the history of humanity

تارخ بشریت،

is that at every stage of technological power increase,

در هر مرحله از افزایش قدرت فناوری،

people have reorganized and sort of centralized the power.

انسان با سازماندهی دوباره، قدرت را مرکزی کرده.

So, for example, when a roving band of criminals

برای مثال، وقتی که یک گروه جانی

could take over a society,

می توانند جامعه ای را در اختیار بگیرند،

the response was, well, you have a nation-state

پاسخ این بود که شما یک کشور-ملت هستید

and you centralize force, a police force or an army,

و تو نیرو را مرکزی مردی، مثل نیروی پلیس یا ارتش،

so, "No, you can't do that."

پس، «نه نمی شود این کار را کرد.»

The logic, perhaps, of having a single person or a single group

شاید، منطقِ داشتن یک شخص یا گروه

able to take out humanity

که بتواند بشریت را رها کند

means at some point we're going to have to go this route,

به معنی این است که زمانی باید وارد این مسیر شویم،

at least in some form, no?

حداقل به شکلی، نه؟

NB: It's certainly true that the scale of political organization has increased

ن.ب: مسلما درست است که اندازه سازمان های سیاسی افزایش یافته

over the course of human history.

که در طول تاریخ بشر.

It used to be hunter-gatherer band, right,

معمولا شکارچی-گردآور بوده است، درست،

and then chiefdom, city-states, nations,

و بعد رئیس قبیله، دولت-شهر، ملت،

now there are international organizations and so on and so forth.

و حالا سازمان های بین المللی و به همین شکل و صورت.

Again, I just want to make sure

حالا، می خواستم تا مطمئن شوم

I get the chance to stress

که این موقعیت را داشته ام که تاکید کنم

that obviously there are huge downsides

مشخصا ضررهایی عظیم

and indeed, massive risks,

و حقیقتا، خطراتی سنگین وجود دارند،

both to mass surveillance and to global governance.

هم در نظارت سنگین عمومی و هم در مدیریت جهانی.

I'm just pointing out that if we are lucky,

اشاره من تنها این است که ما خوش شانسیم،

the world could be such that these would be the only ways

جهان می توانست چنان باشد که اینها تنها راه های

you could survive a black ball.

بقا بعد از یک توپ سیاه باشند.

CA: The logic of this theory,

ک.ا: منطق این نظریه،

it seems to me,

به نظر من،

is that we've got to recognize we can't have it all.

این است که باید تشخیص دهیم که نمی شود همه چیز را با هم داشت.

That the sort of,

که نوعی از،

I would say, naive dream that many of us had

رویای ساده لوحانه که خیلی از ما داشته ایم

that technology is always going to be a force for good,

که فناوری همیشه یک نیروی خوبی خواهد بود،

keep going, don't stop, go as fast as you can

ادامه بده، توقف نکن، تا می توانی تند برو

and not pay attention to some of the consequences,

و به بعضی از نتایج توجه نکن،

that's actually just not an option.

واقعا دیگر امکان پذیر نیست.

We can have that.

می توانیم آن را داشته باشیم.

If we have that,

و اگر داشته باشیم،

we're going to have to accept

باید قبول کنیم

some of these other very uncomfortable things with it,

بعضی از چیزهای ناراحت کننده ای را که همراه آن است،

and kind of be in this arms race with ourselves

که نوعی از بودن در آن مسابقه تسلیحاتی با خودت است

of, you want the power, you better limit it,

که اگر قدرت می خواهی، بهتر است محدودش کنی،

you better figure out how to limit it.

بهتر است بفهمی چطور محدودش کنی.

NB: I think it is an option,

ن.ب: به نظرم این یک انتخاب است،

a very tempting option, it's in a sense the easiest option

یک انتخاب خیلی وسوسه کننده، از این نظر که انتخابی ساده تر است

and it might work,

که ممکن است جواب هم بدهد،

but it means we are fundamentally vulnerable to extracting a black ball.

اما معنی اش این است که ما ذاتا در بیرون آوردن توپ سیاه آسیب پذیریم.

Now, I think with a bit of coordination,

حالا، فکر کنم با کمی هماهنگی،

like, if you did solve this macrogovernance problem,

مثلا، اگر بتوانی مشکل این مدیریت کلان را حل کنی،

and the microgovernance problem,

و مدیریت خرد را حل کنی،

then we could extract all the balls from the urn

می توانی توپ را از گلدان بیرون آوری

and we'd benefit greatly.

و کلی مزیت بدست آورده ایم.

CA: I mean, if we're living in a simulation, does it matter?

ک.ا: اگر ما در یک شبیه سازی زندگی می کنیم، این اهمیتی دارد؟

We just reboot.

برنامه را دوباره اجرا می کنیم.

(Laughter)

( خنده حضار)

NB: Then ... I ...

ن.ب.: پس ... من ...

(Laughter)

(خنده حضار)

I didn't see that one coming.

حواسم به این یکی نبود.

CA: So what's your view?

ک.ا: شما چه نگاهی دارید؟

Putting all the pieces together, how likely is it that we're doomed?

با کنار هم گذاشتن همه این اجزاء، احتمال محکوم به شکست بودنمان چقدر است؟

(Laughter)

(خنده حضار)

I love how people laugh when you ask that question.

عاشق خنده مردم هستم وقتی این سوال را می پرسی.

NB: On an individual level,

ن.ب: در سطح فردی،

we seem to kind of be doomed anyway, just with the time line,

به نظر می رسد که به هر شکل محکوم هستیم، تنها از دید زمانی،

we're rotting and aging and all kinds of things, right?

ما می پوسیم و پیر می شویم و هه این چیزها، درست؟

(Laughter)

(خنده حضار)

It's actually a little bit tricky.

واقعا کمی پیچیده است.

If you want to set up so that you can attach a probability,

اگر بخواهی به شکلی تنظیمش کنی که، بتوانی احتمالی هم به آن بدهی،

first, who are we?

اول، ما که هستیم؟

If you're very old, probably you'll die of natural causes,

اگر خیلی پیر هستید، احتمالا به دلایل طبیعی خواهید مرد،

if you're very young, you might have a 100-year --

اگر جوان هستید، احتمالا به ۱۰۰ سالگی برسید --

the probability might depend on who you ask.

احتمال آن بستگی دارد از که بپرسید.

Then the threshold, like, what counts as civilizational devastation?

بعد آن آستانه، یعنی، چه چیزی را نابودی تمدن می دانیم؟

In the paper I don't require an existential catastrophe

در این مقاله، من نیازی به یک فاجعه نابود کننده هستی

in order for it to count.

برای به حساب آوردن نداشته ام.

This is just a definitional matter,

این تنها یک تعریف است.

I say a billion dead,

فرض کنید یک میلیارد کشته،

or a reduction of world GDP by 50 percent,

یا کاهش ۵۰ درصدی تولید ناخالص ملی جهان،

but depending on what you say the threshold is,

اما با توجه به آستانه ای که شما تعریف می کنید،

you get a different probability estimate.

تخمین متفاوتی از احتمال بدست می آورید.

But I guess you could put me down as a frightened optimist.

اما فکر کنم شما بهتر است من را به عنوان یک خوشبین ترسو کنار بگذارید.

(Laughter)

(خنده حضار)

CA: You're a frightened optimist,

ک.ا: تو یک خوشبین ترسو هستی،

and I think you've just created a large number of other frightened ...

که فکر کنم همین حالا کلی ترسوی دیگر بوجود آوردی ....

people.

آدمهای.

(Laughter)

(خنده حضار)

NB: In the simulation.

ن.ب.: در شبیه سازی.

CA: In a simulation.

ک.ا: در شبیه سازی.

Nick Bostrom, your mind amazes me,

نیک بوستروم، ذهن تو مرا شگفت زده می کند،

thank you so much for scaring the living daylights out of us.

خیلی متشکرم از اینکه حالا ما را از روز روشن هم ترسانده ای.

(Applause)

(تشویق حضار)