How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

المترجم: Shimaa Nabil المدقّق: Nawfal Aljabali

Chris Anderson: Nick Bostrom.

كريس أندرسون: نيك بوستروم.

So, you have already given us so many crazy ideas out there.

إذاً، لقد أعطيتنا الكثير من الأفكار المجنونة من قبل.

I think a couple of decades ago,

أعتقد أنه منذ عقدين،

you made the case that we might all be living in a simulation,

وضعت فكرة أننا ربّما نعيش في محاكاة،

or perhaps probably were.

أو ربّما من المحتمل كنا نعيش فيها.

More recently,

في الآونة الأخيرة،

you've painted the most vivid examples of how artificial general intelligence

وضعت مثالاً حياً لكيفية كون الذكاء الاصطناعي العام

could go horribly wrong.

يمكنه أن يكون خطأً رهيباً.

And now this year,

والآن في هذه السنة،

you're about to publish

أنت على وشك نشر

a paper that presents something called the vulnerable world hypothesis.

بحث يعرض شيئاً يسمى فرضيات ضعف العالم.

And our job this evening is to give the illustrated guide to that.

وعملنا في هذه الأمسية هو توضيح ذلك.

So let's do that.

لنفعلها.

What is that hypothesis?

ما هي هذه الفرضيات؟

Nick Bostrom: It's trying to think about

نيك بوستروم: إنها محاولة التفكير

a sort of structural feature of the current human condition.

في بناء خصائص لشروط الإنسان المعاصر.

You like the urn metaphor,

إذا أردت التعبير المجازي،

so I'm going to use that to explain it.

سأستعمل هذا المجاز لأشرح.

So picture a big urn filled with balls

تصوّر جرّة كبيرة مملوءة بالكرات

representing ideas, methods, possible technologies.

تعرض أفكاراً وأساليب وتقنيات ممكنة،

You can think of the history of human creativity

يمكنك أن تفكر حول اختراعات الإنسان عبر التاريخ

as the process of reaching into this urn and pulling out one ball after another,

كعملية وصول إلى هذه الجرّة وإخراج كرة بعد الأخرى،

and the net effect so far has been hugely beneficial, right?

والنتيجة حتى الآن كانت مفيدة، أليس كذلك؟

We've extracted a great many white balls,

لقد استخرجنا الكثير من الكرات البيضاء،

some various shades of gray, mixed blessings.

وبعض الكرات المصبوغة بالرمادي، مختلفة التأثير.

We haven't so far pulled out the black ball --

حتى الآن لم نخرج الكرة السوداء...

a technology that invariably destroys the civilization that discovers it.

التكنولوجيا التي تدمّر بثبات الحضارة التي صنعتها.

So the paper tries to think about what could such a black ball be.

يحاول البحث التفكير حول ماهية هذه الكرات السوداء.

CA: So you define that ball

كريس أندرسون: إذن عرّفت هذه الكرات

as one that would inevitably bring about civilizational destruction.

كواحدة ممّا لا يمكن تجنّبه في تدمير الحضارة.

NB: Unless we exit what I call the semi-anarchic default condition.

نيك بوستروم: إلا إذا أخرجنا ما أسميه الشرط الافتراضي الشبه فوضوي.

But sort of, by default.

لكنه نوعاً ما افتراضي.

CA: So, you make the case compelling

كريس أندرسون: إذن جعلت القضية مقنعة

by showing some sort of counterexamples

بعرض بعض الأمثلة المخالفة

where you believe that so far we've actually got lucky,

حيث ترى أننا إلى الآن محظوظون،

that we might have pulled out that death ball

في كوننا ربّما نسحب كرة الموت

without even knowing it.

ونحن حتى لا نعرفها.

So there's this quote, what's this quote?

إذن، هذا المثل، ماذا يعنيه؟

NB: Well, I guess it's just meant to illustrate

نيك بوستروم: أظن أنه يعني توضيح

the difficulty of foreseeing

صعوبة بعد النظر

what basic discoveries will lead to.

حول ما تقودنا إليه الاكتشافات الأساسية.

We just don't have that capability.

نحن فقط لا نملك هذه الإمكانية.

Because we have become quite good at pulling out balls,

لأننا أصبحنا جيدين في استخراج الكرات،

but we don't really have the ability to put the ball back into the urn, right.

لكننا لا نملك القدرة على إرجاع الكرات إلى الجرّة.

We can invent, but we can't un-invent.

يمكننا أن تخترع، لكن لا يمكننا ألا نخترع.

So our strategy, such as it is,

إذاً، استراتيجيتنا، وكأنها،

is to hope that there is no black ball in the urn.

الأمل في عدم إخراج كرة سوداء من الجرّة.

CA: So once it's out, it's out, and you can't put it back in,

كريس أندرسون: بمجرّد أن تخرج، فقد خرجت، لا يمكنك إرجاعها،

and you think we've been lucky.

أنت تعتقد أننا كنا محظوظين.

So talk through a couple of these examples.

إذن حدثنا عن بعض الأمثلة.

You talk about different types of vulnerability.

الأمثلة المختلفة عن نقاط الضعف.

NB: So the easiest type to understand

نيك بوستروم: أسهل طريقة للفهم

is a technology that just makes it very easy

أن التكنولوجيا تجعل من السهولة بمكان

to cause massive amounts of destruction.

التسبب في كم هائل من التدمير.

Synthetic biology might be a fecund source of that kind of black ball,

البيولوجيا الاصطناعية من المحتمل أنها مورد خصب لهذه الكرات السوداء،

but many other possible things we could --

لكن الكثير من الأشياء الأخرى،

think of geoengineering, really great, right?

فكر مثلاً في الهندسة الجيولوجية، رائعة، صحيح؟

We could combat global warming,

يمكننا مكافحة الاحتباس الحراري،

but you don't want it to get too easy either,

لكنك لا تريدها أن تكون في متناول الجميع،

you don't want any random person and his grandmother

أنت لا تريد لأي شخص مع جدته

to have the ability to radically alter the earth's climate.

أن يكون لديه القدرة للرفع من حرارة الأرض.

Or maybe lethal autonomous drones,

أو ربما طائرات بدون طيار قاتلة،

massed-produced, mosquito-sized killer bot swarms.

أو إنتاج هائل للروبوتات القاتلة بحجم البعوضة.

Nanotechnology, artificial general intelligence.

النانوتكنولوجي، الذكاء الاصطناعي العام.

CA: You argue in the paper

كريس أندرسون: جادلت في بحثك

that it's a matter of luck that when we discovered

أنها مسألة حظ عندما اكتشفنا

that nuclear power could create a bomb,

أن الطاقة الذرية يمكن أن تصنع القنبلة،

it might have been the case

إذا كان هذا هو الحال

that you could have created a bomb

فمن الممكن أن تصنع قنبلة

with much easier resources, accessible to anyone.

بموارد أسهل بكثير ومتاحة للجميع.

NB: Yeah, so think back to the 1930s

نيك بوستروم: بالرجوع لسنة 1930

where for the first time we make some breakthroughs in nuclear physics,

عندما حققنا لأول مرّة بعض الانجازات في مجال الفيزياء النووية،

some genius figures out that it's possible to create a nuclear chain reaction

اكتشف بعض العباقرة أنه من الممكن إنشاء مجموعة من التفاعلات الذرية

and then realizes that this could lead to the bomb.

تقودنا نحو القنبلة.

And we do some more work,

وأنجزنا بعض العمل،

it turns out that what you require to make a nuclear bomb

اتّضح أن صناعة القنبلة الذرية يتطلب

is highly enriched uranium or plutonium,

يورانيوم والبلاتينيوم عالي التخصيب،

which are very difficult materials to get.

وهي مواد من الصعب جداً الحصول عليها.

You need ultracentrifuges,

أنت بحاجة لأجهزة طرد مركزي،

you need reactors, like, massive amounts of energy.

تحتاج مفاعلات، كميات هائلة من الطاقة.

But suppose it had turned out instead

لكن لنفرض أنه تبين بدلاً من ذلك

there had been an easy way to unlock the energy of the atom.

أن ثمة طريقة سهلة للحصول على طاقة الذرة.

That maybe by baking sand in the microwave oven

ربما مثل تحميص الرمل في أفران الميكروويف

or something like that

أو شيء من هذا القبيل

you could have created a nuclear detonation.

يمكنك خلق تفجير نووي.

So we know that that's physically impossible.

فنحن نعلم أن هذا مستحيل فيزيائياً.

But before you did the relevant physics

لكن قبل إنشائك للمتعلقات الفيزيائية

how could you have known how it would turn out?

كيف يتضح لك ذلك؟

CA: Although, couldn't you argue

كريس أندرسون: رغم أنك لم تتمكن من النقاش

that for life to evolve on Earth

أن تطور الحياة على الأرض

that implied sort of stable environment,

يطبق نوعاً من بيئة مستقرة،

that if it was possible to create massive nuclear reactions relatively easy,

بحيث إذا حدثت تفاعلات نووية كبيرة من المحتمل أنه من السهل،

the Earth would never have been stable,

أن تصبح الأرض غير مستقرة،

that we wouldn't be here at all.

حيث أننا لن نكون هنا أبداً.

NB: Yeah, unless there were something that is easy to do on purpose

نيك بوستروم: نعم، إلا إذا كان هناك شيئاً يسهل هذا الهدف

but that wouldn't happen by random chance.

لكن هذا لن يحصل عشوائياً.

So, like things we can easily do,

مثل الأشياء السهلة،

we can stack 10 blocks on top of one another,

يمكنك أن تكدس عشرة طوابق فوق بعضها،

but in nature, you're not going to find, like, a stack of 10 blocks.

لكن في الطبيعة لا يمكن أن تجد عشرة طوابق فوق بعضها.

CA: OK, so this is probably the one

كريس أندرسون: من المحتمل أن هذا

that many of us worry about most,

ما يخشاه الكثير منا،

and yes, synthetic biology is perhaps the quickest route

ونعم، علم الأحياء الاصطناعية من المحتمل أنه أسرع طريق

that we can foresee in our near future to get us here.

يمكننا التنبؤ به في المستقبل القريب.

NB: Yeah, and so think about what that would have meant

نيك بوستروم: فكر في ما الذي يعنيه هذا

if, say, anybody by working in their kitchen for an afternoon

إذا قلنا، أن أي شخص يعمل بمطبخه في المساء

could destroy a city.

يمكنه تدمير مدينة.

It's hard to see how modern civilization as we know it

من الصعب تصور الحضارة المعاصرة كما نعرفها

could have survived that.

أن تتمكن من النجاة من هذا.

Because in any population of a million people,

لأنه في أي مجتمع من مليون شخص،

there will always be some who would, for whatever reason,

سيختار دائماً البعض لأي سبب

choose to use that destructive power.

أن يستعمل هذه القوة المدمرة.

So if that apocalyptic residual

إذا اختار هؤلاء المروعون

would choose to destroy a city, or worse,

تدمير المدينة أو أسوأ،

then cities would get destroyed.

ستتدمر عندها المدن.

CA: So here's another type of vulnerability.

كريس أندرسون: هذا نوع آخر من نقاط الضعف.

Talk about this.

كلمنا عنه.

NB: Yeah, so in addition to these kind of obvious types of black balls

نيك بوستروم: بالإضافة إلى هذه الأنواع الواضحة من الكرات السوداء

that would just make it possible to blow up a lot of things,

التي يمكنها أن تدمر الكثير من الأشياء،

other types would act by creating bad incentives

تقوم أنواع أخرى بإنشاء محفزات سيئة

for humans to do things that are harmful.

للبشر من أجل فعل أشياء ضارة.

So, the Type-2a, we might call it that,

نوع-2a، يمكننا أن نسميه هكذا،

is to think about some technology that incentivizes great powers

وهو التفكير في بعض التكنولوجيا التي تحفز القوى الكبرى

to use their massive amounts of force to create destruction.

لاستعمال كميتها الهائلة من القوة لإنشاء التدمير.

So, nuclear weapons were actually very close to this, right?

لذا الأسلحة النووية في الحقيقة جد قريبة من هذا، أليس كذلك؟

What we did, we spent over 10 trillion dollars

ماذا فعلناه، أنفقنا 10 ترليون دولار

to build 70,000 nuclear warheads

لبناء 70.000 رأس نووي

and put them on hair-trigger alert.

ووضعناها في حالة تأهب.

And there were several times during the Cold War

وهناك حالات كثيرة في الحرب الباردة

we almost blew each other up.

كدنا أن نفجر بعضنا.

It's not because a lot of people felt this would be a great idea,

إنها ليست فكرة الكثير من الناس أنهم شعروا بأنها فكرة جيدة،

let's all spend 10 trillion dollars to blow ourselves up,

لننفق 10 ترليون دولار من أجل تفجير أنفسنا،

but the incentives were such that we were finding ourselves --

لكن المحفزات أننا وجدنا أنفسنا،

this could have been worse.

كان هذا من الممكن أن يسوء.

Imagine if there had been a safe first strike.

تخيل لو كانت هناك ضربة أولى آمنة.

Then it might have been very tricky,

كان من الممكن أن تكون خادعة.

in a crisis situation,

في حالة أزمة،

to refrain from launching all their nuclear missiles.

للامتناع عن إطلاق كل الصواريخ النووية.

If nothing else, because you would fear that the other side might do it.

لا شيء آخر سوى الخوف من الجانب الآخر أن يطلق الصواريخ النووية.

كريس أندرسون: حافظ الدمار المؤكد المتبادل

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

على توازن الحرب الباردة،

without that, we might not be here now.

لولا هذا، ربما لم نكن هنا اليوم.

NB: It could have been more unstable than it was.

نيك بوستروم: كان من الممكن أن يكون غير مستقر أكثر من ذلك.

And there could be other properties of technology.

ويمكن أن تكون تكنولوجيا أخرى.

It could have been harder to have arms treaties,

من الممكن أن يكون أصعب من معاهدات التسليح،

if instead of nuclear weapons

إذا كان البديل عن الأسلحة النووية

there had been some smaller thing or something less distinctive.

أشياء أصغر أو شيء أقل تميزاً.

CA: And as well as bad incentives for powerful actors,

كريس أندرسون: مثل المحفزات السيئة للقوى الفاعلة،

you also worry about bad incentives for all of us, in Type-2b here.

أنت أيضاً قلق من محفزات سيئة لنا جميعا، نوع 2b هنا.

NB: Yeah, so, here we might take the case of global warming.

نيك بوستروم: هنا يمكننا أن نأخذ حالة الاحتباس الحراري.

There are a lot of little conveniences

هناك الكثير من الفرص المناسبة

that cause each one of us to do things

التي جعلتنا جميعاً نفعل أشياء

that individually have no significant effect, right?

في فرديتها لن يكون لها أي تأثير، صحيح؟

But if billions of people do it,

لكن إذا كان المليارات من الناس يفعلونها،

cumulatively, it has a damaging effect.

تراكمياً، لديها تأثيرات مدمرة.

Now, global warming could have been a lot worse than it is.

الآن، يمكن أن يكون الاحتباس الحراري أسوأ بكثير.

So we have the climate sensitivity parameter, right.

لدينا معامل حساسية المناخ، أليس كذلك؟

It's a parameter that says how much warmer does it get

هي معامل تخبرنا بحجم الحرارة المرتفعة

if you emit a certain amount of greenhouse gases.

إذا نشرت كمية من غازات الاحتباس الحراري.

But, suppose that it had been the case

لنفرض أن هذه هي القضية

that with the amount of greenhouse gases we emitted,

أن كمية الغاز المنبعثة التي ننشرها،

instead of the temperature rising by, say,

بدلاً من كون الحرارة ترتفع،

between three and 4.5 degrees by 2100,

من 3 إلى 4.5 حتى سنة 2100،

suppose it had been 15 degrees or 20 degrees.

فرضاً كانت بين 15 و20 درجة.

Like, then we might have been in a very bad situation.

سنكون في وضع سيىء جداً.

Or suppose that renewable energy had just been a lot harder to do.

أو لنفرض أن الطاقات المتجددة كانت صعبة الإنجاز.

Or that there had been more fossil fuels in the ground.

أو كان هناك وقود أحفوري أكثر في الأرضية.

CA: Couldn't you argue that if in that case of --

كريس أندرسون: هل يمكن أن تجادل إذا كانت القضية

if what we are doing today

إذا كان ما نفعله اليوم

had resulted in 10 degrees difference in the time period that we could see,

أنتج فرقاً من 10 درجات في حياتنا،

actually humanity would have got off its ass and done something about it.

على البشرية أن تفعل شيئاً حيال ذلك.

We're stupid, but we're not maybe that stupid.

نحن أغبياء لكن ليس إلى هذه الدرجة.

Or maybe we are.

أو ربما إلى هذه الدرجة.

NB: I wouldn't bet on it.

نيك بوستروم: لا أراهن على ذلك.

(Laughter)

(ضحك)

You could imagine other features.

يمكنك أن تتصور ميزات أخرى.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

الآن بالتحديد لا يمكننا التحول نحو الطاقات المتجددة،

but it can be done.

لكن يمكن أن نفعلها.

But it might just have been, with slightly different physics,

لكن ربما بفيزياء مختلفة قليلاً،

it could have been much more expensive to do these things.

يمكن أن يكون فعل هذه الأشياء مكلفاً قليلاً

CA: And what's your view, Nick?

كريس أندرسون: ماذا ترى، نيك؟

Do you think, putting these possibilities together,

هل تعتقد أن جمع هذه الإمكانيات مع بعض،

that this earth, humanity that we are,

الأرض والإنسانية التي نحن عليها،

we count as a vulnerable world?

أننا متوجهون نحو عالم ضعيف؟

That there is a death ball in our future?

أن هناك كرة موت في المستقبل؟

NB: It's hard to say.

نيك بوستروم: من الصعب الحكم.

I mean, I think there might well be various black balls in the urn,

أعتقد أن هناك عدة كرات سوداء في الجرة،

that's what it looks like.

هذا ما تبدو عليه.

There might also be some golden balls

لكن هناك أيضاً كرات ذهبية

that would help us protect against black balls.

التي يمكن أن تساعدنا للحماية ضد الكرات السوداء.

And I don't know which order they will come out.

وأنا لا أعلم بأي نظام تخرج.

CA: I mean, one possible philosophical critique of this idea

كريس أندرسون: أريد نقد فلسفي ممكن لهذه الفكرة

is that it implies a view that the future is essentially settled.

التي يكمن أن يستقر عليها المستقبل

That there either is that ball there or it's not.

سواء كانت هناك كرات أم لا.

And in a way,

وفي هذا الطريق،

that's not a view of the future that I want to believe.

ليست فكرة عن المستقبل الذي أريد تصديقه.

I want to believe that the future is undetermined,

أريد التصديق أن المستقبل غير محدد،

that our decisions today will determine

أن قراراتنا اليوم ستحدد

what kind of balls we pull out of that urn.

أي نوع من الكرات يمكننا أن نخرجها.

NB: I mean, if we just keep inventing,

نيك بوستروم: إذا كنا فقط مستمرون في الاختراع،

like, eventually we will pull out all the balls.

في النهاية سنخرج جميع الكرات.

I mean, I think there's a kind of weak form of technological determinism

أظن أن هناك ضعف في شكل تحديد التكنولوجيا

that is quite plausible,

معقولة جداً،

like, you're unlikely to encounter a society

مثلاً، من غير المحتمل أن تلتقي بمجتمع

that uses flint axes and jet planes.

يستعمل الفؤوس الحجرية والطائرات الخاصة.

But you can almost think of a technology as a set of affordances.

لكن يمكنك التفكير في التكنولوجيا على أنها مجموعة من إمكانيات الفعل.

So technology is the thing that enables us to do various things

إذاً التكنولوجيا هي التي تمكننا من فعل أشياء مختلفة

and achieve various effects in the world.

وتحقيق إنجازات هامة في العالم.

How we'd then use that, of course depends on human choice.

كيف نستعملها، هذا راجع إلى الإنسان.

But if we think about these three types of vulnerability,

لكن إذا فكرنا في هذه الأنواع الثلاثة من الضعف،

they make quite weak assumptions about how we would choose to use them.

ستترك لنا افتراضات ضعيفة حول كيفية الاختيار في استعمالها.

So a Type-1 vulnerability, again, this massive, destructive power,

لذا، النوع-1 من الضعف، مرة أخرى، القوة الهائلة للتدمير،

it's a fairly weak assumption

افتراض ضعيف إلى حد ما

to think that in a population of millions of people

أن نفكر في أن ملايين الناس

there would be some that would choose to use it destructively.

قد يكون منهم من يستعمل هذه القوة المدمرة.

CA: For me, the most single disturbing argument

كريس أندرسون: بالنسبة لي أكبر دليل مزعج

is that we actually might have some kind of view into the urn

هو أننا في الحقيقة نملك نظرة عما يوجد داخل الجرّة

that makes it actually very likely that we're doomed.

تجعلنا في الحقيقة وكأننا محكوم علينا بالفشل.

Namely, if you believe in accelerating power,

أعني، أنه إذا كنت تصدق بالقوة المتسارعة،

that technology inherently accelerates,

التي تسير بها التكنولوجيا،

that we build the tools that make us more powerful,

حيث صنعنا الأدوات التي تجعلنا أكثر قوة،

then at some point you get to a stage

عندها تصل إلى مرحلة

where a single individual can take us all down,

حيث يمكن لشخص واحد أن يدمرنا،

and then it looks like we're screwed.

عندها يبدو أننا في مأزق.

Isn't that argument quite alarming?

أليس هذا الدليل يدق ناقوس الخطر؟

NB: Ah, yeah.

نيك بوستروم: نعم

(Laughter)

(ضحك)

I think --

أظن...

Yeah, we get more and more power,

نعم، أصبحا أكثر قوة،

and [it's] easier and easier to use those powers,

ومن السهل استعمال هذه القوة،

but we can also invent technologies that kind of help us control

لكن يمكننا أيضاً اختراع تقنيات تساعدنا في الحفاظ على السيطرة

how people use those powers.

في كيفية استعمال الناس لهذه القوة.

CA: So let's talk about that, let's talk about the response.

كريس أندرسون: لنتكلم عن هذا، عن الاستجابة.

Suppose that thinking about all the possibilities

مفترضين هذا التفكير حول الإمكانيات

that are out there now --

الموجودة هناك الآن

it's not just synbio, it's things like cyberwarfare,

ليس فقط مشروع سينبابو، هناك حرب الإنترنت،

artificial intelligence, etc., etc. --

الذكاء الاصطناعي، إلخ، إلخ،

that there might be serious doom in our future.

ربّما هناك خطر حقيقي على مستقبلنا.

What are the possible responses?

ما هي الاستجابات الممكنة؟

And you've talked about four possible responses as well.

وأنت تكلمت عن أربع احتمالات ممكنة.

NB: Restricting technological development doesn't seem promising,

نيك بوستروم: لا يبدو تقييد التطور التكنولوجي واعداً،

if we are talking about a general halt to technological progress.

إذا كنا نتحدث عن وقفة عامة للتطور التكنولوجي.

I think neither feasible,

أعتقد أنه ليس ممكناً،

nor would it be desirable even if we could do it.

ولا مرغوباً فيه وحتى ولو كنا قادرين على ذلك.

I think there might be very limited areas

أظن من الممكن وجود بعض المساحات المحدودة

where maybe you would want slower technological progress.

حيث يمكنك إبطاء تطور التكنولوجيا.

You don't, I think, want faster progress in bioweapons,

أنت لا تريد، تطوراً سريعاً في الأسلحة البيولوجية،

or in, say, isotope separation,

أو فصل النظائر،

that would make it easier to create nukes.

التي ستجعل من السهل إنشاء الأسلحة النووية.

CA: I mean, I used to be fully on board with that.

كريس أندرسون: أنا متفق تماماً معك في هذا.

But I would like to actually push back on that for a minute.

لكن أريد أن ندفع هذا للخلف لدقيقة.

Just because, first of all,

لأننا، أولاً،

if you look at the history of the last couple of decades,

إذا نظرت إلى تاريخ العقود الأخيرة،

you know, it's always been push forward at full speed,

كان دائماً يدفع إلى الأمام بأقصى سرعة،

it's OK, that's our only choice.

هذا خيارنا الوحيد.

But if you look at globalization and the rapid acceleration of that,

لكن لو نظرت إلى العولمة والتسارع حول هذا،

if you look at the strategy of "move fast and break things"

لو نظرت إلى استراتيجية "تحرك بسرعة وحطم الأشياء"

and what happened with that,

ما الذي حصل لهذا،

and then you look at the potential for synthetic biology,

ثم تنظر إلى احتمال علم الأحياء الاصطناعية،

I don't know that we should move forward rapidly

أنا لا أعلم هل يجب أن نتحرك إلى الأمام بسرعة

or without any kind of restriction

دون أي نوع من التقييد

to a world where you could have a DNA printer in every home

في عالم حيث يمكن أن يكون في كل منزل طابعة حمض نووي

and high school lab.

ومخبر عالي التقنية.

يجب أن يكون هناك بعض التقييد، أليس كذلك؟

There are some restrictions, right?

NB: Possibly, there is the first part, the not feasible.

نيك بوستروم: محتمل أن هناك الجزء الأول وهو غير فعال.

If you think it would be desirable to stop it,

إذا فكرت أنه سيكون مرغوباً إيقافه،

there's the problem of feasibility.

هناك مشكلة الجدوى من ذلك.

So it doesn't really help if one nation kind of --

لذا لن يساعدنا إذا أمة...

CA: No, it doesn't help if one nation does,

كريس أندرسون: لن يساعدنا إذا فعلتها أمة من الأمم،

but we've had treaties before.

لكن كانت هناك معاهدات من قبل.

That's really how we survived the nuclear threat,

هكذا نجونا من التهديد النووي،

was by going out there

حيث ذهبنا هناك

and going through the painful process of negotiating.

خلال العملية المؤلمة من التفاوض.

I just wonder whether the logic isn't that we, as a matter of global priority,

أنا فقط أتساءل، أليس منطقياً لنا، كقضية عالمية،

we shouldn't go out there and try,

أن نذهب ونحاول،

like, now start negotiating really strict rules

مثلاً، نبدأ في المفاوضة حول قواعد واضحة

on where synthetic bioresearch is done,

لضبط أبحاث البيولوجيا،

that it's not something that you want to democratize, no?

هذا شيء لا تريد أن تعممه على الجميع، أليس كذلك؟

NB: I totally agree with that --

نيك بوستروم: أنا متفق معك تماماً

that it would be desirable, for example,

في رغبتنا، مثلاً،

maybe to have DNA synthesis machines,

أن تكون آلة تصنيع الحمض النووي،

not as a product where each lab has their own device,

ليس شيئا متوفراً لتكون موجودة في كل مخبر،

but maybe as a service.

لكن ربما كخدمة.

Maybe there could be four or five places in the world

ربما يكون هناك أربعة أو خمسة أماكن في العالم

where you send in your digital blueprint and the DNA comes back, right?

حيث يمكنك أن ترسل نموذج رقمي ثم تحصل على الحمض النووي، أليس كذلك؟

And then, you would have the ability,

عندها ستكون لك القدرة،

if one day it really looked like it was necessary,

إذا رأيت في يوم ما أنه من الضروري،

we would have like, a finite set of choke points.

كنا نفضل، مجموعة محددة من نقاط الاختناق.

So I think you want to look for kind of special opportunities,

لذا أعتقد أن ما تريده البحث عن فرص استثنائية،

where you could have tighter control.

حيث يمكنك تشديد الرقابة.

CA: Your belief is, fundamentally,

كريس أندرسون: تؤمن بشكل أساسي،

we are not going to be successful in just holding back.

أننا لن نكون ناجحين بالتقييد.

Someone, somewhere -- North Korea, you know --

كما تعلم سيقوم شخص ما في مكان ما - كوريا الشماية -

someone is going to go there and discover this knowledge,

بالذهاب هناك واكتشاف المعرفة،

if it's there to be found.

إذا كان يمكن العثور عليها.

NB: That looks plausible under current conditions.

نيك بوستروم: يبدو هذا منطقياً في الوضع الحالي.

It's not just synthetic biology, either.

إنها ليست مجرد أحياء تخليقية أيضاً.

I mean, any kind of profound, new change in the world

أعني، أي شيء جذري، يمكن للتغيير الجديد في العالم

could turn out to be a black ball.

أن يتحول لكرة سوداء.

CA: Let's look at another possible response.

كريس أندرسون: لننظر إلى رد فعل آخر ممكن.

NB: This also, I think, has only limited potential.

نيك بوستروم: أعتقد أن هذه أيضاً له إمكانية محدودة فقط.

So, with the Type-1 vulnerability again,

مع ثغرة نوع-1 مرة أخرى،

I mean, if you could reduce the number of people who are incentivized

بمعنى إذا كانت لديك المقدرة لتقليل عدد الأشخاص المتحفزين

to destroy the world,

لتدمير العالم،

if only they could get access and the means,

إذا تم الوصول إليهم وإلى وسائلهم،

that would be good.

سيكون هذا جيداً.

CA: In this image that you asked us to do

كريس أندرسون: في هذه الصورة التي تطلب منا أن نفعل

you're imagining these drones flying around the world

تتخيل أن هذه الطائرات بدون طيار تحلق حول العالم

with facial recognition.

مع برامج التعرف على الوجه.

When they spot someone showing signs of sociopathic behavior,

عندما يكتشفوا شخصاً ما يُظهر سلوكيات مختلة،

they shower them with love, they fix them.

يمطرونهم بالحب ويصلحونهم.

NB: I think it's like a hybrid picture.

نيك بوستروم: أعتقد أنها صورة هجينة.

Eliminate can either mean, like, incarcerate or kill,

يعني الإقصاء إما مثلاً الحبس أو القتل،

or it can mean persuade them to a better view of the world.

أو إقناعهم رؤية العالم بصورة أفضل.

But the point is that,

لكن الفكرة هي،

suppose you were extremely successful in this,

لنفترض أنك ناجح جداً في ذلك،

and you reduced the number of such individuals by half.

واستطعت تقليل عدد هؤلاء الأشخاص للنصف.

And if you want to do it by persuasion,

وإذا أردت أن تقوم بذلك بالإقناع،

you are competing against all other powerful forces

أنت تنافس القوى الأخرى كلها

that are trying to persuade people,

التي تحاول إقناع الناس،

parties, religion, education system.

أحزاب، دين، نظام تعليم.

But suppose you could reduce it by half,

لكن لنفترض أنه أمكنك تقليلهم للنصف،

I don't think the risk would be reduced by half.

لا أعتقد أن الخطر سيقل للنصف.

Maybe by five or 10 percent.

ربما يقل 5 أو 10%.

CA: You're not recommending that we gamble humanity's future on response two.

كريس أندرسون: أنت لا توصي أن نغامر بمستقبل البشرية في الاستجابة الثانية.

NB: I think it's all good to try to deter and persuade people,

نيك بوستروم: أعتقد أنه من الجيد المحاولة لردع وإقناع الأشخاص،

but we shouldn't rely on that as our only safeguard.

لكن بدون الاعتماد على ذلك كوسيلة وحيدة لحمايتنا.

CA: How about three?

كريس أندرسون: ماذا عن الثالثة؟

NB: I think there are two general methods

نيك بوستروم: أعتقد بوجود طريقتين أساسيتين

that we could use to achieve the ability to stabilize the world

يمكننا استخدامهما لتحقيق التوازن في العالم

against the whole spectrum of possible vulnerabilities.

ضد كل نقاط الضعف المحتملة.

And we probably would need both.

وربما نحتاج لكليهما.

So, one is an extremely effective ability

واحدة منهما هي القدرة الفعالة جداً

to do preventive policing.

للقيام بأعمال الشرطة الوقائية.

Such that you could intercept.

بحيث يمكنك الاعتراض.

If anybody started to do this dangerous thing,

إذا قام أحد بفعل أمر خطير،

you could intercept them in real time, and stop them.

يمكنك اعتراضهم في الوقت المناسب ومنعهم.

So this would require ubiquitous surveillance,

هذا يتطلب مراقبة في كل مكان،

everybody would be monitored all the time.

سيراقب الجميع في كل وقت.

CA: This is "Minority Report," essentially, a form of.

كريس أندرسون: شكل من أشكال "تقرير الأقلية".

NB: You would have maybe AI algorithms,

نيك بوستروم: ربما يكون لديك خوارزميات الذكاء الاصطناعي،

big freedom centers that were reviewing this, etc., etc.

مراكز حرية كبرى الذين كانوا يراجعون، إلخ.

CA: You know that mass surveillance is not a very popular term right now?

كريس أندرسون: تعلم أن مراقبة الجمهور ليس مصطلحاً شائعاً الآن، أليس كذلك؟

(Laughter)

(ضحك)

NB: Yeah, so this little device there,

نيك بوستروم: نعم، لذا يوجد جهاز صغير هناك،

imagine that kind of necklace that you would have to wear at all times

تخيل مثل نوع من القلادة سترتديها طول الوقت

with multidirectional cameras.

بها آلة تصوير متعددة الاتجاهات.

But, to make it go down better,

لكن، لجعل الأمر أكثر جودة،

just call it the "freedom tag" or something like that.

ما عليك سوى تسميتها "بطاقة الحرية" أو شيء من هذا القبيل.

(Laughter)

(ضحك)

CA: OK.

كريس أندرسون: حسناً.

I mean, this is the conversation, friends,

هذا هو الحوار، أصدقاء،

this is why this is such a mind-blowing conversation.

هذا هو السبب في أن مثل هذا الحوار مذهل.

NB: Actually, there's a whole big conversation on this

نيك بوستروم: حقاً، هناك حوار كبير حول هذا

on its own, obviously.

في حد ذاته، بوضوح.

There are huge problems and risks with that, right?

هناك مشاكل ضخمة ومخاطر في هذا، أليس كذلك؟

We may come back to that.

يمكننا الرجوع لذلك.

So the other, the final,

لذا الآخر، النهائي،

the other general stabilization capability

القدرة العامة الأخرى على الاستقرار

is kind of plugging another governance gap.

هو نوع من سد فجوة حكم أخرى.

So the surveillance would be kind of governance gap at the microlevel,

لذا المراقبة ستكون نوعاً من فجوة الحكم على المستوى الجزئي،

like, preventing anybody from ever doing something highly illegal.

مثل، منع أي شخص من القيام بأي شيء غير قانوني.

Then, there's a corresponding governance gap

ثم، يوجد فجوة حكم مقابلة

at the macro level, at the global level.

على المستوى الكلي، المستوى العالمي.

You would need the ability, reliably,

ستحتاج إلى القدرة، الثقة،

to prevent the worst kinds of global coordination failures,

لمنع الأنواع الأسوأ من فشل التنظيم العالمي،

to avoid wars between great powers,

لتجنب الحروب بين القوى العظمى،

arms races,

سباقات الأسلحة،

cataclysmic commons problems,

المشاكل الشائعة الكارثية،

in order to deal with the Type-2a vulnerabilities.

للتعامل مع نقاط ضعف نوع 2a.

CA: Global governance is a term

كريس أندرسون: الحكم العالمي مصطلح

that's definitely way out of fashion right now,

يخرج بالتأكيد من النمط الآن،

but could you make the case that throughout history,

ولكن يمكن أن تجعل القضية أنه عبر التاريخ،

the history of humanity

هو أن تاريخ الإنسانية

is that at every stage of technological power increase,

في كل مرحلة من زيادة القوة التكنولوجية،

people have reorganized and sort of centralized the power.

أعاد الناس تنظيم ومركزة السلطة.

So, for example, when a roving band of criminals

مثلاً، عندما يسيطر مجموعة من المجرمين

could take over a society,

على المجتمع،

the response was, well, you have a nation-state

كان رد الفعل، لديك دولة قومية

and you centralize force, a police force or an army,

وتقوم بتمركز القوة، قوة شرطة أو جيش،

so, "No, you can't do that."

لذا ، "لا ، لا يمكنك فعل ذلك."

The logic, perhaps, of having a single person or a single group

ربما المنطق لتملك شخص واحد أو مجموعة واحدة

able to take out humanity

قادرون على إخراج الإنسانية

means at some point we're going to have to go this route,

يعني في مرحلة ما أننا مضطرون للمضي في هذا الطريق،

at least in some form, no?

على الأقل في شكل ما، أليس كذلك؟

NB: It's certainly true that the scale of political organization has increased

نيك بوستروم: من المؤكد أن مستوى التنظيم السياسي زاد

over the course of human history.

على مدار تاريخ البشرية.

It used to be hunter-gatherer band, right,

أعتاد أن يكون قبلي،

and then chiefdom, city-states, nations,

ثم مشيخة، مدن، أمم،

now there are international organizations and so on and so forth.

الآن هناك منظمات عالمية وهكذا.

Again, I just want to make sure

مرة أخرى، أريد فقط التأكد

I get the chance to stress

لدي الفرصة للتأكد

that obviously there are huge downsides

أنه من الواضح أن هناك سلبيات ضخمة

and indeed, massive risks,

وبالتأكيد، مخاطر هائلة،

both to mass surveillance and to global governance.

لكلاً من المراقبة الجماهيرية والحكم العالمي.

I'm just pointing out that if we are lucky,

أريد فقط أن أشير أنه إذا كنا محظوظين

the world could be such that these would be the only ways

سيكون العالم مثل ذلك وستكون هذه الطرق الوحيدة

you could survive a black ball.

لتستطيع النجاة من الكرة السوداء.

CA: The logic of this theory,

كريس أندرسون: منطق هذه النظرية،

it seems to me,

كما يبدو لي،

is that we've got to recognize we can't have it all.

أن علينا أن نعترف أننا لا يمكنا الحصول عليها كلها.

That the sort of,

هذا نوع ما،

I would say, naive dream that many of us had

يمكنني القول، حلم ساذج لدى الكثيرين

that technology is always going to be a force for good,

أن التكنولوجيا ستكون دائماً قوة من أجل الخير،

keep going, don't stop, go as fast as you can

استمر، لا تتوقف، أسرع بقدر إمكانك

and not pay attention to some of the consequences,

ولا تعر اهتماماً لبعض العواقب،

that's actually just not an option.

هذا في الواقع ليس خياراً.

We can have that.

يمكنا أن نحظى بذلك.

If we have that,

إذا حظينا بذلك،

we're going to have to accept

سيتوجب علينا قبول

some of these other very uncomfortable things with it,

بعض من نقاط الضعف الأخرى غير المريحة،

and kind of be in this arms race with ourselves

ونوع ما في سباق التسلح مع أنفسنا

of, you want the power, you better limit it,

تريد القوة، الأفضل أن تحد منها،

you better figure out how to limit it.

الأفضل لك اكتشاف كيفية الحد منها.

NB: I think it is an option,

نيك بوستروم: أعتقد أنه خيار،

a very tempting option, it's in a sense the easiest option

خيار مغري للغاية، إلى حد ما الخيار الأسهل

and it might work,

وربما ينجح،

but it means we are fundamentally vulnerable to extracting a black ball.

لكن يعني بشكل أساسي عرضة لاستخراج كرة سوداء.

Now, I think with a bit of coordination,

الآن، أفكر بشكل منظم قليلاً،

like, if you did solve this macrogovernance problem,

مثل، إذا قمنا بحل مشكلة الحكم الكلي،

and the microgovernance problem,

ومشكلة الحكم الجزئي،

then we could extract all the balls from the urn

وقتها يمكننا استخراج الكرات من الجرة

and we'd benefit greatly.

وسنستفيد كثيراً.

CA: I mean, if we're living in a simulation, does it matter?

كريس أندرسون: أعني، إذا كنا نعيش في محاكاة، هل يهم؟

We just reboot.

نحن فقط ريبوت.

(Laughter)

(ضحك)

NB: Then ... I ...

نيك بوستروم: ثم... أنا...

(Laughter)

(ضحك)

I didn't see that one coming.

لا أتوقع حدوث ذلك.

CA: So what's your view?

كريس أندرسون: ما وجهة نظرك؟

Putting all the pieces together, how likely is it that we're doomed?

وضع كل القطع معاً، ما مدى احتمال أننا محكوم عليهم بالفشل؟

(Laughter)

(ضحك)

I love how people laugh when you ask that question.

أحب ضحك الناس عندما تسأل هذا السؤال.

NB: On an individual level,

نيك بوستروم: على المستوى الشخصي،

we seem to kind of be doomed anyway, just with the time line,

يبدو أننا من المحكوم عليهم بالفشل على أي حال، فقط مع الخط الزمني،

we're rotting and aging and all kinds of things, right?

نحن نتعفن ونتقدم في السن وجميع هذه الأشياء، أليس كذلك؟

(Laughter)

(ضحك)

It's actually a little bit tricky.

هذا خادع قليلاً.

If you want to set up so that you can attach a probability,

إذا أردت البدء، يمكنك تربط الاحتمالات،

first, who are we?

أولاً، من نحن؟

If you're very old, probably you'll die of natural causes,

إذا كنت طاعن في السن، ستموت بأسباب طبيعية غالباً،

if you're very young, you might have a 100-year --

إذا كنت صغير جداً، ربما لديك 100 عام

the probability might depend on who you ask.

وربما يعتمد الاحتمال على من تسأل.

Then the threshold, like, what counts as civilizational devastation?

ثم البداية، مثل، ماذا يهم كدمار حضاري؟

In the paper I don't require an existential catastrophe

في الورقة لا أحتاج كارثة وجودية

in order for it to count.

من أجل الاهتمام.

This is just a definitional matter,

هذه مجرد مسألة تعريفية،

I say a billion dead,

أقول مليار قتيل،

or a reduction of world GDP by 50 percent,

أو تخفيض الناتج المحلي الإجمالي العالمي بنسبة 50%،

but depending on what you say the threshold is,

لكن اعتماداً على ما تقوله عن البداية،

you get a different probability estimate.

تحصل على تقييم احتمال مختلف.

But I guess you could put me down as a frightened optimist.

لكن أخمن أنني أصبحت متفائلاً متخوفاً.

(Laughter)

(ضحك)

CA: You're a frightened optimist,

كريس أندرسون: أنت متفائل خائف،

and I think you've just created a large number of other frightened ...

وأعتقد أنك نقلت خوفك لعدد كبير...

people.

من الأشخاص.

(Laughter)

(ضحك).

NB: In the simulation.

نيك بوستروم: في المحاكاة.

CA: In a simulation.

كريس أندرسون: في المحاكاة.

Nick Bostrom, your mind amazes me,

لقد أدهشتني نيك بوستروم،

thank you so much for scaring the living daylights out of us.

شكراً لك لترويعنا.

(Applause)

(تصفيق)