What happens when our computers get smarter than we are? | Nick Bostrom

المترجم: Mohamed Gouraizim المدقّق: Mohamed Al-Alwi

I work with a bunch of mathematicians, philosophers and computer scientists,

أنا أعمل مع مجموعة من أخصائي الرياضيات والفلاسفة وعلماء الكمبيوتر،

and we sit around and think about the future of machine intelligence,

نجلس معًا نفكر في مستقبل ذكاء الآلة،

among other things.

و أمور أخرى.

Some people think that some of these things are sort of science fiction-y,

بعض الناس يعتقد أن بعضًا من هذه الأمور هي ضرب من الخيال العلمي،

far out there, crazy.

وأنها بعيدة المنال، بل ضرب من الجنون.

But I like to say,

ولكنني أود أن أقول،

okay, let's look at the modern human condition.

حسنًا، لنلق نظرة على الوضع الحالي للبشر.

(Laughter)

(ضحك)

This is the normal way for things to be.

هذه هو الوضع الطبيعي للأمور.

But if we think about it,

ولكن إذا أمعنا النظر فيها،

we are actually recently arrived guests on this planet,

فسنجد أننا قد وصلنا إلى مرحلة أننا ضيوف على هذا الكوكب،

the human species.

أقصد بذلك الجنس البشري.

Think about if Earth was created one year ago,

فكر فيما إذا كانت الأرض قد وجدت منذ عام مضى،

the human species, then, would be 10 minutes old.

فإن الجنس البشري حينها، سيكون عمره 10 دقائق فقط.

The industrial era started two seconds ago.

وستكون الحقبة الصناعية قد بدأت منذ ثانيتين.

Another way to look at this is to think of world GDP over the last 10,000 years,

ثمة طريقة أخرى للتفكير في هذا وهي إجمالي الناتج العالمي منذ 10,000 سنة،

I've actually taken the trouble to plot this for you in a graph.

لقد وفرت عليكم عناء التفكير في هذا من خلال هذا الرسم البياني.

It looks like this.

إنه الأمر سيكون مثل هذا.

(Laughter)

(ضحك)

It's a curious shape for a normal condition.

إنه شكل يبعث على الفضول في أي حالة طبيعية.

I sure wouldn't want to sit on it.

ومتأكد أننا لانرغب بالتوقف عنده.

(Laughter)

(ضحك)

Let's ask ourselves, what is the cause of this current anomaly?

لنسأل أنفسنا، ما هو السبب في هذه الحالة غير الطبيعية؟

Some people would say it's technology.

قد يقول بعض الناس إنه بسبب التكنولوجيا.

Now it's true, technology has accumulated through human history,

والآن إن هذا الأمر صحيح، فالتكنولوجيا تتجمع بشكل تراكمي على مدار التاريخ البشري،

and right now, technology advances extremely rapidly --

وحاليًا، فإن التكنولوجيا تتقدم بسرعة كبيرة جدًا

that is the proximate cause,

وهذا سبب تقريبي،

that's why we are currently so very productive.

ويعزي إليه الفضل في أننا أصبحنا أكثر إنتاجية.

But I like to think back further to the ultimate cause.

ولكنني أود أن أعود بتفكيري إلى الواراء قليلاً لمعرفة السبب الرئيسي.

Look at these two highly distinguished gentlemen:

للنظر إلى هذين السيدين المحترمين للغاية.

We have Kanzi --

لدينا (كانزي)

he's mastered 200 lexical tokens, an incredible feat.

لقد تمكن من إتقان 200 رمز لغوي، ولديه سرعة رهيبة.

And Ed Witten unleashed the second superstring revolution.

أما (إيد ويتين) فقد اكتشف ثورة الأوتار الثانية.

If we look under the hood, this is what we find:

وإذا أمعنا النظر بشكل أكبر، فسوف نجد:

basically the same thing.

نفس الشيء.

One is a little larger,

واحد أكبر قليلاً،

it maybe also has a few tricks in the exact way it's wired.

ولربما لديه أيضًا أساليب مثل الطريقة التي تتواصل بها.

These invisible differences cannot be too complicated, however,

إن هذه الاختلافات غير المرئية لا يمكن أن تكون أكثر تعقيدًا، ومع ذلك،

because there have only been 250,000 generations

نظرًا لوجود 250,000 جيل فقط

since our last common ancestor.

منذ جدودنا الأوائل.

We know that complicated mechanisms take a long time to evolve.

وإننا نعرف أن الآليات المعقدة تأخذ وقتًا طويلاً للتطور.

So a bunch of relatively minor changes

ولهذا فبعضًا من التغييرات الطفيفة نسبيًا

take us from Kanzi to Witten,

لننتقل من (كانزي) إلى (ويتين)،

from broken-off tree branches to intercontinental ballistic missiles.

من أفرع الشجرة المحطمة إلى الصواريخ الباليستية العابرة للقارات.

So this then seems pretty obvious that everything we've achieved,

هذا يبدو جليًا للغاية فهذا كل ما حققناه،

and everything we care about,

وكل ما نهتم لأجله،

depends crucially on some relatively minor changes that made the human mind.

يعتمد بشكل أساسي على التغييرات الطفيفة التي شكلت العقل البشري.

And the corollary, of course, is that any further changes

والنتيجة الطبيعية، في الواقع، هي أن أية تغييرات أخرى

that could significantly change the substrate of thinking

قد تغير بشكل كبير في ركيزة التفكير

could have potentially enormous consequences.

ومن المحتمل أن يكون لها عواقب كبيرة.

Some of my colleagues think we're on the verge

إن بعضًا من زملائي يعتقدون أننا على شفا

of something that could cause a profound change in that substrate,

شيء ما قد يحدث تغيرًا عميقًا في هذه الركيزة،

and that is machine superintelligence.

وهذا الشيء هو الذكاء الفائق للألة.

Artificial intelligence used to be about putting commands in a box.

لقد استخدم الذكاء الصناعي لوضع أوامر في صندوق مغلق.

You would have human programmers

فلدينا المبرمجين من البشر

that would painstakingly handcraft knowledge items.

الذين صنعوا بشكل جاد عناصر المعرفة.

You build up these expert systems,

لقد عملنا على بناء هذه الأنظمة المخضرمة،

and they were kind of useful for some purposes,

ولقد كانت مفيدة إلى حد ما في بعض الأمور،

but they were very brittle, you couldn't scale them.

ولكنها هشة للغاية، حيث لا يمكنك أن تقيس حجمها.

Basically, you got out only what you put in.

وبشكل أساسي، فإنك تحصل فقط على ما تضعه.

But since then,

ولكن منذ ذلك الحين،

a paradigm shift has taken place in the field of artificial intelligence.

فقد حدث تحول نظري في مجال الذكاء الصناعي.

Today, the action is really around machine learning.

واليوم، فإن التركيز ينصب على تعليم الآلة.

So rather than handcrafting knowledge representations and features,

وبالتالي، فإنه بدلاً عن صياغة رموز وخصائص المعرفة،

we create algorithms that learn, often from raw perceptual data.

فإننا ننشيء خوارزميات يمكنها، التعلم من البيانات الإدراكية غالبًا.

Basically the same thing that the human infant does.

تمامًا مثلما يفعل الرضع لدينا.

The result is A.I. that is not limited to one domain --

وبالتالي فالنتيجة هي ذكاء صناعي غير محدود على مجال بعينه،

the same system can learn to translate between any pairs of languages,

فالنظام ذاته يمكنه أن يتعلم الترجمة بين أي زوجين من اللغات،

or learn to play any computer game on the Atari console.

أو تعلم لعب أي لعبة كمبيوتر على وحدة معالج الأتاري.

Now of course,

والآن بالطبع،

A.I. is still nowhere near having the same powerful, cross-domain

فإن الذكاء الصناعي غير بعيد عن الحصول على قدرة في مجالات عديدة

ability to learn and plan as a human being has.

تمكنه من التعلم والتخطيط مثل ما يفعل الإنسان.

The cortex still has some algorithmic tricks

فقشرة المخ تشتمل على حيل لوغاريتمية

that we don't yet know how to match in machines.

ومع ذلك فمازلنا نحتاج إلى معرفة التوافق مع الآلات.

So the question is,

يتمثل السؤال في،

how far are we from being able to match those tricks?

ما هو مدى بُعدنا عن مقدرتنا على التوافق مع تلك الحيل؟

A couple of years ago,

منذ عامين،

we did a survey of some of the world's leading A.I. experts,

قمنا بعمل استبيان لبعض خبراء الذكاء الصناعي في العالم،

to see what they think, and one of the questions we asked was,

لكي نعرف ما الذي يفكرون به، وكان أحد الأسئلة التي طرحناها،

"By which year do you think there is a 50 percent probability

"بأي عام تعتقد أننا قد نصل إلى احتمالية بنسبة 50 في المائة

that we will have achieved human-level machine intelligence?"

من مستوى ذكاء صناعي للآلة يحاكي المستوى البشري؟"

We defined human-level here as the ability to perform

وقد عرفنا المستوى البشري هنا بالقدرة على القيام

almost any job at least as well as an adult human,

بأي مهمة تقريبًا مثل أي إنسان بالغ،

so real human-level, not just within some limited domain.

ومن ثم فإن المستوى البشري في الواقع، لا يقتصر على بعض المجالات المحددة.

And the median answer was 2040 or 2050,

وكان متوسط الإجابة بحلول عام 2040 أو 2050،

depending on precisely which group of experts we asked.

وذلك بحسب أي مجموعة من الخبراء تم طرح هذه الأسئلة عليها.

Now, it could happen much, much later, or sooner,

والآن، فمن الممكن أن يحدث الكثير، والكثير فيما بعد، أو في القريب العاجل،

the truth is nobody really knows.

والحقيقة هي أنه لا أحد يعلم متى ذلك.

What we do know is that the ultimate limit to information processing

إن كل ما نعرفه هو أن الحد النهائي على معالجة المعلومات

in a machine substrate lies far outside the limits in biological tissue.

في ركيزة الآلة يقع خارج نطاق حدود النسيج البيولوجي.

This comes down to physics.

ويتعلق هذا الأمر بالفيزياء.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

فالخلية العصبية الحيوية، تنطلق، عند 200 هرتز، 200 ضعف في الثانية.

But even a present-day transistor operates at the Gigahertz.

بل إن الترانزستور الحديث يعمل بسرعة جيجا هرتز.

Neurons propagate slowly in axons, 100 meters per second, tops.

تتكاثر الخلا العصبية ببطىء في محاور عصبية، 100 متر في الثانية أو أكثر.

But in computers, signals can travel at the speed of light.

أما في الكمبيوتر، فإن الإشارات تنتقل بسرعة الضوء.

There are also size limitations,

كما أن هنالك حدود للأحجام،

like a human brain has to fit inside a cranium,

مثل المخ البشري لديه حدود داخل الجمجمة،

but a computer can be the size of a warehouse or larger.

أما الكمبيوتر فيمكن أن يكون بحجم مخزن أو أكبر.

So the potential for superintelligence lies dormant in matter,

ومن ثم فإن احتمالية الذكاء الصناعي تظل كامنه في المادة،

much like the power of the atom lay dormant throughout human history,

وهذا الأمر أشبه بالذرة الكامنة عبر التاريخ البشرية،

patiently waiting there until 1945.

والتي انتظرت بصبر حتى عام 1945.

In this century,

وفي هذا القرن،

scientists may learn to awaken the power of artificial intelligence.

فإن العلماء قد يتعلمون إيقاظ قوة الذكاء الصناعي.

And I think we might then see an intelligence explosion.

وإنني أعتقد أننا ربما نرى حينئذ انفجار الذكاء.

Now most people, when they think about what is smart and what is dumb,

والآن فإن معظم الأشخاص، عندما يفكرون بشأن ما الذكي وما هو الساذج،

I think have in mind a picture roughly like this.

فإنني أتصور أن الصورة في ذهني أشبه بهذا الأمر.

So at one end we have the village idiot,

ولدينا في أحد الطرفين قروي ساذج،

and then far over at the other side

وفي النهاية الأخرى البعيدة

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

لدينا (إيد ويتين)، أو (ألبرت أينشتين) أوأياً كان العبقري المفضل لديكم.

But I think that from the point of view of artificial intelligence,

ولكنني أعتقد أنه من وجهة نظر الذكاء الصناعي،

the true picture is actually probably more like this:

فإن الصورة الحقيقية هي أكثر واقعية مثل هذا:

AI starts out at this point here, at zero intelligence,

يبدأ الذكاء الصناعي في هذه النقطة هنا، نقطة صفر الذكاء،

and then, after many, many years of really hard work,

وحينها، وبعد الكثير، والكثير من الأعوام من العمل الجاد،

maybe eventually we get to mouse-level artificial intelligence,

فإننا قد نصل إلى مستوى ذكاء صناعي بمستوى الفأر،

something that can navigate cluttered environments

شيء يمكنه أن يتنقل عبر البيئات المتناثرة

as well as a mouse can.

مثلما يستطيع الفأر أن يفعل.

And then, after many, many more years of really hard work, lots of investment,

ثم بعد ذلك، وبعد أعوام كثيرة جدًا من العمل الجاد، والكثير من الاستثمارات،

maybe eventually we get to chimpanzee-level artificial intelligence.

فقد يمكننا بالنهاية أن نصل إلى ذكاء صناعي بمستوى الشمبانزي.

And then, after even more years of really, really hard work,

ثم بعد ذلك، وبعد أعوام كثيرة جدًا من العمل الجاد حقًا،

we get to village idiot artificial intelligence.

فسوف نصل إلى ذكاء صناعي بمستوى القروي الساذج.

And a few moments later, we are beyond Ed Witten.

وبعد بعض الوقت، فإننا سوف نصل إلى (إيد ويتين).

The train doesn't stop at Humanville Station.

ولا تتوقف المسيرة في محطة (هيومان فيل).

It's likely, rather, to swoosh right by.

بل ستحدث إنطلاقة مدوية.

Now this has profound implications,

والآن فإن هذا ينطوي على تأثيرات عميقة،

particularly when it comes to questions of power.

لاسيما عندما يتعلق الأمر بالقوة.

For example, chimpanzees are strong --

فمثلاً، فإن الشمبانزي قوي

pound for pound, a chimpanzee is about twice as strong as a fit human male.

وبمقياس رطل لكل رطل، فإن الشمبانزي أقوى مرتان من ذكر الإنسان.

And yet, the fate of Kanzi and his pals depends a lot more

ومع ذلك، فإن مصير (لكانزي) وأقرانه يعتمد على الكثير

on what we humans do than on what the chimpanzees do themselves.

مما نفعله نحن البشر بخلاف ما يفعله الشمبانزي بنفسه.

Once there is superintelligence,

وبمجرد وجود الذكاء الصناعي،

the fate of humanity may depend on what the superintelligence does.

فإن مصير الإنسانية قد يعتمد على ما يفعله الذكاء الصناعي.

Think about it:

فكر في هذا الأمر:

Machine intelligence is the last invention that humanity will ever need to make.

ذكاء الآلة هو أحد آخر الابتكارات التي تحتاج إليها الإنسانية.

Machines will then be better at inventing than we are,

فاللآلات حينها سوف تكون أفضل في الاختراعات عنا.

and they'll be doing so on digital timescales.

وسوف تفعل ذلك وفق جدول زمني رقمي.

What this means is basically a telescoping of the future.

إن هذا يعني نظرة استشرافية على المستقبل.

Think of all the crazy technologies that you could have imagined

فكروا في كل التكنولوجيا العجيبة حسبما يمكنكم تخيله

maybe humans could have developed in the fullness of time:

فلربما استطاع الإنسان التطور بعد مرور ما يكفي من الزمن:

cures for aging, space colonization,

علاج الشيخوخة، واحتلال الفضاء،

self-replicating nanobots or uploading of minds into computers,

واليرقات النانونية القابلة للنسخ ذاتيًا أو تحميل العقول إلى أجهزة الكمبيوتر.

all kinds of science fiction-y stuff

كافة الأنواع من الخيال العلمي

that's nevertheless consistent with the laws of physics.

التي لم تتوافق بعد مع مع قوانين الفيزياء.

All of this superintelligence could develop, and possibly quite rapidly.

كل هذا الذكاء الفائققد يتطور، ويمكن أن يكون ذلك سريعًا.

Now, a superintelligence with such technological maturity

والآن، فإن الذكاء الصناعي مع النضوج الهائل للتكنولوجيا

would be extremely powerful,

قد يكون قويًا للغاية،

and at least in some scenarios, it would be able to get what it wants.

وفي أضعف الحالات، فسوف يمكنه أن يحصل على ما يريد.

We would then have a future that would be shaped by the preferences of this A.I.

وبالتالي سيكون لدينا مستقبلاً يشكله تفضيلات هذا الذكاء الصناعي.

Now a good question is, what are those preferences?

والآن السؤال الوجيه هو، ما هي هذه التفضيلات؟

Here it gets trickier.

إن هذا أمر مثير للغاية.

To make any headway with this,

لكي يتم إحراز تقدم في هذا،

we must first of all avoid anthropomorphizing.

فيجب أولاً أن نتجنب أن نرجعالسبب إلى تصرفات البشر.

And this is ironic because every newspaper article

حيث إن هذا الأمر يثير السخرية نظرًا لأن كل مقال في جريدة

about the future of A.I. has a picture of this:

يتعلق بشأن مستقبل الذكاء الصناعي يرسم هذه الصورة:

So I think what we need to do is to conceive of the issue more abstractly,

ومن ثم فإنني أعتقد أن ما نحتاج إلى القيام به هو أن ننظر إلى الموضوع بتجرد،

not in terms of vivid Hollywood scenarios.

وليس مثل سيناريوهات هوليود المثيرة.

We need to think of intelligence as an optimization process,

إننا بحاجة إلى أن نفكر بالذكاء كعملية للتحسين،

a process that steers the future into a particular set of configurations.

عملية توجه المستقبل إلىمجموعة معينة من عمليات التهيئة.

A superintelligence is a really strong optimization process.

الذكاء الفائق هو عملية تحسين قوية في الواقع.

It's extremely good at using available means to achieve a state

وهو مفيد للغاية لاستخدام الوسائل المتاحة لتحقيق حالة

in which its goal is realized.

يتم فيها تحقيق الهدف الخاص بها.

This means that there is no necessary connection between

وهذا يعني عدم وجود تواصل ضروري بين

being highly intelligent in this sense,

أن تكون ذكيًا جدًا بهذا المفهوم،

and having an objective that we humans would find worthwhile or meaningful.

وبين أن يكون لدينا هدف كبشر نبحث عن أن يكون جدير بالاهتمام أو له معنى.

Suppose we give an A.I. the goal to make humans smile.

لنفترض أننا أعطينا الذكاء الصناعي هدفًا لكي يصنع ابتسامة بشرية.

When the A.I. is weak, it performs useful or amusing actions

فعندما يكون الذكاء الصناعي ضعيفًا، فيقوم بحركات مفيدة أو مذهلة

that cause its user to smile.

تجعل مستخدمه يبتسم.

When the A.I. becomes superintelligent,

فعندما يصبح الذكاء الصناعي ذكاءً فائقًا،

it realizes that there is a more effective way to achieve this goal:

فإنه يدرك أن هنالك طريقة أكثر فعالية لتحقيق هذا الهدف:

take control of the world

السيطرة على العالم

and stick electrodes into the facial muscles of humans

ومن ثم يبدأ في وضع أقطاب كهربائة في عضلات وجه الإنسان

to cause constant, beaming grins.

لكي يجعله يطلق ابتسامات ثابتة عريضة.

Another example,

ومثال آخر،

suppose we give A.I. the goal to solve a difficult mathematical problem.

لنفترض أننا أعطينا الذكاء الصناعي الهدف لحل مسألة رياضية صعبة.

When the A.I. becomes superintelligent,

فعندما يصبح الذكاء الصناعي ذكاءً فائقًا،

it realizes that the most effective way to get the solution to this problem

فإنه سيتعرف على الطريقة الأكثر فعالية للحصول على حل لهذه المسألة

is by transforming the planet into a giant computer,

وبالتالي فإن هذا بمثابة تحويل الكوكب إلى كمبيوتر عملاق،

so as to increase its thinking capacity.

من أجل زيادة قدرته على التفكير.

And notice that this gives the A.I.s an instrumental reason

وعلينا أن نلاحظ أن هذا يعطي الذكاء الصناعي سببًا وجيهًا

to do things to us that we might not approve of.

للقيام بأشياء لنا قد لا نوافق عليها.

Human beings in this model are threats,

ففي هذا النموذج يصبح الإنسان مصدر تهديد،

we could prevent the mathematical problem from being solved.

حيث يمكننا أن نمنع حل المسألة الرياضية.

Of course, perceivably things won't go wrong in these particular ways;

وبالطبلع، فإن الأمور لن تخرج عن مسارها في هذه الطرق المحددة؛

these are cartoon examples.

فهي أمثلة ساذجة للغاية.

But the general point here is important:

ولكن النقطة العامة هنا هامة للغاية:

if you create a really powerful optimization process

فإذا قمنا بإنشاء عملية تحسين قوية بالفعل

to maximize for objective x,

لزيادة قدرة الهدف (×)،

you better make sure that your definition of x

فعلينا أن نتأكد بشكل أفضل من تعريف الهدف (×)

incorporates everything you care about.

وهذا يشتمل على كل شيء نهتم لأجله.

This is a lesson that's also taught in many a myth.

وهذا هو الدرس الذي يتم تعلمه من الأسطورة.

King Midas wishes that everything he touches be turned into gold.

فالملك "ميداس" كان يأمل في أن كل شيء يلمسه يتحول إلى ذهب.

He touches his daughter, she turns into gold.

فلمس ابنته فتحولت إلى ذهب.

He touches his food, it turns into gold.

ولمس طعامه، فتحول إلى ذهب.

This could become practically relevant,

ويمكن أن يكون هذا الأمر وثيق الصلة عمليًا،

not just as a metaphor for greed,

وليس مجرد كناية عن الطمع،

but as an illustration of what happens

بل إنه توضيح لما يحدث

if you create a powerful optimization process

إذا قمنا بإنشاء عملية تحسين قوية

and give it misconceived or poorly specified goals.

وقمنا بإعطائها أهدافًا أُسيء فهمها أو محددة بشكل غير جيد.

Now you might say, if a computer starts sticking electrodes into people's faces,

والآن قد تقولون، إذا بدأ الكمبيوتر في وضع أقطاب كهربائية في وجه البشر،

we'd just shut it off.

فيمكننا أن نقوم بإطفائه.

A, this is not necessarily so easy to do if we've grown dependent on the system --

أولاً، إن هذا الأمر ليس سهلاً لاسيما إذا أصبحنا نعتمد على النظام .

like, where is the off switch to the Internet?

مثلاً، أين يوجد مفتاح إطفاء الإنترنت؟

B, why haven't the chimpanzees flicked the off switch to humanity,

ثانيًا، لماذا لم يتوقف الشمبانزي عن التطور إلى بشر،

or the Neanderthals?

أوالبشر البدائيّون؟

They certainly had reasons.

لقد كان لديهم سبب بالتأكيد.

We have an off switch, for example, right here.

إن لدينا مفتاح إطفاء، مثلاً، هنا.

(Choking)

(خنق)

The reason is that we are an intelligent adversary;

يكمن السبب في أننا عدو ذكي؛

we can anticipate threats and plan around them.

حيث يمكننا توقع التهديدات ونخطط للتعامل معها.

But so could a superintelligent agent,

وهكذا يستطيع العميل الفائق الذكاء أن يفعل،

and it would be much better at that than we are.

بل وبطريقة أفضل عما يمكننا القيام به.

The point is, we should not be confident that we have this under control here.

فالمغزى من هذا، يتمثل في أنه يجب ألا نثق في أن هذا الأمر تحت سيطرتنا.

And we could try to make our job a little bit easier by, say,

ويجب أن نحاول أن نجعل من مهمتنا أيسر، من خلال،

putting the A.I. in a box,

وضع الذكاء الصناعي في صندوق،

like a secure software environment,

وذلك مثل بيئات البرمجيات،

a virtual reality simulation from which it cannot escape.

وهي محاكاة وهمية للواقع لا يمكنه الإفلات منه.

But how confident can we be that the A.I. couldn't find a bug.

ولكن ما مدى ثقتنا في أن الذكاء الصناعي لا يمكنه أن يجد ثغرة.

Given that merely human hackers find bugs all the time,

على اعتبار أن قراصنة الكمبيوتر يجدون ثغرات دائمًا،

I'd say, probably not very confident.

وأود أن أقول، يجب ألا نكون واثقين للغاية.

So we disconnect the ethernet cable to create an air gap,

وبالتالي يجب أن نقوم بفصل كابل الإيثيرنت لكي نعمل على إيجاد ثغرة في المجال،

but again, like merely human hackers

ومرة أخرى، مثلما يفعل قراصنة الكمبيوتر

routinely transgress air gaps using social engineering.

فسوف يتم التسلسل عبر هذه الثغرات باستخدام الهندسة الاجتماعية.

Right now, as I speak,

وحتى الآن، فمثلما تحدثت،

I'm sure there is some employee out there somewhere

فإنني واثق من أنه توجد إحدى الموظفات

who has been talked into handing out her account details

التي تتحدث دائمًا عن إعطاء تفاصيل حسابها

by somebody claiming to be from the I.T. department.

إلى شخص ما يدعي أنه من إدارة تكنولوجيا المعلومات.

More creative scenarios are also possible,

كما توجد سيناريوهات أكثر إبداعًا،

like if you're the A.I.,

كأن تكون أنت الذكاء الصناعي

you can imagine wiggling electrodes around in your internal circuitry

لك أن تتخيل وضع أقطاب كهربائية داخل أجهزتك الداخلية

to create radio waves that you can use to communicate.

لإيجاد موجات لاسلكية يمكنك استخدامها في التواصل.

Or maybe you could pretend to malfunction,

أو يمكنك التظاهر بالعطب،

and then when the programmers open you up to see what went wrong with you,

وعندما يقوم المبرجمون بفتح الغطاء من عليك لرؤية ماذا حدث لك،

they look at the source code -- Bam! --

فسوف ينظرون إلى كود المصدر

the manipulation can take place.

يمكن أن يحدث تلاعب.

Or it could output the blueprint to a really nifty technology,

أو من الممكن تعديل المخطط إلى تكنولوجيا متطورة للغاية،

and when we implement it,

وعندما نقوم بتنفيذها،

it has some surreptitious side effect that the A.I. had planned.

وهو يحتوي على بعض الآثار الجانبية السلبية التي خطط لها الذكاء الصناعي.

The point here is that we should not be confident in our ability

والمغزى هُنا هو أنه يجب ألا يكون لدينا ثقة مطلقة في قدرتنا

to keep a superintelligent genie locked up in its bottle forever.

على الاحتفاظ بقدرات الذكاء الصناعي للغاية ضمن حدود السيطرة.

Sooner or later, it will out.

فأجلاً أم عاجلاً، سوف ينطلق بقوة.

I believe that the answer here is to figure out

وإنني أعتقد أن الإجابة هُنا تتمثل

how to create superintelligent A.I. such that even if -- when -- it escapes,

في معرفة كيف أن الذكاء الصناعي مثل هذا حتى عندما ينطلق،

it is still safe because it is fundamentally on our side

فسوف يظل آمنًا نظرًا لأنه إلى جانبنا بشكل متأصل

because it shares our values.

حيث إنه يتشارك القيم معنًا.

I see no way around this difficult problem.

وإنني لا أرى ثمة طريقة أخرى للتعامل مع هذه المشكلة العصيبة.

Now, I'm actually fairly optimistic that this problem can be solved.

والآن، فإنني متفائل إلى حد ما بأن هذه المشكلة يمكن أن يتم حلها.

We wouldn't have to write down a long list of everything we care about,

حيث إنه لا يتعين علينا أن نكتب قائمة طويلة بكل شيء نهتم لأجله،

or worse yet, spell it out in some computer language

أو الأسوأ، أن نقوم بتهجئته في بعض لغات البرمجة

like C++ or Python,

مثل (++C) أو( بيثون)،

that would be a task beyond hopeless.

حيث إنها ستكون مهمة خارج حدود المأمول.

Instead, we would create an A.I. that uses its intelligence

وبدلاً عن ذلك، فيمكننا أن نقوم بإنشاء ذكاء صناعي يستخدم ذكاؤه

to learn what we value,

لتعلم القيم التي نقدرها،

and its motivation system is constructed in such a way that it is motivated

ويتم بناء نظامه التحفيزي بطريقة تنطوي على التحفيز

to pursue our values or to perform actions that it predicts we would approve of.

لمواصلة قيمنا أو للقيام بإجراءات تتوقع ما نتفق معه.

We would thus leverage its intelligence as much as possible

وبالتالي فإننا نعزز من ذكاءه بأكبر قدر ممكن

to solve the problem of value-loading.

لحل مشكلة تحميل القيم.

This can happen,

ويمكن أن يحدث هذا،

and the outcome could be very good for humanity.

ويمكن أن تكون النتيجة جيدة جدًا للإنسانية.

But it doesn't happen automatically.

ولكن هذا لا يحدث من تلقاء نفسه.

The initial conditions for the intelligence explosion

إن هذه الشروط الأولية لانفجار الذكاء

might need to be set up in just the right way

قد تكون بحاجة إلى أن يتم إعدادها بالطريقة الصحيحة

if we are to have a controlled detonation.

إذا أردنا الحصول على انفجار تحت السيطرة.

The values that the A.I. has need to match ours,

قيمنا التي يتعين على الذكاء الصناعي أن يتوافق معها،

not just in the familiar context,

وليس مجرد السياق الشائع،

like where we can easily check how the A.I. behaves,

مثل أينما نتحقق بسهولة من تصرف الذكاء الصناعي،

but also in all novel contexts that the A.I. might encounter

ولكن في كافة السياقات الجديدة التي قد يواجهها الذكاء الصناعي

in the indefinite future.

في المستقبل المحتوم.

And there are also some esoteric issues that would need to be solved, sorted out:

كما توجد كذلك بعض المشاكل الخفية التي تحتاج إل حل، والتعامل معها:

the exact details of its decision theory,

التفاصيل الدقيقة لنظرية القرار الخاص به،

how to deal with logical uncertainty and so forth.

كيفية التعامل مع عدم التأكد المنطقي وما إلى ذلك.

So the technical problems that need to be solved to make this work

وبالتالي فالمشاكل الفنية التي تحتاج إلى حل لكي يعمل هذا

look quite difficult --

تبدو أكثر صعوبة

not as difficult as making a superintelligent A.I.,

ولكنها ليست صعبة بنفس كيفية صنع الذكاء الصناعي فائق الذكاء،

but fairly difficult.

ولكنها صعبة إلى حد ما.

Here is the worry:

وهنا يكمن القلق:

Making superintelligent A.I. is a really hard challenge.

حيث إن جعل الذكاء الصناعي ذكاءً فائقًا يمثل تحديًا صعبًا للغاية.

Making superintelligent A.I. that is safe

ومن ثم فإن جعل الذكاء الصناعي عبارة عن فائق بشكل آمن

involves some additional challenge on top of that.

يتطلب بعضًا من التحديات على قائمة أولوياته.

The risk is that if somebody figures out how to crack the first challenge

فالخطورة تتأتى عندما يتصور شخص ما كيفية التغلب على أول تحد

without also having cracked the additional challenge

بدون التعامل مع التحديات الإضافية

of ensuring perfect safety.

الخاصة بضمان سلامة مثالية.

So I think that we should work out a solution

ولذا فإنني أعتقد أنه ينبغي أن نعمل على إيجاد حل

to the control problem in advance,

لمشكلة السيطرة مقدمًا،

so that we have it available by the time it is needed.

وبالتالي يكون هذا الحل متاحًا عندما نحتاج إليه.

Now it might be that we cannot solve the entire control problem in advance

والآن فربما يبدو الأمر أنه لا يمكننا حل مشكلة السيطرة مقدمًا

because maybe some elements can only be put in place

نظرًا لأنه يمكن فقط وضع بعض العناصر في محلها

once you know the details of the architecture where it will be implemented.

بمجرد أن نعرف تفاصيل التركيبة التي سوف يتم تنفيذها.

But the more of the control problem that we solve in advance,

ولكن كلما استطعنا حل مشكلة السيطرة مقدمًا،

the better the odds that the transition to the machine intelligence era

كانت الاحتمالات أفضل في الانتقال إلى حقبة الآلة

will go well.

بشكل سلسل.

This to me looks like a thing that is well worth doing

إن هذا يبدو بالنسبة لي مثل شيء يجدر القيام به

and I can imagine that if things turn out okay,

وأستطيع أن أتخيل أنه إذا صارت الأمور بشكل جيد،

that people a million years from now look back at this century

فإن الناس بعد ملايين السنوات من الآن سوف ينظرون إلى هذا القرن

and it might well be that they say that the one thing we did that really mattered

وقد يستحسنون قول لقد كان أهم شيء قمنا به

was to get this thing right.

هو أننا فعلنا هذا بالشكل الصحيح.

Thank you.

شكرًا لكم.

(Applause)

(تصفيق)