3 principles for creating safer AI | Stuart Russell

المترجم: Muhammad Arafat

This is Lee Sedol.

أمامَكُم لي سيدول.

Lee Sedol is one of the world's greatest Go players,

لي سيدول هو واحدٌ من أفضلِ لاعبي لُعبةِ "غو" على مستوى العالم

and he's having what my friends in Silicon Valley call

وهو يمرّ بما يدعوه أصدقائي في سيليكون فالي

a "Holy Cow" moment --

بلحظةِ "يا للهول!"

(Laughter)

a moment where we realize

(ضحك)

هيَ لحظةٌ نُدرِكُ عندها

that AI is actually progressing a lot faster than we expected.

بأنّ تقنيّات الذكاء الاصطناعي تتطوّر بسرعة أكبرَ بكثيرٍ ممّا توقعنا.

So humans have lost on the Go board. What about the real world?

إذاً فقد خسرَ البشرُ في لعبةِ "غو" لكِنْ ماذا عنِ العالمِ الواقعيّ؟

Well, the real world is much bigger,

العالمُ الواقعيّ حقيقةً، أكبرُ بكثيرٍ

much more complicated than the Go board.

و أشدُّ تعقيداً مِنْ لُعبةِ "غو".

It's a lot less visible,

صحيحٌ بأنّهُ أقلُّ وضوحاً

but it's still a decision problem.

لكنّه يُصنّفُ أيضاً كقضيّةِ اتخاذِ قرارات.

And if we think about some of the technologies

ولو نظرنا إلى بعضِ التّقنياتِ

that are coming down the pike ...

التي ظهرتْ على السّاحةِ مؤخّراً

Noriko [Arai] mentioned that reading is not yet happening in machines,

فإنَّ نوريكو أراي قالت أن الآلات لا تستطيع القراءة بعد

at least with understanding.

على الأقل على مستوى الفهم.

But that will happen,

لكن هذا سيحصل،

و حينما يحصلُ ذلك،

and when that happens,

very soon afterwards,

لَنْ تستغرِقَ طويلاً،

machines will have read everything that the human race has ever written.

قبلَ أَنْ تقرأَ وتفهمَ كلَّ ما توصّل إليهِ البشرُ مِن عِلم.

And that will enable machines,

و هذا ما سيُمكِّنها،

along with the ability to look further ahead than humans can,

باستخدامِ قُدُراتِها الهائلةِ في حسابِ الاحتمالاتِ المستقبليّة،

as we've already seen in Go,

كما رأينا لتوّنا في لعبةِ "غو"،

if they also have access to more information,

إنْ تمكّنت من الوصولِ إلى المزيدِ من المعلومات،

they'll be able to make better decisions in the real world than we can.

من اتّخاذِ قراراتٍ أكثرَ منطقيّةً من قراراتنا في العالمِ الواقعيّ.

So is that a good thing?

إذاً، هل هذا شيءٌ جيّد؟

Well, I hope so.

أتمنّى ذلكَ حقيقةً.

Our entire civilization, everything that we value,

الحضارةُ البشريّةُ بأكملها و كلّ شيءٍ ذو قيمةٍ لدينا

is based on our intelligence.

تمَّ بفضلِ ذكائنا نحن.

And if we had access to a lot more intelligence,

وإنْ تمكنّا من الحصولِ على ذكاءٍ أكثر،

then there's really no limit to what the human race can do.

لن يكونَ حينها هناكَ شيءٌ لن يستطيعَ البشرُ القيامَ به.

And I think this could be, as some people have described it,

وأعتقدُ بأنّ إنجازاً كَهذا منَ الممكنِ أن يُصنّف كما وصفهُ البعضُ

the biggest event in human history.

كأعظمِ إنجازٍ في تاريخِ البشريّة.

So why are people saying things like this,

لماذا يقولُ بعضُ الأشخاصِ إذاً أشياءَ كهذه:

that AI might spell the end of the human race?

بأنّ الذكاءَ الاصطناعيَّ سيقضي على الجنسِ البشريّ؟

Is this a new thing?

هل ظهرت هذهِ الفكرةُ من جديد؟

Is it just Elon Musk and Bill Gates and Stephen Hawking?

هل هي مجرّد فكرةٍ يؤمنُ بها كلٌّ من إيلون ماسك، بيل غيتس، وستيفن هوكنغ؟

Actually, no. This idea has been around for a while.

حقيقةً لا، هذه الفكرةُ موجودةٌ منذ زمنٍ بعيد.

Here's a quotation:

وسأعرِضُ لَكُم مقولةً شهيرة:

"Even if we could keep the machines in a subservient position,

"حتى ولوّ تمكّنا من إبقاءِ الآلاتِ تحتَ سيطرتنا"

for instance, by turning off the power at strategic moments" --

"عبرَ إطفاءِها مثلاً حينما يلزمُ الأمر"

and I'll come back to that "turning off the power" idea later on --

وسأعودُ لاحقاً لهذهِ الفكرة -قطع مصدر الطاقة عن الآلة-

"we should, as a species, feel greatly humbled."

"علينا كبشر أن نشعر بالتواضع."

So who said this? This is Alan Turing in 1951.

مقولةُ من هذه إذاً؟ إنّها مقولةُ آلان تورينغ، عامَ 1951

Alan Turing, as you know, is the father of computer science

آلان تورينغ كما نعلمُ جميعاً هو مؤسّسُ علومِ الحاسب

and in many ways, the father of AI as well.

والأبُ الروحيّ للذكاءِ الاصطناعيِّ كذلك.

So if we think about this problem,

إنْ فكّرنا إذاً في هذهِ القضيّة،

the problem of creating something more intelligent than your own species,

قضيّةُ صُنعِ شيءٍ أكثرَ ذكاءً ممّا أنتَ عليه

we might call this "the gorilla problem,"

قد نجد "قضيّة الغوريلا" اسماً مناسباً لها،

because gorillas' ancestors did this a few million years ago,

لأنَّ أجدادَ الغوريلا قاموا بهذا منذُ عدّةِ ملايينِ سنة،

and now we can ask the gorillas:

لِمَ لا نستشيرُ الغوريلّا إذاً:

Was this a good idea?

هَل كانتْ هذهِ فكرةً جيّدة؟

So here they are having a meeting to discuss whether it was a good idea,

وها هُم يتباحثون فيما بينهم ليُقدّموا لّنا الإجابة،

and after a little while, they conclude, no,

ويبدو أنّ إجابتهم بالإجماعِ هيَ:

this was a terrible idea.

"لا! لقد كانت فكرةً فظيعة!"

Our species is in dire straits.

"نحنُ في حالةٍ يُرثى لها."

In fact, you can see the existential sadness in their eyes.

يمكننا حقيقةً رؤيةُ التعاسةِ جيّداً في أعينهم.

(Laughter)

(ضحك)

So this queasy feeling that making something smarter than your own species

ويبدو بأنّه قد حانَ دورنا لِنُحسَّ بأنَّ صُنعَ شيءٍ أذكى مِنّا

is maybe not a good idea --

قد لا يكونُ فكرةً سديدة --

what can we do about that?

لكن ما الحلّ حيالَ هذا؟

Well, really nothing, except stop doing AI,

حسنًا، لا شيء، ماعدا التوقفُ عن تطويرِ تقنيّات الذكاءِ الاصطناعي،

and because of all the benefits that I mentioned

ولكنْ نظراً للفوائدِ التي ذكرتُها

and because I'm an AI researcher,

ولأنني باحث في هذا المجال

I'm not having that.

فأنا لن أقبل بحلٍّ كهذا.

I actually want to be able to keep doing AI.

أودّ حقيقةً الاستمرارَ في تطويرِ هذهِ التقنيّات.

So we actually need to nail down the problem a bit more.

لذا أرى بأنّه علينا أنْ نكونَ أكثرَ وضوحاً.

What exactly is the problem?

ونجدَ المشكلةَ الحقيقيّة.

Why is better AI possibly a catastrophe?

لمَ قد يؤدّي تحسينُ هذه التقنياتِ إلى نتائجَ كارثيّة؟

So here's another quotation:

سأعرضُ لكم مقولةً أخرى:

"We had better be quite sure that the purpose put into the machine

"كانَ علينا أن نتأكد من أن المغزى من تصميم آلة

is the purpose which we really desire."

هو المغزى الذي نرجوه حقيقة"

This was said by Norbert Wiener in 1960,

هذا ما قالهُ نوربرت ويينر عامَ 1960،

shortly after he watched one of the very early learning systems

بعدَ مُشاهدتهِ أحدَ أوّل الآلاتِ الذكيّةِ

learn to play checkers better than its creator.

تتغلّبُ على مُخترعها في لعبةِ "تشيكرز".

But this could equally have been said

و لكنَّ الشيءَ ذاتهُ ينطبقُ على ماحصلَ

by King Midas.

للمَلِكِ مايدس.

King Midas said, "I want everything I touch to turn to gold,"

إذ قال الملكُ مايدس،" أريد أن يتحول كل ما ألمسه ذهبًا"

and he got exactly what he asked for.

وقد تحقَّقَت أمنيتهُ بحذافيرها.

That was the purpose that he put into the machine,

هذا هوَ ما صمّم آلتُه لتقومَ بهِ

so to speak,

إن صحّ التعبير،

and then his food and his drink and his relatives turned to gold

و هكذا تحوّل طعامُه و شرابه و حتى أقرباؤه، جميعهم إلى ذهب.

and he died in misery and starvation.

وماتَ في النهاية تعيساً جائعاً.

So we'll call this "the King Midas problem"

سنُسمّي هذه القضيّة إذاً بقضيّة الملك مايدس

of stating an objective which is not, in fact,

قضيّةُ تحديد هدفٍ

truly aligned with what we want.

لا يتماشى فعلًا مع ما نريده حقًا.

In modern terms, we call this "the value alignment problem."

و هي قضيّة نسمّيها أكاديميّاً بقضيّة توافقِ الأهداف.

Putting in the wrong objective is not the only part of the problem.

ولكن وضع أهداف خاطئة ليس الجزء الوحيد في المشكلة.

There's another part.

هنالِكَ جُزءٌ آخر.

If you put an objective into a machine,

إن وضعت هدفًا لآلة ما،

even something as simple as, "Fetch the coffee,"

لتقومَ بشيءٍ ولوّ كانَ ببساطةِ جلبِ القهوة،

the machine says to itself,

الآلةُ ستقولُ لنفسها،

"Well, how might I fail to fetch the coffee?

"ما الذي قد يُعيقني عن جلب القهوة؟"

Someone might switch me off.

"قد يقوم شخصٌ ما بإطفائي!"

OK, I have to take steps to prevent that.

"حسناً!" "سوف أمنع حصول هذا."

I will disable my 'off' switch.

"سوف أعطّل مفتاح إيقاف تشغيلي!"

I will do anything to defend myself against interference

"سأفعل أيّ شيءٍ يحفظُ لي مهمّتي"

with this objective that I have been given."

"لن أسمحَ لأحدٍ بِأنْ يمنعني من أدائها."

So this single-minded pursuit

هذا التفكيرِ الذاتي الذي قامت به الآلة،

in a very defensive mode of an objective that is, in fact,

بطريقة دفاعية محضة للدفاع عن هدف،

not aligned with the true objectives of the human race --

لا يتوافقُ مع الأهداف الحقيقية للجنس البشري --

that's the problem that we face.

هذه هي مشكلتنا التي نواجهها.

And in fact, that's the high-value takeaway from this talk.

في الواقع، هذهِ أهمّ فكرةٍ أودُّ مِنكم تذكُّرَها مِن هذه المحادثة.

If you want to remember one thing,

إن أردتم تذكّر شيءٍ وحيدٍ من حديثي، تذكروا التالي:

it's that you can't fetch the coffee if you're dead.

"لنْ تستطيعَ جلبَ القهوةِ لأحدٍ وأنتَ ميتْ."

(Laughter)

(ضحك)

It's very simple. Just remember that. Repeat it to yourself three times a day.

قاعدةٌ بمنتهى البساطة، صحيح؟ ردّدوها ثلاثَ مرّاتٍ يوميّاً.

(Laughter)

(ضحك)

And in fact, this is exactly the plot

في الواقع، هذا هوَ تماماً ماحصلَ

of "2001: [A Space Odyssey]"

في الفلمِ الشّهيرِ (2001: رحلةُ الفضاء)

HAL has an objective, a mission,

الحاسوبُ (هال) أرادَ قيادةَ المهمّةِ

which is not aligned with the objectives of the humans,

لكنّ هذا ليسَ تماماً ما أرادهُ البشرُ مِنه كحاسوب

and that leads to this conflict.

وأدّى هذا لِمُعارضةِ (هال) أوامرَ الطّاقَمْ.

Now fortunately, HAL is not superintelligent.

لِحُسن الحظِّ لم يَكُنْ (هال) خارقَ الذّكاء.

He's pretty smart, but eventually Dave outwits him

كانَ ذكيّاً فعلاً، ولكِنّ (ديف) كانَ أذكى مِنه

and manages to switch him off.

وتمكّن من إيقافهِ عن العمل.

But we might not be so lucky.

لكنّنا قد لا نكونُ مَحظوظينَ على الدّوام.

So what are we going to do?

ما الذي سنفعلهُ إذاً؟

أحاولُ حقيقةً أنْ أقومَ بإعادةِ تعريفِ الذّكاءِ الاصطناعي

I'm trying to redefine AI

to get away from this classical notion

بطريقةٍ تُنهي جميعَ الشكوكِ

of machines that intelligently pursue objectives.

حولَ إمكانيّةِ تمرُّدِ الآلاتِ ومحاولتها تحقيقَ أهدافِها الشخصيّة.

There are three principles involved.

سأعتمدُ إذاً على ثلاثِ مبادئَ أساسيّة

The first one is a principle of altruism, if you like,

وأوّل مبدأٍ هوَ مبدأُ الإيثار

that the robot's only objective

بأنْ يكونَ الهدفُ الوحيدُ للرّوبوتِ هوَ

is to maximize the realization of human objectives,

أنْ يُحاولَ تحقيقَ أكبرِ قدرٍ ممكنٍ من أهدافِ البشر

of human values.

و مِنْ قيم البشريّة.

And by values here I don't mean touchy-feely, goody-goody values.

وبقيم البشريّةِ لستُ أعني تلكَ المثاليّاتِ البعيدةَ عن الواقع.

I just mean whatever it is that the human would prefer

بل أعني بها أيّ شيءٍ قد يفضل الإنسان

their life to be like.

أن تكون عليه حياته.

وهوَ ما ينتهكُ (قانونَ أزيموف)

And so this actually violates Asimov's law

that the robot has to protect its own existence.

بأنّه على الروبوتِ حمايةُ حياتهِ الشخصيّة.

It has no interest in preserving its existence whatsoever.

لايجبُ أنْ يهتمَّ الروبوتُ بهكذا أمورٍ مطلقاً.

The second law is a law of humility, if you like.

أمّا المبدأ الثاني فَهوَ مبدأُ التذلّلِ إنْ صحَّ التّعبير.

And this turns out to be really important to make robots safe.

وهوَ مهمٌّ للغايةِ لإبقاءِ الروبوتاتِ آمنة.

It says that the robot does not know

و ينُصُّ على أنَّ الروبوتَ لا يعلمَ

what those human values are,

بحقيقةِ المنافعِ التي سيحقّقها للبشريّةِ

so it has to maximize them, but it doesn't know what they are.

ولكنّهُ سيعملُ على تحقيقِ أكبرِ قدرٍ منها لكنه لا يعلم ماهيتها.

And that avoids this problem of single-minded pursuit

وهوَ ماسيوقفهُ عن اتّخاذِ قراراتهِ الخاصةِ

of an objective.

حولَ الهدفِ الموكلِ إليه.

This uncertainty turns out to be crucial.

إذ أن عدم اليقين يبدو أمرًا بالغ الأهمية.

Now, in order to be useful to us,

لكنْ لكيّ يكونَ الروبوتُ مفيداً لنا

it has to have some idea of what we want.

لابدّ مِنْ أنْ يمتلكَ فكرةً عمّا نريده.

It obtains that information primarily by observation of human choices,

ستسكتشِفُ الروبوتاتُ مانريدهُ مِنها عبرَ مراقبةِ سلوكِنا

so our own choices reveal information

فاختياراتنا الشخصية ستعطي معلومات

about what it is that we prefer our lives to be like.

عما نفضّلُ أن تكون حياتنا عليه.

So those are the three principles.

هذه هيَ إذاً المبادئُ الثلاثة.

Let's see how that applies to this question of:

لنرى سويّةً كيفَ يمكنُ تطبيقُ هذه المبادئ

"Can you switch the machine off?" as Turing suggested.

على فكرة "قطع الطاقة عن الروبوت" التي اقترحها (تيورنغ).

So here's a PR2 robot.

إذاً، سأقدّم إليكُم الرّوبوت (PR2)

This is one that we have in our lab,

الذي نمتلكهُ في مختبرنا للأبحاث.

and it has a big red "off" switch right on the back.

ولديه كما ترونَ زرُّ إطفاءِ تشغيلٍ أحمرُ كبيرٌ على ظهره.

The question is: Is it going to let you switch it off?

والسّؤال هوَ: هل سيسمحُ الروبوتُ لكَ بضغطِ هذا الزرّ؟

If we do it the classical way,

إنْ تخيّلنا الموضوعَ كالمُعتاد

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

أنْ نخبرهُ بأنْ يجلبَ القهوةَ ويفكّر: "يجب أن أجلب القهوة بأيّ ثمن"

I can't fetch the coffee if I'm dead,"

"لكنني لن أستطيعَ جلبَ القهوةِ لأحدٍ وأنا ميت"

so obviously the PR2 has been listening to my talk,

من الواضح أنَّ الروبوتَ كانَ يُشاهدُ هذه المحادثة،

and so it says, therefore, "I must disable my 'off' switch,

وبالتّالي سيقرّرُ الروبوت: "سأعطّلُ زرَّ إطفاءِ تشغيلي إذاً!"

and probably taser all the other people in Starbucks

"سأصعقُ أيضاً الجميعَ في (ستارباكس)

who might interfere with me."

"لأنّهم قد يقفونَ في طريقي لجلبِ القهوة!"

(Laughter)

(ضحك)

So this seems to be inevitable, right?

لايبدو بأنهُ هناكَ مفرٌّ من هذا، صحيح؟

This kind of failure mode seems to be inevitable,

لايبدو بأنّ تجنّبَ أخطاءٍ كهذهِ أمرٌ ممكن

and it follows from having a concrete, definite objective.

وهذا لأنّ الروبوتَ لديه هدفٌ صريحٌ.

So what happens if the machine is uncertain about the objective?

لكنْ ماذا لَوْ جعلنا الروبوتَ أقلَّ ثقةً بصحّةِ فهمهِ للهدف؟

Well, it reasons in a different way.

سيفكّرُ حتماً عندها بطريقةٍ مختلفة.

It says, "OK, the human might switch me off,

سيقول لنفسه: "قد يقومُ البشرُ بإيقافِ تشغيلي"

but only if I'm doing something wrong.

"لكنّ ذلك سيحصلُ فقط إنْ فعلتُ شيئاً خاطئاً."

Well, I don't really know what wrong is,

"لكنّني لا أعلمُ ما الشيءُ الخاطئُ الذي قد أفعله"

but I know that I don't want to do it."

"أنا أعلمُ فقط بأنّني لاأريدُ فِعلَ شيءٍ خاطئ"

So that's the first and second principles right there.

وهذا تطبيقٌ للمبدأين الأوّل والثاني.

"So I should let the human switch me off."

"لذا منَ الأفضلِ أنْ أتركَهُ يُطفئني"

And in fact you can calculate the incentive that the robot has

ويمكننا رياضيّاً حسابُ مدى التقبّلِ الذي سيمتلكهُ الروبوت

to allow the human to switch it off,

لأنْ يقومَ البشرُ بإطفاءه.

and it's directly tied to the degree

وهذا مرتبط بشكل مباشر

of uncertainty about the underlying objective.

بمدى تأكّدِ الرّوبوتِ من فهمهِ للهدفِ من إطفاءه.

And then when the machine is switched off,

وهكذا تماماً من خلالِ إطفاءِ الرّوبوت،

that third principle comes into play.

يكونُ المبدأُ الثالثُ قد تحقق.

It learns something about the objectives it should be pursuing,

لأنّ الروبوتَ سيكونُ قد تعلّمَ مِن هذهِ التجربة

because it learns that what it did wasn't right.

بأنّهُ قد فعلَ شيئاً خاطئاً.

In fact, we can, with suitable use of Greek symbols,

و يمكننا حقيقةً باستعمالِ بعضِ الرّموز

as mathematicians usually do,

كما يفعلُ علماءُ الرياضيّاتِ عادةً

we can actually prove a theorem

أنْ نُثبتَ النظريّةَ القائلةَ

that says that such a robot is provably beneficial to the human.

بأنَّ روبوتاً كهذا سيكونُ حتماً مفيداً للإنسان.

You are provably better off with a machine that's designed in this way

وبأنَّ روبوتاً مصمّماً بهذهِ المعاييرِ سيكونُ حتماً أكثرَ فائدةً

than without it.

من روبوتٍ مصمّمٍ من دونها.

So this is a very simple example, but this is the first step

هذا مثالٌ بسيطٌ إذاً وهوَ الخطوةُ الأولى فقط

in what we're trying to do with human-compatible AI.

ممّا نحاولُ تحقيقهُ من خلالِ الذّكاءِ الاصطناعي المطابق للإنسان.

Now, this third principle,

الآنَ إلى المبدأ الثالث،

I think is the one that you're probably scratching your head over.

و الذي أظنّه يدفعكم للتفكير بحيرة.

You're probably thinking, "Well, you know, I behave badly.

تفكرون بالتالي: "و لكنني، كإنسانٍ أتصرّف بشكلٍ سيّء!"

I don't want my robot to behave like me.

"لا أريدُ للروبوتِ أنْ يقلّدني!"

I sneak down in the middle of the night and take stuff from the fridge.

"لا أريدهُ أنْ يتسللَ في اللّيلِ إلى المطبخِ ويأخُذَ طعاماً منَ الثلّاجة"

I do this and that."

"أنا أفعل أشياءَ سيّئة!"

There's all kinds of things you don't want the robot doing.

بالطّبعِ هناكَ أشياءٌ عدّةٌ لانرغبُ أنْ تقلّدنا الروبوتاتُ بها.

But in fact, it doesn't quite work that way.

لكنّي لم أعنِ هذا بالتعلّمِ من مراقبتنا

Just because you behave badly

فقط لأنّك تتصرف بشكلٍ سيّءٍ

doesn't mean the robot is going to copy your behavior.

لايعني بأنَّ الروبوتَ سيقومُ بتقليدِ تصرّفاتك.

It's going to understand your motivations and maybe help you resist them,

بل سيتفهّم دوافعكَ وربّما يساعدكَ في مقاومتها

if appropriate.

إنْ لزمَ الأمر.

But it's still difficult.

و لكنّ الأمرَ لايزالُ صعباً.

What we're trying to do, in fact,

مانحاولُ الوصولَ إليهِ حقيقةً

is to allow machines to predict for any person and for any possible life

هو جعلُ الآلاتِ قادرةً على اكتشافِ الحياةِ التي سيفضّلُ الشّخص أن يعيشها

that they could live,

كائناً من كان

and the lives of everybody else:

أيّاً تكن الحياة التي يريدُها

Which would they prefer?

مهما كانَ مايريده.

And there are many, many difficulties involved in doing this;

لكنّ عدداً هائلاً من المشاكل تواجهنا في تحقيق ذلك

I don't expect that this is going to get solved very quickly.

ولا أتوقّع بأنّ نستطيع حلّها جميعها في القريب العاجل.

The real difficulties, in fact, are us.

المشكلةُ الأصعبُ هي نحنُ للأسف.

As I have already mentioned, we behave badly.

فنحنُ نتصرّفُ بشكلٍ سيّءٍ كما ذكرتُ قبل قليل.

In fact, some of us are downright nasty.

و بعضُنا مؤذٍ للآخرين.

Now the robot, as I said, doesn't have to copy the behavior.

رغمَ هذا، لن يقومَ الروبوتُ بتقليدِ تصرّفاتنا السيّئة.

The robot does not have any objective of its own.

إذ ليست له أهداف شخصية خاصة.

It's purely altruistic.

فهو يؤثر الإيثار بطريقة صرفة.

And it's not designed just to satisfy the desires of one person, the user,

وهو ليس مصممًا لإرضاء شخص واحد، المستعمل،

but in fact it has to respect the preferences of everybody.

لكن على الروبوتِ حقيقةً أن يحترمَ ما يفضله الجميع.

So it can deal with a certain amount of nastiness,

سيكون بإمكانهِ مثلاً تقبّلُ انحرافٍ بسيطٍ عن الصواب

and it can even understand that your nastiness, for example,

و سيتفهّم بأنّك لستَ سيّئاً جداً

you may take bribes as a passport official

فقط لأنّكَ تحصُلَ على بعضِ الرشاوى كمسؤول جوازات سفر

because you need to feed your family and send your kids to school.

وأنَّ السببَ هوَ حاجتكُ لإطعامِ عائلتكَ ودفعِ أقساطِ المدرسةِ لأطفالك.

It can understand that; it doesn't mean it's going to steal.

سيفهم الروبوتُ هذا لكنّه لايعني بأنّه سيتعلّمُ السرقة.

In fact, it'll just help you send your kids to school.

سيساعدكَ الروبوتُ على إرسال أطفالك للمدرسة.

We are also computationally limited.

نحنُ البشرُ للأسفِ محدودونَ في قدراتنا الحسابيّة.

Lee Sedol is a brilliant Go player,

لي سيدول كان لاعبَ "غو" رائعاً،

but he still lost.

لكنّه خسر أمامَ حاسوب.

So if we look at his actions, he took an action that lost the game.

ولَو راجعنا تحركاتِه خلالَ المباراةِ لوجدنا حركةً خسرَ بسببها.

That doesn't mean he wanted to lose.

لكنّ ذلك لا يعني بأنّه قد خسرَ متعمّداً.

So to understand his behavior,

ولنفهمَ لمَ اختارَ هذهِ الحركةَ

we actually have to invert through a model of human cognition

علينا أن نقوم بمحاكاةٍ لتحرّكاته عبرَ نموذجٍ حاسوبيّ لعملِ الدّماغ البشريّ

that includes our computational limitations -- a very complicated model.

يلتزم بمحدّدات البشرِ الحسابيّة وهذا شيءٌ معقّدٌ للغاية.

But it's still something that we can work on understanding.

ولكنّه شيءٌ بإمكاننا العملُ على فهمه.

Probably the most difficult part, from my point of view as an AI researcher,

و برأيي كباحثٍ في مجال الذكاء الاصطناعي، إنَّ أصعبَ مشكلةٍ تواجهنا

is the fact that there are lots of us,

هي بأنّه هناك عددًا هائلًا من البشر،

and so the machine has to somehow trade off, weigh up the preferences

و هو ما سيُرغمُ الآلاتِ على المفاضلةِ بين الكثير من الخيارات

of many different people,

التي يريدها العديدُ من الأشخاصِ

and there are different ways to do that.

بطرقٍ عديدةٍ لتنفيذِ كلّ خيارٍ منهم.

Economists, sociologists, moral philosophers have understood that,

علماءُ الاقتصاد و باحثوا علم الإجتماع جميعهم يفهمون هذا،

and we are actively looking for collaboration.

ونحن نبحث جديًا عن التعاون في هذا الشأن.

Let's have a look and see what happens when you get that wrong.

دعونا نلقي نظرةً على ما قد يحدثُ حينما لا تسير الأمور على ما يرام.

So you can have a conversation, for example,

قد تمرّ بمحادثةٍ كهذهِ مثلاً

with your intelligent personal assistant

مع مساعدكَ الشخصيّ الذكيّ

that might be available in a few years' time.

والذي قد يتوفّرُ في الأسواقِ خلالَ بضعِ سنوات.

Think of a Siri on steroids.

نسخةٌ محسّنةٌ عن (سيري) مثلاً.

So Siri says, "Your wife called to remind you about dinner tonight."

تخبركَ (سيري) إذاً في المحادثةِ بأنَّ زوجتكَ قد اتصلت لتذكّركَ بعشائكما الليلة.

And of course, you've forgotten. "What? What dinner?

وبالتّأكيدِ أنتَ لا تذكرُ شيئاً كهذا: "ماذا! أيُّ عشاء!"

What are you talking about?"

"عمَّ تتحدثين؟!"

"Uh, your 20th anniversary at 7pm."

"عشاءُ السّابعةِ مساءً في ذكرى زواجكما العشرين."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"لا يمكنني الحضور! سألتقي بالأمينِ العامِّ عندَ السابعة والنصف!"

How could this have happened?"

"كيفَ حصلَ كلّ هذا؟"

"Well, I did warn you, but you overrode my recommendation."

"حذّرتكَ ولكِنْ، هذا مايحصلُ حينما تتجاهلُ نصائحي."

"Well, what am I going to do? I can't just tell him I'm too busy."

"حسناً ماذا سأفعلُ الآن؟ لايمكنني إخبارُ زوجتي بأنّي نسيتُ مناسبةً كهذه!"

"Don't worry. I arranged for his plane to be delayed."

"لا تقلق." "قمتُ بتأجيلِ موعدِ انطلاقِ طائرتها."

(Laughter)

(ضحك)

"Some kind of computer malfunction."

"افتعلتُ بعضَ الأعطالِ في حاسوبِ شركةِ الطّيران"

(Laughter)

(ضحك)

"Really? You can do that?"

"حقاً!" "بإمكانكِ فِعلُ أشياءَ كهذه!"

"He sends his profound apologies

"ترسلُ زوجتكُ اعتذارها العميق"

and looks forward to meeting you for lunch tomorrow."

"وتتطلّع للقاءكَ غداً على الغداء"

(Laughter)

(ضحك)

So the values here -- there's a slight mistake going on.

إذن فالقيم هنا -- يبدو إذاً بأنّهُ هناكَ خطأ طفيفًا

This is clearly following my wife's values

وعلى مايبدو، فإنّه يتّبع مبادئَ زوجتي

which is "Happy wife, happy life."

و التي هي: "أنت بخيرٍ مادامت زوجتك بخير."

(Laughter)

(ضحك)

It could go the other way.

يمكنُ كذلكَ أنْ يحصُلَ العكس.

You could come home after a hard day's work,

كأن تعودَ إلى المنزلِ بعدَ يومٍ مُتعِبٍ في العمل

and the computer says, "Long day?"

ويرحّب بِك الروبوت: "هل كانَ يوماً شاقاً؟"

"Yes, I didn't even have time for lunch."

"جدّاً! لدرجة أنّي لم أجد وقتاً لتناولِ الغداء."

"You must be very hungry."

"لابدّ من أنّك جائعٌ إذاً"

"Starving, yeah. Could you make some dinner?"

"أتضور جوعًا. هل بإمكانكِ تحضيرُ العشاء لي؟"

"There's something I need to tell you."

"هناكَ شيءٌ عليك معرفته."

(Laughter)

(ضحك)

"There are humans in South Sudan who are in more urgent need than you."

"هناكٌ أُناسٌ في جنوب السودانِ في حاجةٍ ملحّةٍ للطعامِ أكثرَ منكَ بكثير!"

(Laughter)

(ضحك)

"So I'm leaving. Make your own dinner."

"أنا ذاهب إلى هناك! اصنع طعامكَ بنفسك!"

(Laughter)

(ضحك)

So we have to solve these problems,

لذا، يجبُ أن نَحُلّ هذهِ المشاكل،

and I'm looking forward to working on them.

وأنا متحمّسٌ للعملِ عليهم.

There are reasons for optimism.

هناكَ أسبابٌ تدفعني للتفاؤل

One reason is,

و أحدُ هذه الأسباب:

there is a massive amount of data.

حجمُ البياناتِ الهائلُ الذي نمتلكهُ.

Because remember -- I said they're going to read everything

لأنَّ الروبوتاتِ كما أخبرتكم ستقرأُ كلّ شيءٍ

the human race has ever written.

قامَ البشرُ بكتابته.

ومعظمُ ما نكتبُ عنهُ هو قصصٌ عن أناسٍ يرتكبون أخطاءً

Most of what we write about is human beings doing things

وآخرين تزعجهم هذهِ الأخطاء.

and other people getting upset about it.

So there's a massive amount of data to learn from.

لذا ستتمكّن الروبوتاتُ منْ تعلّمِ كلِّ هذا.

There's also a very strong economic incentive

ولدينا كذلكَ دافعٌ اقتصاديٌّ كبيرٌ

لإتمامِ الأمرِ دونَ أخطاء.

to get this right.

So imagine your domestic robot's at home.

تخيّلو مثلاً روبوتَكم المنزليَّ

You're late from work again and the robot has to feed the kids,

وقد تأخرتم في عملكم مجدداً لكنَّ على الروبوتَ أن يطعم أبناءكم،

and the kids are hungry and there's nothing in the fridge.

والأطفال جائعون لكنّ الثلّاجةَ فارغة.

And the robot sees the cat.

سيبجثُ الروبوتُ عن أيِّ طعامٍ وسيرى القطة.

(Laughter)

(ضحك)

And the robot hasn't quite learned the human value function properly,

لكنّه لم يتعلّم بعدُ قِيَمَكُم الإنسانيّة جيّداً

so it doesn't understand

لذا لن يفهم

the sentimental value of the cat outweighs the nutritional value of the cat.

بأنَّ القيمة العاطفيّة للقطّةِ تفوقُ قيمتها الغذائيّة.

(Laughter)

(ضحك)

So then what happens?

ماذا سيحصل عندها؟

Well, it happens like this:

في الواقع، سينتهي الأمرُ هكذا:

"Deranged robot cooks kitty for family dinner."

"روبوتٌ مختلٌّ قامَ بطبخِ قطّة المنزلِ على العشاء"

That one incident would be the end of the domestic robot industry.

حادثٌ واحدٌ كهذا كفيلٌ بإنهاء صناعة الروبوتات المنزلية.

So there's a huge incentive to get this right

لهذا لدينا دافعٌ حقيقيٌّ لإتمام الأمرِ دون أخطاء

long before we reach superintelligent machines.

حتّى قبلَ أن نتمكّن من اختراعِ أيّ آلة خارقِة الذكاء.

So to summarize:

إذاً كخلاصةٍ لكلامي:

I'm actually trying to change the definition of AI

أنا أحاولُ بجديّةٍ تغييرَ تعريفِ الذّكاءِ الاصطناعي

so that we have provably beneficial machines.

بحيثُ يمكننا اختراعُ آلاتٍ ذاتَ فائدةٍ مثبتةٍ علميّاً.

And the principles are:

و ما أقترحهُ كتعريف:

machines that are altruistic,

آلاتٌ تؤثرُ دوماً مصلحةَ البشر،

that want to achieve only our objectives,

و تسعى لتحقيقِ أهدافنا فقط،

but that are uncertain about what those objectives are,

لكنّها ليست متأكّدةً من صحّةِ فهمها لهذهِ الأهداف،

and will watch all of us

لذا ستقومُ بمراقبتنا على الدوام

to learn more about what it is that we really want.

لكيّ تتعلّمَ أكثرَ عمّا نريدها أنْ تساعدنا فيهِ حقّاً.

And hopefully in the process, we will learn to be better people.

وآمُلُ أنْ نتعلّم نحنُ أيضاً مِنْ هذهِ التجاربِ كيفَ نصبحُ أناساً أفضل.

Thank you very much.

شكراً لكم.

(Applause)

(تصفيق)

Chris Anderson: So interesting, Stuart.

كريس أندرسون: هذا مشوّق جدّاً، ستيوارت.

We're going to stand here a bit because I think they're setting up

سنبقى على المنصّةِ قليلاً،

لأنهم بصدد الإعداد للمحادثة التالية.

for our next speaker.

A couple of questions.

لديَّ بعضُ الأسئلة:

So the idea of programming in ignorance seems intuitively really powerful.

إذن فكرة البرمجة عن جهل تببدو للوهلة الأولى رهيبةً.

As you get to superintelligence,

ونحن نتجه نحو الذكاء الخارق،

what's going to stop a robot

ما الذي سيمنع الروبوت

reading literature and discovering this idea that knowledge

من القراءةِ والتعلّمِ بأنّ المعرفةَ

is actually better than ignorance

أفضلُ من الجهلِ

and still just shifting its own goals and rewriting that programming?

وتظل في المقابل تحيد عن أهدافها الشخصية وتعيد صياغة تلك البرمجة؟

Stuart Russell: Yes, so we want it to learn more, as I said,

ستيوارت راسل: نريدُ حقيقةً كما قلت، أنْ تتعلّمَ هذهِ الآلاتُ أكثر،

about our objectives.

عن أهدافنا نحن.

It'll only become more certain as it becomes more correct,

وستكونُ أكثرَ ثقةً بصحّةِ معلوماتها فقط حينما تصبحُ أكثرَ دقّةً

so the evidence is there

فالدليل واضح هناك

and it's going to be designed to interpret it correctly.

وستكون مصممة لتفسيره بشكل صحيح.

It will understand, for example, that books are very biased

وسوفَ تفهمُ مثلاً بأنَّ بعضَ الكُتُبِ متحيّزةٌ جدا

in the evidence they contain.

حيال المعلوماتِ التي تحتويها.

They only talk about kings and princes

حيث لاتروي قصصاً سوى عن ملوكٍ أو أميراتٍ

and elite white male people doing stuff.

أو عن أبطال ذكور ذوي بشرة بيضاء يقومون بأشياء جميلة.

So it's a complicated problem,

لذا فهي مشكلةٌ معقّدةٌ،

but as it learns more about our objectives

لكنَّ الآلاتَ ستتعلّمُ أكثرَ عن أهدافنا في النهاية

it will become more and more useful to us.

وستصبحُ أكثرَ فائدةً لنا.

CA: And you couldn't just boil it down to one law,

ك.أ : ألم يكن بإمكانك أن تختصر هذا في قانون واحد،

you know, hardwired in:

كأنْ تزرعَ في دماغها مايلي:

"if any human ever tries to switch me off,

"إنْ حاولَ أيُّ إنسانٍ في أيّ وقتٍ أن يُطفِئني"

I comply. I comply."

"سأمتثل، سأمتثل."

SR: Absolutely not.

س.ر: بالتأكيد لا.

That would be a terrible idea.

ستكون تلك فكرة سيئة جدًا.

So imagine that you have a self-driving car

تخيّل مثلاً لو امتلكتَ سيّارةً ذاتيّةَ القيادةِ

and you want to send your five-year-old

وأردتَ أنْ تُرسلَ بها طفلكَ ذي الخمسة أعوامٍ

off to preschool.

إلى الروضة.

Do you want your five-year-old to be able to switch off the car

هل تريدُ أن يُطفئَ طِفلُك السيّارةَ

في منتصفِ الطّريق؟

while it's driving along?

بالتّأكيدِ لا.

Probably not.

لذا يجبُ أن تفهم الآلةُ دوافعَ الإنسانِ لإطفائها ومدى عقلانيّتهِ

So it needs to understand how rational and sensible the person is.

The more rational the person,

و كلّما كانَ الشخصُ منطقيّاً أكثر،

the more willing you are to be switched off.

كلّما كانت الآلةُ أكثرَ تقبّلاً لإيقافِ تشغيلها.

If the person is completely random or even malicious,

ولوّ كان الشخصُ غريباً أو بدا مُؤذياً،

then you're less willing to be switched off.

فلنْ تتقبّلَ الآلةُ أنْ يتمَّ إطفاؤها.

CA: All right. Stuart, can I just say,

ك. أ: حسناً، أودُّ أنْ أقولَ بأنّني

I really, really hope you figure this out for us.

أتمنّى حقّاً أنْ تخترعَ هذهِ الأشياء لنا قريباً

Thank you so much for that talk. That was amazing.

شكراً جزيلاً لكَ على هذه المحادثة لقد كانت مدهشة.

SR: Thank you.

(Applause)

س. ر: شكراً لك.

(تصفيق)