Will Superintelligent AI End the World? | Eliezer Yudkowsky | TED

المترجم: Shima Zadeh المدقّق: Mohamed Salem

Since 2001, I have been working on what we would now call

منذ عام 2001 وأنا أعمل على ما نسميه الآن

the problem of aligning artificial general intelligence:

مشكلة توجيه الذكاء الاصطناعي العام:

how to shape the preferences and behavior

كيف نشكل التَرجِيحات والسلوك

of a powerful artificial mind such that it does not kill everyone.

لعقل اصطناعي قوي بحيث لا يقتل الجميع؟

I more or less founded the field two decades ago,

لقد أسست هذا المجال منذ عقدين من الزمن تقريباً،

when nobody else considered it rewarding enough to work on.

عندما لم يعتبره أحد مجزي بما فيه الكفاية للعمل عليه.

I tried to get this very important project started early

حاولت أن أجعل هذا المشروع

المهم جداً يبدأ في وقت مبكر

so we'd be in less of a drastic rush later.

لنكون أقل عرضة لهَجمة عنيفة في وقت لاحق.

I consider myself to have failed.

وأنا أعتبر نفسي فشلت في ذلك.

(Laughter)

(ضحك)

Nobody understands how modern AI systems do what they do.

لا أحد يفهم كيف تقوم أنظمة الذكاء الاصطناعي الحديثة بعملها.

They are giant, inscrutable matrices of floating point numbers

إنها مصفوفات عملاقة وغامضة تتكون من اعداد الفاصلة المتحركة

that we nudge in the direction of better performance

التي ندفعها في اتجاه أداء أفضل

until they inexplicably start working.

حتى تبدأ العمل بطريقة غير مفهومة.

At some point, the companies rushing headlong to scale AI

وفي مرحلة ما، سيؤدي دفع الشركات بتهور لتوسيع نطاق الذكاء الاصطناعي

will cough out something that's smarter than humanity.

إلى إنتاج شيء ما أذكى من الإنسانية.

Nobody knows how to calculate when that will happen.

لا أحد يعرف كيفية حساب الوقت الذي سيحدث فيه ذلك.

My wild guess is that it will happen after zero to two more breakthroughs

تخميني العشوائي هو أن ذلك سيحدث بعد صفر إلى اثنين

من الاختراقات الأخرى بحجم المحولات.

the size of transformers.

What happens if we build something smarter than us

ماذا يحدث لو بنينا شيء أكثر ذكاء منا

that we understand that poorly?

و نفهمه بشكل ضئيل؟

Some people find it obvious that building something smarter than us

بعض الناس يجدون بوضوح أن بناء شيء أكثر ذكاء منا

that we don't understand might go badly.

و لا نفهمه قد يؤدي إلى نتائج سيئة.

Others come in with a very wide range of hopeful thoughts

ويؤمن البعض الآخر بمجموعة واسعة جدا من الأفكار المفعمة بالأمل

about how it might possibly go well.

حول كيف يمكن أن تسير الأمور على مايرام.

Even if I had 20 minutes for this talk and months to prepare it,

حتى لو كان لدي 20 دقيقة لهذه المحادثة وأشهر للتحضير لها،

I would not be able to refute all the ways people find to imagine

لن أكون قادرا على دحض كل الطرق التي يجدها الناس وتجعلهم يتخيلون

that things might go well.

أن الأمور قد تسير على ما يرام.

But I will say that there is no standard scientific consensus

ولكن سأقول أنه لا يوجد إجماع علمي موحد للكيفية التي يمكن بها

for how things will go well.

أن تسير الأمور على ما يرام.

There is no hope that has been widely persuasive

ليس هنالك أمل مقنع على نطاق واسع

and stood up to skeptical examination.

أو مواجهة للبحث المُشكك.

There is nothing resembling a real engineering plan for us surviving

لا يوجد شيء يشبه خطة هندسية حقيقية لبقائنا على قيد الحياة لأتمكن من انتقادها.

that I could critique.

This is not a good place in which to find ourselves.

هذا ليس مكانًا مناسباً لنفهم أنفسنا فيه.

If I had more time,

لو كان لدي المزيد من الوقت، لحاولت أن أحدثكم عن الأسباب المتوقعة

I'd try to tell you about the predictable reasons

why the current paradigm will not work

لماذا النموذج الحالي لن ينجح

to build a superintelligence that likes you

لبناء الذكاء الفائق الذي يحبك

or is friends with you, or that just follows orders.

أو يكون صديق لك أو يتبع الأوامر فقط؟

Why, if you press "thumbs up" when humans think that things went right

لماذا إذا نقرت على “أعجبني” عندما يعتقد البشر أن الأمور سارت على ما يرام

or "thumbs down" when another AI system thinks that they went wrong,

أو “لا يعجبني” عندما يعتقد نظام ذكاء اصطناعي آخر أنها سارت بشكل خاطئ ،

you do not get a mind that wants nice things

لا تحصل على عقل يريد أشياء لطيفة بطريقة تعمم جيدًا خارج

in a way that generalizes well outside the training distribution

توزيع التدريب إلى المكان الذي يكون فيه الذكاء الاصطناعي أكثر ذكاءً من المدربين؟

to where the AI is smarter than the trainers.

You can search for "Yudkowsky list of lethalities" for more.

يمكنك البحث عن “قائمة يودكوفسكي للفتك” لتعرف المزيد.

(Laughter)

(ضحك)

But to worry, you do not need to believe me

لكن ما يدعو للقلق، أنه ليس من الضروري أن تصدقني

about exact predictions of exact disasters.

بشأن التنبؤات الدقيقة للكوارث الدقيقة.

You just need to expect that things are not going to work great

عليك فقط أن تتوقع أن الأمور لن تسير على ما يرام

on the first really serious, really critical try

في أول محاولة جادة وحاسمة للغاية

because an AI system smart enough to be truly dangerous

لأن نظام الذكاء الاصطناعي ذكي بما فيه الكفاية ليكون خطير فعلاً

was meaningfully different from AI systems stupider than that.

كان ليختلف بشكل واضح عن أنظمة الذكاء الاصطناعي الأغبى من ذلك.

My prediction is that this ends up with us facing down something smarter than us

توقعاتي هي أن هذا سينتهي بنا بمواجهة شيء أكثر ذكاءً منا والذي لا يريد ما نريده،

that does not want what we want,

that does not want anything we recognize as valuable or meaningful.

الذي لا يريد أي شيء ندرك أنه ذو قيمة أو معنى.

I cannot predict exactly how a conflict between humanity and a smarter AI would go

لا أستطيع التنبؤ بالضبط كيف سيسير الصراع

بين الإنسانية والذكاء الاصطناعي الأكثر ذكاءً

for the same reason I can't predict exactly how you would lose a chess game

لنفس السبب الذي لا أستطيع التنبؤ بالضبط كيف ستخسر مباراة شطرنج

to one of the current top AI chess programs, let's say Stockfish.

ضد واحد من أفضل برامج شطرنج الذكاء الاصطناعي حاليا ولنفترض أنها ستوكفيش.

If I could predict exactly where Stockfish could move,

إذا كان بإمكاني التنبؤ بالضبط أين يمكن أن تتحرك ستوكفيش،

I could play chess that well myself.

لكنت أستطيع لعب الشطرنج بمهارة.

I can't predict exactly how you'll lose to Stockfish,

لا أستطيع التنبؤ بالضبط كيف ستخسر أمام ستوكفيش،

but I can predict who wins the game.

لكن يمكنني توقع من سيفوز باللعبة.

I do not expect something actually smart to attack us with marching robot armies

لا أتوقع شيئا ذكيا في الواقع لمهاجمتنا بجيوش الروبوتات المسيرة

with glowing red eyes

مع عيون حمراء متوهجة

where there could be a fun movie about us fighting them.

حيث يمكن أن يكون هناك فيلم ممتع عن قتالنا لهم.

I expect an actually smarter and uncaring entity

أتوقع أن يتمكن كيان أكثر ذكاءً وغير مهتم من اكتشاف الاستراتيجيات والتقنيات

will figure out strategies and technologies

that can kill us quickly and reliably and then kill us.

التي يمكن أن تقتلنا بسرعة وبشكل موثوق ومن ثم قتلنا.

I am not saying that the problem of aligning superintelligence

أنا لا أقول أن مشكلة التعاون مع الذكاء الفائق

is unsolvable in principle.

غير قابلة للحل من حيث المبدأ.

I expect we could figure it out with unlimited time and unlimited retries,

أتوقع أن نتمكن من معرفة ذلك بمرور وقت غير محدد ومحاولات غير محددة،

which the usual process of science assumes that we have.

والتي تفترض العملية المعتادة للعلم أنه لدينا.

The problem here is the part where we don't get to say,

المشكلة هنا تكمن في أننا لا نستطيع أن نقول

“Ha ha, whoops, that sure didn’t work.

“هاها، عفوًا، هذا بالتأكيد لم ينجح.

That clever idea that used to work on earlier systems

تلك الفكرة الذكية التي كانت ناجحة على الأنظمة السابقة

sure broke down when the AI got smarter, smarter than us.”

بالتأكيد انهارت عندما أصبح الذكاء الاصطناعي أكثر ذكاءً منا بمراحل.”

We do not get to learn from our mistakes and try again

نحن لن نتمكن من التعلم من أخطائنا والمحاولة مرة أخرى

because everyone is already dead.

لأن الجميع سيكونون أموات.

It is a large ask

إنه طلب كبير للحصول على تحدٍ علمي وهندسي

to get an unprecedented scientific and engineering challenge

correct on the first critical try.

غير مسبوق بشكل صحيح في المحاولة الحاسمة الأولى.

Humanity is not approaching this issue with remotely

إن البشرية لا تتعامل مع هذه القضية بالمستوى المطلوب من الجدية.

the level of seriousness that would be required.

Some of the people leading these efforts

بعض الأشخاص الذين يقودون هذه الجهود

have spent the last decade not denying

أمضوا العقد الماضي غير منكرين أن

that creating a superintelligence might kill everyone,

أن صنع الذكاء الخارق قد يقتل الجميع،

but joking about it.

ولكن يمزحون بشأن ذلك.

We are very far behind.

نحن متأخرون جدا.

This is not a gap we can overcome in six months,

هذه ليست فجوة يمكننا التغلب عليها في ستة أشهر،

given a six-month moratorium.

في ظل وقف اختياري لمدة ستة أشهر.

If we actually try to do this in real life,

إذا حاولنا فعل ذلك في الحياة الواقعية، فسنموت جميعًا.

we are all going to die.

People say to me at this point, what's your ask?

الناس يقولون لي في هذه المرحلة، ما هو سؤالك؟

I do not have any realistic plan,

ليس لدي أي خطة واقعية

which is why I spent the last two decades

ولهذا السبب قضيت العقدين الماضيين

trying and failing to end up anywhere but here.

بين المحاولة والفشل إلى أن انتهى بي المطاف في هذا المكان.

My best bad take is that we need an international coalition

أفضل ما عندي هو أن نحتاج لتحالف دولي

banning large AI training runs,

يحظر عمليات التدريب الكبيرة على الذكاء الاصطناعي،

including extreme and extraordinary measures

مع تدابير صارمة واستثنائية لجعل هذا الحظر فعالاً فعليًا وعالميًا.

to have that ban be actually and universally effective,

like tracking all GPU sales,

مثل تتبع جميع مبيعات وحدة معالجة الرسومياتGPU،

monitoring all the data centers,

مراقبة جميع مراكز البيانات،

being willing to risk a shooting conflict between nations

الاستعداد لمخاطرة صراع إطلاق النار بين الدول

in order to destroy an unmonitored data center

من أجل تدمير مركز بيانات غير مراقب

in a non-signatory country.

في دولة غير موقعة.

I say this, not expecting that to actually happen.

أقول هذا، ولا أتوقع أن يحدث ذلك في الواقع.

I say this expecting that we all just die.

أقول هذا متوقعاً أننا جميعاً سنموت.

But it is not my place to just decide on my own

لكن ليس من حقي أن أقرر بنفسي أن البشرية ستختار الموت،

that humanity will choose to die,

to the point of not bothering to warn anyone.

إلى درجة عدم الاهتمام بتحذير أي شخص.

I have heard that people outside the tech industry

سمعت أن الناس خارج صناعة التكنولوجيا

are getting this point faster than people inside it.

يفهمون هذه النقطة أسرع من الناس بداخله.

Maybe humanity wakes up one morning and decides to live.

ربما تستيقظ البشرية صباح ما وتقرر العيش.

Thank you for coming to my brief TED talk.

أشكركم على حضوركم لمحاضرتي القصيرة في تيد TED.

(Laughter)

(ضحك)

(Applause and cheers)

(تصفيق وهتاف)

Chris Anderson: So, Eliezer, thank you for coming and giving that.

كريس أندرسون: إذن، إليعازر، شكرًا على مجيئك وإلقائك ذلك.

It seems like what you're raising the alarm about is that like,

يبدو أن ما تدق ناقوس الخطر بشأنه هو أنه

for this to happen, for an AI to basically destroy humanity,

لكي يحدث هذا، أن يقوم الذكاء الاصطناعي بتدمير البشرية،

it has to break out, escape controls of the internet and, you know,

يجب أن تندلع، وتهرب من ضوابط الإنترنت، وكما تعلمون،

start commanding actual real-world resources.

تبدأ في السيطرة على موارد العالم الحقيقي الفعلية.

You say you can't predict how that will happen,

أنت تقول أنك لا تستطيع التنبؤ كيف سيحدث ذلك،

but just paint one or two possibilities.

ولكن فقط قم بتصور احتمال أو اثنين.

Eliezer Yudkowsky: OK, so why is this hard?

إليعازر يودكوفسكي: حسنًا، لماذا هذا الأمر صعب؟

First, because you can't predict exactly where a smarter chess program will move.

أولاً، لأنه لا يمكنك التنبؤ بدقة أين سيتحرك برنامج الشطرنج الأكثر ذكاءً.

Maybe even more importantly than that,

وربما الأهم من ذلك،

imagine sending the design for an air conditioner

تخيل إرسال تصميم لمكيف الهواء

back to the 11th century.

إلى القرن الحادي عشر.

Even if they -- if it’s enough detail for them to build it,

حتى لو -- إذا كانت التفاصيل كافية بالنسبة لهم لبنائه،

they will be surprised when cold air comes out

فسوف يتفاجأون عندما يخرج الهواء البارد

because the air conditioner will use the temperature-pressure relation

لأن مكيف الهواء سيستخدم العلاقة بين درجة الحرارة والضغط

and they don't know about that law of nature.

وهم لا يعرفون شيئًا عن قانون الطبيعة هذا.

So if you want me to sketch what a superintelligence might do,

لذلك إذا كنت تريد مني أن تصور ما الذي يمكن أن يفعله الذكاء الفائق،

I can go deeper and deeper into places

يمكنني التعمق أكثر فأكثر في الأماكن التي نعتقد أن

where we think there are predictable technological advancements

هناك تطورات تكنولوجية يمكن التنبؤ بها والتي لم نكتشفها بعد.

that we haven't figured out yet.

And as I go deeper, it will get harder and harder to follow.

وكلما تعمقت أكثر، سوف يصبح الأمر أكثر صعوبة للمتابعة.

It could be super persuasive.

يمكن أن تكون مقنعة للغاية.

That's relatively easy to understand.

هذا من السهل نسبيا أن نفهمه.

We do not understand exactly how the brain works,

نحن لا نفهم بالضبط كيف يعمل الدماغ,

so it's a great place to exploit laws of nature that we do not know about.

إنه مكان رائع لاستغلال قوانين الطبيعة التي لا نعرف عنها شيئًا.

Rules of the environment,

قواعد البيئة،

invent new technologies beyond that.

ابتكار تقنيات جديدة أبعد من ذلك.

Can you build a synthetic virus that gives humans a cold

هل يمكنك بناء فيروس اصطناعي الذي يصيب الإنسان بالبرد

and then a bit of neurological change and they're easier to persuade?

ومن ثم القليل من التغيير العصبي ويكون إقناعهم أسهل؟

Can you build your own synthetic biology,

هل يمكنك بناء علم الأحياء الاصطناعي الخاص بك،

synthetic cyborgs?

السايبورغ الاصطناعية؟

Can you blow straight past that

هل يمكنك تجاوز ذلك مباشرة إلى

to covalently bonded equivalents of biology,

معادلات علم الأحياء المرتبطة تساهميًا،

where instead of proteins that fold up and are held together by static cling,

حيث بدلاً من البروتينات التي تطوى وتتماسك معًا عن طريق التشبث الساكن،

you've got things that go down much sharper potential energy gradients

لديك أشياء تنخفض في تدرجات طاقة محتملة أكثر وضوحًا وترتبط ببعضها البعض؟

and are bonded together?

People have done advanced design work about this sort of thing

قام الناس بأعمال تصميم متقدمة حول هذا النوع

for artificial red blood cells that could hold 100 times as much oxygen

من خلايا الدم الحمراء الاصطناعية التي يمكن أن تحتوي على 100 ضعف كمية الأكسجين

if they were using tiny sapphire vessels to store the oxygen.

إذا كانوا يستخدمون أوعية صغيرة من الياقوت لتخزين الأكسجين.

There's lots and lots of room above biology,

هناك مساحة كبيرة جدًا فوق علم الأحياء، لكن فهمه يصبح أكثر صعوبة.

but it gets harder and harder to understand.

CA: So what I hear you saying

كريس: إذن ما تريد قوله هو

is that these terrifying possibilities there

أن هذه الاحتمالات المرعبة موجودة

but your real guess is that AIs will work out something more devious than that.

لكن تخمينك الواقعي هو أن الذكاء الاصطناعي سيعمل للخروج بشيء أكثر مخادعة من ذلك.

Is that really a likely pathway in your mind?

هل هذا حقًا مسار محتمل في عقلك؟

EY: Which part?

إليعازر يودكوفسكي: أي جزء؟

That they're smarter than I am? Absolutely.

أنهم أكثر ذكاءً مني؟ بالطبع.

CA: Not that they're smarter,

كريس: ليس لأنهم أكثر ذكاءً،

but why would they want to go in that direction?

ولكن لماذا يريدون سلك هذا الاتجاه؟

Like, AIs don't have our feelings of sort of envy and jealousy and anger

فالذكاء الاصطناعي ليس لديه مشاعرنا من الحسد والغيرة والغضب

and so forth.

وما إلى ذلك.

So why might they go in that direction?

فلماذا قد يسلكون هذا الاتجاه؟

EY: Because it's convergently implied by almost any of the strange,

لأنه يتم تضمينه بشكل متقارب تقريبًا في أي من الأشياء الغريبة والغامضة

inscrutable things that they might end up wanting

التي قد ينتهي بهم الأمر إلى الرغبة فيها نتيجة للهبوط المتدرج

as a result of gradient descent

on these "thumbs up" and "thumbs down" things internally.

على هذه الأشياء “أعجبني” و “لم يعجبني” داخليًا.

If all you want is to make tiny little molecular squiggles

إذا كان كل ما تريده هو عمل تمايلات جزيئية صغيرة أو مكون واحد مما تريده،

or that's like, one component of what you want,

but it's a component that never saturates, you just want more and more of it,

لكنه مكون لا يتشبع أبدًا، فأنت فقط تريد المزيد والمزيد منه،

the same way that we would want more and more galaxies filled with life

بنفس الطريقة التي نريد بها المزيد والمزيد من المجرات

مليئة بالحياة والناس الذين يعيشون في سعادة دائمة.

and people living happily ever after.

Anything that just keeps going,

أي شيء يستمر،

you just want to use more and more material for that,

أنت فقط تريد استخدام المزيد والمزيد من المواد لذلك،

that could kill everyone on Earth as a side effect.

والذي يمكن أن يقتل الجميع على الأرض كأثر جانبي.

It could kill us because it doesn't want us making other superintelligences

يمكن أن يقتلنا لأنه لا يريدنا أن نصنع الذكاءات الفائقة الأخرى للتنافس معها.

to compete with it.

It could kill us because it's using up all the chemical energy on earth

يمكن أن يقتلنا لأنه يستهلك كل الطاقة الكيميائية الموجودة على الأرض

and we contain some chemical potential energy.

ونحن نحتوي على بعض الطاقة الكيميائية المحتملة.

CA: So some people in the AI world worry that your views are strong enough

كريس: قد يشعر بعض الناس في عالم الذكاء الاصطناعي بالقلق

أن آرائك عنيفة كفاية وسيقولون متطرفًا كفاية

and they would say extreme enough

that you're willing to advocate extreme responses to it.

لدرجة أنك على استعداد للدعوة إلى ردود فعل متطرفة.

And therefore, they worry that you could be, you know,

ولذلك فهم قلقون أنه يمكن أن تكون، كما تعلم،

in one sense, a very destructive figure.

بمعنى ما، شخصية مدمرة للغاية.

Do you draw the line yourself in terms of the measures

هل تتصور الخطة بنفسك من حيث التدابير

that we should take to stop this happening?

الذي يجب أن نتخذها لوقف هذا الحدث؟

Or is actually anything justifiable to stop

أو هو في الواقع أي شيء مبرر لوقف

the scenarios you're talking about happening?

هذه السيناريوهات التي تتحدث عنها عن الحدوث؟

EY: I don't think that "anything" works.

إليعازر يودكوفسكي: لا أعتقد أن “أي شيء” يصلح.

I think that this takes state actors

أعتقد أن هذا يتطلب الجهات الفاعلة في الدولة

and international agreements

والاتفاقيات الدولية

and all international agreements by their nature,

وجميع الاتفاقيات الدولية، بطبيعتهم

tend to ultimately be backed by force

يميلون في نهاية المطاف لأن يكونون مدعومين بالقوة

on the signatory countries and on the non-signatory countries,

على الدول الموقِعة وعلى الدول غير الموقعة،

which is a more extreme measure.

وهو إجراء أكثر تطرفا.

I have not proposed that individuals run out and use violence,

أنا لم أقترح أن يمضي الأفراد ويستخدمون العنف،

and I think that the killer argument for that is that it would not work.

وأعتقد أن الحجة القاتلة لذلك هو أنه لن ينجح.

CA: Well, you are definitely not the only person to propose

كريس: حسنًا، أنت بالتأكيد لست الشخص الوحيد الذي يقترح

that what we need is some kind of international reckoning here

أن ما نحتاجه هو نوع من الحساب الدولي هنا

on how to manage this going forward.

حول كيفية إدارة هذا الموضوع للتقدم.

Thank you so much for coming here to TED, Eliezer.

شكراً جزيلاً لقدومك إلى تيد TED، إليعازر.

(Applause)

(تصفيق)