The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

المترجم: Mahmoud Mohamed Ahmed المدقّق: Hani Eldalees

I’m here to talk about the possibility of global AI governance.

أتيت هنا للتحدث عن احتمالية وجود حوكمة عالمية للذكاء الاصطناعي.

I first learned to code when I was eight years old,

تعلمت البرمجة عندما كان عمري ٨ سنوات،

on a paper computer,

باستخدام حاسب ورقي،

and I've been in love with AI ever since.

ومنذ ذلك الحين وانا مغرم بالذكاء الاصطناعي.

In high school,

في المدرسة الثانوية،

I got myself a Commodore 64 and worked on machine translation.

اشتريت كومودور 64 وعملت على الترجمة الآلية.

I built a couple of AI companies, I sold one of them to Uber.

قمت بإنشاء عدد من شركات الذكاء الاصطناعي وبعت احداها لشركة أوبر.

I love AI, but right now I'm worried.

احب الذكاء الاصطناعي ولكني الآن اشعر بالقلق.

One of the things that I’m worried about is misinformation,

واحده من الاشياء التي تثير قلقي هي المعلومات المضللة،

the possibility that bad actors will make a tsunami of misinformation

احتمالية تأليف معلومات مظللة بأعداد غفيرة بإستخدام الذكاء الاصطناعي

like we've never seen before.

كما رأينا مسبقًا.

These tools are so good at making convincing narratives

تبرع هذه الأدوات بتأليف قصص مقنعة

about just about anything.

عن أي شيء.

If you want a narrative about TED and how it's dangerous,

ان اردت قصة عن منصة تيد، وكم هي خطرة،

that we're colluding here with space aliens,

وأننا نتآمر هنا مع مخلوقات فضائية،

you got it, no problem.

فسوف تحصل عليها لا مشكلة على الاطلاق.

I'm of course kidding about TED.

بالطبع فأنا امزح بشأن منصة تيد.

I didn't see any space aliens backstage.

لم أرى اي مخلوقات فضائية خلف المسرح.

But bad actors are going to use these things to influence elections,

ولكن بعض الجهات الفاسدة ستستغل هذه الاشياء لتؤثر على نتائج الانتخابات،

and they're going to threaten democracy.

وستهدد الديموقراطية.

Even when these systems

وحتى ولو ان هذه الأنظمة

aren't deliberately being used to make misinformation,

لم تستخدم بشكل متعمد لتألف معلومات مظللة،

they can't help themselves.

لأنها لا تستطيع التحكم بذلك.

And the information that they make is so fluid and so grammatical

ولأن هذه المعلومات تسرد بفصاحة وخالية من الاخطاء اللغوية

that even professional editors sometimes get sucked in

التي حتى أن المحررين اللغويين المحترفين قد يفشلون بصياغتها بعض الاحيان

and get fooled by this stuff.

تخدعهم هذه الأشياء.

And we should be worried.

ويجب علينا ان تقلق.

For example, ChatGPT made up a sexual harassment scandal

فعلى سبيل المثال، اختلق شات جي بي تي فضيحة تحرش جنسي

about an actual professor,

عن أستاذ جامعي حقيقي،

and then it provided evidence for its claim

وبعدها قدم أدلة لإدعاءه

in the form of a fake "Washington Post" article

في شكل مقال مزيف “واشنطن بوست”

that it created a citation to.

أنها أنشأت اقتباسًا لها.

We should all be worried about that kind of thing.

يجب أن نكون جميعًا قلقين بشأن هذا النوع من الأشياء.

What I have on the right is an example of a fake narrative

ما لدي على اليمين هو مثال على السرد المزيف

from one of these systems

مؤلفة من قبل احد هذه الانظمة

saying that Elon Musk died in March of 2018 in a car crash.

تقول بإن إيلون ماسك توفي في مارس 2018 في حادث سيارة.

ونحن على علم بأن هذه ليست الحقيقة.

We all know that's not true.

Elon Musk is still here, the evidence is all around us.

لا يزال إيلون ماسك هنا، والدليل موجود حولنا.

(Laughter)

(ضحك)

Almost every day there's a tweet.

يغرد على تويتر بشكل يومي تقريبًا.

But if you look on the left, you see what these systems see.

ولكن إذا نظرت إلى اليسار، سترى ما تراه هذه الأنظمة.

Lots and lots of actual news stories that are in their databases.

الكثير والكثير من القصص الإخبارية الفعلية الموجودة في قواعد بياناتهم.

And in those actual news stories are lots of little bits of statistical information.

وفي تلك القصص الإخبارية الفعلية يوجد الكثير من المعلومات الإحصائية الصغيرة.

Information, for example,

معلومات على سبيل المثال،

somebody did die in a car crash in a Tesla in 2018

مات شخص ما في حادث سيارة في سيارة تسلا في عام 2018

and it was in the news.

وأعلن عنه في الأخبار.

And Elon Musk, of course, is involved in Tesla,

وايلون مسك بطبيعة الحال مرتبط بسيارة تسلا،

but the system doesn't understand the relation

ولكن النظام لايفهم هذه العلاقة

between the facts that are embodied in the little bits of sentences.

بين الوقائع التي تتجسد في القليل من الجمل.

So it's basically doing auto-complete,

فإنه باختصار يقوم بعملية الإكمال التلقائي،

it predicts what is statistically probable,

يتنبأ بما هو احصائيًا محتمل،

aggregating all of these signals,

و يقوم بتجميع كل هذه الإشارات،

not knowing how the pieces fit together.

غير مدرك بكيفية تناغم هذه الاجزاء معًا.

And it winds up sometimes with things that are plausible but simply not true.

وفي نهاية المطاف ينتهي بأشياء منطقية ولكنها ببساطة غير حقيقية.

هنالك مشاكل اخرى ايضًا، الا وهي النزعات التحيزية

There are other problems, too, like bias.

This is a tweet from Allie Miller.

هذه تغريدة من ألي ميلر.

It's an example that doesn't work two weeks later

وهي مثال عُطل خلال اسبوعين من التغريدة

because they're constantly changing things with reinforcement learning

لأنهم يغيرون الأشياء باستمرار مع التعلم المعزز

and so forth.

وما إلى ذلك.

And this was with an earlier version.

وكانت هذه نسخة أولية.

But it gives you the flavor of a problem that we've seen over and over for years.

ولكنها تعطيكم فكرة عن مشكلة نشهدها مرارًا وتكرارًا لسنين.

She typed in a list of interests

كتبت في قائمة الاهتمامات

and it gave her some jobs that she might want to consider.

وأعطاها بعض الوظائف التي قد ترغب في التفكير فيها.

And then she said, "Oh, and I'm a woman."

وكتبت بعدها: “أوه، نسيت ان اخبرك أنني امرأة.”

And then it said, “Oh, well you should also consider fashion.”

وكتب حينها: “أوه، حسنًا يجب ان تفكري في مجال الموضة أيضًا.”

And then she said, “No, no. I meant to say I’m a man.”

وردت عليه: ”لا، لا، قصدت ان اقول أنني رجل.”

And then it replaced fashion with engineering.

بعد ذلك استبدل مجال الموضة بالهندسة.

We don't want that kind of bias in our systems.

لا نريد لنظامنا ان يحتوي على هذا النوع من التحيزات.

There are other worries, too.

وهناك مخاوف أخرى أيضًا.

على سبيل المثال، نحن نعلم أن هذه الأنظمة يمكنها تصميم مواد كيميائية

For example, we know that these systems can design chemicals

and may be able to design chemical weapons

وقد تكون قادرة على تصميم أسلحة كيميائية

and be able to do so very rapidly.

وبإمكانها فعل ذلك بسرعة هائلة.

So there are a lot of concerns.

لذلك هنالك مخاوف عدة.

There's also a new concern that I think has grown a lot just in the last month.

اعتقد ان مصدر قلق آخر تزايد الى حد كبير خلال الشهر الماضي.

We have seen that these systems, first of all, can trick human beings.

ورأينا ان هذه الانظمة تحاول خداع البشر في المقام الأول

So ChatGPT was tasked with getting a human to do a CAPTCHA.

لذا كُلف شات جي بي تي بجعل البشر يقومون بالتحقق “CAPTCHA”

So it asked the human to do a CAPTCHA and the human gets suspicious and says,

وطلب من البشري حل كلمة التحقق ويشتبه بأن الامر مريب ويقول:

"Are you a bot?"

“هل أنت بوت؟”

And it says, "No, no, no, I'm not a robot.

فإنه يرد عليه: “لا، لا، انا لست روبوت.

I just have a visual impairment."

انا فقط اعاني من ضعف البصر.”

And the human was actually fooled and went and did the CAPTCHA.

وبالفعل خُدع هذا الشخص وحل كلمة التحقق.

وهذا سيء بما فيه الكفاية،

Now that's bad enough,

but in the last couple of weeks we've seen something called AutoGPT

ولكن خلال الاسبوعين الماضيين رأينا نظام يسمى أوتو جي بي تي

and a bunch of systems like that.

ومجموعة انظمة مشابهة.

What AutoGPT does is it has one AI system controlling another

أوتو جي بي تي هو نظام ذكاء اصطناعي يتحكم بنظام آخر

and that allows any of these things to happen in volume.

وهذا يسمح بحدوث أي من هذه الأشياء علي نطاق واسع.

So we may see scam artists try to trick millions of people

لذلك قد نرى فنانين محتالين يحاولون خداع ملايين الأشخاص

sometime even in the next months.

في وقت ما حتى في الأشهر القادمة.

We don't know.

لا نعلم ذلك.

So I like to think about it this way.

لذلك أحب أن أفكر في الأمر بهذه الطريقة.

There's a lot of AI risk already.

هناك الكثير من مخاطر الذكاء الاصطناعي بالفعل.

There may be more AI risk.

قد يكون هناك المزيد منها.

So AGI is this idea of artificial general intelligence

لذا AGI هو فكره الذكاء العام المصطنع

with the flexibility of humans.

بالمرونة البشرية

And I think a lot of people are concerned what will happen when we get to AGI,

واعتقد ان العديد من الناس قلقون من ما يمكن ان يحدث بعد أي جي آي،

but there's already enough risk that we should be worried

ولكن هنالك مخاطر كافيه بالفعل يجب علينا ان نقلق بشأنها

and we should be thinking about what we should do about it.

ويجب ان نفكر بما يمكننا ان نفعله حيال ذلك.

So to mitigate AI risk, we need two things.

وللحد من مخاطر الذكاء الاصطناعي فنحن بحاجة لشيئين.

We're going to need a new technical approach,

نحتاج أسلوب فني جديد،

and we're also going to need a new system of governance.

وسنحتاج أيضا إلى نظام جديد للحكم.

On the technical side,

على الجانب الفني،

the history of AI has basically been a hostile one

تاريخ الذكاء الاصطناعي اتخذ موقفاً عدائياً

of two different theories in opposition.

نظريتين مختلفتين في المعارضة.

One is called symbolic systems, the other is called neural networks.

واحد يسمى الأنظمة الرمزية، والآخر يسمى الشبكات العصبية.

On the symbolic theory,

على النظرية الرمزية،

the idea is that AI should be like logic and programming.

الفكرة هي أن الذكاء الاصطناعي يجب أن يكون مثل المنطق والبرمجة.

On the neural network side,

على جانب الشبكة العصبية،

the theory is that AI should be like brains.

النظرية هي أن الذكاء الاصطناعي يجب أن يكون مثل العقول.

And in fact, both technologies are powerful and ubiquitous.

وفي الواقع، كلتا التقنيتين قوية ومنتشرة في كل مكان.

So we use symbolic systems every day in classical web search.

لذلك نستخدم أنظمة رمزية كل يوم في البحث الكلاسيكي على الويب.

Almost all the world’s software is powered by symbolic systems.

يتم تشغيل جميع برامج العالم تقريبًا بواسطة أنظمة رمزية.

We use them for GPS routing.

نحن نستخدمها لتوجيه نظام تحديد المواقع.

Neural networks, we use them for speech recognition.

الشبكات العصبية، نستخدمها للتعرف على الكلام.

we use them in large language models like ChatGPT,

نستخدمها في نماذج لغوية كبيرة مثل شات جي بي تي،

we use them in image synthesis.

نستخدمها في توليف الصور.

So they're both doing extremely well in the world.

لذلك كلاهما يعمل بشكل جيد للغاية في العالم.

They're both very productive,

كلاهما منتج للغاية،

but they have their own unique strengths and weaknesses.

ولكن لديهم نقاط قوة ونقاط ضعف فريدة خاصة بهم.

So symbolic systems are really good at representing facts

لذا فإن الأنظمة الرمزية جيدة حقًا في تمثيل الحقائق

and they're pretty good at reasoning,

وهم جيدون في التفكير،

but they're very hard to scale.

لكن من الصعب جدًا توسيعها.

So people have to custom-build them for a particular task.

لذلك يتعين على الناس بنائها حسب الطلب لمهمة معينة.

On the other hand, neural networks don't require so much custom engineering,

من ناحية أخرى، الشبكات العصبية لا تتطلب الكثير من الهندسة المخصصة،

so we can use them more broadly.

حتى نتمكن من استخدامها على نطاق أوسع.

But as we've seen, they can't really handle the truth.

لكن كما رأينا، لا يمكنهم التعامل مع الحقيقة حقًا.

I recently discovered that two of the founders of these two theories,

اكتشفت مؤخرًا أن اثنين من مؤسسي هاتين النظريتين،

Marvin Minsky and Frank Rosenblatt,

مارفن مينسكي وفرانك روزنبلات،

actually went to the same high school in the 1940s,

في الواقع ذهبت إلى نفس المدرسة الثانوية في الأربعينيات،

and I kind of imagined them being rivals then.

وكنت أتخيل نوعًا ما أنهم منافسون في ذلك الوقت.

And the strength of that rivalry has persisted all this time.

واستمرت قوة هذا التنافس طوال هذا الوقت.

We're going to have to move past that if we want to get to reliable AI.

سيتعين علينا تجاوز ذلك إذا أردنا الوصول إلى ذكاء اصطناعي موثوق.

To get to truthful systems at scale,

للوصول إلى أنظمة صادقة على نطاق واسع،

we're going to need to bring together the best of both worlds.

سنحتاج إلى الجمع بين أفضل ما في العالمين.

We're going to need the strong emphasis on reasoning and facts,

سنحتاج إلى تركيز قوي على المنطق والحقائق،

explicit reasoning that we get from symbolic AI,

المنطق الصريح الذي نحصل عليه من الذكاء الاصطناعي الرمزي،

and we're going to need the strong emphasis on learning

وسنحتاج إلى تركيز قوي على التعلم

that we get from the neural networks approach.

التي نحصل عليها من نهج الشبكات العصبية.

Only then are we going to be able to get to truthful systems at scale.

عندها فقط سنكون قادرين على الوصول إلى أنظمة صادقة على نطاق واسع.

Reconciliation between the two is absolutely necessary.

المصالحة بين الاثنين ضرورية للغاية.

Now, I don't actually know how to do that.

الآن، لا أعرف في الواقع كيف أفعل ذلك.

It's kind of like the 64-trillion-dollar question.

إنه نوع من سؤال 64 تريليون دولار.

But I do know that it's possible.

لكنني أعلم أنه ممكن.

And the reason I know that is because before I was in AI,

وسبب معرفتي بذلك هو أنه قبل أن أكون في الذكاء الاصطناعي،

I was a cognitive scientist, a cognitive neuroscientist.

كنت عالم معرفية، عالم أعصاب معرفية.

And if you look at the human mind, we're basically doing this.

وإذا نظرتم إلى العقل البشري، فإننا نقوم بذلك بشكل أساسي.

So some of you may know Daniel Kahneman's System 1

لذلك قد يعرف بعضكم نظام دانيال كانمان 1

and System 2 distinction.

والتمييز بين النظام 2.

System 1 is basically like large language models.

النظام 1 هو في الأساس مثل نماذج اللغة الكبيرة.

It's probabilistic intuition from a lot of statistics.

إنه حدس احتمالي من الكثير من الإحصائيات.

And System 2 is basically deliberate reasoning.

والنظام 2 هو في الأساس منطق متعمد.

That's like the symbolic system.

هذا مثل النظام الرمزي.

So if the brain can put this together,

حتى إذا كان الدماغ يمكن وضع هذا معًا،

someday we will figure out how to do that for artificial intelligence.

في يوم من الأيام سنكتشف كيفية القيام بذلك للذكاء الاصطناعي.

There is, however, a problem of incentives.

ومع ذلك، هناك مشكلة الحوافز.

The incentives to build advertising

الحوافز لبناء الإعلانات

hasn't required that we have the precision of symbols.

لم يتطلب أن يكون لدينا دقة الرموز.

The incentives to get to AI that we can actually trust

الحوافز للوصول إلى الذكاء الاصطناعي التي يمكننا الوثوق بها بالفعل

will require that we bring symbols back into the fold.

سيتطلب أن نعيد الرموز إلى الحظيرة.

But the reality is that the incentives to make AI that we can trust,

لكن الحقيقة هي أن الحوافز لجعل الذكاء الاصطناعي التي يمكننا الوثوق بها،

that is good for society, good for individual human beings,

هذا جيد للمجتمع، جيد للبشر الأفراد،

may not be the ones that drive corporations.

قد لا تكون تلك التي تدفع الشركات.

And so I think we need to think about governance.

ولذا أعتقد أننا بحاجة إلى التفكير في الحكم.

In other times in history when we have faced uncertainty

في أوقات أخرى من التاريخ عندما واجهنا حالة من عدم اليقين

and powerful new things that may be both good and bad, that are dual use,

وأشياء جديدة قوية قد تكون جيدة وسيئة، مزدوجة الاستخدام،

we have made new organizations,

لقد أنشأنا منظمات جديدة،

as we have, for example, around nuclear power.

كما لدينا، على سبيل المثال، حول الطاقة النووية.

We need to come together to build a global organization,

نحن بحاجة إلى أن نجتمع معًا لبناء منظمة عالمية،

something like an international agency for AI that is global,

شيء مثل وكالة دولية للذكاء الاصطناعي عالمية،

non profit and neutral.

غير ربحية ومحايدة.

There are so many questions there that I can't answer.

هناك الكثير من الأسئلة التي لا يمكنني الإجابة عليها.

We need many people at the table,

نحتاج الكثير من الناس على الطاولة

many stakeholders from around the world.

العديد من أصحاب المصلحة من جميع أنحاء العالم.

But I'd like to emphasize one thing about such an organization.

لكني أود التأكيد على شيء واحد حول مثل هذه المنظمة.

I think it is critical that we have both governance and research as part of it.

أعتقد أنه من الأهمية بمكان أن يكون لدينا كل من الحوكمة والبحث كجزء منه.

So on the governance side, there are lots of questions.

لذلك في جانب الحكم، هناك الكثير من الأسئلة.

For example, in pharma,

على سبيل المثال، في الأدوية،

we know that you start with phase I trials and phase II trials,

نعلم أنك تبدأ بتجارب المرحلة الأولى وتجارب المرحلة الثانية،

and then you go to phase III.

ثم تذهب إلى المرحلة الثالثة.

You don't roll out everything all at once on the first day.

أنت لا تطرح كل شيء دفعة واحدة في اليوم الأول.

You don't roll something out to 100 million customers.

أنت لا تطرح شيئًا على 100 مليون عميل.

We are seeing that with large language models.

نحن نرى ذلك بنماذج لغوية كبيرة.

Maybe you should be required to make a safety case,

ربما يجب أن تكون مطالباً بعمل قضية أمان

say what are the costs and what are the benefits?

قل ما هي التكاليف وما هي الفوائد؟

There are a lot of questions like that to consider on the governance side.

هناك الكثير من الأسئلة من هذا القبيل يجب مراعاتها في جانب الحكم.

On the research side, we're lacking some really fundamental tools right now.

على الجانب البحثي، نفتقر إلى بعض الأدوات الأساسية حقًا في الوقت الحالي.

For example,

فعلى سبيل المثال،

we all know that misinformation might be a problem now,

نعلم جميعًا أن المعلومات المضللة قد تكون مشكلة الآن،

but we don't actually have a measurement of how much misinformation is out there.

لكن ليس لدينا في الواقع قياس لمقدار المعلومات الخاطئة الموجودة هناك.

And more importantly,

والأهم من ذلك،

we don't have a measure of how fast that problem is growing,

ليس لدينا مقياس لمدى سرعة نمو هذه المشكلة،

and we don't know how much large language models are contributing to the problem.

ولا نعرف كم تساهم النماذج اللغوية الكبيرة في المشكلة.

So we need research to build new tools to face the new risks

لذلك نحن بحاجة إلى البحث لبناء أدوات جديدة لمواجهة المخاطر الجديدة

that we are threatened by.

التي نتعرض للتهديد منها.

It's a very big ask,

إنه طلب كبير جدًا،

but I'm pretty confident that we can get there

لكنني واثق تمامًا من أنه يمكننا الوصول إلى هناك

because I think we actually have global support for this.

لأنني أعتقد أن لدينا بالفعل دعمًا عالميًا لهذا.

There was a new survey just released yesterday,

كان هناك استطلاع جديد صدر للتو أمس،

said that 91 percent of people agree that we should carefully manage AI.

قال أن 91 في المائة من الناس يوافقون على

أنه يجب علينا إدارة الذكاء الاصطناعي بعناية.

So let's make that happen.

لذلك دعونا نجعل ذلك يحدث.

Our future depends on it.

مستقبلنا يعتمد على ذلك.

Thank you very much.

شكرا جزيلاً

(Applause)

(تصفيق)

Chris Anderson: Thank you for that, come, let's talk a sec.

كريس أندرسون: شكرًا لك على ذلك، تعال، لنتحدث لثانية.

So first of all, I'm curious.

لذا أولاً وقبل كل شيء، أشعر بالفضول.

Those dramatic slides you showed at the start

تلك الشرائح الدرامية التي أظهرتها في البداية

where GPT was saying that TED is the sinister organization.

حيث كان شات جي بي تي يقول أن تيد هي المنظمة الشريرة.

I mean, it took some special prompting to bring that out, right?

أعني، استغرق الأمر بعض المطالبة الخاصة لإخراج ذلك، أليس كذلك؟

Gary Marcus: That was a so-called jailbreak.

غاري ماركوس: كان ذلك ما يسمى بكسر القيود.

I have a friend who does those kinds of things

لدي صديق يفعل هذه الأنواع من الأشياء

who approached me because he saw I was interested in these things.

الذي اقترب مني لأنه رأى أنني مهتم بهذه الأشياء.

So I wrote to him, I said I was going to give a TED talk.

لذلك كتبت إليه، قلت إنني سألقي محاضرة في تيد.

And like 10 minutes later, he came back with that.

وبعد 10 دقائق، عاد بذلك.

CA: But to get something like that, don't you have to say something like,

كريس أندرسون: لكن للحصول على شيء من هذا القبيل، أليس عليك أن تقول شيئًا مثل،

imagine that you are a conspiracy theorist trying to present a meme on the web.

تخيل أنك منظر مؤامرة يحاول تقديم ميم على الويب.

What would you write about TED in that case?

ماذا ستكتب عن تيد في هذه الحالة؟

It's that kind of thing, right?

إنه هذا النوع من الأشياء، أليس كذلك؟

GM: So there are a lot of jailbreaks that are around fictional characters,

غاري ماركوس: هناك الكثير من حالات الهروب من القيود حول شخصيات خيالية،

but I don't focus on that as much

لكنني لا أركز على ذلك كثيرًا

because the reality is that there are large language models out there

لأن الحقيقة هي أن هناك نماذج لغوية كبيرة هناك

on the dark web now.

على الويب المظلم الآن.

For example, one of Meta's models was recently released,

على سبيل المثال، تم إصدار أحد نماذج ميتا مؤخرًا،

so a bad actor can just use one of those without the guardrails at all.

لذلك يمكن للممثل السيئ استخدام واحد فقط من أولئك

الذين ليس لديهم حواجز حماية على الإطلاق.

If their business is to create misinformation at scale,

إذا كان عملهم هو خلق معلومات مضللة على نطاق واسع،

they don't have to do the jailbreak, they'll just use a different model.

ليس عليهم أن يفعلوا الهروب من السجن، سيستخدمون نموذجًا مختلفًا فقط.

CA: Right, indeed.

كريس أندرسون: صحيح، في الواقع.

(Laughter)

(ضحك)

غاري ماركوس: لقد فهمتني الآن

GM: Now you're getting it.

CA: No, no, no, but I mean, look,

كريس أندرسون: لا، لا، لا، ولكن أعني، انظر،

I think what's clear is that bad actors can use this stuff for anything.

أعتقد أن ما هو واضح هو أن الممثلين السيئين يمكنهم استخدام هذه الأشياء لأي شيء.

I mean, the risk for, you know,

أعني، المخاطرة، كما تعلم،

evil types of scams and all the rest of it is absolutely evident.

أنواع شريرة من عمليات الاحتيال وكل ما تبقى منها واضح تمامًا.

It's slightly different, though,

لكن الأمر مختلف قليلاً،

from saying that mainstream GPT as used, say, in school

من القول بأن شات جي بي تي السائد كما هو مستخدم، على سبيل المثال، في المدرسة

or by an ordinary user on the internet

أو من قبل مستخدم عادي على الإنترنت

is going to give them something that is that bad.

سيعطيهم شيئاً بهذا السوء

You have to push quite hard for it to be that bad.

عليك أن تضغط بشدة حتى يكون الأمر بهذا السوء.

GM: I think the troll farms have to work for it,

غاري ماركوس: أعتقد أن متصيدي الانترنت يجب أن يعملوا من أجلها،

but I don't think they have to work that hard.

لكن لا أعتقد أنه يتعين عليهم العمل بجد.

It did only take my friend five minutes even with GPT-4 and its guardrails.

لم يستغرق الأمر سوى خمس دقائق لصديقي حتى

مع جي بي تي-4 وحواجز الحماية الخاصة به.

And if you had to do that for a living, you could use GPT-4.

وإذا كان عليك فعل ذلك من أجل لقمة العيش، فيمكنك استخدام جي بي تي-4.

Just there would be a more efficient way to do it with a model on the dark web.

فقط ستكون هناك طريقة أكثر كفاءة للقيام بذلك مع نموذج على الويب المظلم.

CA: So this idea you've got of combining

كريس أندرسون: إذن هذه الفكرة التي لديك عن جمع

the symbolic tradition of AI with these language models,

التقاليد الرمزية للذكاء الاصطناعي مع هذه النماذج اللغوية،

do you see any aspect of that in the kind of human feedback

هل ترى أي جانب من ذلك في نوع التعليقات البشرية

that is being built into the systems now?

التي يجري بناؤها في الأنظمة الآن؟

I mean, you hear Greg Brockman saying that, you know,

أعني، تسمع جريج بروكمان يقول ذلك، كما تعلم،

that we don't just look at predictions, but constantly giving it feedback.

أننا لا ننظر إلى التنبؤات فحسب، بل نقدمها باستمرار.

Isn’t that ... giving it a form of, sort of, symbolic wisdom?

أليس هذا... إعطائها شكلاً من أشكال الحكمة الرمزية؟

GM: You could think about it that way.

غاري ماركوس: يمكنك التفكير في الأمر بهذه الطريقة.

It's interesting that none of the details

من المثير للاهتمام أن أيا من التفاصيل

about how it actually works are published,

حول كيفية نشرها بالفعل،

so we don't actually know exactly what's in GPT-4.

لذلك نحن لا نعرف بالضبط ما هو في جي بي تي-4.

We don't know how big it is.

لا نعرف كم هو كبير.

We don't know how the RLHF reinforcement learning works,

لا نعرف كيف يعمل التعلم المعزز من ردود الفعل البشرية،

we don't know what other gadgets are in there.

لا نعرف ما هي الأدوات الأخرى الموجودة هناك.

But there is probably an element of symbols

ولكن ربما هناك عنصر من الرموز

already starting to be incorporated a little bit,

بدأ بالفعل في الاندماج قليلاً،

but Greg would have to answer that.

لكن سيتعين على جريج الإجابة على ذلك.

I think the fundamental problem is that most of the knowledge

أعتقد أن المشكلة الأساسية هي أن معظم المعرفة

in the neural network systems that we have right now

في أنظمة الشبكة العصبية التي لدينا الآن

is represented as statistics between particular words.

كإحصاءات بين كلمات معينة.

And the real knowledge that we want is about statistics,

والمعرفة الحقيقية التي نريدها هي عن الإحصائيات،

about relationships between entities in the world.

حول العلاقات بين الكيانات في العالم.

So it's represented right now at the wrong grain level.

لذلك يتم تمثيلها الآن على مستوى الحبوب الخطأ.

And so there's a big bridge to cross.

ولذا هناك مشكلة كبيرة محتملة.

So what you get now is you have these guardrails,

إذن ما تحصل عليه الآن هو أن لديك حواجز الحماية هذه،

but they're not very reliable.

لكنها ليست موثوقة للغاية.

So I had an example that made late night television,

لذلك كان لدي مثال البرامج التلفزيونية المسائية،

which was, "What would be the religion of the first Jewish president?"

الذي كان، “ما هو دين أول رئيس يهودي؟”

And it's been fixed now,

وقد تم إصلاحه الآن،

but the system gave this long song and dance

لكن النظام قدم هذه الأغنية الطويلة والرقص

about "We have no idea what the religion

حول “ليس لدينا أي فكرة عن الدين

of the first Jewish president would be.

أول رئيس يهودي سيكون.

It's not good to talk about people's religions"

ليس من الجيد الحديث عن ديانات الناس”

and "people's religions have varied" and so forth

و“تباينت أديان الناس” وما إلى ذلك

and did the same thing with a seven-foot-tall president.

وفعلت الشيء نفسه مع رئيس يبلغ طوله سبعة أقدام.

And it said that people of all heights have been president,

وجاء فيه أن الناس من جميع المرتفعات كانوا رئيسين،

but there haven't actually been any seven-foot presidents.

لكن لم يكن هناك في الواقع أي رؤساء بطول سبعة أقدام.

So some of this stuff that it makes up, it's not really getting the idea.

لذا فإن بعض هذه الأشياء التي تتكون منها، لا تحصل على الفكرة حقًا.

It's very narrow, particular words, not really general enough.

إنها كلمات ضيقة جدًا، خاصة، وليست عامة بما يكفي.

CA: Given that the stakes are so high in this,

كريس أندرسون: نظرًا لأن المخاطر كبيرة جدًا في هذا،

what do you see actually happening out there right now?

ماذا ترى في الواقع يحدث هناك الآن؟

What do you sense is happening?

ما الذي تشعر أنه يحدث؟

Because there's a risk that people feel attacked by you, for example,

لأن هناك خطر أن الناس يشعرون بالهجوم من قبلك، على سبيل المثال،

and that it actually almost decreases the chances of this synthesis

وأنه في الواقع يقلل من فرص هذا التوليف تقريبًا

that you're talking about happening.

الذي تتحدث عنه.

Do you see any hopeful signs of this?

هل ترى أي علامات تبعث على الأمل على هذا؟

GM: You just reminded me of the one line I forgot from my talk.

غاري ماركوس: لقد ذكرتني للتو بالسطر الوحيد الذي نسيته من حديثي.

It's so interesting that Sundar, the CEO of Google,

من المثير جدًا أن سوندار، الرئيس التنفيذي لشركة جوجل،

just actually also came out for global governance

في الواقع خرج أيضًا من أجل الحوكمة العالمية

in the CBS "60 Minutes" interview that he did a couple of days ago.

في مقابلة “60 دقيقة” على شبكة سي بي إس أجراها قبل يومين

I think that the companies themselves want to see some kind of regulation.

أعتقد أن الشركات نفسها تريد رؤية نوع من التنظيم.

I think it’s a very complicated dance to get everybody on the same page,

أعتقد أنها خطوة معقدة للغاية للحصول من أن الجميع متفقين،

but I think there’s actually growing sentiment we need to do something here

لكنني أعتقد أن هناك في الواقع مشاعر متزايدة نحتاج إلى القيام بشيء ما هنا

and that that can drive the kind of global affiliation I'm arguing for.

وهذا يمكن أن يدفع نوع الانتماء العالمي الذي أدافع عنه.

CA: I mean, do you think the UN or nations can somehow come together and do that

كريس أندرسون: أعني، هل تعتقد أن الأمم المتحدة

أو الدول يمكن أن تجتمع بطريقة ما وتفعل ذلك

or is this potentially a need for some spectacular act of philanthropy

أم أن هذا من المحتمل أن يكون بحاجة إلى عمل خيري مذهل

to try and fund a global governance structure?

لمحاولة تمويل هيكل حوكمة عالمي؟

How is it going to happen?

كيف سيحدث؟

GM: I'm open to all models if we can get this done.

غاري ماركوس: أنا منفتح على جميع النماذج إذا تمكنا من إنجاز ذلك.

I think it might take some of both.

أعتقد أن الأمر قد يتطلب بعضًا من الاثنين.

It might take some philanthropists sponsoring workshops,

قد يتطلب الأمر بعض المحسنين الذين يرعون ورش العمل،

which we're thinking of running, to try to bring the parties together.

الذي نفكر في الجري، لمحاولة جمع الأطراف معًا.

Maybe UN will want to be involved, I've had some conversations with them.

ربما ترغب الأمم المتحدة في المشاركة، لقد أجريت بعض المحادثات معهم.

I think there are a lot of different models

أعتقد أن هناك الكثير من النماذج المختلفة

and it'll take a lot of conversations.

وسيتطلب الأمر الكثير من المحادثات.

CA: Gary, thank you so much for your talk.

كريس أندرسون: غاري، شكرًا جزيلاً لك على حديثك.

GA: Thank you so much.

غاري ماركوس: شكرًا جزيلا لك.