The Dark Side of Competition in AI | Liv Boeree | TED

المترجم: Hashem AbuHaswah المدقّق: gaith Takrity

Competition.

المنافسة.

It's a fundamental part of human nature.

إنه جزء أساسي من الطبيعة البشرية.

I was a professional poker player for 10 years,

لقد كنت لاعبة بوكر محترفةً لمدة 10 سنوات،

so I've very much seen all the good, bad and ugly ways it can manifest.

لذلك رأيت كثيرًا كل الطرق الجيدة والسيئة والقبيحة التي يمكن أن تظهر بها.

When it's done right,

عندما يتم ذلك بشكل صحيح، يمكن أن يقودنا

it can drive us to incredible feats in sports and innovation,

ذلك إلى إنجازات مذهلة في الرياضة والابتكار،

like when car companies compete over who can build the safest cars

مثل عندما تتنافس شركات السيارات على من يمكنه بناء أكثر السيارات أمانًا

or the most efficient solar panels.

أو الألواح الشمسية الأكثر كفاءة.

Those are all examples of healthy competition,

هذه كلها أمثلة على المنافسة الصحية،

because even though individual companies might come and go,

لأنه على الرغم من أن الشركات الفردية قد تأتي وتذهب،

in the long run,

على المدى الطويل،

the game between them creates win-win outcomes

فإن اللعبة بينها تخلق نتائج مربحة للجانبين

where everyone benefits in the end.

حيث يستفيد الجميع في النهاية.

But sometimes competition is not so great

لكن المنافسة لا تكون عظيمة جدًا أحياناً

and can create lose-lose outcomes where everyone's worse off than before.

ويمكن أن تؤدي إلى نتائج خاسرة حيث يكون الجميع أسوأ حالًا من ذي قبل.

Take these AI beauty filters, for example.

خذ فلاتر التجميل بالذكاء الاصطناعي هذه على سبيل المثال.

As you can see, they're a very impressive technology.

كما ترون، إنها تقنية رائعة للغاية.

They can salvage almost any picture.

يمكنهم إنقاذ أي صورة تقريبًا.

They can even make Angelina and Margot more beautiful.

يمكنهم حتى جعل أنجلينا ومارجوت أكثر جمالًا.

So they're very handy,

لذا فهي مفيدة جدًا،

especially for influencers who, now, at the click of a button,

خاصة بالنسبة للمؤثرين الذين يمكنهم الآن، بنقرة زر واحدة،

can transform into the most beautiful Hollywood versions of themselves.

التحول إلى أجمل إصدارات هوليوود لأنفسهم.

But handy doesn't always mean healthy.

لكن سهولة الاستخدام لا تعني دائمًا الصحة.

And I've personally noticed how quickly these things can train you

وقد لاحظت شخصيًا مدى السرعة التي يمكن أن تدربك بها هذه الأشياء

to hate your natural face.

على كره وجهك الطبيعي.

And there's growing evidence that they're creating issues

وهناك أدلة متزايدة على أنهم يخلقون مشاكل

like body dysmorphia, especially in young people.

مثل تشوه الجسم، خاصة عند الشباب.

Nonetheless, these things are now endemic to social media

ومع ذلك، فإن هذه الأشياء أصبحت الآن مستوطنة في وسائل التواصل الاجتماعي

because the nature of the game demands it.

لأن طبيعة اللعبة تتطلب ذلك.

The platforms are incentivized to provide them

يتم تحفيز المنصات لتوفيرها

because hotter pictures means more hijacked limbic systems,

لأن الصور الأكثر إثارة تعني المزيد من الأنظمة الحوفية المختطفة،

which means more scrolling and thus more ad revenue.

مما يعني المزيد من التمرير وبالتالي المزيد من عائدات الإعلانات.

And users are incentivized to use them

ويتم تحفيز المستخدمين لاستخدامها

because hotter pictures get you more followers.

لأن الصور الأكثر إثارة تجلب لك المزيد من المتابعين.

But this is a trap,

لكن هذا فخ،

because once you start using these things,

لأنه بمجرد البدء في استخدام هذه الأشياء،

it's really hard to go back.

من الصعب حقًا العودة الى الصور الطبيعية.

Plus, you don't even get a competitive advantage from them anymore

بالإضافة إلى ذلك، لم تعد تحصل حتى على ميزة تنافسية منها

because everyone else is already using them too.

لأن الجميع يستخدمونها بالفعل أيضًا.

So influencers are stuck using these things

لذا، فإن المؤثرين عالقون في استخدام هذه الأشياء

with all the downsides

مع كل الجوانب السلبية

and very little upside.

والقليل جدًا من الإيجابيات.

A lose-lose game.

لعبة خاسرة.

A similar kind of trap is playing out in our news media right now,

يحدث نوع مماثل من الفخ في وسائل الإعلام الإخبارية لدينا الآن،

but with much worse consequences.

ولكن مع عواقب أسوأ بكثير.

You'd think since the internet came along

قد تعتقد منذ ظهور الإنترنت

that the increased competition between news outlets

أن المنافسة المتزايدة بين المنافذ الإخبارية

would create a sort of positive spiral,

ستخلق نوعًا من الدوامة الإيجابية،

like a race to the top of nuanced, impartial, accurate journalism.

مثل السباق إلى قمة الصحافة الدقيقة والمحايدة والدقيقة.

Instead, we're seeing a race to the bottom of clickbait and polarization,

بدلاً من ذلك، نشهد سباقًا نحو قاع النقرات والاستقطاب،

where even respectable papers are increasingly leaning

حيث تميل حتى الصحف المحترمة بشكل متزايد

into these kind of low-brow partisan tactics.

إلى هذا النوع من التكتيكات الحزبية المتدنية.

Again, this is due to crappy incentives.

مرة أخرى، هذا بسبب الحوافز السيئة.

Today, we no longer just read our news.

اليوم، لم نعد نقرأ أخبارنا فقط.

We interact with it by sharing and commenting.

نتفاعل معها من خلال المشاركة والتعليق.

And headlines that trigger emotions like fear or anger

والعناوين الرئيسية التي تثير مشاعر مثل الخوف أو الغضب

are far more likely to go viral than neutral or positive ones.

من المرجح أن تنتشر بسرعة أكبر بكثير من العناوين المحايدة أو الإيجابية.

So in many ways, news editors are in a similar kind of trap

لذلك، من نواحٍ عديدة، يقع محرروا الأخبار في نوع مماثل من الفخ

as the influencers,

مثل المؤثرين،

where, the more their competitors lean into clickbaity tactics,

حيث كلما زاد ميل منافسيهم إلى تكتيكات clickbaity،

the more they have to as well.

كلما اضطروا إلى ذلك أيضًا.

Otherwise, their stories just get lost in the noise.

خلاف ذلك، تضيع قصصهم في الضوضاء.

But this is terrible for everybody,

لكن هذا أمر فظيع للجميع،

because now the media get less trust from the public,

لأن وسائل الإعلام الآن تحصل على ثقة أقل من الجمهور،

but also it becomes harder and harder for anyone to discern truth from fiction,

ولكن أيضًا يصبح من الصعب على أي شخص تمييز الحقيقة من الخيال،

which is a really big problem for democracy.

وهي مشكلة كبيرة حقًا للديمقراطية.

Now, this process of competition gone wrong

الآن، عملية المنافسة هذه التي حدثت بشكل خاطئ

is actually the driving force behind so many of our biggest issues.

هي في الواقع القوة الدافعة وراء العديد من أكبر مشكلاتنا.

Plastic pollution,

التلوث البلاستيكي،

deforestation,

إزالة الغابات، الإفراط في استخدام

antibiotic overuse in farming,

المضادات الحيوية في الزراعة، سباقات

arms races,

التسلح، انبعاثات

greenhouse gas emissions.

غازات الاحتباس الحراري.

These are all a result of crappy incentives,

كل هذا نتيجة للحوافز السيئة،

of poorly designed games that push their players --

والألعاب سيئة التصميم التي تدفع لاعبيها -

be them people, companies or governments --

سواء كانوا أشخاصًا أو شركات أو حكومات -

into taking strategies and tactics that defer costs and harms to the future.

إلى اتخاذ استراتيجيات وتكتيكات تؤجل التكاليف والأضرار إلى المستقبل.

And what's so ridiculous is that most of the time,

والمثير للسخرية هو أنه في معظم الأوقات،

these guys don't even want to be doing this.

لا يريد هؤلاء الرجال حتى القيام بذلك.

You know, it's not like packaging companies

كما تعلمون، ليس الأمر كما لو أن شركات التعبئة والتغليف

want to fill the oceans with plastic

تريد ملء المحيطات بالبلاستيك

or farmers want to worsen antibiotic resistance.

أو يريد المزارعون تفاقم مقاومة المضادات الحيوية.

But they’re all stuck in the same dilemma of:

لكنهم جميعًا عالقون في نفس المعضلة المتمثلة في:

"If I don't use this tactic,

«إذا لم أستخدم هذا التكتيك،

I’ll get outcompeted by all the others who do.

فسوف يتفوق علي جميع الآخرين الذين يستخدمونه.

So I have to do it, too.”

لذلك لا بد لي من القيام بذلك أيضًا.»

This is the mechanism we need to fix as a civilization.

هذه هي الآلية التي نحتاج إلى إصلاحها كحضارة.

And I know what you're probably all thinking, "So it's capitalism."

وأنا أعلم ما قد تفكر فيه جميعًا، «لذا فهي الرأسمالية.»

No, it's not capitalism.

لا، إنها ليست رأسمالية.

Which, yes, can cause problems,

وهذا، نعم، يمكن أن يسبب مشاكل،

but it can also solve them and has been fantastic in general.

ولكنه يمكن أن يحلها أيضًا وكان رائعًا بشكل عام.

It's something much deeper.

إنه شيء أعمق بكثير.

It's a force of misaligned incentives of game theory itself.

إنها قوة الحوافز المنحرفة لنظرية الألعاب نفسها.

So a few years ago, I retired from poker,

لذلك قبل بضع سنوات، تقاعدت من لعبة البوكر،

in part because I wanted to understand this mechanism better.

جزئيًا لأنني أردت أن أفهم هذه الآلية بشكل أفضل.

Because it takes many different forms, and it goes by many different names.

لأنها تأخذ العديد من الأشكال المختلفة، ولها العديد من الأسماء المختلفة.

These are just some of those names.

هذه ليست سوى بعض تلك الأسماء.

You can see they're a little bit abstract and clunky, right?

يمكنك أن ترى أنها مجردة بعض الشيء وصاخبة، أليس كذلك؟

They don't exactly roll off the tongue.

إنهم لا ينحرجون عن اللسان بالضبط.

And given how insidious and connected all of these problems are,

وبالنظر إلى مدى خبث كل هذه المشاكل وترابطها،

it helps to have a more visceral way of recognizing them.

فمن المفيد الحصول على طريقة أكثر عمقًا للتعرف عليها.

لذلك ربما تكون هذه هي المرة الوحيدة

So this is probably the only time

you're going to hear about the Bible at this conference.

التي ستسمع فيها عن الكتاب المقدس في هذا المؤتمر.

But I want to tell you a quick story from it,

لكني أريد أن أخبركم بقصة سريعة منه،

because allegedly, back in the Canaanite days,

لأنه يُزعم أنه في الأيام الكنعانية،

there was a cult who wanted money and power so badly,

كانت هناك طائفة تريد المال والسلطة بشدة،

they were willing to sacrifice their literal children for it.

وكانوا على استعداد للتضحية بأطفالهم الحقيقيين من أجل ذلك.

And they did this by burning them alive in an effigy

وقد فعلوا ذلك عن طريق حرقهم أحياء

of a God that they believed would then reward them

في تمثال لإله اعتقدوا أنه سيكافئهم بعد ذلك

for this ultimate sacrifice.

على هذه التضحية القصوى.

And the name of this god was Moloch.

وكان اسم هذا الإله مولوك.

Bit of a bummer, as stories go.

مشكلة صغيرة، كما تقول القصص.

But you can see why it's an apt metaphor,

لكن يمكنك أن ترى سبب كونها استعارة مناسبة،

because sometimes we get so lost in winning the game right in front of us,

لأننا أحيانًا نضيع في الفوز بالمباراة التي أمامنا مباشرة،

we lose sight of the bigger picture

ونغفل عن الصورة الأكبر

and sacrifice too much in our pursuit of victory.

ونضحي كثيرًا في سعينا لتحقيق النصر.

So just like these guys were sacrificing their children for power,

لذا مثلما كان هؤلاء الرجال يضحون بأطفالهم من أجل السلطة،

those influencers are sacrificing their happiness for likes.

فإن هؤلاء المؤثرين يضحون بسعادتهم من أجل الإعجابات.

Those news editors are sacrificing their integrity for clicks,

يضحي محررو الأخبار هؤلاء بنزاهتهم من أجل النقرات،

and polluters are sacrificing the biosphere for profit.

ويضحي الملوثون بالمحيط الحيوي من أجل الربح.

In all these examples,

في كل هذه الأمثلة،

the short-term incentives of the games themselves are pushing,

تتزايد الحوافز قصيرة المدى للألعاب نفسها،

they're tempting their players

فهي تغري لاعبيها

to sacrifice more and more of their future,

بالتضحية بالمزيد والمزيد من مستقبلهم،

trapping them in a death spiral where they all lose in the end.

ومحاصرتهم في دوامة الموت حيث يخسرون جميعًا في النهاية.

That's Moloch's trap.

هذا فخ مولوك.

The mechanism of unhealthy competition.

آلية المنافسة غير الصحية.

And the same is now happening in the AI industry.

ونفس الشيء يحدث الآن في صناعة الذكاء الاصطناعي.

We're all aware of the race that's heating up

نحن جميعًا على دراية بالسباق المحتدم

between companies right now

بين الشركات في الوقت الحالي

over who can score the most compute,

حول من يمكنه تسجيل أكبر عدد من الحسابات،

who can get the biggest funding round or get the top talent.

ومن يمكنه الحصول على أكبر جولة تمويل أو الحصول على أفضل المواهب.

Well, as more and more companies enter this race,

حسنًا، مع دخول المزيد والمزيد من الشركات

the greater the pressure for everyone to go as fast as possible

في هذا السباق، زاد الضغط على الجميع للذهاب بأسرع ما يمكن

and sacrifice other important stuff like safety testing.

والتضحية بأشياء مهمة أخرى مثل اختبارات السلامة.

This has all the hallmarks of a Moloch trap.

هذا يحتوي على كل السمات المميزة لمصيدة مولوك.

Because, like, imagine you're a CEO who, you know, in your heart of hearts,

لأنه، مثل، تخيل أنك رئيس تنفيذي

believes that your team is the best

تؤمن في صميم قلبك، بأن فريقك هو الأفضل

to be able to safely build extremely powerful AI.

ليكون قادرًا على بناء ذكاء اصطناعي قوي للغاية بأمان.

Well, if you go too slowly, then you run the risk of other,

حسنًا، إذا سارت ببطء شديد، فإنك تخاطر بأن تصل فرق أخرى

much less cautious teams getting there first

أقل حذرًا إلى هناك أولاً

and deploying their systems before you can.

وتنشر أنظمتها قبل أن تتمكن من ذلك.

So that in turn pushes you to be more reckless yourself.

وهذا بدوره يدفعك إلى أن تكون أكثر تهورًا بنفسك.

And given how many different experts and researchers,

وبالنظر إلى عدد الخبراء والباحثين المختلفين،

both within these companies

سواء داخل هذه الشركات

but also completely independent ones,

ولكن أيضًا من الشركات المستقلة تمامًا،

have been warning us about the extreme risks of rushed AI,

الذين حذرونا من المخاطر الشديدة للذكاء الاصطناعي المتسرع،

this approach is absolutely mad.

فإن هذا النهج مجنون تمامًا.

Plus, almost all AI companies

بالإضافة إلى ذلك، فإن جميع شركات

are beholden to satisfying their investors,

الذكاء الاصطناعي تقريبًا مدينة بإرضاء مستثمريها، وهو حافز

a short-term incentive which, over time, will inevitably start to conflict

قصير الأجل سيبدأ حتمًا بمرور الوقت في التعارض

with any benevolent mission.

مع أي مهمة خيرية.

And this wouldn't be a big deal

ولن تكون هذه مشكلة كبيرة

if this was really just toasters we're talking about here.

إذا كانت هذه مجرد محمصات نتحدث عنها هنا.

But AI, and especially AGI,

لكن الذكاء الاصطناعي، وخاصة الذكاء الاصطناعي العام

is set to be a bigger paradigm shift

من المقرر أن يكون نقلة نوعية أكبر

than the agricultural or industrial revolutions.

من الثورات الزراعية أو الصناعية.

A moment in time so pivotal,

إنها لحظة محورية للغاية،

it's deserving of reverence and reflection,

وتستحق التقديس والتفكير،

not something to be reduced to a corporate rat race

وليس شيئًا يمكن اختزاله إلى سباق الفئران للشركات

of who can score the most daily active users.

حول من يمكنه تسجيل أكثر المستخدمين نشاطًا يوميًا.

I'm not saying I know

أنا لا أقول إنني أعرف

what the right trade-off between acceleration and safety is,

ما هي المقايضة الصحيحة بين التسارع والسلامة،

but I do know that we'll never find out what that right trade-off is

لكنني أعلم أننا لن نكتشف أبدًا ما هي هذه المقايضة الصحيحة

if we let Moloch dictate it for us.

إذا سمحنا لمولوك بإملاءها علينا.

So what can we do?

إذاً ماذا يمكننا أن نفعل؟

Well, the good news is we have managed to coordinate

حسنًا، الخبر السار هو أننا تمكنا من التنسيق

to escape some of Moloch's traps before.

للهروب من بعض فخاخ مولوك من قبل.

We managed to save the ozone layer from CFCs

تمكنا من إنقاذ طبقة الأوزون من مركبات الكربون الكلوروفلورية

with the help of the Montreal Protocol.

بمساعدة بروتوكول مونتريال.

We managed to reduce the number of nuclear weapons on Earth

لقد نجحنا في خفض عدد الأسلحة النووية على الأرض

by 80 percent,

بنسبة 80 في المائة،

with the help of the Strategic Arms Reduction Treaty in 1991.

بمساعدة معاهدة الحد من الأسلحة الاستراتيجية في عام 1991.

So smart regulation may certainly help with AI too,

لذا فإن التنظيم الذكي قد يساعد بالتأكيد في الذكاء الاصطناعي أيضًا،

but ultimately,

ولكن في النهاية،

it's the players within the game who have the most influence on it.

فإن اللاعبين داخل اللعبة هم الذين لديهم التأثير الأكبر عليها.

So we need AI leaders to show us

لذلك نحن بحاجة إلى قادة الذكاء الاصطناعي ليثبتوا لنا

that they're not only aware of the risks their technologies pose,

أنهم ليسوا فقط على دراية بالمخاطر التي تشكلها تقنياتهم،

but also the destructive nature of the incentives

ولكن أيضًا الطبيعة المدمرة للحوافز

that they're currently beholden to.

التي يدينون بها حاليًا.

As their technological capabilities reach towards the power of gods,

عندما تصل قدراتهم التكنولوجية إلى قوة الآلهة،

they're going to need the godlike wisdom to know how to wield them.

سيحتاجون إلى الحكمة الإلهية لمعرفة كيفية استخدامها.

So it doesn't fill me with encouragement

لذلك لا أشعر بالتشجيع

when I see a CEO of a very major company saying something like,

عندما أرى مديرًا تنفيذيًا لشركة كبرى جدًا يقول شيئًا مثل،

"I want people to know we made our competitor dance."

«أريد أن يعرف الناس أننا جعلنا منافسنا يرقص.»

That is not the type of mindset we need here.

ليس هذا هو نوع العقلية التي نحتاجها هنا.

We need leaders who are willing to flip Moloch's playbook,

نحن بحاجة إلى قادة مستعدين لقلب قواعد اللعبة الخاصة بمولوك،

who are willing to sacrifice their own individual chance of winning

الذين هم على استعداد للتضحية بفرصتهم الفردية للفوز

for the good of the whole.

لصالح الجميع.

Now, fortunately, the three leading labs are showing some signs of doing this.

الآن، لحسن الحظ، تُظهر المختبرات الثلاثة الرائدة بعض علامات القيام بذلك.

Anthropic recently announced their responsible scaling policy,

أعلنت Anthropic مؤخرًا عن سياسة التوسع المسؤولة،

which pledges to only increase capabilities

والتي تتعهد بزيادة القدرات فقط

once certain security criteria have been met.

بمجرد استيفاء معايير أمنية معينة.

OpenAI have recently pledged

تعهدت OpenAI مؤخرًا

to dedicate 20 percent of their compute purely to alignment research.

بتخصيص 20 بالمائة من الحوسبة الخاصة بها لأبحاث المواءمة فقط.

And DeepMind have shown a decade-long focus

وقد أظهرت DeepMind تركيزًا

of science ahead of commerce,

لمدة عشر سنوات على العلوم قبل التجارة،

like their development of AlphaFold,

مثل تطويرها لـ AlphaFold،

which they gave away to the science community for free.

الذي قدموه لمجتمع العلوم مجانًا.

These are all steps in the right direction,

هذه كلها خطوات في الاتجاه الصحيح،

but they are still nowhere close to being enough.

لكنها لا تزال بعيدة عن أن تكون كافية.

I mean, most of these are currently just words,

أعني، معظم هذه الكلمات حاليًا مجرد كلمات،

they're not even proven actions.

وليست حتى أفعالًا مثبتة.

So we need a clear way to turn the AI race into a definitive race to the top.

لذلك نحن بحاجة إلى طريقة واضحة لتحويل سباق الذكاء الاصطناعي إلى سباق نهائي نحو القمة.

Perhaps companies can start competing over who can be within these metrics,

ربما يمكن للشركات أن تبدأ في التنافس حول من يمكن أن يكون ضمن هذه المقاييس،

over who can develop the best security criteria.

حول من يمكنه تطوير أفضل معايير الأمان.

A race of who can dedicate the most compute to alignment.

سباق حول من يمكنه تكريس أكبر قدر من الحوسبة للمحاذاة.

Now that would truly flip the middle finger to Moloch.

الآن سيؤدي ذلك حقًا إلى قلب الإصبع الأوسط إلى Moloch.

Competition can be an amazing tool,

يمكن أن تكون المنافسة أداة رائعة،

provided we wield it wisely.

شريطة أن نستخدمها بحكمة.

And we're going to need to do that

وسنحتاج إلى القيام بذلك

because the stakes we are playing for are astronomical.

لأن المخاطر التي نلعب من أجلها فلكية.

If we get AI, and especially AGI, wrong,

إذا أخطأنا في الذكاء الاصطناعي، وخاصة الذكاء الاصطناعي العام،

it could lead to unimaginable catastrophe.

فقد يؤدي ذلك إلى كارثة لا يمكن تصورها.

But if we get it right,

ولكن إذا قمنا بذلك بشكل صحيح،

it could be our path out of many of these Moloch traps

فقد يكون طريقنا للخروج من العديد من مصائد مولوك

that I've mentioned today.

التي ذكرتها اليوم.

And as things get crazier over the coming years,

وبينما تزداد الأمور جنونًا خلال السنوات القادمة،

which they're probably going to,

وهو ما قد يحدث،

it's going to be more important than ever

سيكون من المهم أكثر من أي وقت مضى

that we remember that it is the real enemy here, Moloch.

أن نتذكر أنه العدو الحقيقي هنا، مولوك.

Not any individual CEO or company, and certainly not one another.

ليس أي رئيس تنفيذي فردي أو شركة، وبالتأكيد ليس بعضنا البعض.

So don't hate the players,

لذلك لا تكره اللاعبين،

change the game.

قم بتغيير اللعبة.

(Applause)

(تصفيق)