Your Right to Repair AI Systems | Rumman Chowdhury | TED

المترجم: Hani Eldalees المدقّق: Dana Sarhan

I want to tell you a story

أريد أن أخبركم قصة

about artificial intelligence and farmers.

عن الذكاء الاصطناعي والمزارعين.

Now, what a strange combination, right?

الآن، يا له من مزيج غريب، أليس كذلك؟

Two topics could not sound more different from each other.

لا يمكن أن يبدو موضوعان مختلفين عن بعضهما البعض.

But did you know that modern farming actually involves a lot of technology?

لكن هل تعلم أن الزراعة الحديثة تنطوي بالفعل على الكثير من التكنولوجيا؟

So computer vision is used to predict crop yields.

لذلك يتم استخدام رؤية الكمبيوتر للتنبؤ بإنتاجية المحاصيل.

And artificial intelligence is used to find,

ويستخدم الذكاء الاصطناعي للعثور على الحشرات

identify and get rid of insects.

والتعرف عليها والتخلص منها.

Predictive analytics helps figure out extreme weather conditions

تساعد التحليلات التنبؤية في اكتشاف الظروف الجوية القاسية

like drought or hurricanes.

مثل الجفاف أو الأعاصير.

But this technology is also alienating to farmers.

لكن هذه التكنولوجيا تنفر المزارعين أيضًا.

And this all came to a head in 2017

وقد وصل كل هذا إلى ذروته في عام 2017

with the tractor company John Deere when they introduced smart tractors.

مع شركة الجرارات John Deere عندما قدمت الجرارات الذكية.

So before then, if a farmer's tractor broke,

لذا قبل ذلك، إذا تعطل جرار المزارع،

they could just repair it themselves or take it to a mechanic.

يمكنه فقط إصلاحه بنفسه أو نقله إلى ميكانيكي.

Well, the company actually made it illegal

حسنًا، جعلت الشركة في الواقع من غير القانوني

for farmers to fix their own equipment.

للمزارعين إصلاح معداتهم الخاصة.

You had to use a licensed technician

كان عليك استخدام فني مرخص

and farmers would have to wait for weeks

وسيتعين على المزارعين الانتظار لأسابيع

while their crops rot and pests took over.

حتى تتعفن محاصيلهم وتنتشر الآفات.

So they took matters into their own hands.

لذلك أخذوا الأمور بأيديهم.

Some of them learned to program,

تعلم بعضهم البرمجة،

and they worked with hackers to create patches to repair their own systems.

وعملوا مع المتسللين لإنشاء تصحيحات لإصلاح أنظمتهم الخاصة.

In 2022,

في عام 2022،

at one of the largest hacker conferences in the world, DEFCON,

في أحد أكبر مؤتمرات القراصنة في العالم، DEFCON

a hacker named Sick Codes and his team

وهو مخترق يدعى Sick Codes وفريقه

showed everybody how to break into a John Deere tractor,

للجميع كيفية اقتحام جرار John Deere،

showing that, first of all, the technology was vulnerable,

مما يدل على أن التكنولوجيا، أولاً وقبل كل شيء، كانت ضعيفة،

but also that you can and should own your own equipment.

ولكن أيضًا أنه يمكنك ويجب عليك امتلاك معداتك الخاصة.

To be clear, this is illegal,

للتوضيح، هذا غير قانوني،

but there are people trying to change that.

ولكن هناك أشخاص يحاولون تغيير ذلك.

Now that movement is called the “right to repair.”

الآن تسمى هذه الحركة «الحق في الإصلاح».

The right to repair goes something like this.

الحق في الإصلاح يسير على هذا النحو.

If you own a piece of technology,

إذا كنت تمتلك قطعة من التكنولوجيا،

it could be a tractor, a smart toothbrush,

فقد تكون جرارًا أو فرشاة أسنان ذكية

a washing machine,

أو غسالة ملابس،

you should have the right to repair it if it breaks.

فيجب أن يكون لديك الحق في إصلاحها في حالة تعطلها.

So why am I telling you this story?

فلماذا أقول لك هذه القصة؟

The right to repair needs to extend to artificial intelligence.

يجب أن يمتد الحق في الإصلاح إلى الذكاء الاصطناعي.

Now it seems like every week

الآن يبدو أن

there is a new and mind-blowing innovation in AI.

هناك كل أسبوع ابتكارًا جديدًا ومذهلًا في الذكاء الاصطناعي.

But did you know that public confidence is actually declining?

لكن هل تعلم أن ثقة الجمهور آخذة في الانخفاض بالفعل؟

A recent Pew poll showed that more Americans are concerned

أظهر استطلاع أجرته مؤسسة بيو مؤخرًا أن المزيد من الأمريكيين يشعرون بالقلق

than they are excited about the technology.

أكثر من حماسهم للتكنولوجيا.

This is echoed throughout the world.

يتردد صدى هذا في جميع أنحاء العالم.

The World Risk Poll shows

يُظهر استطلاع مخاطر عالمي

that respondents from Central and South America and Africa

أن المشاركين من أمريكا الوسطى والجنوبية وأفريقيا قالوا

all said that they felt AI would lead to more harm than good for their people.

جميعًا إنهم يشعرون أن الذكاء الاصطناعي سيؤدي إلى ضرر أكثر مما ينفع شعوبهم.

As a social scientist and an AI developer,

بصفتي عالمًا اجتماعيًا ومطورًا للذكاء الاصطناعي،

this frustrates me.

فإن هذا يحبطني.

I'm a tech optimist

أنا متفائل بالتكنولوجيا

because I truly believe this technology can lead to good.

لأنني أعتقد حقًا أن هذه التكنولوجيا يمكن أن تؤدي إلى الخير.

So what's the disconnect?

إذن ما هو الانفصال؟

Well, I've talked to hundreds of people over the last few years.

حسنًا، لقد تحدثت إلى مئات الأشخاص خلال السنوات القليلة الماضية.

Architects and scientists, journalists and photographers,

المهندسون المعماريون والعلماء والصحفيون والمصورون والسائقون والأطباء

ride-share drivers and doctors,

يتشاركون الركوب،

and they all say the same thing.

وكلهم يقولون نفس الشيء.

People feel like an afterthought.

يشعر الناس وكأنهم فكرة لاحقة.

They all know that their data is harvested often without their permission

يعلمون جميعًا أن بياناتهم يتم حصادها غالبًا دون إذنهم

to create these sophisticated systems.

لإنشاء هذه الأنظمة المعقدة.

They know that these systems are determining their life opportunities.

إنهم يعرفون أن هذه الأنظمة تحدد فرص حياتهم.

They also know that nobody ever bothered to ask them

إنهم يعرفون أيضًا أنه لم يكلف أحد عناء سؤالهم عن

how the system should be built,

كيفية بناء النظام،

and they certainly have no idea where to go if something goes wrong.

وبالتأكيد ليس لديهم أي فكرة إلى أين يذهبون إذا حدث خطأ ما.

We may not own AI systems,

قد لا نمتلك أنظمة الذكاء الاصطناعي،

but they are slowly dominating our lives.

لكنها تهيمن ببطء على حياتنا.

We need a better feedback loop

نحن بحاجة إلى ردود فعل أفضل

between the people who are making these systems,

بين الأشخاص الذين يصنعون هذه الأنظمة

and the people who are best determined to tell us

والأشخاص الأكثر تصميمًا على إخبارنا

how these AI systems should interact in their world.

بكيفية تفاعل أنظمة الذكاء الاصطناعي هذه في عالمهم.

One step towards this is a process called red teaming.

خطوة واحدة نحو ذلك هي عملية تسمى الفريق الأحمر.

Now, red teaming is a practice that was started in the military,

الآن، أصبح العمل الجماعي الأحمر ممارسة بدأت في الجيش،

and it's used in cybersecurity.

وتستخدم في الأمن السيبراني.

In a traditional red-teaming exercise,

في تمرين الفريق الأحمر التقليدي،

external experts are brought in to break into a system,

يتم جلب خبراء خارجيين لاقتحام النظام،

sort of like what Sick Codes did with tractors, but legal.

نوعًا ما مثل ما فعلته Sick Codes مع الجرارات، ولكنه قانوني.

So red teaming acts as a way of testing your defenses

لذا فإن الفريق الأحمر يعمل كطريقة لاختبار دفاعاتك

and when you can figure out where something will go wrong,

وعندما تتمكن من معرفة أين سيحدث خطأ ما،

you can figure out how to fix it.

يمكنك معرفة كيفية إصلاحه.

But when AI systems go rogue,

ولكن عندما تصبح أنظمة الذكاء الاصطناعي خادعة،

it's more than just a hacker breaking in.

يكون الأمر أكثر من مجرد اختراق مخترق.

The model could malfunction or misrepresent reality.

يمكن أن يتعطل النموذج أو يحرف الواقع.

So, for example, not too long ago,

لذلك، على سبيل المثال، منذ وقت ليس ببعيد،

we saw an AI system attempting diversity

رأينا نظامًا للذكاء الاصطناعي يحاول التنوع

by showing historically inaccurate photos.

من خلال عرض صور غير دقيقة تاريخيًا.

Anybody with a basic understanding of Western history

كان بإمكان أي شخص لديه فهم أساسي للتاريخ الغربي

could have told you that neither the Founding Fathers

أن يخبرك أنه لن يكون الآباء المؤسسون

nor Nazi-era soldiers would have been Black.

ولا جنود الحقبة النازية من السود.

In that case, who qualifies as an expert?

في هذه الحالة، من الذي يتأهل كخبير؟

You.

أنت.

I'm working with thousands of people all around the world

أنا أعمل مع آلاف الأشخاص في جميع أنحاء العالم

on large and small red-teaming exercises,

على تمارين الفريق الأحمر الكبيرة والصغيرة،

and through them we found and fixed mistakes in AI models.

ومن خلالها اكتشفنا الأخطاء وأصلحناها في نماذج الذكاء الاصطناعي.

We also work with some of the biggest tech companies in the world:

نحن نعمل أيضًا مع بعض أكبر شركات التكنولوجيا في العالم:

OpenAI, Meta, Anthropic, Google.

OpenAI و Meta و Anthropic و Google.

And through this, we've made models work better for more people.

ومن خلال هذا، جعلنا النماذج تعمل بشكل أفضل لمزيد من الأشخاص.

Here's a bit of what we've learned.

إليك القليل مما تعلمناه.

We partnered with the Royal Society in London to do a scientific,

لقد عقدنا شراكة مع الجمعية الملكية في لندن لإجراء حدث علمي

mis- and disinformation event with disease scientists.

وخاطئ وتضليلي مع علماء الأمراض.

What these scientists found

ما وجده هؤلاء العلماء

is that AI models actually had a lot of protections

أن نماذج الذكاء الاصطناعي تتمتع بالفعل بالكثير من الحماية

against COVID misinformation.

ضد المعلومات الخاطئة حول كوفيد.

But for other diseases like measles, mumps and the flu,

ولكن بالنسبة لأمراض أخرى مثل الحصبة والنكاف والإنفلونزا،

the same protections didn't apply.

لم يتم تطبيق نفس الحماية.

We reported these changes,

أبلغنا عن هذه التغييرات،

they’re fixed and now we are all better protected

وتم إصلاحها والآن نحن جميعًا محميون بشكل أفضل

against scientific mis- and disinformation.

ضد الأخطاء العلمية والمعلومات المضللة.

We did a really similar exercise with architects at Autodesk University,

لقد أجرينا تمرينًا مشابهًا حقًا مع المهندسين المعماريين في جامعة أوتوديسك،

and we asked them a simple question:

وسألناهم سؤالًا بسيطًا: هل

Will AI put them out of a job?

سيؤدي الذكاء الاصطناعي إلى إخراجهم من العمل؟

Or more specifically,

أو بشكل أكثر تحديدًا،

could they imagine a modern AI system

هل يمكنهم

that would be able to design the specs of a modern art museum?

تخيل نظام ذكاء اصطناعي حديث قادر على تصميم مواصفات متحف الفن الحديث؟

The answer, resoundingly, was no.

كان الجواب، بشكل مدوي، لا.

Here's why, architects do more than just draw buildings.

لهذا السبب، يقوم المهندسون المعماريون بأكثر من مجرد رسم المباني.

They have to understand physics and material science.

يجب عليهم فهم الفيزياء وعلوم المواد.

They have to know building codes,

يجب أن يعرفوا قوانين البناء،

and they have to do that

وعليهم القيام بذلك

while making something that evokes emotion.

أثناء صنع شيء يثير المشاعر.

What the architects wanted was an AI system

ما أراده المهندسون المعماريون هو نظام ذكاء اصطناعي

that interacted with them, that would give them feedback,

الذي يتفاعل معهم، والذي من شأنه أن يمنحهم التعليقات،

maybe proactively offer design recommendations.

وربما يقدم توصيات التصميم بشكل استباقي.

And today's AI systems, not quite there yet.

وأنظمة الذكاء الاصطناعي الحالية، ليست موجودة تمامًا بعد.

But those are technical problems.

لكن هذه مشاكل فنية.

People building AI are incredibly smart,

الذين يبنون ذكاء اصطناعي أذكياء جدا،

and maybe they could solve all that in a few years.

وربما يمكنهم حل كل ذلك في غضون بضع سنوات.

But that wasn't their biggest concern.

لكن هذا لم يكن مصدر قلقهم الأكبر.

Their biggest concern was trust.

كان همهم الأكبر هو الثقة.

Now architects are liable if something goes wrong with their buildings.

الآن يتحمل المهندسون المعماريون المسؤولية إذا حدث خطأ ما في مبانيهم.

They could lose their license,

يمكن أن يفقدوا رخصتهم،

they could be fined, they could even go to prison.

ويمكن تغريمهم، بل قد يذهبون إلى السجن.

And failures can happen in a million different ways.

ويمكن أن تحدث حالات الفشل بمليون طريقة مختلفة.

For example, exit doors that open the wrong way,

على سبيل المثال، أبواب الخروج التي تفتح بطريقة خاطئة،

leading to people being crushed in an evacuation crisis,

مما يؤدي إلى سحق الناس في أزمة الإخلاء،

or broken glass raining down onto pedestrians in the street

أو تساقط الزجاج المكسور على المشاة في الشارع

because the wind blows too hard and shatters windows.

لأن الرياح تهب بشدة وتحطم النوافذ.

So why would an architect trust an AI system with their job,

فلماذا يثق المهندس المعماري بنظام الذكاء الاصطناعي في وظيفته،

with their literal freedom,

مع حريته الحرفية،

if they couldn't go in and fix a mistake if they found it?

إذا لم يتمكن من الدخول وإصلاح الخطأ إذا وجده؟

So we need to figure out these problems today, and I'll tell you why.

لذلك نحن بحاجة إلى معرفة هذه المشاكل اليوم، وسأخبرك لماذا.

The next wave of artificial intelligence systems, called agentic AI,

تمثل الموجة التالية من الذكاء الاصطناعي، والتي تسمى الذكاء الاصطناعي الوكيل،

is a true tipping point

نقطة تحول حقيقية

between whether or not we retain human agency,

بين ما إذا كنا سنحتفظ بالوكالة البشرية أم لا،

or whether or not AI systems make our decisions for us.

أو ما إذا كانت أنظمة الذكاء الاصطناعي تتخذ قراراتنا نيابة عنا أم لا.

Imagine an AI agent as kind of like a personal assistant.

تخيل وكيل الذكاء الاصطناعي كنوع من المساعد الشخصي.

So, for example, a medical agent might determine

لذلك، على سبيل المثال، قد يحدد الوكيل الطبي

whether or not your family needs doctor's appointments,

ما إذا كانت عائلتك بحاجة إلى مواعيد الطبيب أم لا، أو

it might refill prescription medications, or in case of an emergency,

قد يعيد ملء الأدوية التي تستلزم وصفة طبية، أو في حالة الطوارئ،

send medical records to the hospital.

يرسل السجلات الطبية إلى المستشفى.

But AI agents can't and won't exist

لكن وكلاء الذكاء الاصطناعي لن يتواجدوا

unless we have a true right to repair.

ما لم يكن لدينا حق حقيقي في الإصلاح.

What parent would trust their child's health to an AI system

أي من الوالدين سيثق بصحة أطفالهم في نظام الذكاء الاصطناعي

unless you could run some basic diagnostics?

ما لم تتمكن من إجراء بعض التشخيصات الأساسية؟

What professional would trust an AI system with job decisions,

أي محترف يثق بنظام الذكاء الاصطناعي في اتخاذ قرارات العمل،

unless you could retrain it the way you might a junior employee?

إلا إذا كان بإمكانك إعادة تدريبه بالطريقة التي قد تستخدمها كموظف مبتدئ؟

Now, a right to repair might look something like this.

الآن، قد يبدو الحق في الإصلاح شيئًا كهذا.

You could have a diagnostics board

يمكن أن يكون لديك لوحة تشخيص

where you run basic tests that you design,

حيث تقوم بإجراء الاختبارات الأساسية التي تقوم بتصميمها،

and if something's wrong, you could report it to the company

وإذا حدث خطأ ما، فيمكنك إبلاغ الشركة بذلك

and hear back when it's fixed.

والرد عندما يتم إصلاحه.

Or you could work with third parties like ethical hackers

أو يمكنك العمل مع أطراف ثالثة مثل المتسللين الأخلاقيين

who make patches for systems like we do today.

الذين يقومون بعمل تصحيحات للأنظمة كما نفعل اليوم.

You can download them and use them to improve your system

يمكنك تنزيلها واستخدامها لتحسين نظامك

the way you want it to be improved.

بالطريقة التي تريد تحسينها.

Or you could be like these intrepid farmers and learn to program

أو يمكنك أن تكون مثل هؤلاء المزارعين الجريئين وتتعلم البرمجة

and fine-tune your own systems.

وضبط أنظمتك الخاصة.

We won't achieve the promised benefits of artificial intelligence

لن نحقق الفوائد الموعودة للذكاء الاصطناعي

unless we figure out how to bring people into the development process.

ما لم نكتشف كيفية إشراك الناس في عملية التنمية.

I've dedicated my career to responsible AI,

لقد كرست حياتي المهنية للذكاء الاصطناعي المسؤول،

and in that field we ask the question,

وفي هذا المجال نطرح السؤال،

what can companies build to ensure that people trust AI?

ما الذي يمكن أن تبنيه الشركات لضمان ثقة الناس في الذكاء الاصطناعي؟

Now, through these red-teaming exercises, and by talking to you,

الآن، من خلال تمارين الفريق الأحمر هذه، ومن خلال التحدث

I've come to realize that we've been asking the wrong question all along.

إليكم، أدركت أننا كنا نطرح السؤال الخطأ طوال الوقت.

What we should have been asking is what tools can we build

ما كان يجب أن نسأله هو ما هي الأدوات التي يمكننا بناؤها

so people can make AI beneficial for them?

حتى يتمكن الناس من جعل الذكاء الاصطناعي مفيدًا لهم؟

Technologists can't do it alone.

لا يمكن للتقنيين القيام بذلك بمفردهم.

We can only do it with you.

يمكننا أن نفعل ذلك معك فقط.

Thank you.

شكرًا لكم.

(Applause)

(تصفيق)