The danger of AI is weirder than you think | Janelle Shane

المترجم: Eman Shahadah المدقّق: toufik serrai

الذكاء الاصطناعي

So, artificial intelligence

is known for disrupting all kinds of industries.

معروف بتعطيل جميع أنواع الصناعات.

What about ice cream?

ماذا عن الآيس كريم؟

What kind of mind-blowing new flavors could we generate

ما هو نوع النكهات الجديدة المذهلة التي يمكن صنعها

with the power of an advanced artificial intelligence?

باستخدام قوة الذكاء الاصطناعي المتقدم؟

So I teamed up with a group of coders from Kealing Middle School

لذلك تعاونت مع مجموعة من المبرمجين من مدرسة كيلينغ المتوسطة

to find out the answer to this question.

لمعرفة إجابة هذا السؤال.

They collected over 1,600 existing ice cream flavors,

قاموا بجمع أكثر من 1600 نكهة آيس كريم موجودة بالفعل

and together, we fed them to an algorithm to see what it would generate.

ثم قمنا معاً بإدخالهم إلى خوارزمية حسابية لنرى ماذا قد ينتج.

And here are some of the flavors that the AI came up with.

وهنا لدينا بعض النكهات التي توصل إليها الذكاء الاصطناعي.

[Pumpkin Trash Break]

(استراحة قمامة اليقطين)

(Laughter)

ضحك

[Peanut Butter Slime]

(صلصال زبدة الفول السوداني)

[Strawberry Cream Disease]

(مرض قشدة فراولة)

(Laughter)

(ضحك)

These flavors are not delicious, as we might have hoped they would be.

هذه النكهات ليست لذيذة كما كنا نأمل أن تكون.

So the question is: What happened?

لذا السؤال هو: ماذا حدث؟

What went wrong?

ما الخطأ الذي حدث؟

Is the AI trying to kill us?

هل الذكاء الاصطناعي يحاول قتلنا؟

Or is it trying to do what we asked, and there was a problem?

أم أنه يحاول فعل ما نطلب منه وقد كان هناك مشكلة ما؟

In movies, when something goes wrong with AI,

في الأفلام، عندما يحدث خطأ مع الذكاء الاصطناعي

it's usually because the AI has decided

يكون عادة السبب أن الذكاء الإصطناعي قد قرر

that it doesn't want to obey the humans anymore,

أنه لا يريد أن يطيع البشر بعد الآن

and it's got its own goals, thank you very much.

وأنه قد حصل على هدفه وشكراً جزيلاً لكم.

In real life, though, the AI that we actually have

في الحياة الواقعية، الذكاء الاصطناعي الذي نمتلكه فعليا

is not nearly smart enough for that.

ليس ذكياً بما يكفي لفعل ذلك.

It has the approximate computing power

إنه يمتلك القدرة الحاسوبية التقريبية

of an earthworm,

لدودة الأرض

or maybe at most a single honeybee,

أو ربما كحد أقصى لنحلة واحدة

and actually, probably maybe less.

وربما أقل من ذلك فعليا.

Like, we're constantly learning new things about brains

وحيث أننا نتعلم باستمرار أشياء جديدة عن العقول

that make it clear how much our AIs don't measure up to real brains.

التي توضح كم أن الذكاء الاصطناعي لا يرقى إلى مستوى العقول الحقيقية.

So today's AI can do a task like identify a pedestrian in a picture,

لذلك فإن الذكاء الاصصناعي هذه الأيام يمكنه أن يقوم بمهمة مثل تحديد المارة في صورة

but it doesn't have a concept of what the pedestrian is

لكنه لا يدرك مفهوم المارة

beyond that it's a collection of lines and textures and things.

عدا عن أنه مجموعة من الخطوط والأخاديد وأشياء أخرى.

It doesn't know what a human actually is.

إنه لا يعلم ما هو الإنسان فعلياً.

So will today's AI do what we ask it to do?

لذا فإن السؤال: هل الذكاء الاصطناعي هذه الأيام سوف يفعل ما نطلبه منه؟

It will if it can,

إنه سوف يفعل عندما يستطيع

but it might not do what we actually want.

لكن ربما قد لا يفعل ماذا نريد نحن فعلياً.

So let's say that you were trying to get an AI

دعنا نقول أنك كنت تحاول أن تحصل على ذكاء اصطناعي

to take this collection of robot parts

لتأخذ هذه المجموعة من أجزاء الروبوت

and assemble them into some kind of robot to get from Point A to Point B.

وتقوم بتجميعهم في نوع من الروبوت لتصل من النقطة A إلى النقطة B.

Now, if you were going to try and solve this problem

الآن إذا كنت تحاول أن تجرب وتحل هذه المشكلة

by writing a traditional-style computer program,

عن طريق كتابة برنامج حاسوبي ذو طابع تقليدي

you would give the program step-by-step instructions

فإنك سوف تعطي البرنامج التعليمات خطوة بخطوة

on how to take these parts,

عن كيفية أخذ هذه الأجزاء

how to assemble them into a robot with legs

وكيفية تجميعها في روبوت له أقدام

and then how to use those legs to walk to Point B.

من ثم كيفية استخدام تلك الأرجل في المشي إلى النقطة B.

But when you're using AI to solve the problem,

لكن عندما تستخدم الذكاء الاصطناعي لحل المشكلة

it goes differently.

يحدث ذلك بطريقة مختلفة.

You don't tell it how to solve the problem,

أنت لاتخبره كيف يمكن أن يحل المشكلة

you just give it the goal,

أنت تعطيه فقط الهدف

and it has to figure out for itself via trial and error

وهو عليه أن يكتشف بنفسه عن طريق التجربة والخطأ

how to reach that goal.

كيفية الوصول إلى هذا الهدف.

And it turns out that the way AI tends to solve this particular problem

ويتبين أن الطريقة التي يميل بها الذكاء الاصطناعي لحل هذه المشكلة بالذات

is by doing this:

تتم عن طريق فعل التالي

it assembles itself into a tower and then falls over

إنه يقوم بجمع نفسه في برج ثم يسقط

and lands at Point B.

ويهبط عند النقطة B.

And technically, this solves the problem.

وهذه الطريقة تحل المشكلة تقنياً.

Technically, it got to Point B.

وصل إلى النقطة B تقنياً.

The danger of AI is not that it's going to rebel against us,

خطر الذكاء الاصطناعي ليس في أنه سوف يتمرد ضدنا

it's that it's going to do exactly what we ask it to do.

الخطر في أنه سوف يقوم بالضبط بفعل ما نطلب منه.

So then the trick of working with AI becomes:

وبذلك تصبح خدعة العمل مع الذكاء الاصطناعي هي:

How do we set up the problem so that it actually does what we want?

كيف نقوم بتنصيب المشكلة كي يفعل ما نريد فعلياً؟

So this little robot here is being controlled by an AI.

بذلك فإن هذا الروبوت الصغير هنا يتم التحكم به بواسطة ذكاء اصطناعي.

The AI came up with a design for the robot legs

توصل الذكاء الاصطناعي لتصميم من أجل أرجل الروبوت

and then figured out how to use them to get past all these obstacles.

من ثم اكتشف كيفية استخدامهم لتجاوز كل هذه العقبات.

But when David Ha set up this experiment,

ولكن عندما قام ديفيد ها بإعداد هذه التجربة

he had to set it up with very, very strict limits

كان عليه أن يضعها مع قيود صارمة جدا جدا

on how big the AI was allowed to make the legs,

على مدى حجم الذكاء الاصطناعي المسموح لصنع الأرجل

because otherwise ...

لأنه على خلاف ذلك

(Laughter)

(ضحك)

And technically, it got to the end of that obstacle course.

ومن الناحية التقنية فإنه وصل إلى نهاية هذه العقبة.

So you see how hard it is to get AI to do something as simple as just walk.

إذن ترى مدى صعوبة الحصول على ذكاء اصطناعي لفعل شيء ما بسيط مثل المشي فقط.

So seeing the AI do this, you may say, OK, no fair,

لذلك رؤية الذكاء الاصطناعي يفعل هذا قد تقول حسناً هذا ليس عدلاً

you can't just be a tall tower and fall over,

لا يمكنك أن تكون برجاً طويلاً وتسقط

you have to actually, like, use legs to walk.

عليك مثلاً أن تستخدم الأرجل فعلياً للمشي.

And it turns out, that doesn't always work, either.

ثم يتبين أنه أيضاً لا يجدي نفعأ دائماً.

This AI's job was to move fast.

كانت مهمة الذكاء الاصطناعي هذه هي التحرك بسرعة.

They didn't tell it that it had to run facing forward

لم يخبروها أنه كان عليها أن تتجه نحو الأمام

or that it couldn't use its arms.

أو أنها لا تستطيع استخدام ذراعيها.

So this is what you get when you train AI to move fast,

لذلك هذا ما تحصل عليه عندما تدرب الذكاء الاصطناعي ليتحرك بسرعة

you get things like somersaulting and silly walks.

قد تحصل على أشياء مثل الشقلبة والمشي الرديء.

It's really common.

هذا شائع حقاً.

So is twitching along the floor in a heap.

بذلك ترتعش على الأرض في كومة.

(Laughter)

(ضحك)

So in my opinion, you know what should have been a whole lot weirder

لذلك برأيي أنت تعرف ما ينبغي أن يكون أكثر غرابة

is the "Terminator" robots.

هو الروبوتات "المدمرة".

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

الشيء الآخر الذي سوف يفعله الذكاء الاصطناعي إذا أعطيته فرصة هو اختراق "القالب".

So if you train an AI in a simulation,

لذلك إذا قمت بتدريب ذكاء اصطناعي في محاكاة

it will learn how to do things like hack into the simulation's math errors

فإنه سوف يتعلم كيف يخترق أخطاء المحاكاة الحسابية

and harvest them for energy.

ويجمعهم للحصول على الطاقة.

Or it will figure out how to move faster by glitching repeatedly into the floor.

أو أنه سوف يكتشف كيفية التحرك بشكل أسرع عن طريق الاضطراب مراراً وتكراراً على الأرض

When you're working with AI,

عندما تعمل مع ذكاء اصطناعي

it's less like working with another human

فإنه أقل شبهاً من العمل مع إنسان آخر

and a lot more like working with some kind of weird force of nature.

وأكثر شبهاً بالعمل مع نوع ما من القوى الغريبة للطبيعة.

And it's really easy to accidentally give AI the wrong problem to solve,

ومن السهل حقاً أن تعطي الذكاء الاصطناعي عن طريق الخطأ المشكلة الخاطئة ليحلها

and often we don't realize that until something has actually gone wrong.

ونحن لاندرك ذلك غالباًَ حتى يحدث خطاً ما فعلياً.

So here's an experiment I did,

هنا تجربة قمت بإعدادها

where I wanted the AI to copy paint colors,

حيث أردت أن ينسخ الذكاء الاصطناعي ألوان الطلاء

to invent new paint colors,

لأخترع ألوان طباعة جديدة

given the list like the ones here on the left.

مع إعطاء القائمة مثل تلك الموجودة على اليسار.

And here's what the AI actually came up with.

وهنا يظهر ما الذي أتى به الذكاء الاصطناعي.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

(سينديس بوب، توردلي، سفر، غراي ببليك)

(Laughter)

(ضحك)

So technically,

إذن من الناحية التقنية

it did what I asked it to.

قام بما طلبته منه.

I thought I was asking it for, like, nice paint color names,

اعتقدت أني كنت أسأله عن أسماء ألوان طلاء جميلة مثلاً

but what I was actually asking it to do

لكن فعلياً ما كنت أطلب فعله

was just imitate the kinds of letter combinations

كان فقط أن يقلد أنواع مجموعات الحروف

that it had seen in the original.

التي رآها في النص الأصلي.

And I didn't tell it anything about what words mean,

كما أني لم أخبره أي شيء عن معاني الكلمات

or that there are maybe some words

أو أن هناك ربما بعض الكلمات

that it should avoid using in these paint colors.

التي ينبغي أن يتجنب استخدامها في ألوان الطلاء هذه.

So its entire world is the data that I gave it.

بذلك عالمه الكلي هو المعلومات التي أعطيته إياها.

Like with the ice cream flavors, it doesn't know about anything else.

كما حدث مع تجربة نكهة الآيس كريم، إنه لا يعرف عن أي شيء آخر.

So it is through the data

ذلك عن طريق البيانات

that we often accidentally tell AI to do the wrong thing.

التي غالباً نعطيها للذكاء الاصطناعي عن طريق الخطأ ليفعل الشيء الخطأ.

This is a fish called a tench.

هذه سمكة تدعى تنش.

And there was a group of researchers

وكان هناك مجموعة من الباحثيين

who trained an AI to identify this tench in pictures.

الذين دربوا ذكاء اصطناعي على إيجاد هذه السمكة في الصور.

But then when they asked it

لكن بعد ذلك عندما سألوه

what part of the picture it was actually using to identify the fish,

أي جزء من الصورة كان يستخدم فعلياً لإيجاد السمكة

here's what it highlighted.

إليكم ما أبرزه.

Yes, those are human fingers.

نعم هذه أصابع بشرية.

Why would it be looking for human fingers

لماذا قد يبحث عن أصابع بشرية

if it's trying to identify a fish?

عندما يحاول إيجاد السمكة؟

Well, it turns out that the tench is a trophy fish,

حسناً هذا يوضح أن التنش هي سمكة تذكارية

and so in a lot of pictures that the AI had seen of this fish

لذا في العديد من الصور التي رأى فيها الذكاء الاصطناعي هذه السمكة

during training,

خلال التدريب

the fish looked like this.

بدت السمكة هكذا.

(Laughter)

(ضحك)

And it didn't know that the fingers aren't part of the fish.

كما أنه لم يكن يعلم أن الأصابع ليست جزءاً من السمكة.

So you see why it is so hard to design an AI

هكذا أنتم تفهمون سبب صعوبة تصميم ذكاء اصطناعي

that actually can understand what it's looking at.

يستطيع أن يفهم فعلياً ما الذي ينظر اليه.

And this is why designing the image recognition

وهذا هو السبب في أن تصميم إدراك الصورة

in self-driving cars is so hard,

في القيادة الذاتية للسيارات صعب للغاية.

and why so many self-driving car failures

كما أن العديد من أعطال السيارات ذاتية القيادة

are because the AI got confused.

هو بسبب أن الذكاء الاصطناعي اختلط عليه الأمر.

I want to talk about an example from 2016.

أريد أن أذكر مثال من عام 2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

وقع حادث قاتل عندما كان يستخدم أحد ما الطيار الآلي تسلا

but instead of using it on the highway like it was designed for,

ولكن بدلاً من استخدامه على الطريق السريع كما كان مصمم له

they used it on city streets.

استخدموه في شوارع المدينة.

And what happened was,

وما حدث كان

a truck drove out in front of the car and the car failed to brake.

أن شاحنة خرجت أمام السيارة وفشلت السيارة في الضغط على المكابح.

Now, the AI definitely was trained to recognize trucks in pictures.

تم تدريب الذكاء الاصطناعي الآن على التعرف على الشاحنات في الصور بشكل قطعي.

But what it looks like happened is

لكن ما يبدو وكأنه حدث هو

the AI was trained to recognize trucks on highway driving,

أنه تم تدريبه للتعرف على الشاحنات في الطريق السريع

where you would expect to see trucks from behind.

حيث قد تتوقع رؤية الشاحنات من الخلف.

Trucks on the side is not supposed to happen on a highway,

ليس من المفترض أن تقود الشاحنات على الجانب في الطريق السريع

and so when the AI saw this truck,

ولذلك عندما رأى الذكاء الاصطناعي هذه الشاحنة

it looks like the AI recognized it as most likely to be a road sign

يبدو أنه أدرك أنها من المرجح أن تكون علامة طريق

and therefore, safe to drive underneath.

وبالتالي فهي آمنة للقيادة أسفلها.

Here's an AI misstep from a different field.

وهنا خطأ للذكاء الاصطناعي من مجال مختلف.

Amazon recently had to give up on a résumé-sorting algorithm

اضطرت أمازون مؤخرًا إلى التخلي عن خوارزمية فرز السيرة الذاتية

that they were working on

التي كانوا يعملون عليها

when they discovered that the algorithm had learned to discriminate against women.

عندما اكتشفوا أن الخوارزمية تعلمت التمييز ضد المرأة.

What happened is they had trained it on example résumés

ما حدث هو أنهم تدربوا على عينات من سير ذاتية

of people who they had hired in the past.

لأشخاص توظفوا في الماضي.

And from these examples, the AI learned to avoid the résumés of people

ومن هذه الأمثلة تعلم الذكاء الاصطناعي أن يتجنب السير الذاتية لأشخاص

who had gone to women's colleges

التحقوا بكليات للنساء

or who had the word "women" somewhere in their resume,

أو الذين لديهم كلمة "امرأة" في مكان ما من سيرتهم الذاتية

as in, "women's soccer team" or "Society of Women Engineers."

كما في "فريق كرة القدم النسائي" أو "جمعية النساء المهندسات".

The AI didn't know that it wasn't supposed to copy this particular thing

لم يكن يعرف الذكاء الاصطناعي أنه لم يكن من المفترض أن ينسخ هذا الشيء بالتحديد

that it had seen the humans do.

حيث كان يرى البشر يفعلون.

And technically, it did what they asked it to do.

ومن الناحية التقنية فقد قام بفعل ما طلبوا منه

They just accidentally asked it to do the wrong thing.

لكنهم فقط طلبوا أن يفعل الشيء الخطأ عن طريق الخطأ.

And this happens all the time with AI.

وهذا يحدث دائماً مع الذكاء الاصطناعي.

AI can be really destructive and not know it.

الذكاء الاصطناعي يمكن أن يكون مدمراً حقاً ولا يعرف ذلك.

So the AIs that recommend new content in Facebook, in YouTube,

لذلك فإن الذكاء الاصطناعي الذي يوصي بمحتوى جديد في الفيسبوك أو على اليوتيوب

they're optimized to increase the number of clicks and views.

تم تحسينه لزيادة عدد النقرات والمشاهدات.

And unfortunately, one way that they have found of doing this

ولسوء الحظ إحدى الطرق التي اكتشفوا فيها القيام بذلك

is to recommend the content of conspiracy theories or bigotry.

هي التوصية بمحتوى نظريات المؤامرة أو التعصب.

The AIs themselves don't have any concept of what this content actually is,

لا يملك الذكاء الاصطناعي نفسه أي تصور عن المضمون الفعلي للمحتوى

and they don't have any concept of what the consequences might be

كما أنه ليس لديهم أي فكرة عما قد تكون عليه عواقب

of recommending this content.

التوصية بهذا المحتوى.

So, when we're working with AI,

لذلك عندما نعمل مع الذكاء الاصطناعي

it's up to us to avoid problems.

يمكننا أن نتجنب المشاكل.

And avoiding things going wrong,

وتجنب أن تسير الأمور بشكل خاطىء

that may come down to the age-old problem of communication,

قد يرجع ذلك إلى مشكلة التواصل القديمة

where we as humans have to learn how to communicate with AI.

حيث يتعين علينا كبشر أن نتعلم كيفية التواصل مع الذكاء الاصطناعي.

We have to learn what AI is capable of doing and what it's not,

يجب علينا أن نتعلم ما يستطيع الذكاء الاصطناعي فعله وما لايستطيع

and to understand that, with its tiny little worm brain,

وأن نفهم ذلك، بعقله الصغير جداً

AI doesn't really understand what we're trying to ask it to do.

لا يفهم الذكاء الاصطناعي حقاً ما نحاول أن نطلب منه القيام به.

So in other words, we have to be prepared to work with AI

بمعنى آخر ، يجب أن نكون مستعدين للعمل مع الذكاء الاصطناعى

that's not the super-competent, all-knowing AI of science fiction.

ليس الذكاء الاصطناعي الفائق الكفاءة والواعي كما في الخيال العلمي.

We have to be prepared to work with an AI

يجب علينا أن نكون مستعدين للعمل مع ذكاء اصطناعى

that's the one that we actually have in the present day.

لدينا بالفعل في وقتنا الحالي.

And present-day AI is plenty weird enough.

وفي الوقت الحاضر، الذكاء الاصطناعي غريب بما فيه الكفاية.

Thank you.

شكراً لكم

(Applause)

(تصفيق)