Machine intelligence makes human morals more important | Zeynep Tufekci

المترجم: Mutaz Salloum المدقّق: Ralah Haddad

So, I started my first job as a computer programmer

لقد بدأت عملي الأول كمبرمجة كمبيوتر

in my very first year of college --

في أول سنة جامعة لي--

basically, as a teenager.

بشكل أساسي، كمراهقة.

Soon after I started working,

بعدما بدأت العمل بوقت قصير،

writing software in a company,

بكتابة البرمجيات في الشركة،

a manager who worked at the company came down to where I was,

آتى مدير في الشركة إلى حيث كنت أعمل،

and he whispered to me,

و همس لي،

"Can he tell if I'm lying?"

"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"

There was nobody else in the room.

لم يكن هناك أحد آخر في الغرفة.

"من الذي سيُخبرإذا كنتَ تكذب؟ ولماذا نحن نهمس؟"

"Can who tell if you're lying? And why are we whispering?"

The manager pointed at the computer in the room.

أشار المدير إلى الكمبيوترالموجود في الغرفة.

"Can he tell if I'm lying?"

"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"

Well, that manager was having an affair with the receptionist.

حسناً، المدير كان على علاقة مع موظفة الاستقبال.

(Laughter)

(ضحك)

وكنت لا أزال مراهقة.

And I was still a teenager.

So I whisper-shouted back to him,

ولذالك همست له بصوت مرتفع،

"Yes, the computer can tell if you're lying."

"نعم الكمبيوتر يستطيع أن يُخبر فيما إذا كنتَ تكذب."

(ضحك)

(Laughter)

Well, I laughed, but actually, the laugh's on me.

حسنا، لقد ضحكت، ولكن في الحقيقة ضحكت على نفسي.

Nowadays, there are computational systems

هذه الأيام، يوجد هنالك أنظمة حسابية

that can suss out emotional states and even lying

من الممكن أن نعمل عليها على الحالات العاطفية وحتى الكذب

from processing human faces.

من معالجة وجوه الناس.

Advertisers and even governments are very interested.

العاملون في مجال الإعلان وحتى الحكومات مهتمون جداً.

I had become a computer programmer

لقد أصبحت مبرمجة كمبيوتر

because I was one of those kids crazy about math and science.

لأنني كنت واحدة من أولئك الأطفال المحبين للرياضيات والعلوم.

But somewhere along the line I'd learned about nuclear weapons,

ولكن في مكان ما من هذا الطريق تعلمت عن الأسلحة النووية،

وأنا حقاً قلقة حول أخلاقيات العلم.

and I'd gotten really concerned with the ethics of science.

كنت مضطربة.

I was troubled.

However, because of family circumstances,

على أية حال، بسبب ظروف العائلة،

I also needed to start working as soon as possible.

أنا أيضاً بحاجة أن أبدأ العمل بأسرع ما يمكن.

So I thought to myself, hey, let me pick a technical field

لذلك فكرت بنفسي، مهلاً، أدخلي في المجال التقني

where I can get a job easily

حيث أستطيع أن أحصل على عمل بسهولة

and where I don't have to deal with any troublesome questions of ethics.

وحيث ليس علي أن أتعامل مع أسئلة أخلاقية مزعجة.

لذلك اخترت الحواسيب.

So I picked computers.

(Laughter)

(ضحك)

Well, ha, ha, ha! All the laughs are on me.

حسناً، ها، ها، ها! كل الضحك علي.

هذه الأيام، علماء الحاسوب يقومون بصياغة البرامج

Nowadays, computer scientists are building platforms

that control what a billion people see every day.

والتي تتحكم بما يستطيع أن يشاهده مليار شخص كل يوم.

إنهم يطورون السيارات التي ممكن أن تقرر مَن تجاوز السرعة.

They're developing cars that could decide who to run over.

They're even building machines, weapons,

إنهم حتى يبنون الألات و الأسلحة،

that might kill human beings in war.

التي يُمكن أن تقتل الإنسان في الحرب.

It's ethics all the way down.

إنها الأخلاق دائماً في النطاق.

Machine intelligence is here.

ذكاء الألة يكون هنا.

We're now using computation to make all sort of decisions,

نحن نستخدم الألة لنتخذ كل أنواع القرارات،

but also new kinds of decisions.

ولكن ايضاً الأنواع الجديدة من القرارات.

We're asking questions to computation that have no single right answers,

نحن نسأل الحاسب أسئلة ليس له إجابات صحيحة منفردة

that are subjective

والتي تكون غير موضوعية

and open-ended and value-laden.

مفتوحة وذات قيمة.

نحن نسأل أسئلة مثل،

We're asking questions like,

"Who should the company hire?"

"من الذي يجب على الشركة توظيفه؟"

"أي تحديث ومن أي صديق يجب أن تُشاهد؟"

"Which update from which friend should you be shown?"

"Which convict is more likely to reoffend?"

"أي إنتهاك من المرجح أن يُعاد إدانته؟"

"Which news item or movie should be recommended to people?"

"أي الأخبار أو الأفلام يجب أن يوصى بها إلى الناس؟"

Look, yes, we've been using computers for a while,

انظر، نعم، نحن نستخدم الحاسوب منذ فترة،

but this is different.

ولكن هذا مُختلف.

This is a historical twist,

هذا تطور تاريخي،

because we cannot anchor computation for such subjective decisions

لأننا لا نستطيع أن نُركّز الحساب من أجل هكذا قرارات شخصية

the way we can anchor computation for flying airplanes, building bridges,

الطريقة التي نستطيع أن نُركّز الحساب لأجل تحليق الطائرات، بناء الجسور،

going to the moon.

الذهاب إلى القمر

Are airplanes safer? Did the bridge sway and fall?

هل الطائرات أكثر أماناً؟ هل الجسر تأرجح وانهار؟

There, we have agreed-upon, fairly clear benchmarks,

هناك، نحن اتفقنا عليه، معيار واضح ألى حد ما،

and we have laws of nature to guide us.

ونحن لدينا قوانين طبيعية لتُرشِدنا.

We have no such anchors and benchmarks

ليس لدينا هكذا مرتكز أو معيار

for decisions in messy human affairs.

للقرارات في العلاقات الإنسانية الفوضوية.

To make things more complicated, our software is getting more powerful,

لنجعل الأشياء أكثر تعقيداً، برمجياتُنا أصبحت أكثر قوة،

but it's also getting less transparent and more complex.

ولكنها أصبحت أيضاً أقل شفافية وأكثر تعقيداً.

Recently, in the past decade,

مؤخراً، في العقد الماضي،

complex algorithms have made great strides.

الخوارزميات المعقدة صنعت خطوات عظيمة.

They can recognize human faces.

تستطيع أن تُميز الوجوه البشرية.

They can decipher handwriting.

تستطيع أن تحل شيفرة خط اليد.

They can detect credit card fraud

تستطيع أن تكشف تزوير البطاقة الإتمانية

and block spam

وتمنع البريد المزعج

and they can translate between languages.

وتستطيع الترجمة بين اللغات.

They can detect tumors in medical imaging.

تستطيع أن تكشف الأمراض في التصوير الطبي.

They can beat humans in chess and Go.

تستطيع أن تتغلب على الإنسان في الشطرنج.

Much of this progress comes from a method called "machine learning."

معظم هذا التقدم يأتي من اسلوب يُدعى"تعلم الآلة."

تعلم الآلة يختلف عن البرمجة التقليدية،

Machine learning is different than traditional programming,

where you give the computer detailed, exact, painstaking instructions.

حيث تُعطي الحاسوب تعليمات دقيقة ومضبوطة ومُفصلة.

It's more like you take the system and you feed it lots of data,

إنه مثل أن تأخذ النظام وتُلقمه الكثير من البيانات،

including unstructured data,

بما في ذلك البيانات الغير منظمة،

like the kind we generate in our digital lives.

مثل النوع الذي أنتجناه في حياتنا الرقمية.

And the system learns by churning through this data.

والنظام المتعلم من خلال الخوض بهذه البيانات.

And also, crucially,

و أيضاً، بشكل حاسم،

these systems don't operate under a single-answer logic.

هذه الأنظمة لا تعمل تحت منطق الإجابة الفريدة.

They don't produce a simple answer; it's more probabilistic:

إنها لا تُنتج إجابة بسيطة؛ إنها أكثر إحتمالية:

"This one is probably more like what you're looking for."

"من المحتمل أن يكون هذا الشيء هو ما تبحث عنه."

الآن، الجزء الجيد هو: هذه الطريقة حقاً قوية.

Now, the upside is: this method is really powerful.

رئيس أنظمة غوغل دعاه،

The head of Google's AI systems called it,

"the unreasonable effectiveness of data."

"الفاعلية الغير منطقية للبيانات."

The downside is,

الجانب السلبي هو،

we don't really understand what the system learned.

لا نستطيع أن نفهم ماذا يُعلم النظام تماماً.

In fact, that's its power.

في الحقيقة، تلك قوته.

This is less like giving instructions to a computer;

هذا بدرجة أقل مثل إعطاء التعليمات للحاسوب؛

it's more like training a puppy-machine-creature

إنه بالأكثر مثل تدريب مخلوق آلي مغرور

we don't really understand or control.

لا نستطيع حقاً أن نفهمه أو نتحكم به.

So this is our problem.

لذلك هذه هي مُشكلتنا.

It's a problem when this artificial intelligence system gets things wrong.

إنها مشكلة عندما يصنع نظام الذكاء الإصطناعي هذا أشياء خاطئة.

It's also a problem when it gets things right,

إنها أيضاً مُشكلة عندما نحصل على الأشياء الصحيحة،

because we don't even know which is which when it's a subjective problem.

لأننا لا نعرف حتى متى تكون مشكلة غير موضوعية.

We don't know what this thing is thinking.

نحن لا نعلم ماذا يُفكر هذه الشيء.

So, consider a hiring algorithm --

لذلك، تأمل خوارزمية التوظيف--

نظام يستعمل لتوظيف الناس، باستعمال أنظمة تعلّم الآلة.

a system used to hire people, using machine-learning systems.

هكذا نظام قد تم تمرينه على بيانات العاملين السابقة

Such a system would have been trained on previous employees' data

and instructed to find and hire

وأَعطي تعليمات ليجد ويوظف

people like the existing high performers in the company.

الناس مثل الموجودين في الشركة من ذوي الكفاءات العالية.

Sounds good.

يبدو جيداً.

I once attended a conference

حضرت إجتماعاً ذات مرة

مع مدراء الموارد البشرية والمدراء التنفيذيين،

that brought together human resources managers and executives,

أشخاص على مستوى عال،

high-level people,

using such systems in hiring.

وباستخدام هكذا أنظمة في التوظيف.

They were super excited.

كانوا متحمسين بشكل كبير.

They thought that this would make hiring more objective, less biased,

اعتقدوا أن هذا سيجعل التوظيف أكثر موضوعية وأقل تحيز،

and give women and minorities a better shot

وإعطاء النساء والأقليات محاولة أفضل

against biased human managers.

ضد تحيز مدراء الموارد البشرية.

And look -- human hiring is biased.

انظر-- التوظيف البشري متحيز.

أنا أعلم.

I know.

I mean, in one of my early jobs as a programmer,

أعني، في أحد أعمالي المبكرة كمبرمجة،

my immediate manager would sometimes come down to where I was

مديرتي المباشرة كانت تأتي أحياناً إلي حيث كُنت أعمل

really early in the morning or really late in the afternoon,

باكراً في الصباح أو متأخرة بعد الظهر،

وكانت تقول، "زينب، دعينا نذهب ألى الغداء!"

and she'd say, "Zeynep, let's go to lunch!"

I'd be puzzled by the weird timing.

وأكون في حيرة من التوقيت الغريب.

It's 4pm. Lunch?

إنه الساعة الرابعة بعد الظهر. الغداء؟

كُنت مُفلسة، وكذلك الغداء مجاني. كنت دائماً أذهب.

I was broke, so free lunch. I always went.

I later realized what was happening.

فيما بعد أدركت ماذا كان يحدث.

My immediate managers had not confessed to their higher-ups

مُدرائي المباشرين لم يخبروا المدراء في المستوى الأعلى

that the programmer they hired for a serious job was a teen girl

إن المبرمج الذي وظفوه في العمل المُهم كانت فتاة شابة

who wore jeans and sneakers to work.

والتي ترتدي الجنز والأحذية الرياضية في العمل.

كُنت أعمل عملاً جيداً، فقط مظهري كان خاطئاً

I was doing a good job, I just looked wrong

and was the wrong age and gender.

لقد كان العمر الخطأ والجنس الخطأ.

لذلك التوظيف بطريقة الجنس والعرق العمياء

So hiring in a gender- and race-blind way

certainly sounds good to me.

بالتأكيد تبدو جيدة بالنسبة لي.

ولكن مع هذه الأنظمة، إنه أكثر تعقيداً، والسبب:

But with these systems, it is more complicated, and here's why:

Currently, computational systems can infer all sorts of things about you

حالياً، الأنظمة الحسابية تستطيع أن تستدل على كل الأشياء حولك

from your digital crumbs,

من أجزائك الرقمية الصغيرة،

even if you have not disclosed those things.

حتى لو أنك لم تكشف هذه الأشياء.

They can infer your sexual orientation,

تستطيع أن تكشف توجهك الجنسي،

your personality traits,

ميزاتك الشخصية،

your political leanings.

ميولك السياسية.

They have predictive power with high levels of accuracy.

لديها قوة تنبئية بمستوى عالي من الدقة.

Remember -- for things you haven't even disclosed.

تذّكر- حتى بالنسبة للأشياء التي لم تكشفها.

This is inference.

هذا هو الاستدلال.

I have a friend who developed such computational systems

لدي صديق والذي طور هكذا أنظمة حسابية

to predict the likelihood of clinical or postpartum depression

ليتنبأ باحتمالية الإكتئاب المرضي أو الإكتئاب ما بعد الولادة

from social media data.

من بيانات وسائل الإعلام.

The results are impressive.

النتائج كانت مؤثرة.

Her system can predict the likelihood of depression

نظامها يستطيع التنبؤ باحتمالية الإكتئاب

months before the onset of any symptoms --

أشهر قبل بداية أي أعراض --

months before.

أشهر قبل.

No symptoms, there's prediction.

لا أعراض، يوجد هنا تنبؤ.

She hopes it will be used for early intervention. Great!

تأمل أنه سيستعمل للتدخل المُبكر. عظيم!

But now put this in the context of hiring.

لكن الآن ضع هذا في حالة التوظيف.

لذلك في مؤتمر مدراء الموارد البشرية هذا،

So at this human resources managers conference,

اقتربت من مدير في المستوى الأعلى في شركة كبيرة جداً،

I approached a high-level manager in a very large company,

and I said to her, "Look, what if, unbeknownst to you,

وقُلت لها،" انظري، ماذا لو، غير معروف لك،

your system is weeding out people with high future likelihood of depression?

أن نظامك يُزيل الأشخاص ذوي الاحتمالية المستقبلية الكبيرة من الإكتئاب؟

They're not depressed now, just maybe in the future, more likely.

إنهم غير مكتئبين الآن، ربما فقط في المستقبل، أكثر احتمالية.

What if it's weeding out women more likely to be pregnant

ماذا لو يُزل النساء الأكثر احتمالية لأن يكونوا حوامل

in the next year or two but aren't pregnant now?

في السنة المقبلة أوالسنتين ولكن غير حوامل الآن؟

What if it's hiring aggressive people because that's your workplace culture?"

ماذا لو يوظف الناس العدائيين لأن ذلك هو ثقافة مكان عملك؟"

لا تستطيع أن تحكي هذا بالنظر إلى التقسيم من حيث الجنس.

You can't tell this by looking at gender breakdowns.

Those may be balanced.

هؤلاء ربما يكونوا متوازنيين.

And since this is machine learning, not traditional coding,

وبما أن هذا تعّلم الآلة، وليس تدوين تقليدي،

there is no variable there labeled "higher risk of depression,"

لا يوجد هنا متغير يوجد اسمه "خطر أعلى من الإكتئاب،"

"higher risk of pregnancy,"

"خطر أعلى من الحمل،"

"aggressive guy scale."

"مقياس شخص عدواني."

Not only do you not know what your system is selecting on,

ليس فقط أنك لا تعلم ما يختار نظامك،

you don't even know where to begin to look.

أنت لا تعلم أيضاً أين يجب أن تبدأ النظر.

إنه صندوق أسود.

It's a black box.

It has predictive power, but you don't understand it.

إنه يملك قوة تنبؤية، لكنك لا تفهمها.

"What safeguards," I asked, "do you have

سألتها "ما إجراءات الوقاية"، ستملكين

to make sure that your black box isn't doing something shady?"

لتتأكد أن صندوقك الأسود لا يعمل أي شيء مضلل؟"

She looked at me as if I had just stepped on 10 puppy tails.

نظرت ألي كما لو أنني ضربتها بعشرة ذيول جِراء.

(Laughter)

(ضحك)

حدقت إلي وقالت،

She stared at me and she said,

"I don't want to hear another word about this."

" أنا لا أريد أن أسمع كلمة أخرى حول هذا."

And she turned around and walked away.

و دارت نفسها وذهبت بعيداً.

إنتبهوا-- لم تكن وقحة.

Mind you -- she wasn't rude.

It was clearly: what I don't know isn't my problem, go away, death stare.

إنه كان واضحاً: الذي لا أعرفه ليس مشكلتي، اذهب بعيداً، الموت يُحدق.

(Laughter)

(ضحك)

Look, such a system may even be less biased

انظر، هكذا نظام ربما يكون أقل تحيزاً

than human managers in some ways.

مِن المدراء البشر في بعض الطرق.

And it could make monetary sense.

ويمكن أن يصنع إدراك عملي.

But it could also lead

ولكنه ممكن أن يقود أيضاً

to a steady but stealthy shutting out of the job market

إلى الثبات ولكن إغلاق خفي لسوق العمل

للناس بمستوى عالي من الإكتئاب.

of people with higher risk of depression.

Is this the kind of society we want to build,

هل هذا هو النوع من المجتمع الذي نريد أن نبنيه،

without even knowing we've done this,

بدون حتى أن نعلم أننا فعلنا هذا،

because we turned decision-making to machines we don't totally understand?

لأننا حولّنا اتخاذ القرارات إلى ألات لا نفهمها تماماً؟

Another problem is this:

مشكلة أخرى وهي كالتالي:

these systems are often trained on data generated by our actions,

هذه الأنظمة غالباً ما تكون دُربت على البيانات أُنتجت من أعمالنا،

human imprints.

بصمات الإنسان.

Well, they could just be reflecting our biases,

حسناً، ربما هُن فقط يعكسن تحيزنا،

وهذه الأنظمة ربما قد تختار تحيزنا

and these systems could be picking up on our biases

and amplifying them

وتبالغ فيه

and showing them back to us,

وتعود لترينا اياه

while we're telling ourselves,

بينما نحن نُخبر أنفسنا،

"We're just doing objective, neutral computation."

"نحن فقط نفعل الهدف، الحساب الحيادي."

Researchers found that on Google,

الباحثون وجدوا ذلك على غوغل،

النساء أقل احتمالية من الرجال لإعلانات العمل بالنسبة للأعمال بالدخل العالي.

women are less likely than men to be shown job ads for high-paying jobs.

And searching for African-American names

والبحث في الأسماء الأميريكية الإفريقية

أكثراحتمالية ليجلب إعلانات مُقترحة تاريخ جنائي،

is more likely to bring up ads suggesting criminal history,

even when there is none.

حتى عندما لا توجد.

Such hidden biases and black-box algorithms

هكذا تحيز مخفي وخوارزميات الصندوق الأسود

that researchers uncover sometimes but sometimes we don't know,

والتي لا يُغطيها الباحثون أحياناً ولكن أحياناً لا نعلم،

can have life-altering consequences.

يُمكن أن يكون لديها عواقب تغيير مدى الحياة.

In Wisconsin, a defendant was sentenced to six years in prison

في ويسكونسن، حُكم على المدعى عليه ست سنوات في السجن

لأجل تجاهل الشرطة.

for evading the police.

You may not know this,

ربما لا تعلم هذا،

لكن الخوارزميات وبازدياد تُستعمل في اطلاق السراح وقرارات اصدار الأحكام.

but algorithms are increasingly used in parole and sentencing decisions.

هو أراد أن يعرف: كيف تُحسب هذه النتيجة؟

He wanted to know: How is this score calculated?

It's a commercial black box.

إنه صندوق أسود تجاري.

The company refused to have its algorithm be challenged in open court.

رفضت الشركة لأن تكون خوارزميتها مُعترض عليها في المحكمة المفتوحة.

But ProPublica, an investigative nonprofit, audited that very algorithm

ولكن شركة التحقيق بروبابليكا الغير ربحية، دققت الخوارزمية

with what public data they could find,

مع البيانات العامة التي استطاعوا إيجادها،

and found that its outcomes were biased

ووجدوا أن المُخرجات كانت مُتحيزة

and its predictive power was dismal, barely better than chance,

وقوته التنبؤية كانت مُحزنة، بالكاد أفضل من الفرصة،

and it was wrongly labeling black defendants as future criminals

وكان من الخطأ تصنيف المُدعى عليهم السود كمجرمي المستقبل

at twice the rate of white defendants.

كضِعف المُدعى عليهم البيض.

So, consider this case:

لذا، تأمل هذه الحالة :

هذه المرأة كانت مُتأخرة لتقل أختها

This woman was late picking up her godsister

from a school in Broward County, Florida,

من المدرسة في بلدة بروارد، فلوريدا،

running down the street with a friend of hers.

توقفت في الشارع مع صديقتها.

واكتشفوا دراجة طفل غير مُقفلة ودراجة على الرواق

They spotted an unlocked kid's bike and a scooter on a porch

and foolishly jumped on it.

وبكل حماقة قفزوا عليها.

As they were speeding off, a woman came out and said,

بينما كانوا يستعجلون، ظهرت امرأة وقالت،

"Hey! That's my kid's bike!"

"مرحبا! تلك دراجة طفلي!"

They dropped it, they walked away, but they were arrested.

فقاموا بتركها ومشوا بعيداً، ولكنهم كانوا قد أُعتقلوا.

كانت مُخطئة، كانت حمقى، ولكنها كانت بعمر 18 سنة أيضاً.

She was wrong, she was foolish, but she was also just 18.

She had a couple of juvenile misdemeanors.

لديها العديد من المخالفات الصبيانية.

Meanwhile, that man had been arrested for shoplifting in Home Depot --

في الوقت نفسه، ذلك الرجل كان قد أُعتقل للسرقة مخزن المنزل --

ما قيمته 85 دولار من الأغراض، جريمة سخيفة مُشابهة.

85 dollars' worth of stuff, a similar petty crime.

But he had two prior armed robbery convictions.

ولكن كان لديه جُرمي سطو مُسلح سابقين.

But the algorithm scored her as high risk, and not him.

ولكن الخوارزمية سجلت المرأة كخطر كبير ولم تُسجله.

Two years later, ProPublica found that she had not reoffended.

بعد سنتين، وجدت شركة بروبابليكا أن المرأة لم تكن قد ارتكبت مُخالفة.

It was just hard to get a job for her with her record.

كان من الصعب عليها فقط أن تحصل على عمل بسبب سجلها.

He, on the other hand, did reoffend

هو، في الجهة المقابلة، ارتكب مخالفة

and is now serving an eight-year prison term for a later crime.

وهو يخدم الآن فترة ثماني سنوات سجن بسبب جريمة لاحقة.

بكل وضوح، نحن بحاجة إلى تدقيق صناديقنا السود

Clearly, we need to audit our black boxes

and not have them have this kind of unchecked power.

وأن لا يكون لديها هذا النوع من القوة الغير مفحوصة.

(تصفيق)

(Applause)

تدقيق الحسابات عظيم وهام، ولكنهن لا يحللن كل مشاكلنا.

Audits are great and important, but they don't solve all our problems.

Take Facebook's powerful news feed algorithm --

خذ قوة أخبار فيس بوك لُقمت بالخوارزمية --

أنت تعلم، الشخص الذي صنف كل شيء ويقرر ما يُظهر لك

you know, the one that ranks everything and decides what to show you

from all the friends and pages you follow.

من كل الأصدقاء والصفحات التي تُتابعها.

Should you be shown another baby picture?

هل يجب أن ترى صورة طفل آخر؟

(Laughter)

(ضحك)

A sullen note from an acquaintance?

ملاحظة مُتجهمة من شخص معروف؟

An important but difficult news item?

الأخبار المُهمة ولكنها عويصة؟

There's no right answer.

لا يوجد هنا أي اجابة صحيحة.

Facebook optimizes for engagement on the site:

يبحث فيس بوك عن أفضل الحلول للتشابك على الموقع:

likes, shares, comments.

اعجابات، مشاركات، تعليقات.

في شهرآب من 2014،

In August of 2014,

protests broke out in Ferguson, Missouri,

اندلعت الاحتجاجات في فيرغوسن، مُقاطعة ميسوري،

after the killing of an African-American teenager by a white police officer,

بعد مقتل مراهق أميريكي-افريقي من قبل ضابط شرطة أبيض،

في ظروف غامضة.

under murky circumstances.

The news of the protests was all over

الأخبار عن الاحتجاجات كانت قد انتهت

خوارزميتي الحسابية لم تُصفي تلقيم تويتر،

my algorithmically unfiltered Twitter feed,

but nowhere on my Facebook.

ولكن هنا على الفيس بوك خاصتي.

Was it my Facebook friends?

هل كانوا أصدقاء حسابي الفيس بوك؟

I disabled Facebook's algorithm,

عَطلتُ خوارزمية فيس بوك الحسابية،

which is hard because Facebook keeps wanting to make you

حيث إنه صعب، لأن فيس بوك دائماً يُريد أن يجعلك

come under the algorithm's control,

تبقى تحت سيطرة الخوارزمية،

and saw that my friends were talking about it.

وشاهدت أصدقائي كانوا يتكلمون عنه.

It's just that the algorithm wasn't showing it to me.

أنه فقط أن الخوارزمية لم تكن تُظهره لي.

I researched this and found this was a widespread problem.

بحثت حول هذا ووجدت أن هذا كان مُشكلة واسعة الانتشار.

The story of Ferguson wasn't algorithm-friendly.

قصة فيرغوسن لم تكن ضمن نظام الخوارزمية بشكل ودّي.

إنه ليس"جدير بالمحبة."

It's not "likable."

Who's going to click on "like?"

مَن سيضغط على "اعجاب؟"

It's not even easy to comment on.

إنه حتى ليس من السهل أن تُعلق عليه.

Without likes and comments,

من دون الاعجابات والتعليقات،

الخوارزمية كانت من المحتمل أن تظهره لعدد أقل من الناس،

the algorithm was likely showing it to even fewer people,

so we didn't get to see this.

لذلك نحن لا نُريد أن نرى هذا.

Instead, that week,

بدلاً من، ذلك الاسبوع،

Facebook's algorithm highlighted this,

خوارزمية فيس بوك ألقت الضوء على هذا،

which is the ALS Ice Bucket Challenge.

حيث إنه تحدي الدلو الجليدي ALS.

Worthy cause; dump ice water, donate to charity, fine.

سبب قيّم؛ الماء الجليدي المفرغ، صُنع المعروف، جميل.

But it was super algorithm-friendly.

ولكنها كانت خوارزمية صديقة بامتياز.

The machine made this decision for us.

الآلة صنعت هذا القرار من أجلنا.

A very important but difficult conversation

محادثة مهمة جداً ولكنها صعبة

might have been smothered,

ربما تكون قد غُطت بكثافة،

had Facebook been the only channel.

ربما كان فيس بوك القناة الوحيدة.

الآن،وأخيراً، هذه الأنظمة يمكن أيضاً أن تكون مخطئة

Now, finally, these systems can also be wrong

in ways that don't resemble human systems.

في الطُرق التي لا تُماثل الأنظمة الانسانية.

Do you guys remember Watson, IBM's machine-intelligence system

هل تتذكرون واتسون، نظام الذكاء الآلي لشركة IBM

that wiped the floor with human contestants on Jeopardy?

والذي أزال الإرباك مع المتنافسين البشر على لعبة Jeopardy؟

كان لاعب عظيم.

It was a great player.

But then, for Final Jeopardy, Watson was asked this question:

ولكن فيما بعد، بالنسبة للعبة الأخيرة، سُأل واتسون هذا السؤال:

"Its largest airport is named for a World War II hero,

"مطاره الأكبر سُمي لبطل الحرب العالمية الثانية،

its second-largest for a World War II battle."

ثاني أكبر مطار لمعركة الحرب العالمية الثانية."

(Hums Final Jeopardy music)

(دندنة لموسيقا اللعبة الأخيرة)

Chicago.

شيكاغو.

The two humans got it right.

الشخصين أجابوا بشكل صحيح.

Watson, on the other hand, answered "Toronto" --

واتسون، على الجهة المقابلة، أجاب "تورونتو"--

عوضاً عن تصنيف مدينة أمريكية!

for a US city category!

The impressive system also made an error

النظام المُثير للاعجاب أيضاً يصنع أخطاء

that a human would never make, a second-grader wouldn't make.

التي لا يُمكن أن يصنعها الإنسان، الصنف الثاني سوف لن يصنعها.

Our machine intelligence can fail

ذكاء ألتُنا الصناعي يُمكن أن يفشل

in ways that don't fit error patterns of humans,

في الطرق التي لا تناسب نماذج خطأ الانسان

في الطرق التي لا نتوقعها ونكون مُحضرين لها.

in ways we won't expect and be prepared for.

سيكون من الحقارة أن لا يحصل الشخص على عمل يكون مؤهل له،

It'd be lousy not to get a job one is qualified for,

but it would triple suck if it was because of stack overflow

لكن سيكون استيعاب ثلاثي إذا كان بسبب فائض مُكدس

in some subroutine.

في بعض الروتين الفعلي.

(Laughter)

(ضحك)

In May of 2010,

في شهر شهر مايو/أيارعام 2010،

a flash crash on Wall Street fueled by a feedback loop

الإنهيار السريع في وول ستريت المُغذى بحلقة ردود الفعل

in Wall Street's "sell" algorithm

في خوارزمية "البيع" الحسابية في وول ستريت

wiped a trillion dollars of value in 36 minutes.

أزال ما قيمته ترليليون دولار في 36 دقيقة.

I don't even want to think what "error" means

أنا لا أريد حتى أن أعتقد ما يعني"الخطأ"

in the context of lethal autonomous weapons.

في سياق الأسلحة المستقلة المُهلكة.

So yes, humans have always made biases.

لذا نعم، الناس دائماً يصنعون التحيز.

Decision makers and gatekeepers,

صانعوا القرارات و حارسوا البوابات،

in courts, in news, in war ...

في المحاكم، في الأخبار، في الحرب...

they make mistakes; but that's exactly my point.

هم يصنعون الأخطاء؛ ولكن تلك فكرتي بالضبط.

We cannot escape these difficult questions.

نحن لا نستطيع الهرب من هذه الأسئلة الصعبة.

We cannot outsource our responsibilities to machines.

نحن لا نستطيع التعهد بمسؤلياتنا إلى الآلات.

(Applause)

(تصفيق)

الذكاء الاصطناعي لا يعطينا بطاقة "الخروج من الأخلاق بحرية".

Artificial intelligence does not give us a "Get out of ethics free" card.

Data scientist Fred Benenson calls this math-washing.

عالم البيانات فريد بيننسون يدعو هذا غسيل الرياضيات.

نحن نحتاج العكس.

We need the opposite.

We need to cultivate algorithm suspicion, scrutiny and investigation.

نريد أن نصقل التشكيك حول الخوارزمية، الفحص الدقيق و الاستقصاء.

We need to make sure we have algorithmic accountability,

نريد أن نتأكد أنه لدينا مسؤلية حول ما يتعلق بالخوارزمية.

auditing and meaningful transparency.

التدقيق، الشفافية ذات المعنى.

We need to accept that bringing math and computation

نريد أن نقبل أن نجلب الرياضيات والحساب

to messy, value-laden human affairs

للأشياء الفوضوية، العلاقات الانسانية المحملة بالقيمة

does not bring objectivity;

لا تجلب الموضوعية؛

بالأحرى، العلاقات الانسانية المعقدة تنتهك الخوارزميات.

rather, the complexity of human affairs invades the algorithms.

نعم، نحن نستطيع ويجب علينا أن نستخدم الحساب

Yes, we can and we should use computation

to help us make better decisions.

ليساعدنا على اتخاذ قرارات أفضل.

But we have to own up to our moral responsibility to judgment,

ولكن يجب علينا أن نعترف بمسؤليتنا الاخلاقية في الحكم،

وأن نستخدم الخوارزميات ضمن اطار العمل ذلك،

and use algorithms within that framework,

not as a means to abdicate and outsource our responsibilities

ليس بمعنى أن نتنازل و نتعهد بمسؤلياتنا

to one another as human to human.

لشخص آخر مثلاً إنسان لإنسان.

Machine intelligence is here.

الذكاء الآلي هنا.

That means we must hold on ever tighter

والذي يعني أنه يجب علينا ننتظر بشكل محكم أكثر من أي وقت مضى

to human values and human ethics.

للقيم الانسانية والأخلاق الانسانية.

شكراً لكم.

Thank you.

(Applause)

(تصفيق)