The price of a "clean" internet | Hans Block and Moritz Riesewieck

المترجم: Shimaa Nabil المدقّق: Nawfal Aljabali

[This talk contains mature content]

[تحتوي هذه المحادثة على محتوى للبالغين]

Moritz Riesewieck: On March 23, 2013,

موريز ريسويك: في 23 مارس 2013،

users worldwide discovered in their news feed

وجد مستخدمو الفيسبوك حول العالم في صفحاتهم الرئيسية

a video of a young girl being raped by an older man.

فيديو اغتصاب فتاة صغيرة من رجل أكبر منها.

Before this video was removed from Facebook,

وقبل أن يُحذف المقطع من فيسبوك،

it was already shared 16,000 times,

تمت مشاركته 16.000 مرة،

and it was even liked 4,000 times.

وسجل عليه 4.000 إعجاب.

This video went viral and infected the net.

وعندما انتشر هذا المقطع ملوّثاً الإنترنت.

Hans Block: And that was the moment we asked ourselves

هانز بلوك: بدأنا نتساءل

how could something like this get on Facebook?

كيف يمكن لهكذا مقطع أن يصل فيسبوك؟

And at the same time, why don't we see such content more often?

وفي ذات الوقت، ما سبب ندرتها؟

After all, there's a lot of revolting material online,

فكما نعرف، الإنترنت مليء بالأشياء المقززة،

but why do we so rarely see such crap on Facebook, Twitter or Google?

لكننا نادراً ما نراها على فيسبوك وتويتر وجوجل؟

MR: While image-recognition software

موريز ريسويك: بينما يمكننا التحديد باستخدام برامج التعرف على الصور

can identify the outlines of sexual organs,

شكل الأعضاء الجنسية،

blood or naked skin in images and videos,

أو مظاهر التعري والعنف العامة في الصور والفيديو،

it has immense difficulties to distinguish pornographic content

لا زلنا نواجه صعوبات كبيرة في التفريق بين المحتوى الإباحي

from holiday pictures, Adonis statues

من الصور العائلية أو تماثيل أدونيس

or breast-cancer screening campaigns.

أو حملات الفحص لسرطان الثدي، مثلاً.

It can't distinguish Romeo and Juliet dying onstage

ولا يمكننا التفريق بين مشهد موت روميو وجولييت

from a real knife attack.

وبين حادث طعن حقيقي.

It can't distinguish satire from propaganda

لا يمكننا، أيضاً، تمييز السخرية من الدعاية

or irony from hatred, and so on and so forth.

أو السخرية من الكراهية، وهكذا دواليك.

لذا، نحتاج إلى أشخاص لنستطيع التفريق

Therefore, humans are needed to decide

ما هو المحتوى الذي علينا حذفه،

which of the suspicious content should be deleted,

and which should remain.

وما الذي يمكننا إبقاؤه.

Humans whom we know almost nothing about,

هناك أشخاص لا نعلم شيئاً عنهم،

because they work in secret.

لأنهم يعملون في الخفاء.

They sign nondisclosure agreements,

وقعوا تعهداً على السرية،

which prohibit them from talking and sharing

يمنعهم من التحدث أو مشاركة أي تفاصيل

what they see on their screens and what this work does to them.

من المحتوى الذي يرونه أو تأثير هذا العمل عليهم.

They are forced to use code words in order to hide who they work for.

وهم مجبرون على استخدام كلمات مشفرة لكي لا يكشفوا لمن يعملون.

They are monitored by private security firms

هؤلاء الأشخاص مراقبون من قبل شركات أمن خاصة

in order to ensure that they don't talk to journalists.

لضمان عدم تحدثهم مع الصحافة.

And they are threatened by fines in case they speak.

وهم معرضون لغرامات مالية في حال تكلموا.

All of this sounds like a weird crime story,

كل هذا يبدو مثل قصة بوليسية.

but it's true.

لكنه حقيقي.

These people exist,

وهؤلاء الأشخاص موجودون،

and they are called content moderators.

وهم يدعون بمشرفي المحتوى.

HB: We are the directors of the feature documentary film "The Cleaners,"

هانز بلوك: نحن المخرجون للفيلم الوثائقي "ذا كلينرز"،

and we would like to take you

ونرغب بتعريفكم

to a world that many of you may not know yet.

على عالم لا يعرفه معظمكم بعد.

Here's a short clip of our film.

هذا مقطع من الفيلم.

(Music)

(موسيقى)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(فيديو) المشرف: على أن أكون متخفياً، لأنني وقعت عقداً.

We are not allowed to declare whom we are working with.

ليس مسموحاً لي أن أتكلم عمن أعمل معهم.

The reason why I speak to you

أنا أتحدث إليك الآن

is because the world should know that we are here.

لأن على العالم أن يعرف أننا موجودون.

There is somebody who is checking the social media.

هناك أشخاص يتفحصون وسائل التواصل الاجتماعي.

We are doing our best to make this platform

نحن نعمل ما بوسعنا لنجعل هذه المنصات

safe for all of them.

آمنة للجميع.

Delete.

حذف.

Ignore.

تجاهل.

Delete.

حذف.

Ignore.

تجاهل.

Delete.

حذف.

Ignore.

تجاهل.

Ignore.

تجاهل.

Delete.

حذف.

HB: The so-called content moderators

هانز بلوك: لا يتلقى مشرفو المحتوى

don't get their paychecks from Facebook, Twitter or Google themselves,

معاشاتهم من فيسبوك أو تويتر أو جوجل،

but from outsourcing firms around the world

بل من شركات خارجية حول العالم

in order to keep the wages low.

لإبقاء رواتبهم منخفضة.

Tens of thousands of young people

عشرات الآلاف من الشباب

looking at everything we are not supposed to see.

يشهدون كل شيء لا يجب علينا أن نراه.

And we are talking about decapitations, mutilations,

ونحن نتحدث هنا عن رؤوس مقطوعة، وأعضاء مبتورة،

executions, necrophilia, torture, child abuse.

مشاهد إعدام، تحرش بالموتى، مشاهد تعذيب أو إيذاء للأطفال.

Thousands of images in one shift --

آلاف الصور في جلسة واحدة

ignore, delete, day and night.

تجاهل وحذف على مدار اليوم.

And much of this work is done in Manila,

ويُنجز كم كبير من هذا العمل في مانيلا،

where the analog toxic waste from the Western world

حيث تخلصنا من النفايات السامة من العالم الغربي

was transported for years by container ships,

لسنوات عن طريق حاويات عملاقة،

now the digital waste is dumped there via fiber-optic cable.

الآن، نتخلص من المحتوى الرقمي السام هناك أيضاً عن طريق أسلاك الألياف الضوئية.

And just as the so-called scavengers

وكما أن هناك جامعو قمامة

rummage through gigantic tips on the edge of the city,

ينقبون خلال الأكوام على أطراف المدينة.

the content moderators click their way through an endless toxic ocean

ينقب مشرفو المحتوى خلال بحر السموم الرقمي

of images and videos and all manner of intellectual garbage,

الذي يتكون من صور وفيديوهات وكل أنواع القذارة الفكرية،

so that we don't have to look at it.

لكي لا نضطر لرؤيتها بأنفسنا.

MR: But unlike the wounds of the scavengers,

موريز ريسويك: لكن على عكس جروح جامعي القمامة،

those of the content moderators remain invisible.

فإن الجروح التي يتعرض لها مشرفو المحتوى ليست ظاهرة.

Full of shocking and disturbing content,

هذه الصور والمقاطع بمحتوياتها الصادمة،

these pictures and videos burrow into their memories

تُنقش عميقاً في أذهانهم

where, at any time, they can have unpredictable effects:

وقد تترك العديد من الآثار عليهم:

eating disorders, loss of libido,

مثل اضطرابات الأكل أو فقدان الرغبة،

anxiety disorders, alcoholism,

القلق المزمن أو إدمان الكحول،

depression, which can even lead to suicide.

أو حتى الاكتئاب الذي قد يؤدي إلى الانتحار.

The pictures and videos infect them,

تؤثر هذه المحتويات عليهم،

and often never let them go again.

وفي أغلب الأحيان تكون آثارها أبدية.

If they are unlucky, they develop post-traumatic stress disorders,

وإذا كانوا غير محظوظين يصابون باضطراب ما بعد الصدمة،

like soldiers after war missions.

مثل الجنود العائدين من الحرب.

In our film, we tell the story of a young man

نحكي قصة رجل شاب في الفيلم الخاص بنا

who had to monitor livestreams of self-mutilations and suicide attempts,

كان من واجبه أن يراقب العروض المباشرة المحتوية على بتر الذات ومحاولات الانتحار،

again and again,

مرة تلو مرة،

and who eventually committed suicide himself.

وفي نهاية المطاف أصبح هو نفسه ضحية للانتحار.

It's not an isolated case, as we've been told.

وهذه ليست حالة فردية، كما علمنا.

This is the price all of us pay

هذا هو السعر الذي علينا جميعاً دفعه

for our so-called clean and safe and "healthy"

لما نسميه إنترنت آمن ونظيف و"صحي"

environments on social media.

لوسائل التواصل الاجتماعي.

Never before in the history of mankind

لم يشهد الجنس البشري قبلاً

has it been easier to reach millions of people around the globe

هذه السهولة في الوصول إلى الملايين حول العالم

in a few seconds.

في لحظات قليلة.

What is posted on social media spreads so quickly,

ما ينشر على وسائل التواصل ينتشر بسرعة،

becomes viral and excites the minds of people all around the globe.

ويحفز عقول الملايين حول العالم.

Before it is deleted,

وعندما يُحذف،

it is often already too late.

يكون الوقت قد تأخر.

Millions of people have already been infected

يكون ملايين الناس قد شاهدوه بالفعل

with hatred and anger,

وهم مليئون بالغضب والكراهية،

and they either become active online,

وإما أن ينشروا

by spreading or amplifying hatred,

هذه الكراهية على الإنترنت،

or they take to the streets and take up arms.

أو أن يحملوها إلى الشوارع، باستخدام السلاح.

HB: Therefore, an army of content moderators

هانز بلوك : لذا، جيوش من مشرفي المحتوى

sit in front of a screen to avoid new collateral damage.

يجلسون أمام شاشاتهم ليتجنبوا أي ضرر إضافي.

And they are deciding, as soon as possible,

وهم يقررون في أقل وقت ممكن،

whether the content stays on the platform -- ignore;

ما إذا كان المحتوى سيبقى -- تجاهل،

or disappears -- delete.

أو سيمحى -- حذف.

But not every decision is as clear

لكن ليس كل قرار يكون بوضوح

as the decision about a child-abuse video.

حذف مقطع فيه إيذاء للأطفال.

What about controversial content, ambivalent content,

ماذا عن المحتوى المثير للجدل، والمختلف عليه،

uploaded by civil rights activists or citizen journalists?

ذلك الذي يضعه نشطاء الحقوق المدنية أو الصحفيون؟

على المشرفين اتخاذ قرار بشأنها بنفس سرعة

The content moderators often decide on such cases

at the same speed as the [clear] cases.

اتخاذ قرار بشأن الحالات [الواضحة].

MR: We will show you a video now,

موريز ريسويك: سنريكم الآن مقطع فيديو،

and we would like to ask you to decide:

وسنطلب منكم أن تقرروا:

ما إذا كنتم ستحذفونه،

Would you delete it,

أو تتجاهلونه؟

or would you not delete it?

(Video) (Air strike sounds)

(فيديو) (صوت قصف جوي)

(Explosion)

(انفجار)

(People speaking in Arabic)

(أشخاص يتكلمون العربية)

MR: Yeah, we did some blurring for you.

موريز ريسويك: لقد قمنا بتغطية بعض المشاهد لكم.

A child would potentially be dangerously disturbed

هذا المحتوى قد يصيب الأطفال بالاضطراب

and extremely frightened by such content.

والهلع الشديد.

So, you rather delete it?

لذا، هل ستحذفونه؟

But what if this video could help investigate the war crimes in Syria?

لكن ماذا لو ساعد هذا المقطع في التحري عن جرائم الحرب في سوريا؟

What if nobody would have heard about this air strike,

ماذا لو لم يسمع أحد عن هذا القصف الجوي؟

because Facebook, YouTube, Twitter would have decided to take it down?

لأن مواقع التواصل قررت حذفه؟

Airwars, a nongovernmental organization based in London,

حاولت إيروارز، منظمة غير حكومية مقرّها لندن،

tries to find those videos as quickly as possible

إيجاد هذه المقاطع بأسرع ما يمكن

whenever they are uploaded to social media,

عندما تم رفعها على وسائل التواصل الاجتماعي،

in order to archive them.

لأرشفته.

Because they know, sooner or later,

لأنهم يعلمون، عاجلاً أم آجلاً،

Facebook, YouTube, Twitter would take such content down.

سيقوم فسيبوك ويوتيوب وتويتر بحذفه.

People armed with their mobile phones

يستطيع الأشخاص بواسطة الهاتف المحمول

can make visible what journalists often do not have access to.

أن يشاهدوا ما لا يستطيع الصحفيون الوصول إليه في كثير من الأحيان.

Civil rights groups often do not have any better option

أحياناً لا تملك جماعات الحقوق المدنية فرصة أفضل

to quickly make their recordings accessible to a large audience

لجعل تسجيلاتهم متاحة لعدد أكبر من المشاهدين

than by uploading them to social media.

من رفعها على وسائل التواصل الاجتماعي.

Wasn't this the empowering potential the World Wide Web should have?

ألم يكن هذا هو التمكين الذي يجب أن يكون على شبكة الإنترنت؟

Weren't these the dreams

ألم تكن هذه أحلام

people in its early stages had about the World Wide Web?

الناس مبكراً عن شبكة الإنترنت؟

Can't pictures and videos like these

ألا يمكن لمثل هذه الصور ومقاطع الفيديو

persuade people who have become insensitive to facts

أن تقنع الناس الذين أصبحوا غير حساسين للحقائق

to rethink?

بإعادة التفكير؟

HB: But instead, everything that might be disturbing is deleted.

هانز بلوك: لكن بدلاً من ذلك، يتم حذف كل شيء مزعج.

And there's a general shift in society.

هناك تحول عام في المجتمع.

Media, for example, more and more often use trigger warnings

تستخدم وسائل الإعلام كثيراً تحذير

at the top of articles

في أعلى المقالات

which some people may perceive as offensive or troubling.

التي يفهمها بعض الناس مسيئة أو مقلقة.

Or more and more students at universities in the United States

أو أن يطلب كثير من طلاب الجامعات في الولايات المتحدة

demand the banishment of antique classics

إبعاد الكلاسيكية القديمة من المنهج

which depict sexual violence or assault from the curriculum.

التي تصور العنف الجنسي أو الاعتداء.

But how far should we go with that?

ولكن إلى أي مدى يجب أن نستجيب؟

Physical integrity is guaranteed as a human right

السلامة البدنية مضمونة كحق من حقوق الإنسان

in constitutions worldwide.

في الدساتير في جميع أنحاء العالم.

In the Charter of Fundamental Rights of the European Union,

في ميثاق الحقوق الأساسية من الاتحاد الأوروبي،

this right expressly applies to mental integrity.

ينطبق هذا الحق صراحة على السلامة العقلية.

But even if the potentially traumatic effect

ولكن حتى إذا كان ذلك ممكناً فإن تأثير

of images and videos is hard to predict,

الصور ومقاطع الفيديو الصادم يصعب التنبؤ بها،

do we want to become so cautious

هل نصبح حذرين جداً

that we risk losing social awareness of injustice?

بالمخاطرة لفقد الوعي الاجتماعي بالظلم؟

So what to do?

لذا ماذا نفعل؟

Mark Zuckerberg recently stated that in the future,

صرح مارك زوكربيرج مؤخراً أنه في المستقبل،

the users, we, or almost everybody,

المستخدمون، نحن، أو تقريباً كل شخص،

will decide individually

سنقرر شخصياً

what they would like to see on the platform,

ما يودون رؤيته على المنصة،

by personal filter settings.

عن طريقة إعدادات شخصية.

So everyone could easily claim to remain undisturbed

حتى يتمكن الجميع من المطالبة بسهولة للبقاء دون عائق

by images of war or other violent conflicts, like ...

بواسطة صور الحرب أو النزاعات العنيفة الأخرى، مثل...

MR: I'm the type of guy who doesn't mind seeing breasts

موريز ريسويك: أنا من نوع الرجال لا أمانع رؤية الأثداء

and I'm very interested in global warming,

وأيضاً مهتم بالاحتباس الحراري،

but I don't like war so much.

لكني لا أحب الحرب.

HB: Yeah, I'm more the opposite,

هانز بلوك: أنا العكس تماماً،

I have zero interest in naked breasts or naked bodies at all.

لا أهتم بتاتاً بالأثداء أو الأجسام العارية

But why not guns? I like guns, yes.

لكن الأسلحة؟ أحب الأسلحة.

MR: Come on, if we don't share a similar social consciousness,

موريز ريسويك: إذا لم نشارك وعياً اجتماعياً مماثلاً،

how shall we discuss social problems?

كيف نستطيع مناقشة المشاكل الاجتماعية؟

How shall we call people to action?

كيف سندفع الأشخاص للعمل؟

Even more isolated bubbles would emerge.

وستظهر المزيد من الفقاعات المعزولة.

One of the central questions is: "How, in the future,

أحد الأسئلة المحورية هي: "كيف سنوازن، في المستقبل،

freedom of expression will be weighed against the people's need for protection."

بين حرية التعبير وحاجة الناس للحماية".

It's a matter of principle.

إنها مسألة مبدأ.

Do we want to design an either open or closed society

هل نريد مجتمعا مفتوحا أم مغلقا

for the digital space?

للفضاء الرقمي؟

At the heart of the matter is "freedom versus security."

وصلب الموضوع: "الحرية مقابل الأمن."

Facebook has always wanted to be a "healthy" platform.

أراد دائماً فيسبوك أن يصبح منصة "صحية".

Above all, users should feel safe and secure.

وفوق كل هذا، أن يشعر المستخدم بالأمان.

It's the same choice of words

إنها نفس الكلمات

the content moderators in the Philippines used

التي يستخدمها مشرفو المحتوى في الفلبين

in a lot of our interviews.

في كثير من لقاءاتنا.

(Video) The world that we are living in right now,

(فيديو) أعتقد أن العالم الذي تعيش فيه الآن،

I believe, is not really healthy.

غير صحي تماماً.

(Music)

(موسيقى)

In this world, there is really an evil who exists.

يوجد شر في هذا العالم.

(Music)

(موسيقى)

We need to watch for it.

يجب أن نحذر منه.

(Music)

(موسيقى)

We need to control it -- good or bad.

نحتاج للتحكم فيه، جيدا كان أم سيىئا.

(Music)

(موسيقى)

[Look up, Young man! --God]

[احذروا، يا شباب! -- الله]

MR: For the young content moderators in the strictly Catholic Philippines,

موريز ريسويك: لمشرفي المحتوى الشباب في الفلبين الكاثوليكية الصارمة،

this is linked to a Christian mission.

هذا مرتبط برسالة المسيحية.

To counter the sins of the world

لمواجهة خطايا العالم

which spread across the web.

التي تنتتشر عبر الإنترنت.

"Cleanliness is next to godliness,"

"النظافة من الإيمان."

is a saying everybody in the Philippines knows.

مقولة يعرفها كل الفلبينيين.

HB: And others motivate themselves

هانز بلوك: ويحفز الآخرون أنفسهم

by comparing themselves with their president, Rodrigo Duterte.

بمقارنة أنفسهم برئيسهم، رودريغو دوتيرتي،

He has been ruling the Philippines since 2016,

الذي يحكم الفلبين منذ سنة 2016،

and he won the election with the promise: "I will clean up."

وكسب الانتخابات بوعد: "سأقوم بالتطهير."

And what that means is eliminating all kinds of problems

وما يعني أنه سيقوم بالقضاء على كل أنواع المشاكل

by literally killing people on the streets

بقتل الناس في الشوارع حرفياً

who are supposed to be criminals, whatever that means.

والذي من المفترض أنهم مجرمون.

And since he was elected,

ومنذ تم انتخابه،

an estimated 20,000 people have been killed.

قتل تقريباً 20.000 شخص.

And one moderator in our film says,

ويقول أحد المشرفين في الفيلم:

"What Duterte does on the streets,

ما يقوم به دوتيرتي في الشوارع،

I do for the internet."

أقوم به على الإنترنت."

And here they are, our self-proclaimed superheroes,

وها هم، أبطالنا الذين نصبوا أنفسهم،

who enforce law and order in our digital world.

لفرض القانون والنظام في عالمنا الرقمي.

They clean up, they polish everything clean,

ينظفون،

they free us from everything evil.

يحرروننا من كل شيء شرير.

Tasks formerly reserved to state authorities

تم الاستيلاء على المهام المحفوظة سابقاً لسلطات الدولة

have been taken over by college graduates in their early 20s,

لخريجي الكلية في أوائل العشرينات،

equipped with three- to five-day training --

مجهزين بتدريب من 3 إلى 5 أيام -

this is the qualification --

هذا هو المؤهل -

who work on nothing less than the world's rescue.

يعملون على ما لا يقل عن إنقاذ العالم.

MR: National sovereignties have been outsourced to private companies,

موريز ريسويك: قامت السيادة الوطنية بالاستعانة بشركات خاصة،

and they pass on their responsibilities to third parties.

ونقلوا مسؤولياتهم تجاه أطراف ثالثة.

It's an outsourcing of the outsourcing of the outsourcing,

ما حدث استعانة بمصادر خارجية تستعين بمصادر خارجية،

which takes place.

هكذا.

With social networks,

مع الشبكات الاجتماعية،

we are dealing with a completely new infrastructure,

نتعامل مع بنية تحتية جديدة تماماً،

with its own mechanisms,

بآلياتها الخاصة،

its own logic of action

منطقها الخاص،

and therefore, also, its own new dangers,

وبالتالي، أيضاً، مخاطرها الجديدة،

which had not yet existed in the predigitalized public sphere.

التي لم تكن موجودة بعد في المجال العام الرقمي.

HB: When Mark Zuckerberg was at the US Congress

هانز بلوك: عندما كان مارك زوكربيرج في الكونجرس

or at the European Parliament,

أو في البرلمان الأوروبي،

he was confronted with all kinds of critics.

واجه جميع أنواع الانتقادات.

And his reaction was always the same:

وكان رد فعله دائماً واحد:

"We will fix that,

"سنقوم بإصلاح ذلك،

and I will follow up on that with my team."

وسأتابع ذلك مع فريقي."

But such a debate shouldn't be held in back rooms of Facebook,

ولكن لا ينبغي عقد مثل هذا النقاش في الغرف الخلفية لفيسبوك،

Twitter or Google --

تويتر أو جوجل -

such a debate should be openly discussed in new, cosmopolitan parliaments,

يجب أن تكون هذه النقاشات معلنة في برلمانات عالمية جديدة،

in new institutions that reflect the diversity of people

في معاهد جديدة تعكس تنوع الأشخاص

contributing to a utopian project of a global network.

المساهمين في مشروع مثالي لشبكة الإنترنت.

And while it may seem impossible to consider the values

وبينما يبدو مستحيلاً النظر في القيم

of users worldwide,

للمستخدمين العالميين،

it's worth believing

ما يستحق التصديق

that there's more that connects us than separates us.

أن هناك ما يربطنا أكثر مما يفصلنا.

MR: Yeah, at a time when populism is gaining strength,

موريز ريسويك: نعم، عندما تكتسب الغوغائية القوة،

it becomes popular to justify the symptoms,

يصبح تبرير الأعراض منتشراً،

to eradicate them,

للقضاء عليهم،

to make them invisible.

وجعلهم غير مرئيين.

This ideology is spreading worldwide,

تنتشر هذه الإيديولوجية في جميع أنحاء العالم،

analog as well as digital,

تناظرية وكذلك رقمية،

and it's our duty to stop it

وهذا واجبنا لوقفه

before it's too late.

قبل فوات الأوان.

The question of freedom and democracy

لا يجب أن تكون الحرية والديمقراطية

must not only have these two options.

هما الخياران المتاحان فقط.

HB: Delete.

هانز بلوك: حذف.

MR: Or ignore.

موريز ريسويك: أو تجاهل.

HB: Thank you very much.

هانز بلوك: شكراً جزيلاً لكم.

(Applause)

(تصفيق)