We're building a dystopia just to make people click on ads | Zeynep Tufekci

المترجم: Muhammad Rajab المدقّق: Hussain Laghabi

So when people voice fears of artificial intelligence,

عندما يعبر الناس عن خوفهم من الذكاء الاصطناعي،

very often, they invoke images of humanoid robots run amok.

فهم في غالب الأحيان يستحضرون صور روبوتات تشبه الإنسان وتجري مسعورة تريد الأذى

You know? Terminator?

كما في فيلم "تيرمينيتور".

You know, that might be something to consider,

هذا قد يكون وارد الحدوث،

but that's a distant threat.

لكن هذا تهديد بعيد.

Or, we fret about digital surveillance

أو نقلق حول المراقبة الرقمية

with metaphors from the past.

بمجازيات من الماضي

"1984," George Orwell's "1984,"

مثل رواية "1984" لـ"جورج أورويل"،

it's hitting the bestseller lists again.

إنها في قائمة الأفضل مبيعاً مرة أخرى.

It's a great book,

إنه كتاب رائع

but it's not the correct dystopia for the 21st century.

لكنه لا يحوي وصف الديستوبيا المناسبة للقرن الحادي والعشرين.

What we need to fear most

أكثر ما يجب أن نخاف منه

is not what artificial intelligence will do to us on its own,

هو ليس ما سوف يفعله بنا الذكاء الاصطناعي من تلقاء نفسه،

but how the people in power will use artificial intelligence

ولكن كيف سيستخدم الناس ذوو السلطة الذكاءَ الاصطناعي

to control us and to manipulate us

ليتحكموا بنا وليتلاعبوا بنا

in novel, sometimes hidden,

بطرق جديدة وأحياناً مخفية

subtle and unexpected ways.

ومفاجئة وغير متوقعة.

Much of the technology

معظم التكنولوجيا

that threatens our freedom and our dignity in the near-term future

التي تهدد حريتنا وكرامتنا في المستقبل القريب

is being developed by companies

يجري تطويرها من قبل شركات

in the business of capturing and selling our data and our attention

تعمل في مجال التقاط وبيع بياناتنا وانتباهنا

to advertisers and others:

لأصحاب الإعلانات وغيرهم:

Facebook, Google, Amazon,

"فيسبوك"، "جوجل"، "أمازون"،

Alibaba, Tencent.

"علي بابا"، "تينسنت".

Now, artificial intelligence has started bolstering their business as well.

لقد قام الذكاء الاصطناعي بدعم عملهم أيضاً

And it may seem like artificial intelligence

وقد يبدو أن الذكاء الاصطناعي

is just the next thing after online ads.

بمثابة الخطوة التقنية التالية بعد الإعلانات على الإنترنت.

It's not.

إنه ليس كذلك.

It's a jump in category.

إنه قفزة في المجال كاملاً

It's a whole different world,

إنه عالمٌ كاملٌ مختلف،

and it has great potential.

ويحمل إمكانات عظيمة.

It could accelerate our understanding of many areas of study and research.

باستطاعته تسريع فهمنا للعديد من مجالات الدراسة والبحث.

But to paraphrase a famous Hollywood philosopher,

لكنني سأعيد صياغة ما قاله فيلسوف هوليوودي شهير،

"With prodigious potential comes prodigious risk."

"مع الإمكانات غير العادية تأتي مخاطر غير عادية."

Now let's look at a basic fact of our digital lives, online ads.

دعونا الآن ننظر إلى حقيقة أساسية في حياتنا الرقمية، الإعلانات على الإنترنت.

Right? We kind of dismiss them.

صحيح؟ نحن نقوم بتجاهلهم نوعاً ما.

They seem crude, ineffective.

تبدو مزعجة جداً وعديمة الفائدة.

We've all had the experience of being followed on the web

جميعنا مررنا بتجربة أن تتم ملاحقتنا على شبكة الويب

by an ad based on something we searched or read.

بواسطة إعلان بناءً على شيء قمنا بالبحث عنه أو قراءته

You know, you look up a pair of boots

تبحثون مثلاً عن زوج من الأحذية.

and for a week, those boots are following you around everywhere you go.

ولمدة أسبوع، هذه الأحذية تقوم باللحاق بكم أينما ذهبتم.

Even after you succumb and buy them, they're still following you around.

حتى بعد ما تخضعون وتشترونهم، لا يزالون يلحقون بكم.

We're kind of inured to that kind of basic, cheap manipulation.

نحن متعودون نوعاً ما على ذلك النوع من التلاعب الرخيص.

We roll our eyes and we think, "You know what? These things don't work."

ننظر بامتعاض ونفكر "أتعلم ماذا؟ هذه الأشياء لا تعمل."

Except, online,

عدا أنه على الإنترنت،

the digital technologies are not just ads.

التقنيات الرقمية ليس مجرد إعلانات فقط.

Now, to understand that, let's think of a physical world example.

لنفهم ذلك، دعونا نفكر بمثال من العالم المحسوس.

You know how, at the checkout counters at supermarkets, near the cashier,

تعرفون كيف عند عدادات الدفع في المتاجر قرب الكاشيير،

there's candy and gum at the eye level of kids?

هناك حلوى وعلكة على مستوى نظر الأطفال؟

That's designed to make them whine at their parents

هذا مصمم ليجعلهم يلحّوا على أهاليهم

just as the parents are about to sort of check out.

في نفس الوقت حيث يقومون بإظهار المشتريات للدفع.

Now, that's a persuasion architecture.

إن هذا يدعى هندسة الإقناع.

It's not nice, but it kind of works.

إنه ليس لطيفاً، لكنه يعمل نوعاً ما.

That's why you see it in every supermarket.

لهذا السبب ترونه في كل متجر.

Now, in the physical world,

الآن، في العالم المحسوس،

such persuasion architectures are kind of limited,

هندسات الإقناع كهذه محدودة نوعاً ما،

because you can only put so many things by the cashier. Right?

لأنك تستطيع أن تضع فقط العديد من الأشياء عند الكاشيير، صحيح؟

And the candy and gum, it's the same for everyone,

والحلوى والعلكة هي نفسها للجميع،

even though it mostly works

حتى ولو كانت غالباً تنجح

only for people who have whiny little humans beside them.

فقط بالنسبة للناس الذين معهم أطفال صغار ملحّون إلى جانبهم.

In the physical world, we live with those limitations.

في العالم المحسوس، نحن نعيش مع هذه الحدود.

In the digital world, though,

لكن في العالم الرقمي،

persuasion architectures can be built at the scale of billions

فهندسات الإقناع يمكن أن تُبنى على مستوى المليارات

and they can target, infer, understand

ويمكنهم أن يستهدفوا ويستنتجوا ويفهموا

and be deployed at individuals

وينتشروا أمام الأفراد

one by one

واحداً واحداً

by figuring out your weaknesses,

باستنتاج نقاط ضعفك،

and they can be sent to everyone's phone private screen,

ويمكن أن يتم إرسالهم إلى شاشة الهاتف الخاصة بأي أحد،

so it's not visible to us.

إذاً فهي ليست مرئية لنا.

And that's different.

وهذا مختلف.

And that's just one of the basic things that artificial intelligence can do.

وهذا فقط واحد من الأمور البسيطة التي يستطيع الذكاء الاصطناعي أن يفعلها.

Now, let's take an example.

والآن دعونا نأخذ مثالاً.

Let's say you want to sell plane tickets to Vegas. Right?

فلنقل أنك تريد أن تبيع تذاكر طيران إلى "فيجاس"، حسناً؟

So in the old world, you could think of some demographics to target

في العالم القديم، يمكنك أن تفكر ببعض المناطق لتستهدفها

based on experience and what you can guess.

بناء على الخبرة وما يمكنك أن تخمنه.

You might try to advertise to, oh,

قد تحاول الإعلان لـ...

men between the ages of 25 and 35,

رجال بين أعمار الـ25 والـ35

or people who have a high limit on their credit card,

أو أشخاص عندهم حد مرتفع للدَّين في بطاقتهم الائتمانية،

or retired couples. Right?

أو أزواج متقاعدين. صحيح؟

That's what you would do in the past.

هذا ما كنتَ لتفعله في الماضي.

With big data and machine learning,

بوجود البيانات الضخمة وتعلّم الآلة،

that's not how it works anymore.

لم يعد الأمر يعمل بهذا الشكل.

So to imagine that,

لذا لنتخيل ذلك...

think of all the data that Facebook has on you:

فكروا في كل البيانات التي يمتلكها "فيسبوك" عنك:

every status update you ever typed,

كل حالة قمت بكتابتها في حياتك،

every Messenger conversation,

كل محادثة في "مسنجر"،

every place you logged in from,

كل مكان سجلت دخولك منه،

all your photographs that you uploaded there.

جميع صورك التي قمت برفعها من ذلك المكان.

If you start typing something and change your mind and delete it,

إذا بدأت بكتابة شيء ثم غيرت رأيك وحذفته،

Facebook keeps those and analyzes them, too.

فإن "فيسبوك" يحتفظ بهذه ويحللها أيضاً.

Increasingly, it tries to match you with your offline data.

بشكل متزايد، فهو يحاول أن يطابق بينك وبين بياناتك خارج الإنترنت.

It also purchases a lot of data from data brokers.

ويقوم أيضاً بشراء الكثير من البيانات من سماسرة البيانات.

It could be everything from your financial records

قد يتضمن ذلك كل شيء ابتداءً من سجلاتك المالية

to a good chunk of your browsing history.

لكم لا بأس فيه من تاريخ تصفحك.

Right? In the US, such data is routinely collected,

صحيح؟ في الولايات المتحدة، بيانات كهذه يتم جمعها بشكل روتيني،

collated and sold.

وتُجمع وتُباع.

In Europe, they have tougher rules.

في "أوروبا" عندهم قوانين أكثر شدة.

So what happens then is,

إذاً ما يحدث عندها هو

by churning through all that data, these machine-learning algorithms --

بمزج جميع البيانات، خوارزميات تعلم الآلة هذه...

that's why they're called learning algorithms --

لهذا السبب تسمى خوارزميات تعلم...

they learn to understand the characteristics of people

إنها تتعلم كيف تفهم مميزات وصفات الناس

who purchased tickets to Vegas before.

الذين اشتروا تذاكر إلى "فيجاس" من قبل.

When they learn this from existing data,

عندما يقوموا بتعلم هذا من بيانات متوفرة،

they also learn how to apply this to new people.

يتعلمون أيضاً كيف يقومون بتطبيق ذلك على الناس الجدد

So if they're presented with a new person,

حيث أنهم إذا واجهوا شخصاً جديداً،

they can classify whether that person is likely to buy a ticket to Vegas or not.

يمكنهم أن يقرروا هل من المحتمل أن يشتري ذلك الشخص تذكرة إلى "فيجاس" أم لا.

Fine. You're thinking, an offer to buy tickets to Vegas.

حسناً. أنتم تقولون إنه عرض لشراء تذكرة إلى "فيجاس".

I can ignore that.

يمكنني أن أتجاهل ذلك.

But the problem isn't that.

لكن ليست هذه هي المشكلة.

The problem is,

المشكلة هي...

we no longer really understand how these complex algorithms work.

نحن لم نعد نفهم حقاً كيف تعمل هذه الخوارزميات المعقدة.

We don't understand how they're doing this categorization.

نحن لا نفهم كيف يقومون بهذا التصنيف.

It's giant matrices, thousands of rows and columns,

إنها مصفوفات عملاقة، آلاف الصفوف والأعمدة

maybe millions of rows and columns,

بل ربما ملايين الصفوف والأعمدة،

and not the programmers

ولا المبرمجين

and not anybody who looks at it,

ولا أي أحد ممن ينظر إليها،

even if you have all the data,

حتى لو توفرت لديك البيانات كلها،

understands anymore how exactly it's operating

يفهم كيف تعمل بالضبط بعد الآن،

any more than you'd know what I was thinking right now

لن تفهموا أكثر مما ستعرفونه عما أفكر الآن

if you were shown a cross section of my brain.

إذا رأيتم مقطعًا عرضيًّا من دماغي.

It's like we're not programming anymore,

الأمر كما لو أننا لم نعد نبرمج بعد الآن،

we're growing intelligence that we don't truly understand.

بل نقوم بتنمية ذكاء نحن لا نفهمه حق الفهم.

And these things only work if there's an enormous amount of data,

وهذه الأشياء تعمل فقط إذا كان هناك كم هائل من البيانات،

so they also encourage deep surveillance on all of us

إذاً هي تقوم أيضاً بتحريض مراقبة عميقة علينا جميعاً

so that the machine learning algorithms can work.

حيث تستطيع خوارزميات تعلّم الآلة أن تعمل.

That's why Facebook wants to collect all the data it can about you.

لهذا السبب يريد "فيسبوك" أن يجمع كل البيانات التي يستطيع جمعها عنك

The algorithms work better.

فالخوارزميات تعمل بشكل أفضل.

So let's push that Vegas example a bit.

دعونا ننسى مثال "فيجاس" لحظة.

What if the system that we do not understand

ماذا لو كان النظام الذي لا نفهمه

was picking up that it's easier to sell Vegas tickets

يقرر أنه من الأسهل أن يبيع تذاكر "فيجاس"

to people who are bipolar and about to enter the manic phase.

للناس المصابين بثنائية القطب وهم على وشك الدخول بمرحلة الجنون.

Such people tend to become overspenders, compulsive gamblers.

أناس كهؤلاء غالباً يكونون مسرفين في الإنفاق أو مقامرين مدمنين...

They could do this, and you'd have no clue that's what they were picking up on.

الخوارزميات قد تفعل ذلك، وأنت لا تملك أدنى فكرة أن هذا ما كانوا يقومون بتصنيفه.

I gave this example to a bunch of computer scientists once

لقد أعطيت هذا المثال لمجموعة من علماء الحاسوب ذات مرة.

and afterwards, one of them came up to me.

وبعد ذلك، جاء إلي واحدٌ منهم.

He was troubled and he said, "That's why I couldn't publish it."

لقد كان مضطرباً وقال : "لهذا السبب لم أستطع نشرها."

I was like, "Couldn't publish what?"

أنا قلت: "لم تستطع نشر ماذا؟"

He had tried to see whether you can indeed figure out the onset of mania

لقد حاول أن يرى فيما إذا كنت ستستطيع استشفاف بداية مس الجنون

from social media posts before clinical symptoms,

من منشورات مواقع التواصل قبل بداية الأعراض المرضية،

and it had worked,

ولقد نجح ذلك،

and it had worked very well,

بل نجح بشكل ممتاز،

and he had no idea how it worked or what it was picking up on.

وهو لم يكن لديه أي فكرة كيف نجح البرنامج أو ما المعلومات التي كان يجمعها.

Now, the problem isn't solved if he doesn't publish it,

الآن، المشكلة لا تُحل إذا لم يقم بنشر المنشور،

because there are already companies

لأنه مسبقاً هناك شركات

that are developing this kind of technology,

تقوم بتطوير هذا النوع من التقنية،

and a lot of the stuff is just off the shelf.

والكثير من ما ينتجونه مأخوذ من الموارد الموجودة ببساطة.

This is not very difficult anymore.

هذا لم يعد شديد الصعوبة بعد الآن.

Do you ever go on YouTube meaning to watch one video

هل جربتم من قبل أن تدخلون "يوتيوب" بنيّة مشاهدة فيديو واحد

and an hour later you've watched 27?

وبعد ساعة تكونون قد شاهدتم 27 فيديو؟

You know how YouTube has this column on the right

تعرفون ذلك العمود على اليمين في "يوتيوب"

that says, "Up next"

الذي اسمه "سيُعرض تالياً"

and it autoplays something?

ويقوم بتشغيل شيء ما تلقائياً؟

It's an algorithm

إنها خوارزمية

picking what it thinks that you might be interested in

تلتقط ما تظن هي أنك قد تكون مهتماً به

and maybe not find on your own.

وما قد لا تجده لوحدك.

It's not a human editor.

هذا ليس بفعل إنسان.

It's what algorithms do.

إنه ما تفعله الخوارزميات.

It picks up on what you have watched and what people like you have watched,

إنها تلتقط الأشياء التي قمت بمشاهدتها والأشياء التي قام أناس مثلك بمشاهدتها،

and infers that that must be what you're interested in,

وتستنتج أن ذلك لا بد أن يكون ما أنت مهتم به،

what you want more of,

وما تريد المزيد منه،

and just shows you more.

ثم يعرض عليك المزيد فحسب.

It sounds like a benign and useful feature,

إنها تبدو ميزة حميدة ومفيدة،

except when it isn't.

إلا عندما تكون غير ذلك.

So in 2016, I attended rallies of then-candidate Donald Trump

ففي عام 2016 حضرت مسيرات للمرشح حينها "دونالد ترمب"

to study as a scholar the movement supporting him.

لأقوم كعالمة بدراسة الحركة الداعمة له.

I study social movements, so I was studying it, too.

أنا أدرس الحركات الاجتماعية، لذا كنت أدرس ذلك أيضاً.

And then I wanted to write something about one of his rallies,

وبعدها أردت أن أكتب شيئاً عن واحدة من تلك المسيرات،

so I watched it a few times on YouTube.

فقمت بمشاهدتها بعض المرات على "يوتيوب".

YouTube started recommending to me

فبدأ "يوتيوب" بترشيح فيديوهات لي

and autoplaying to me white supremacist videos

ويشغل لي تلقائياً فيديوهات عن العنصريين البيض

in increasing order of extremism.

في ترتيب متصاعد من التطرف.

If I watched one,

إذا شاهدت واحداً،

it served up one even more extreme

سينقلني حتى إلى فيديو أكثر تطرفاً

and autoplayed that one, too.

ويقوم بتشغيله تلقائياً أيضاً.

If you watch Hillary Clinton or Bernie Sanders content,

إذا شاهدتم محتوى خاص بـ"هيلارس كلينتون" أو "بيرني ساندرز"،

YouTube recommends and autoplays conspiracy left,

سيقوم "يوتيوب" بترشيح وتشغيل فيديوهات عن اليساريين المتآمرين،

and it goes downhill from there.

وسوف ينحدر من تلك النقطة.

Well, you might be thinking, this is politics, but it's not.

حسناً، ربما تظنون أن هذا يتعلق بالسياسة، لكنه ليس كذلك.

This isn't about politics.

هذا لا يتعلق بالسياسة.

This is just the algorithm figuring out human behavior.

هذه ببساطة فقط الخوارزمية وهي تستنتج السلوك الإنساني.

I once watched a video about vegetarianism on YouTube

مرةً شاهدت فيديو عن النظرية النباتية على "يوتيوب".

and YouTube recommended and autoplayed a video about being vegan.

فقام "يوتيوب" بترشيح وتشغيل فيديو عن كون المرء نباتياَ.

It's like you're never hardcore enough for YouTube.

كما لو أنك لن تكون أبداً شديداً بما يكفي بالنسبة لـ"يوتيوب".

(Laughter)

(ضحك)

So what's going on?

إذاً ما الذي يحدث؟

Now, YouTube's algorithm is proprietary,

إن خوارزمية يوتيوب امتلاكية،

but here's what I think is going on.

لكن إليكم ما أظن أنه يحدث.

The algorithm has figured out

لقد اكتشفت الخوارزمية

that if you can entice people

أنك إذا استطعت أن تجذب الناس

into thinking that you can show them something more hardcore,

لمظنّة أنك تستطيع أن تريهم ما هو أكثر إثارة

they're more likely to stay on the site

فإنهم أكثر احتمالاً أن يبقون على الموقع

watching video after video going down that rabbit hole

يشاهدون فيديو تلو الآخر ويغرقون في رحلة البحث والمشاهدة

while Google serves them ads.

في حين "جوجل" يقدم لهم الإعلانات.

Now, with nobody minding the ethics of the store,

الآن، بعدم وجود أي أحد يأبه إلى أخلاقيات المتجر،

these sites can profile people

هذه المواقع يمكنها أن تأخذ معلومات عن الناس

who are Jew haters,

الذين يكرهون اليهود،

who think that Jews are parasites

الذين يظنون أن اليهود عبارة عن طفيليات

and who have such explicit anti-Semitic content,

والذين لديهم محتوى معادٍ للسامية بصراحة شديدة،

and let you target them with ads.

ويجعلونك تستهدفهم بالإعلانات.

They can also mobilize algorithms

يمكنهم أيضاً أن يحشدوا الخوارزميات

to find for you look-alike audiences,

ليجدوا لك جماهير تشبهك،

people who do not have such explicit anti-Semitic content on their profile

أناس لا يملكون محتوى معادٍ للسامية بشكل صريح على ملفاتهم

but who the algorithm detects may be susceptible to such messages,

لكنهم ممن تكشفهم الخوارزمية على أنهم سريعو التأثر برسائل كهذه،

and lets you target them with ads, too.

وتجعلك تستهدفهم بالإعلانات أيضاً.

Now, this may sound like an implausible example,

قد يبدو هذا مثالاً غير قابل للتصديق،

but this is real.

لكنه حقيقي.

ProPublica investigated this

"بروببليكا" حققت بهذا الشأن

and found that you can indeed do this on Facebook,

ووجدت أنك بالفعل تستطيع فعل ذلك على "فيسبوك"،

and Facebook helpfully offered up suggestions

وقد قام "فيسبوك" بعرض اقتراحات

on how to broaden that audience.

عن كيفية توسيع ذلك الجمهور

BuzzFeed tried it for Google, and very quickly they found,

قام موقع "باز فيد" بتجربة ذلك من أجل "جوجل"، وقد وجدوا بسرعة،

yep, you can do it on Google, too.

أجل، يمكنك فعلها على "جوجل" أيضاً.

And it wasn't even expensive.

ولم تكن تجربة مكلفة حتى.

The ProPublica reporter spent about 30 dollars

شركة "بروببليكا" أنفقت ما يقارب 30 دولار

to target this category.

لتستهدف هذه الفئة.

So last year, Donald Trump's social media manager disclosed

في السنة الماضية، أفصح مدير حسابات مواقع التواصل الخاص بـ"دونالد ترمب"

that they were using Facebook dark posts to demobilize people,

أنهم كانوا يستخدمون المنشورات الظلامية في "فيسبوك" لتسريح الناس من وظائفها،

not to persuade them,

ليس عن طريق إقناعهم بذلك،

but to convince them not to vote at all.

بل بإقناعهم أن لا يقوموا بالتصويت من الأساس.

And to do that, they targeted specifically,

ولفعل ذلك، قاموا على وجه التحديد باستهداف،

for example, African-American men in key cities like Philadelphia,

على سبيل المثال، رجال أمريكيين إفريقيين في مدن رئيسة مثل "فيلادلفيا"،

and I'm going to read exactly what he said.

وسوف أقرأ ما قاله هو بالضبط.

I'm quoting.

أنا أقتبس.

They were using "nonpublic posts

"كانوا يستخدمون منشورات ليست للعامة

whose viewership the campaign controls

والتي تتحكم الحملة بمشاهديها

so that only the people we want to see it see it.

حيث يشاهدها الناس الذين نريدهم أن يشاهدونها فحسب.

We modeled this.

لقد قمنا بتصميم هذا.

It will dramatically affect her ability to turn these people out."

وسيؤثر ذلك بشكل كبير على قدرتها على تجنيد هؤلاء الناس."

What's in those dark posts?

ماذا يوجد في هذه "المنشورات الظلامية"؟

We have no idea.

ليس عندنا أي فكرة.

Facebook won't tell us.

"فيسبوك" لن يخبرنا.

So Facebook also algorithmically arranges the posts

إذاً "فيسبوك" أيضاً يقوم خوارزمياً بترتيب المنشورات

that your friends put on Facebook, or the pages you follow.

التي يضعها أصدقاؤك على "فيسبوك"، أو الصفحات التي تقوم بمتابعتها.

It doesn't show you everything chronologically.

فهو لا يريك كل شيء بالترتيب الزمني.

It puts the order in the way that the algorithm thinks will entice you

بل يصمم الترتيب بالطريقة التي تظن بها الخوارزميات أنها ستجذبك.

to stay on the site longer.

لتبقى على الموقع لفترة أطول.

Now, so this has a lot of consequences.

إذاً لهذا الكثير من العواقب.

You may be thinking somebody is snubbing you on Facebook.

ربما تظن أن أحداً ما يقوم بتجاهلك على "فيسبوك"

The algorithm may never be showing your post to them.

لكن ربما الخوارزمية لا تقوم أبداً بإظهار منشوراتك لهم.

The algorithm is prioritizing some of them and burying the others.

تقوم الخوارزمية بإعطاء الأولوية لبعضهم وبدفن ما تبقى.

Experiments show

تظهر التجارب

that what the algorithm picks to show you can affect your emotions.

أن ما تختار أن تظهره لك الخوارزميات يمكن أن يؤثر على عواطفك.

But that's not all.

لكن هذا ليس كل مافي الأمر.

It also affects political behavior.

بل إنها تؤثر أيضاً على السلوك السياسي.

So in 2010, in the midterm elections,

في عام 2010، في انتخابات منتصف فترة الحكم،

Facebook did an experiment on 61 million people in the US

أجرى "فيسبوك" تجربة على 61 مليون شخص في الولايات المتحدة.

that was disclosed after the fact.

والتي كُشف عنها بعد ما ظهرت الحقيقة.

So some people were shown, "Today is election day,"

حيث ظهر لبعض الناس "اليوم هو يوم الانتخابات،"

the simpler one,

وهو الإعلان الأبسط،

and some people were shown the one with that tiny tweak

وبعض الناس ظهر لهم الإعلان الذي يحتوي تلاعباً خفيفاً

with those little thumbnails

مع تلك الصور الصغيرة

of your friends who clicked on "I voted."

لأصدقائك الذين ضغطوا على "أنا قمت بالتصويت."

This simple tweak.

هذا التلاعب البسيط.

OK? So the pictures were the only change,

حسناً؟ إذاً الصور كانت هي التغيير الوحيد،

and that post shown just once

وذلك المنشور ظهر مرةً واحدة

turned out an additional 340,000 voters

قام بحشد 340,000 مصوتين إضافيين

in that election,

في تلك الحملة الانتخابية،

according to this research

وفقاً لهذا البحث

as confirmed by the voter rolls.

وكما تم تأكيده من قبل قوائم المصوتين.

A fluke? No.

مجرد حظ؟ لا.

Because in 2012, they repeated the same experiment.

لأنهم في عام 2012 أعادوا التجربة ذاتها.

And that time,

وتلك المرة،

that civic message shown just once

تلك الرسالة المدنية ظهرت مرة واحدة

turned out an additional 270,000 voters.

وقامت بحشد 270,000 مصوت إضافي.

For reference, the 2016 US presidential election

لأخذ العلم، الانتخابات الرئاسية في أمريكا لعام 2016

was decided by about 100,000 votes.

شارك فيها حوالي 100,000 صوت.

Now, Facebook can also very easily infer what your politics are,

الآن، يستطيع "فيسبوك" أيضاً بسهولة تامة أن يستنتج آراءك السياسية،

even if you've never disclosed them on the site.

حتى ولو لم تفصح عنها من قبل على الموقع.

Right? These algorithms can do that quite easily.

صحيح؟ هذه الخوارزميات يمكنها فعل ذلك بسهولة تامة.

What if a platform with that kind of power

ماذا لو قررت منصة بذلك النوع من القوة

decides to turn out supporters of one candidate over the other?

أن تجند الداعمين لأحد المرشحين ضد المرشح الآخر؟

How would we even know about it?

كيف سنعرف حتى أن هذا ما قد حدث؟

Now, we started from someplace seemingly innocuous --

لقد بدأنا الحديث من مكان ما لا يظهر أنه مؤذي...

online adds following us around --

إعلانات على الانترنت تتبعنا أينما ذهبنا...

and we've landed someplace else.

ثم وصلنا إلى مكان آخر.

As a public and as citizens,

بصفتنا الشعب وبصفتنا المواطنون،

we no longer know if we're seeing the same information

نحن لم نعد نعرف إذا كنا نرى جميعاً المعلومات نفسها

or what anybody else is seeing,

أو ماذا يرى أي أحد آخر،

and without a common basis of information,

ومن دون أساسيات عامة من المعلومات،

little by little,

شيئاً فشيئاً،

public debate is becoming impossible,

المناظرة العامة تصبح مستحيلة،

and we're just at the beginning stages of this.

ونحن لسنا إلا في المراحل الأولى لذلك.

These algorithms can quite easily infer

هذه الخوارزميات تستطيع بسهولة تامة أن تستنتج

things like your people's ethnicity,

أموراً مثل الأصل العرقي للناس،

religious and political views, personality traits,

آراء سياسية ودينية، والخصال السلوكية،

intelligence, happiness, use of addictive substances,

الذكاء، السعادة، تعاطي المواد المدمنة،

parental separation, age and genders,

إنفصال الوالديَن، العمر والجنس،

just from Facebook likes.

فقط من إعجابات "فيسبوك".

These algorithms can identify protesters

هذه الخوارزميات يمكنها أن تتعرف على المعارضين

even if their faces are partially concealed.

حتى ولو كانت وجوههم مخفية جزئياً.

These algorithms may be able to detect people's sexual orientation

هذه الخوارزميات قد تكون قادرة على اكتشاف الميول الجنسية للناس

just from their dating profile pictures.

فقط من صورهم الشخصية على مواقع المواعدة.

Now, these are probabilistic guesses,

إن هذه تخمينات احتمالية،

so they're not going to be 100 percent right,

لذا فهي لن تكون صحيحة مئة بالمئة،

but I don't see the powerful resisting the temptation to use these technologies

لكنني لا أرى أصحاب السيطرة يقاومون الإغراء لاستخدام هذه التقنيات

just because there are some false positives,

فقط بسبب وجود بعض الإيجابيات المزيفة،

which will of course create a whole other layer of problems.

والتي ستخلق بالطبع طبقة أخرى كاملة من المشاكل.

Imagine what a state can do

تصوروا ماذا تستطيع ولاية أن تفعله

with the immense amount of data it has on its citizens.

بالكم الهائل من البيانات التي تملكها عن مواطنيها.

China is already using face detection technology

إن "الصين" تقوم من الآن باستخدام تقنية التحقق من الوجوه

to identify and arrest people.

للتعرف على الناس واعتقالهم.

And here's the tragedy:

وهنا تكمن المأساة:

we're building this infrastructure of surveillance authoritarianism

نحن نبني هذه البنية التحتية من المراقبة الاستبدادية

merely to get people to click on ads.

فقط لنحمل الناس على أن يضغطوا على الإعلانات.

And this won't be Orwell's authoritarianism.

وهذا لن يكون الاستبداد الذي تحدث عنه "أورويل".

This isn't "1984."

نحن لسنا في رواية "1984".

Now, if authoritarianism is using overt fear to terrorize us,

إذا كان الاستبداد يستخدم الخوف العلني ليقوم بإرهابنا،

we'll all be scared, but we'll know it,

سنكون جميعنا خائفين، لكننا سنكون على معرفة بالأمر،

we'll hate it and we'll resist it.

سوف نكره ذلك وسنقوم بمقاومته.

But if the people in power are using these algorithms

لكن لو كان الناس في السلطة يستخدمون هذه الخوارزميات

to quietly watch us,

لتقوم بمراقبتنا في الخفاء،

to judge us and to nudge us,

لتقوم بالحكم علينا والتحكم بنا،

to predict and identify the troublemakers and the rebels,

لتقوم بالتعرف على وبالتنبؤ بمفتعلي المشاكل والمتمردين،

to deploy persuasion architectures at scale

لتقوم بنشر هندسة الإقناع على مستوى ضخم

and to manipulate individuals one by one

ولتتلاعب بالأفراد واحداً تلو الآخر

using their personal, individual weaknesses and vulnerabilities,

باستخدام نقاط ضعفهم الشخصية ومكامن هشاشتهم،

and if they're doing it at scale

وإذا كانوا يفعلون ذلك على مستوى ضخم

through our private screens

عبر شاشاتنا الخاصة

so that we don't even know

حيث لا نعلم حتى

what our fellow citizens and neighbors are seeing,

ماذا يرى جيراننا والمواطنون أمثالنا،

that authoritarianism will envelop us like a spider's web

فذلك الاستبداد سوف يحيط بنا كشبكة عنكبوت

and we may not even know we're in it.

ونحن قد لا نعرف حتى أننا فيها.

So Facebook's market capitalization

إذاً رسملة سوق "فيسبوك"

is approaching half a trillion dollars.

تقترب من نصف تريليون دولار.

It's because it works great as a persuasion architecture.

هذا لأنها تعمل بشكل ممتاز كهندسة إقناع.

But the structure of that architecture

لكن بنية هذه الهندسة

is the same whether you're selling shoes

هي ذاتها سواء كنت تشتري أحذية

or whether you're selling politics.

أو كنت تبيع السياسة.

The algorithms do not know the difference.

الخوارزميات لا تعرف الفرق.

The same algorithms set loose upon us

الخوارزميات نفسها التي يتم إطلاقها علينا

to make us more pliable for ads

لتجعلنا أكثر خضوعاً للإعلانات

are also organizing our political, personal and social information flows,

هي أيضاً التي تقوم بتنظيم تدفق معلوماتنا السياسية والشخصية والاجتماعية،

and that's what's got to change.

وهذا ما يجب أن يتم تغييره.

Now, don't get me wrong,

والآن لا تسيئوا فهمي،

we use digital platforms because they provide us with great value.

نحن نستخدم المنصات الرقمية لأنها تزودنا بفائدة كبيرة.

I use Facebook to keep in touch with friends and family around the world.

أنا أستخدم "فيسبوك" لأبقى على تواصل مع الأصدقاء والعائلة حول العالم.

I've written about how crucial social media is for social movements.

لقد كتبت عن مدى أهمية شبكات التواصل الاجتماعي في حركاتنا الاجتماعية.

I have studied how these technologies can be used

لقد درست كيف يمكن أن تُستخدم هذه التقنيات

to circumvent censorship around the world.

للتحايل على الرقابة حول العالم.

But it's not that the people who run, you know, Facebook or Google

لكن الأمر ليس أن الناس الذين يديرون الشركات مثل "فيسبوك" و"جوجل"

are maliciously and deliberately trying

يحاولون بشكل متعمد وضار

to make the country or the world more polarized

أن يجعلوا من البلد أو العالم أكثر قطبيةً

and encourage extremism.

ويشجعون على التطرف.

I read the many well-intentioned statements

لقد قرأت التصاريح العديدة حسنة النية

that these people put out.

التي يدلي بها هؤلاء الناس.

But it's not the intent or the statements people in technology make that matter,

لكنها ليست النية أو التصريح الذي تخص الناس في عالم التكنولوجيا هي ما يهم،

it's the structures and business models they're building.

بل الهياكل ونماذج العمل التي يبنونها.

And that's the core of the problem.

وهذا هو جوهر المشكلة.

Either Facebook is a giant con of half a trillion dollars

إما أن "فيسبوك" هو خدعة عملاقة تزن نصف ترليون دولار

and ads don't work on the site,

والإعلانات لا تعمل على الموقع،

it doesn't work as a persuasion architecture,

وهي لا تعمل كهندسة إقناع،

or its power of influence is of great concern.

أو أن قوة التأثير لديه تشكل قلقاً كبيراً،

It's either one or the other.

إنه إما واحدة أو الأخرى،

It's similar for Google, too.

والأمر ينطبق على "جوجل" أيضاً.

So what can we do?

إذاً ما الذي يمكننا فعله؟

This needs to change.

يجب أن يتغير هذا.

Now, I can't offer a simple recipe,

وأنا لا يسعني أن أقدم وصفة بسيطة،

because we need to restructure

لأننا مضطرون لإعادة هيكلة

the whole way our digital technology operates.

الطريقة التي تعمل بها تقنيتنا الرقمية بكاملها.

Everything from the way technology is developed

كل شيء ابتداءً من الطريقة التي يتم فيها تطوير التقنية

to the way the incentives, economic and otherwise,

وصولاً إلى الطريقة حيث المحفزات الاقتصادية وغيرها

are built into the system.

يتم بناؤها في النظام.

We have to face and try to deal with

يجب علينا أن نواجه ونحاول التعامل مع

the lack of transparency created by the proprietary algorithms,

الفقر إلى الشفافية الذي تخلقه الخوارزميات الامتلاكية،

the structural challenge of machine learning's opacity,

والتحدي الهيكلي في غموض تعلم الآلة،

all this indiscriminate data that's being collected about us.

كل هذه البيانات التي يتم جمعها عنا بشكل عشوائي.

We have a big task in front of us.

أمامنا مهمة كبيرة علينا القيام بها.

We have to mobilize our technology,

يجب علينا أن نحشد تقنيتنا،

our creativity

وإبداعنا،

and yes, our politics

وأجل، سياستنا

so that we can build artificial intelligence

حيث يمكننا أن نبني ذكاءً اصطناعياً

that supports us in our human goals

يقوم بدعمنا في أهدافنا البشرية

but that is also constrained by our human values.

لكنه أيضاً مقيّد بقيمنا الإنسانية.

And I understand this won't be easy.

وأنا أفهم أن هذا لن يكون سهلاً.

We might not even easily agree on what those terms mean.

نحن قد لا نتفق بسهولة حتى على ما تعنيه هذه المصطلحات.

But if we take seriously

لكننا لو أخذنا بجدية

how these systems that we depend on for so much operate,

كيف تعمل هذه الأنظمة التي نعتمد عليها بشدة

I don't see how we can postpone this conversation anymore.

فأنا لا أرى كيف يسعنا أن نؤجل هذه المحادثة أكثر من ذلك.

These structures

هذه الهياكل

are organizing how we function

تقوم بتنظيم كيف نعمل

and they're controlling

وهي تتحكم

what we can and we cannot do.

بما يمكننا وما لا يمكننا فعله.

And many of these ad-financed platforms,

والعديد من هذه المنصات التي تكسب ربحها بالإعلانات،

they boast that they're free.

تتباهي بأنها مجانية.

In this context, it means that we are the product that's being sold.

في هذا السياق، هذا يعني أننا نحن المنتج الذي يتم بيعه.

We need a digital economy

نحن نحتاج اقتصاداً رقمياً

where our data and our attention

حيث بياناتنا وانتباهنا

is not for sale to the highest-bidding authoritarian or demagogue.

ليست للبيع من أجل أكثر من يدفع من الاستبداديين أو الدهماويين.

(Applause)

(تصفيق)

So to go back to that Hollywood paraphrase,

لذا دعونا نعد إلى تلك العبارة الهوليوودية التي أعدت صياغتها،

we do want the prodigious potential

نحن نريد بالفعل الإمكانات غير العادية

of artificial intelligence and digital technology to blossom,

للذكاء الاصطناعي والتقنية الرقمية أن تزدهر،

but for that, we must face this prodigious menace,

لكن من أجل ذلك، يجب أن نواجه هذا التهديد غير العادي،

open-eyed and now.

بعيون مفتوحة والآن.

Thank you.

شكراً لكم.

(Applause)

(تصفيق)