How technology can fight extremism and online harassment | Yasmin Green

المترجم: Nawal Sharabati المدقّق: Nada Qanbar

My relationship with the internet reminds me of the setup

تذكرني علاقتي مع الإنترنت بالمشهد

to a clichéd horror movie.

في الفيلم المرعب النمطي.

You know, the blissfully happy family moves in to their perfect new home,

كما تعلمون، تنتقل العائلة السعيدة المبتهجة إلى المنزل الجديد المثالي،

excited about their perfect future,

والمتحمسة بشأن مستقبلهم المثالي،

and it's sunny outside and the birds are chirping ...

والشمس ساطعة في الخارج والعصافير تغرد...

And then it gets dark.

وثم يحلُ الظلام.

And there are noises from the attic.

وهناك أصوات قادمة من العلية.

And we realize that that perfect new house isn't so perfect.

وندرك أن المنزل الجديد المثالي ليس كذلك.

When I started working at Google in 2006,

عندما بدأتُ عملي في جوجل في عام 2006،

Facebook was just a two-year-old,

كان عمر الفيسبوك عامين فقط، ولم يكن للتويتر وجود بعد.

and Twitter hadn't yet been born.

And I was in absolute awe of the internet and all of its promise

وكنت في دهشة تامة للإنترنت ووعوده لجعلنا أقرب وأبرع وأكثر حرية.

to make us closer

and smarter

and more free.

But as we were doing the inspiring work of building search engines

وبينما كنا نقوم بعملنا المدهش لبناء محركات البحث،

and video-sharing sites and social networks,

ومواقع مشاركة الفيديوهات وشبكات التواصل الاجتماعي،

criminals, dictators and terrorists were figuring out

كان المجرمون والاستبداديون والإرهابيون يفكرون في كيفية استخدام نفس المنصات ضدنا.

how to use those same platforms against us.

And we didn't have the foresight to stop them.

ولم يكن لدينا البصيرة لوقفهم.

Over the last few years, geopolitical forces have come online to wreak havoc.

خلال السنوات القليلة الماضية، واصلت القوى الجيوسياسية نشر الفساد عبر الإنترنت.

And in response,

وفي المقابل،

Google supported a few colleagues and me to set up a new group called Jigsaw,

دعمتي جوجل وقلة من الزملاء لبدء مجموعة جديدة تسمى أحجية الصور المقطعة (Jigsaw)،

with a mandate to make people safer from threats like violent extremism,

والتوصية لجعل الناس أكثر أمنا من التهديدات مثل التطرف الإرهابي والرقابة والطغيان.

censorship, persecution --

threats that feel very personal to me because I was born in Iran,

أشعرتني التهديدات أنها شخصية جدًا لأنني ولدتُ في إيران،

and I left in the aftermath of a violent revolution.

وغادرتها في أعقاب الثورة العنيفة.

But I've come to realize that even if we had all of the resources

ولكنني أدركتُ حتى إن كان لدينا كل مصادر شركات التقنية في العالم،

of all of the technology companies in the world,

we'd still fail

لا نزال نفشل لو أهملنا أحد المكونات المهمة:

if we overlooked one critical ingredient:

the human experiences of the victims and perpetrators of those threats.

وهي التجارب الإنسانية للضحايا ومرتكبي تلك التهديدات.

There are many challenges I could talk to you about today.

يوجد العديد من التحديات التي يمكنني اليوم التحدث فيها إليكم.

I'm going to focus on just two.

سأركز على اثنين فقط.

The first is terrorism.

أولًا، الإرهاب.

So in order to understand the radicalization process,

ولفهم عملية التطرف،

we met with dozens of former members of violent extremist groups.

التقينا عشرات الأعضاء السابقين من المجموعات المتطرفة المتشددة.

One was a British schoolgirl,

كانت إحداها طالبة مدرسة إنكليزية التي سُحبت من طائرة في مطار هيثرو اللندني

who had been taken off of a plane at London Heathrow

as she was trying to make her way to Syria to join ISIS.

بينما كانت تحاول السفر إلى سوريا للانضمام لتنظيم الدولة الإسلامية في العراق والشام.

And she was 13 years old.

وكانت تبلغ من العمر 13 عامًا.

So I sat down with her and her father, and I said, "Why?"

وجلستُ معها ومع والدها وقلتُ: "لماذا؟"

And she said,

وقالت: "كنت أنظر إلى الصور لما تبدو عليه الحياة في سوريا،

"I was looking at pictures of what life is like in Syria,

and I thought I was going to go and live in the Islamic Disney World."

واعتقدتُ أنني سأذهب وأعيشُ عالم ديزني الإسلامي".

هذا ما رأته في تنظيم الدولة الإسلامية في العراق والشام المسمى داعش.

That's what she saw in ISIS.

She thought she'd meet and marry a jihadi Brad Pitt

اعتقدت أنها ستلتقي وتتزوج براد بت الجهادي،

and go shopping in the mall all day and live happily ever after.

وستذهب إلى مركز التسوق يوميًا وستعيش بسعادة أبدية.

ISIS understands what drives people,

تدرك داعش ما الذي يحفز الناس وتصوغ الرسالة بعناية لكل مجموعة من الناس.

and they carefully craft a message for each audience.

Just look at how many languages

انظروا فقط إلى عدد اللغات التي يترجمون إليها موادهم التسويقية.

they translate their marketing material into.

They make pamphlets, radio shows and videos

فهم ينتجون منشورات وبرامج إذاعية وفيديوهات ليس فقط باللغتين الإنجليزية والعربية

in not just English and Arabic,

but German, Russian, French, Turkish, Kurdish,

ولكن بالألمانية والروسية والفرنسية، والتركية والكردية والعبرية،

Hebrew,

Mandarin Chinese.

واللغة الصينية الماندارينية.

I've even seen an ISIS-produced video in sign language.

حتى أنني رأيتُ فيديو أنتجته داعش بلغة الإشارة.

Just think about that for a second:

فكروا بذلك للحظة:

ISIS took the time and made the effort

بذلت داعش الوقت والجهد للتأكد أن رسالتها تصل إلى الصُم وضعيفي السمع.

to ensure their message is reaching the deaf and hard of hearing.

It's actually not tech-savviness

وليس الأمر في الحقيقة ذكاءً تقنيًا لتنال داعش إعجاب القلوب والعقول.

that is the reason why ISIS wins hearts and minds.

It's their insight into the prejudices, the vulnerabilities, the desires

إنه قدرتهم الإدراكية في فهم محاباة وحساسية ورغبات الناس الذين يحاولون الوصول إليهم.

of the people they're trying to reach

that does that.

That's why it's not enough

ولهذا السبب فإنه ليس كافيًا أن تركز منصات الإنترنت على إزالة المواد المستخدمة.

for the online platforms to focus on removing recruiting material.

If we want to have a shot at building meaningful technology

لو أردنا أن نحظى بفرصة بناء تقنية ذات مغزى لمقاومة التطرف،

that's going to counter radicalization,

we have to start with the human journey at its core.

علينا البدء مع مسيرة البشر في عقر دارهم.

So we went to Iraq

لهذا ذهبنا إلى العراق

to speak to young men who'd bought into ISIS's promise

للتحدث إلى الرجال اليافعين الذين تقبلوا تعهد داعش للبطولة والإنصاف،

of heroism and righteousness,

who'd taken up arms to fight for them

والذين حملوا السلاح للقتال من أجلهم ومن ثم انشقوا بعدما شهدوا قسوة حكم داعش.

and then who'd defected

after they witnessed the brutality of ISIS's rule.

And I'm sitting there in this makeshift prison in the north of Iraq

وأجلس هناك في هذا السجن المؤقت في شمال العراق

with this 23-year-old who had actually trained as a suicide bomber

مع شاب يبلغ من العمر 23 سنة ممن درّب في الواقع كانتحاري قبل الانشقاق.

before defecting.

And he says,

ويقول: "وصلتُ إلى سوريا وكلي أمل،

"I arrived in Syria full of hope,

and immediately, I had two of my prized possessions confiscated:

وفي الحال، صودر اثنين من ممتلكاتي الثمينة جواز سفري وهاتفي الجوال."

my passport and my mobile phone."

The symbols of his physical and digital liberty

أخذت منه رموز حريته البدنية والرقمية حال وصوله سوريا.

were taken away from him on arrival.

And then this is the way he described that moment of loss to me.

وبالتالي هذه هي الطريقة التي وصفها تلك اللحظة من الخسارة بالنسبة لي.

He said,

وقال: "هل تعرفون (توم وجيري)، عندما يريد جيري الهروب ويغلق توم الباب،

"You know in 'Tom and Jerry,'

when Jerry wants to escape, and then Tom locks the door

and swallows the key

ويبلع المفتاح، وتراه ينتفخ من حلقه وهو ينزل إلى أسفل."

and you see it bulging out of his throat as it travels down?"

And of course, I really could see the image that he was describing,

وفي طبيعة الحال، تمكنتُ في الواقع من رؤية المشهد وهو يصفه،

and I really did connect with the feeling that he was trying to convey,

وتواصلتُ في الواقع مع الشعور الذي حاول نقله

which was one of doom,

الذي كان نوعًا من الهلاك عندما تدرك أنه لا يوجد مخرج.

when you know there's no way out.

And I was wondering:

وكنت أتساءل:

What, if anything, could have changed his mind

ماذا لو حصل أي شيء جعله يغير رأيه في اليوم الذي غادر فيه وطنه؟

the day that he left home?

So I asked,

ولذلك سألت: "لو علمت بكل ما عرفته الآن حول المعاناة والفساد والقسوة،

"If you knew everything that you know now

about the suffering and the corruption, the brutality --

في اليوم الذي تركت فيه الوطن، هل كنت لا تزال ترغب في الذهاب؟

that day you left home,

would you still have gone?"

And he said, "Yes."

وقال: "نعم."

And I thought, "Holy crap, he said 'Yes.'"

وفكرت: "سحقًا! وقال: "نعم."

And then he said,

ومن ثم قال: "في تلك المرحلة، كنتُ أتعرض إلى غسيل دماغ تام،

"At that point, I was so brainwashed,

I wasn't taking in any contradictory information.

ولم أكن أستقبل أية معلومات متناقضة، ولم أستطع الترنح عن تفكيري".

I couldn't have been swayed."

"Well, what if you knew everything that you know now

قلت: "حسنًا! ماذا لو علمت بكل ما تعرفه الآن

six months before the day that you left?"

أي قبل ستة أشهر من اليوم الذي غادرت فيه؟"

"At that point, I think it probably would have changed my mind."

قال: "عند تلك المرحلة، أعتقد ربما قد غيرتُ رأيي."

Radicalization isn't this yes-or-no choice.

ليس التطرف خيار بقول نعم أو لا،

It's a process, during which people have questions --

إنه إجراء عندما يكون لدى الناس أسئلة حول المذهب الفكري والعقيدة وظروف المعيشة.

about ideology, religion, the living conditions.

And they're coming online for answers,

ويقبل الناس للبحث عن أجوبة عبر الإنترنت، وهي فرصة للوصول إليهم.

which is an opportunity to reach them.

And there are videos online from people who have answers --

ويوجد فيديوهات عبر الإنترت لأشخاص ممن لديهم الأجوبة،

defectors, for example, telling the story of their journey

مثل المنشقين الذين يتحدثون عن رحلتهم وتجاربهم داخل وخارج العنف،

into and out of violence;

stories like the one from that man I met in the Iraqi prison.

قصص مثل قصة ذلك الرجل الذي التقيته في السجن العراقي.

There are locals who've uploaded cell phone footage

يوجد محليون ممن ينزلون لقطات عبر هواتفهم المحمولة

of what life is really like in the caliphate under ISIS's rule.

لما تبدو عليه الحياة في خلافة حكم داعش.

There are clerics who are sharing peaceful interpretations of Islam.

يوجد هناك رجال دين ممن يشاركون التفسيرات السلمية للإسلام.

But you know what?

ولكن هل تعلمون؟

ليس لهؤلاء عمومًا براعة التسويق كما لدى داعش.

These people don't generally have the marketing prowess of ISIS.

They risk their lives to speak up and confront terrorist propaganda,

إنهم يخاطرون بحياتهم للتحدث عاليًا ويواجهون الدعاية الإرهابية،

and then they tragically don't reach the people

ثم بشكل مأساوي لا يستطيعون الوصول للأشخاص الذين هم بأمس الحاجة لسماعهم.

who most need to hear from them.

And we wanted to see if technology could change that.

ورغبنا في رؤية إن كانت التقنية تستطيع تغيير ذلك.

So in 2016, we partnered with Moonshot CVE

لذلك في عام 2016، تشاركنا مع مون شات لمكافحة التطرف العنيف (Moonshot CVE)

to pilot a new approach to countering radicalization

لنجرب طريقة جديدة لمكافحة التطرف تسمى: طريقة إعادة التوجيه (Redirect Method).

called the "Redirect Method."

It uses the power of online advertising

تستخدم قدرة الإعلان عبر الإنترنت لسد الفراغ بين سريعي التأثر برسالة داعش

to bridge the gap between those susceptible to ISIS's messaging

and those credible voices that are debunking that messaging.

وتلك الأصوات الموثوقة التي تفضح الرسالة.

And it works like this:

وتعملُ الطريقة كالتالي:

someone looking for extremist material --

يبحث شخص ما عن مواد متطرفة، لنقل أنه يبحث عن "كيف أنضم إلى داعش؟"

say they search for "How do I join ISIS?" --

will see an ad appear

سيشاهد ظهور إعلان يدعوه لمشاهدة فيديو يوتيوب لرجل دين أو منشق،

that invites them to watch a YouTube video of a cleric, of a defector --

someone who has an authentic answer.

ممن لديه الإجابة الجديرة بالتصديق.

And that targeting is based not on a profile of who they are,

ويعتمد هذا الاستهداف ليس فقط على ملفات تحوي من هم هولاء،

but of determining something that's directly relevant

ولكن على تحديد شيء ذي علاقة مباشرة للبحث أو السؤال.

to their query or question.

During our eight-week pilot in English and Arabic,

أثناء تجربتنا الممتدة لثمانية أسابيع في اللغتين العربية والإنجليزية،

we reached over 300,000 people

وصلنا إلى أكثر من 300000 شخص

who had expressed an interest in or sympathy towards a jihadi group.

ممن أبدوا اهتمامًا أو تعاطفًا مع المجموعة الجهادية.

These people were now watching videos

يشاهد هؤلاء الأشخاص حاليًا الفيديوهات التي قد تمنعهم من اتخاذ خيارات مدمرة.

that could prevent them from making devastating choices.

And because violent extremism isn't confined to any one language,

ولأن التطرف العنيف ليس مقصورًا على لغة واحدة أو دين أو مذهب فكري

religion or ideology,

the Redirect Method is now being deployed globally

فيجري حاليًا نشر طريقة إعادة التوجية في كل أنحاء العالم

to protect people being courted online by violent ideologues,

لحماية الناس من استددراجهم عبر الإنترنت عن طريق أصحاب المذاهب الفكرية العنيفة،

whether they're Islamists, white supremacists

سواء أكانوا مسلمين أو سادة العرق الأبيض أو أية مجموعة متطرفة أخرى،

or other violent extremists,

بهدف منحهم الفرصة لسماع شخص ما من الجانب الآخر من تلك التجربة،

with the goal of giving them the chance to hear from someone

on the other side of that journey;

to give them the chance to choose a different path.

ولمنحهم الفرصة لاختيار طريق مختلف.

It turns out that often the bad guys are good at exploiting the internet,

تبين أن الأشرار بارعون أحيانًا في استغلال الإنترنت،

not because they're some kind of technological geniuses,

ليس لأنهم بارعون تقنيًا، ولكن يدركون ما الذي يثيرُ غضب الناس.

but because they understand what makes people tick.

I want to give you a second example:

أرغبُ في إعطائكم مثالًا آخر: التحرش عبر الإنترنت.

online harassment.

Online harassers also work to figure out what will resonate

يعمل المتحرشون عبر الإنترنت أيضًا على معرفة ما الذي سيثير انتباه شخص آخر.

with another human being.

But not to recruit them like ISIS does,

لكن ليس تجنيدهم كما تفعل داعش، ولكن ليسببوا لهم الألم.

but to cause them pain.

Imagine this:

تخليوا التالي: أنت امرأة ومتزوجة، ولديك طفل.

you're a woman,

you're married,

you have a kid.

You post something on social media,

وتنشرين شيئًا عبر وسائل التواصل الاجتماعي،

and in a reply, you're told that you'll be raped,

وفي المقابل، يقال لك بأنك ستغتصبين، وسيشاهد طفلك ذلك بتفاصيل متى وأين.

that your son will be watching,

details of when and where.

In fact, your home address is put online for everyone to see.

وُضع في الواقع عنوان بيتك ليراه الجميع عبر الإنترنت.

That feels like a pretty real threat.

وبدا ذلك كتهديد حقيقي.

Do you think you'd go home?

هل تفكري في الذهاب إلى البيت؟

Do you think you'd continue doing the thing that you were doing?

وهل تفكري في الاستمرار في القيام بما كنت تقومين به؟

هل ستستمري في القيام بذلك الشيء الذي أثار غضب مهاجمك؟

Would you continue doing that thing that's irritating your attacker?

Online abuse has been this perverse art

كان التعسف عبر الإنترنت بمثابة التقنية المنحرفة

of figuring out what makes people angry,

لمعرفة ما يجعل الناس غاضبين وخائفين ولا يشعرون بالأمان،

what makes people afraid,

what makes people insecure,

and then pushing those pressure points until they're silenced.

وثم دفع تلك المراحل الضاغطة حتى تصمت.

When online harassment goes unchecked,

حين لا يتم التحقق من التحرش عبر الإنترنت، عندها تخمدُ حرية الكلام.

free speech is stifled.

And even the people hosting the conversation

حتى الأشخاص الذين يستضيفون النقاشات يلقون بأسلحتهم ويتوقفون،

throw up their arms and call it quits,

closing their comment sections and their forums altogether.

ويغلقون أقسام تعليقاتهم وندواتهم معًا.

That means we're actually losing spaces online

ويعني هذا أننا نخسر في الواقع مساحات عبر الإنترنب للالتقاء وتبادل الأفكار.

to meet and exchange ideas.

And where online spaces remain,

وحيث تبقى المساحات عبر الإنترنت،

we descend into echo chambers with people who think just like us.

فإننا نحلُ ضيوفا لنكرر أفكار الأشخاص الذي يشبهوننا فكريًا.

But that enables the spread of disinformation;

ولكن يتيح ذلك انتشار المعلومات المضللة التي تسهل الاستقطاب.

that facilitates polarization.

What if technology instead could enable empathy at scale?

ماذا لو تستطيع التقنية بدلًا من ذلك إتاحة التعاطف على نطاق واسع؟

This was the question that motivated our partnership

كان هذا هو السؤال الذي دفع شراكتنا بالتعاون مع فريق جوجل لمواجهة الإساءة،

with Google's Counter Abuse team,

Wikipedia

وويكيبيديا والصحف مثل نيويورك تايمز.

and newspapers like the New York Times.

We wanted to see if we could build machine-learning models

رغبنا في رؤية إن استطعنا إنشاء نماذج تعليمية آلية

that could understand the emotional impact of language.

يمكنها فهم الأثر العاطفي للغة.

Could we predict which comments were likely to make someone else leave

هل نستطيع التنبؤ بالتعليقات التي من المرجح أن تجعل شخصًا ما يترك النقاشات عبر الإنترنت؟

the online conversation?

And that's no mean feat.

وهذا لا يعتبر انجاز عظيم ولا تافه بالنسبة إلى الذكاء الاصطناعي للقيام بشيء مثل هذا.

That's no trivial accomplishment

for AI to be able to do something like that.

I mean, just consider these two examples of messages

أقصدُ مجرد النظر في هذين المثالين من الرسائل،

that could have been sent to me last week.

التي كان من الممكن إرسالها لي في الأسبوع الماضي

"Break a leg at TED!"

"بالتوفيق في مؤتمر TED". و "سأكسر ساقيك في مؤتمر TED".

... and

"I'll break your legs at TED."

(Laughter)

(ضحك)

You are human,

أنتم بشر، ولهذا السبب فإن الأمر فرق واضح بالنسبة إليكم حتى ولو كانت الكلمات نفسها.

that's why that's an obvious difference to you,

even though the words are pretty much the same.

But for AI, it takes some training to teach the models

لكن يحتاج الذكاء الاصطناعي بعض التدريب لتعليم النماذج لتمييز الفرق.

to recognize that difference.

The beauty of building AI that can tell the difference

فروعة إنشاء الذكاء الاصطناعي الذي يمكن له تمميز الفرق

is that AI can then scale to the size of the online toxicity phenomenon,

هو أنه يمكن للذكاء الاصطناعي أن يصل إلى حجم ظاهرة السُمية عبر الإنترنت،

and that was our goal in building our technology called Perspective.

وكان هذا هو هدفنا في إنشاء تقنيتنا المسماة المنظورية (Perspective)،

With the help of Perspective,

مثلًا، زادت صحيفة نيويورك تايمز من مساحتها للنقاش عبر الإنترنت بمساعدة المنظورية.

the New York Times, for example,

has increased spaces online for conversation.

Before our collaboration,

قبل تعاوننا، كان لديهم تعليقات متاحة على نسبة 10% من مقالاتهم.

they only had comments enabled on just 10 percent of their articles.

With the help of machine learning,

وبمساعدة التعليم الآلي، ارتفعت النسبة لتصل إلى 30%.

they have that number up to 30 percent.

So they've tripled it,

وبذلك تضاعفت ثلاث مرات، وما زلنا في بداية الطريق.

and we're still just getting started.

But this is about way more than just making moderators more efficient.

وهذه هي طريقة أكثر من مجرد جعل المراقبين أكثر فعالية.

Right now I can see you,

أستطيع رؤيتكم الآن، وأستطيع تقدير كيفية وقع ما أقوله عليكم.

and I can gauge how what I'm saying is landing with you.

You don't have that opportunity online.

ليس لديكم هذه الفرصة عبر الإنترنت.

Imagine if machine learning could give commenters,

تخيلوا لو تستطيع آلة التعليم أن تعطيكم تعليقات وأنتم تكتبون.

as they're typing,

real-time feedback about how their words might land,

ستبدو ردود أفعالكم الحقيقية اللحظية تمامًا مثل تعبيرات وجوهكم في النقاشات وجهًا لوجه.

just like facial expressions do in a face-to-face conversation.

Machine learning isn't perfect,

آلة التعلم ليست مثالية، ولا تزال ترتكب الكثير من الأخطاء.

and it still makes plenty of mistakes.

But if we can build technology

ولكن لو استطعنا إنشاء تقنية تفهم الأثر العاطفي للغة،

that understands the emotional impact of language,

we can build empathy.

فإننا نستطيع تعزيز التعاطف.

That means that we can have dialogue between people

وبهذا يكون لدينا حوارات بين الناس على اختلاف نظرتهم للسياسة والعالم والقيم.

with different politics,

different worldviews,

different values.

And we can reinvigorate the spaces online that most of us have given up on.

ويمكننا تجديد المساحات عبر الإنترنت ولا سيما تلك التي تخلى عنها معظمنا.

When people use technology to exploit and harm others,

عندما يستخدم الأشخاص التكنولوجيا لاستغلال وإيذاء الآخرين

they're preying on our human fears and vulnerabilities.

فإنهم يستحوذون على مخاوفنا ونقاط ضعفنا الإنسانية.

If we ever thought that we could build an internet

لو اعتقدنا في أي وقتٍ أننا نستطيع إنشاء شبكة إنترنت

insulated from the dark side of humanity,

معزولة عن الجانب المظلم للبشرية فقد كنا مخطئين.

we were wrong.

If we want today to build technology

لو أردنا اليوم إنشاء تقنية تمكننا من القضاء على التحديات التي تواجهنا،

that can overcome the challenges that we face,

we have to throw our entire selves into understanding the issues

فعلينا أن نجندُ أنفسنا تمامًا لفهم القضايا وإيجاد الحلول التي يستهدفها البشر لحلها.

and into building solutions

that are as human as the problems they aim to solve.

Let's make that happen.

دعونا نحقق ذلك.

Thank you.

شكرًا لكم.

(Applause)

(تصفيق)