How deepfakes undermine truth and threaten democracy | Danielle Citron

المترجم: Ghada Khalil المدقّق: Abdulwahab Algarni

[This talk contains mature content]

[تحتوي هذه المُحادثة على مُحتوَى للبالغين فقط]

Rana Ayyub is a journalist in India

رنا أيوب هي صحفية من الهند،

whose work has exposed government corruption

وقد ساهم عملُها في فضح فساد الحكومة

and human rights violations.

وانتهاكات حقوق الإنسان.

And over the years,

وبمرور السنوات،

she's gotten used to vitriol and controversy around her work.

كانت قد اعتادت على النقد اللاذع والجدل المُثار حول عملها.

But none of it could have prepared her for what she faced in April 2018.

ولكن لم يؤهلها أيٌ من ذلك لتوقُّع ما مرَّت به في أبريل 2018.

She was sitting in a café with a friend when she first saw it:

كانت جالسةً في مقهى مع صديقةٍ لها عندما رأته لأول مرة:

a two-minute, 20-second video of her engaged in a sex act.

مقطع فيديو مُدته دقيقتان وعشرون ثانية تظهر فيه أثناء مُمارستها للجنس.

And she couldn't believe her eyes.

ولم تستطع تصديق ما رأته عيناها.

She had never made a sex video.

فهي لم تقُم بتصوير أي فيديو إباحي أبدًا.

But unfortunately, thousands upon thousands of people

ولكن للأسف، كان الآلاف والآلاف من الناس

would believe it was her.

يُصدقون أنها هي مَن كانت في الفيديو.

I interviewed Ms. Ayyub about three months ago,

قُمتُ بمقابلة السيدة أيوب منذ حوالي ثلاثة أشهُر،

in connection with my book on sexual privacy.

بخُصوص كتابي عن الخصوصية الجنسية.

I'm a law professor, lawyer and civil rights advocate.

فأنا أستاذة في القانون، ومحامية، ومُدافعة عن الحقوق المدَنية.

So it's incredibly frustrating knowing that right now,

لذلك فمن المُحبِط بشدة معرفتي بأن القانون في الوقت الحالي

law could do very little to help her.

لا يستطيع مساعدتها.

And as we talked,

وأثناء حديثنا،

she explained that she should have seen the fake sex video coming.

أوضحت لي أنه كان عليها أن تتوقع ظهور ذلك المقطع الجنسي المُزيف.

She said, "After all, sex is so often used to demean and to shame women,

حيث قالت: "في النهاية، يكون الجنس دائمًا هو ما يتم استخدامه لتحقير النساء وإذلالهن،

especially minority women,

وخاصةً نساء الأقليات،

and especially minority women who dare to challenge powerful men,"

وخاصةً نساء الأقليات اللاتي تجرؤن على تحدي الرجال ذوي السُلطة،"

as she had in her work.

كما فعلَت هي من خلال عملها.

The fake sex video went viral in 48 hours.

انتشر مقطع الفيديو الإباحي المُزيف في خلال 48 ساعة.

All of her online accounts were flooded with screenshots of the video,

وامتلأت كل حساباتها على الإنترنت بصورٍ من ذلك الفيديو،

with graphic rape and death threats

مع تهديداتٍ بالاغتصاب والقتل

and with slurs about her Muslim faith.

وإهاناتٍ وعنصرية ضد كَونها مُسلمة.

Online posts suggested that she was "available" for sex.

ولمَّحَت بعض المنشورات أنها كانت "متاحة" للجنس.

And she was doxed,

وتم التشهير بها،

which means that her home address and her cell phone number

وهو ما يعني أن عنوان منزلها ورقم هاتفها

were spread across the internet.

تم نشرهما عبر الإنترنت.

The video was shared more than 40,000 times.

وتمَّت مُشاركة الفيديو أكثر من 40,000 مرة.

Now, when someone is targeted with this kind of cybermob attack,

في وقتنا الحالي، عندما يتعرض شخصٌ ما لهذا النوع من الهجوم الإلكتروني الجماعي،

the harm is profound.

يكون الضرر الواقع عليه شديدًا.

Rana Ayyub's life was turned upside down.

انقلبَت حياة رنا أيوب رأسًا على عقب.

For weeks, she could hardly eat or speak.

ولمدة أسابيع، كانت نادرًا ما تأكل أو تتحدث.

She stopped writing and closed all of her social media accounts,

وتوقفَت عن الكتابة وأغلقت كل حساباتها على مواقع التواصُل الاجتماعي،

which is, you know, a tough thing to do when you're a journalist.

وهو، كما تعلمون، أمرٌ صعب بالنسبة لكَونها صحفية.

And she was afraid to go outside her family's home.

وكانت تخشى الخروج من منزل عائلتها.

What if the posters made good on their threats?

فماذا لو نفَّذ الناس تهديداتهم؟

The UN Council on Human Rights confirmed that she wasn't being crazy.

أكّد مجلس الأُمم المُتحدة لحقوق الإنسان أنها لم تكُن تُبالغ،

It issued a public statement saying that they were worried about her safety.

وأصدَر بيانًا عامًا مُعلنًا فيه قلقهم على سلامتها.

What Rana Ayyub faced was a deepfake:

ما تعرَّضَت له رنا أيوب كان تزييفًا عميقًا،

machine-learning technology

وهو تقنية للتعلُّم الآلي

that manipulates or fabricates audio and video recordings

تقوم بالتلاعب وتلفيق تسجيلات مرئية وصوتية

to show people doing and saying things

بحيث يظهر فيها الأشخاص أثناء فعلهم وقولهم لأشياء

that they never did or said.

لم تصدُر منهم على الإطلاق.

Deepfakes appear authentic and realistic, but they're not;

وتبدو مقاطع التزييف العميق حقيقية وواقعية، ولكنّها ليست كذلك،

they're total falsehoods.

بل هي كاذبة تمامًا.

Although the technology is still developing in its sophistication,

وعلى الرغم من أن تلك التقنية ما زالت في مرحلة التجربة والتطوير،

it is widely available.

إلا أنها مُنتشرة بشكلٍ كبير.

Now, the most recent attention to deepfakes arose,

وكان أحدث ما جذَب الانتباه لتقنية التزييف العميق في الوقت الحالي،

as so many things do online,

على غرار العديد من الأشياء على الإنترنت،

with pornography.

هو المواد الإباحية

In early 2018,

في أوائل عام 2018،

someone posted a tool on Reddit

نشر شخصٌ ما أداة على موقع ريديت

to allow users to insert faces into porn videos.

لتُمكّن المُستخدمين من دمج الوجوه في مقاطع الفيديو الإباحية.

And what followed was a cascade of fake porn videos

وما تلا ذلك كان سلسلة كبيرة من الفيديوهات الإباحية المُزيفة

featuring people's favorite female celebrities.

تضُم أشهر النساء المُفضّلات لدى الناس.

And today, you can go on YouTube and pull up countless tutorials

واليوم، تستطيع استخدام موقع يوتيوب لمشاهدة فيديوهات تعليمية لا حصر لها

with step-by-step instructions

تحتوي على إرشاداتٍ مُفصَّلة

on how to make a deepfake on your desktop application.

لكيفية استخدام تقنية التزييف العميق وتصميمها على حاسوبك.

And soon we may be even able to make them on our cell phones.

وقد يُصبح بإمكاننا استخدامها على هواتفنا المحمولة قريبًا أيضًا.

Now, it's the interaction of some of our most basic human frailties

والآن، فإن تأثير وتفاعُل بعض أبسط نقاط الضعف الإنساني لدينا

and network tools

مع أدوات التواصُل الاجتماعي

that can turn deepfakes into weapons.

هو ما يُمكن أن يُحوّل تلك المقاطع المُزيَّفة إلى أسلحة.

So let me explain.

دعوني أوضح ذلك.

As human beings, we have a visceral reaction to audio and video.

كبشَر، يوجد لدينا رد فعل غريزي تجاه المواد الصوتية والمرئية.

We believe they're true,

فنحن نصدق أنها حقيقية،

on the notion that of course you can believe

باعتبار أننا نستطيع أن نصدق ونثق

what your eyes and ears are telling you.

في ما تخبرنا به أعيُننا وآذاننا.

And it's that mechanism

وتلك الآلية

that might undermine our shared sense of reality.

هي ما قد يهدم شعورنا المُشترَك بالواقع.

Although we believe deepfakes to be true, they're not.

وبرغم أننا نُصدق أن مقاطع التزييف العميق حقيقية، فهي ليست كذلك.

And we're attracted to the salacious, the provocative.

ونحن ننجذب إلى الأمور المُثيرة والاستفزازية،

We tend to believe and to share information

ونميل لتصديق ومُشاركة المعلومات

that's negative and novel.

المُغرِضة والغريبة.

And researchers have found that online hoaxes spread 10 times faster

وقد اكتشف الباحثون أن الأكاذيب الموجودة على الإنترنت تنتشر أسرع بعشر مرات

than accurate stories.

من الأخبار الحقيقية الدقيقة.

Now, we're also drawn to information

كمأ أننا ننجذب للمعلومات

that aligns with our viewpoints.

التي تتوافق مع وجهات نظرنا.

Psychologists call that tendency "confirmation bias."

ويطلق عُلماء النفس على تلك النزعة مُصطلح "الانحياز التأكيدي".

And social media platforms supercharge that tendency,

وتعمل منصات التواصُل الاجتماعي على تعزيز تلك النزعة،

by allowing us to instantly and widely share information

من خلال السماح لنا بمُشاركة المعلومات التي تتوافق مع وجهات نظرنا

that accords with our viewpoints.

في الحال وعلى نطاقٍ واسع.

Now, deepfakes have the potential to cause grave individual and societal harm.

والآن، فإن تقنية التزييف العميق قادرة على إحداث أضرارٍ بالغة للفرد وللمُجتمع.

So, imagine a deepfake

تخيَّلوا انتشار مقطعٍ مُزيفٍ

that shows American soldiers in Afganistan burning a Koran.

لجنودٍ أمريكيين يحرقون القرآن في أفغانستان.

You can imagine that that deepfake would provoke violence

ولكُم أن تتخيلوا مدى السُّخط والعنف الذي سيثيره ذلك المقطَع

against those soldiers.

ضد هؤلاء الجنود.

And what if the very next day

وماذا لو ظهر في اليوم التالي

there's another deepfake that drops,

مقطعٌ مُزيفٌ آخر

that shows a well-known imam based in London

لإمامٍ مشهور في لندن

praising the attack on those soldiers?

يُشيد فيه بالهجوم على هؤلاء الجنود؟

We might see violence and civil unrest,

قد نشهَد وقتها أعمال عنفٍ وأضطرابٍ مدَنيّ

not only in Afganistan and the United Kingdom,

ليس فقط في أفغانستان والمملكة المُتحدة،

but across the globe.

بل في العالَم كلّه.

وقد يكون ردُّكم على كلامي هو:

And you might say to me,

"Come on, Danielle, that's far-fetched."

"بربِّك، دانييل، إن ذلك احتمالٌ بعيد."

But it's not.

ولكنّه ليس كذلك.

We've seen falsehoods spread

لقد رأينا أكاذيبًا تنتشر

on WhatsApp and other online message services

عبر واتساب وخدمات الرسائل الفورية الأخرى

lead to violence against ethnic minorities.

مؤديةً إلى حملات عنف ضد الأقليات العِرقية.

And that was just text --

وكان ذلك بسبب الرسائل فقط،

imagine if it were video.

فتخيَّلوا ما قد يحدُث بسبب فيديو.

Now, deepfakes have the potential to corrode the trust that we have

فمقاطع التزييف العميق قادرة حاليًا على إضعاف وهَز ثقتنا

in democratic institutions.

في المؤسسات الديمقراطية.

So, imagine the night before an election.

تخيَّلوا أنه في الليلة السابقة لانتخاباتٍ ما

There's a deepfake showing one of the major party candidates

ظهر مقطعٌ مُزيف لأحد مُرشحي الأحزاب الرئيسية

gravely sick.

وهو مريض بشدة.

The deepfake could tip the election

قد يتسبب ذلك المقطَع في التلاعُب بالانتخابات

and shake our sense that elections are legitimate.

وزعزعة شعورنا بنزاهتها وشرعيتها.

Imagine if the night before an initial public offering

تخيَّلوا لو أنه في الليلة السابقة للطرح الأوَّلي للاكتتاب العام

of a major global bank,

لأحد البنوك العالمية الكُبرى،

there was a deepfake showing the bank's CEO

ظهر فيديو مُزيّف للمدير التنفيذي لذلك البنك

drunkenly spouting conspiracy theories.

مُتحدثًا وهو في حالة سُكر عن نظريات مؤامرة.

The deepfake could tank the IPO,

فقد يتسبب الفيديو في فشل الاكتتاب،

and worse, shake our sense that financial markets are stable.

والأسوأ من ذلك، أنه سيثير شكوكنا حول استقرار الأسواق المالية.

So deepfakes can exploit and magnify the deep distrust that we already have

وبالتالي، يُمكن لتلك الفيديوهات المُزيفة استغلال وتضخيم الارتياب العميق الموجود

in politicians, business leaders and other influential leaders.

لدينا بالفعل تجاه السياسيين، ورجال الأعمال والزعماء الآخرين من ذوي النفوذ.

They find an audience primed to believe them.

لأنه يوجد جمهور مُستعد لتصديقها.

And the pursuit of truth is on the line as well.

كما أصبح السعي وراء الحقيقة على المحك أيضًا.

Technologists expect that with advances in AI,

حيث يتوقع خُبراء التكنولوجيا أنه مع تقدُّم تقنيات الذكاء الاصطناعي،

soon it may be difficult if not impossible

قد يُصبح من الصعب قريباً، بل من المُستحيل

to tell the difference between a real video and a fake one.

أن نُفرّق بين الفيديو الحقيقي والمُزيف.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

فكيف يُمكن أن تتجلّى الحقيقة وسط سوق أفكارٍ تتحكم فيه تقنية التزييف العميق؟

Will we just proceed along the path of least resistance

هل سنمضي فقط في الطريق الأسهل

and believe what we want to believe,

ونُصدق ما نودُّ تصديقه،

truth be damned?

ونتجاهل الحقيقة؟

And not only might we believe the fakery,

ليس الأمر فقط أننا قد نُصدق الكذب والتزييف،

we might start disbelieving the truth.

بل وقد نبدأ في إنكار الحقيقة أيضًا.

We've already seen people invoke the phenomenon of deepfakes

وقد رأينا بالفعل أشخاصًا يستخدمون ظاهرة التزييف العميق

to cast doubt on real evidence of their wrongdoing.

للتشكيك في أدلة حقيقية على إدانتهم.

We've heard politicians say of audio of their disturbing comments,

كما قد سمعنا سياسيين يقولون عن المقاطع الصوتية المُسجّلة لتصريحاتهم المُزعجة:

"Come on, that's fake news.

"بربّكم، تلك الأخبار كاذبة،

You can't believe what your eyes and ears are telling you."

لا يُمكن أن تصدقوا كل ما ترونه وتسمعونه."

And it's that risk

وهذا هو الخطر

that professor Robert Chesney and I call the "liar's dividend":

الذي نسمّيه أنا والبروفيسور روبرت تشيزني بـ"مكسب الكذّاب"؛

the risk that liars will invoke deepfakes

وهو خطر اعتماد الكاذبين على المقاطع المُزيفة

to escape accountability for their wrongdoing.

للتهرُّب من المُساءلة عن أخطائهم.

So we've got our work cut out for us, there's no doubt about it.

لدينا مهمة شاقة ومُحدّدة إذًا، ولا شك في ذلك.

And we're going to need a proactive solution

وسوف نحتاج إلى حلٍ استباقيٍّ وفعَّال

from tech companies, from lawmakers,

من شركات التكنولوجيا والمُشرِّعين،

law enforcers and the media.

وسُلطات تنفيذ القوانين والإعلام.

And we're going to need a healthy dose of societal resilience.

وسوف نحتاج إلى جرعة كبيرة من الصمود والمرونة المُجتمعية.

So now, we're right now engaged in a very public conversation

ونحن الآن نُشارك في مُحادثة عامة

about the responsibility of tech companies.

حول مسئولية شركات التكنولوجيا.

And my advice to social media platforms

ولقد كانت نصيحتي لمنصَّات التواصُل الاجتماعي

has been to change their terms of service and community guidelines

هي أن يقوموا بتغيير شروط وإرشادات الاستخدام

to ban deepfakes that cause harm.

لحظر استخدام المقاطع المُزيفة التي تُسبب الضَّرر.

That determination, that's going to require human judgment,

وذلك الحَسم سوف يتطلَّب حُكمًا وبصيرة إنسانية،

and it's expensive.

وهو أمرٌ مُكلِّف.

But we need human beings

ولكنّنا نحتاج من الناس

to look at the content and context of a deepfake

أن يقوموا بملاحظة مُحتوى وسياق المقطَع المُزيَّف

to figure out if it is a harmful impersonation

لمعرفة ما إذا كان عبارة عن انتحال لشخصية ما للإضرار بها

or instead, if it's valuable satire, art or education.

أم أنه مقطع ساخر، أو فنّي أو تعليمي.

So now, what about the law?

والآن، ماذا عن دور القانون؟

Law is our educator.

القانون هو مُعلِّمنا.

It teaches us about what's harmful and what's wrong.

فهو يُخبرنا بما هو ضار وخاطئ.

And it shapes behavior it deters by punishing perpetrators

كما يُغير السلوك الخاطئ ويردعه من خلال مُعاقبة الجُناة

and securing remedies for victims.

وتأمين سُبُل الانتصاف للضحايا.

Right now, law is not up to the challenge of deepfakes.

في الوقت الحالي، لا يستطيع القانون التصدي لأضرار تقنية التزييف العميق.

Across the globe,

وعلى مُستوى العالم،

we lack well-tailored laws

نحن نفتقر إلى وجود قوانين مُحكَمة

that would be designed to tackle digital impersonations

ومًصمّمة بعناية للتعامُل مع قضايا الانتحال الرقمي

that invade sexual privacy,

التي تتعدَّى على الخصوصية الجنسية،

that damage reputations

وتُضر بسُمعة الأشخاص

and that cause emotional distress.

وتُسبّب أضرارًا نفسية ومعنوية.

What happened to Rana Ayyub is increasingly commonplace.

ما حدث لرنا أيوب هو أمرٌ شائع بشكلٍ مُتزايد.

Yet, when she went to law enforcement in Delhi,

وبرغم ذلك، عندما لجأت لُسلطات القانون في ديلهي،

she was told nothing could be done.

أخبروها أنه لا يوجد ما يُمكن فعله بشأن ذلك.

And the sad truth is that the same would be true

والحقيقة المُحزنة هي أن الأمر نفسه

in the United States and in Europe.

ينطبق على الولايات المُتحدة وأوروبا.

So we have a legal vacuum that needs to be filled.

ولذلك يوجد لدينا فراغٌ قانونيٌّ يتوجَّب علينا سدُّه.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

نعمَل أنا وزميلتي الدكتورة ماري آن فرانكس مع المُشرّعين الأميريكيين

to devise legislation that would ban harmful digital impersonations

على وضع تشريعاتٍ تحظر الانتحال الرقمي المؤذي

that are tantamount to identity theft.

الذي يُعادل في خطورته سرقة الهوية.

And we've seen similar moves

وقد رأينا تحرُّكاتٍ مماثلة

in Iceland, the UK and Australia.

في أيسلندا والمملكة المُتحدة وأستراليا.

But of course, that's just a small piece of the regulatory puzzle.

ولكن بالطبع، هذا مُجرد جزء صغير من اللغز القانوني.

Now, I know law is not a cure-all. Right?

والآن أعلَم أن القانون وحده ليس حلًا شاملاً، أليس كذلك؟

It's a blunt instrument.

فهو أداة حادة

And we've got to use it wisely.

وعلينا أن نستخدمه بحكمة.

It also has some practical impediments.

كما أن لديه بعض العقبات من الناحية العملية.

You can't leverage law against people you can't identify and find.

حيث لا يُمكننا استخدام القانون ضد أشخاصٍ لا نستطيع التعرُّف أو العثور عليهم.

And if a perpetrator lives outside the country

وإذا كان المُجرم مقيمًا خارج البلد

where a victim lives,

الذي تُقيم فيه الضحية،

then you may not be able to insist

فقد لا نتمكّن من الإصرار

that the perpetrator come into local courts

على أن يمثُل المُجرم أمام المحاكم المحلية

to face justice.

لمواجهة العدالة.

And so we're going to need a coordinated international response.

ولذلك سوف نحتاج إلى استجابة دولية مُنسَّقة.

Education has to be part of our response as well.

ولا بُد أن يكون التعليم جزءًا من استجابتنا أيضًا.

Law enforcers are not going to enforce laws

فسُلطات تنفيذ القانون لن تستطيع تنفيذ قوانين

they don't know about

لا يعرفون عنها أي شئ

and proffer problems they don't understand.

ولن يقوموا بحل مُشكلاتٍ لا يستطيعون فهمها.

In my research on cyberstalking,

أثناء إعدادي لبحثٍ عن التحرُّش الإلكتروني،

I found that law enforcement lacked the training

وجدتُ أن المسئولين عن تنفيذ القوانين يفتقرون إلى التدريب

to understand the laws available to them

على فهم القوانين المُتاحة لديهم

and the problem of online abuse.

وفهم مشكلة سوء استخدام الإنترنت.

And so often they told victims,

مما أدى إلى أن يكون ردهم المُتكرر على الضحايا هو:

"Just turn your computer off. Ignore it. It'll go away."

"قُم بإغلاق حاسوبك فقط، وتجاهل الأمر. وسيبتعد عنك."

And we saw that in Rana Ayyub's case.

وهذا ما رأيناه في قضية رنا أيوب.

She was told, "Come on, you're making such a big deal about this.

حيث قيل لها: "بربّك، إنكِ تُبالغين.

It's boys being boys."

إنها مُجرد أفعال مُراهقين."

And so we need to pair new legislation with efforts at training.

ولذلك نحن بحاجة إلى الجمع بين التشريعات الجديدة وبذل الجهد في التدريب.

And education has to be aimed on the media as well.

ولا بّد من نشر الوعي في الإعلام أيضًا.

Journalists need educating about the phenomenon of deepfakes

فيجب توعية الصحفيين بظاهرة مقاطع التزييف العميق

so they don't amplify and spread them.

حتى لا يقوموا بتضخيمها ونشرها.

And this is the part where we're all involved.

وهذا الجزء الذي يشملنا جميعًا

Each and every one of us needs educating.

فكل واحدٍ منًّا يحتاج إلى التعليم والوعى.

We click, we share, we like, and we don't even think about it.

فنحن ننقر ونشارك ونُعجَب بما نراه بدون أدنى تفكير فيه.

We need to do better.

علينا التصرُّف بشكلٍ أفضل.

We need far better radar for fakery.

كما نحتاج إلى وسائل أفضل لاكتشاف الأكاذيب.

So as we're working through these solutions,

وبينما نعمل على توفير هذه الحلول،

there's going to be a lot of suffering to go around.

سوف يكون هناك الكثير من المُعاناة التي يجب مواجهتها.

Rana Ayyub is still wrestling with the fallout.

فما زالت رنا أيوب تُصارع تداعيات الأمر،

She still doesn't feel free to express herself on- and offline.

وما زالت لا تستطيع التعبير عن نفسها بحُرية سواء في الحياة العادية أو على الإنترنت.

And as she told me,

وكما أخبَرَتني،

she still feels like there are thousands of eyes on her naked body,

فهي ما زالت تشعر وكأن هناك آلاف العيون تُشاهد جسدها العاري.

even though, intellectually, she knows it wasn't her body.

بالرغم من أنها تعلم جيدًا أنه لم يكُن جسدها.

And she has frequent panic attacks,

كما أنها تُصاب بنوبات هلعٍ مُتكررة،

especially when someone she doesn't know tries to take her picture.

وبالأخص عندما يحاول شخصٌ لا تعرفه التقاط صورةٍ لها.

"What if they're going to make another deepfake?" she thinks to herself.

وتقول لنفسها: "ماذا لو قام بصُنع مقطَعٍ مزيفٍ آخر؟"

And so for the sake of individuals like Rana Ayyub

لأجل الأشخاص مثل رنا أيوب،

and the sake of our democracy,

ولأجل ديمُقراطيتنا،

we need to do something right now.

علينا القيام بشيء ما الآن.

Thank you.

شُكرًا لكُم

(Applause)

(تصفيق)