How deepfakes undermine truth and threaten democracy | Danielle Citron

Translator: Erfan Yasseri Reviewer: Leila Ataei

[This talk contains mature content]

(این سخنرانی محتوایی بالغانه دارد)

Rana Ayyub is a journalist in India

رانا ایوب خبرنگار هندی است که

whose work has exposed government corruption

فعالیت‌هایش، فساد حکومتی

and human rights violations.

و نقض حقوق بشر را افشا کرده است.

And over the years,

و طی سال‌ها،

she's gotten used to vitriol and controversy around her work.

به هجمه و جدال پیرامون کار خود عادت کرده بود.

But none of it could have prepared her for what she faced in April 2018.

اما هیچ‌ کدام، او را برای آنچه که در آوریل ۲۰۱۸ با آن روبه‌رو شد، آماده نکرده بود.

She was sitting in a café with a friend when she first saw it:

وقتی برای بار اول آن را مشاهده کرد با دوستی در یک کافه نشسته بود:

a two-minute, 20-second video of her engaged in a sex act.

فیلم دو دقیقه و ۲۰ ثانیه‌ای از رابطه‌ایی جنسی با حضور خودش.

And she couldn't believe her eyes.

نمی‌توانست به چشمانش اعتماد کند.

She had never made a sex video.

او هرگز یک فیلم سکسی نساخته بود.

But unfortunately, thousands upon thousands of people

اما متاسفانه هزاران هزار نفر باور داشتند

would believe it was her.

که خودش بوده است.

I interviewed Ms. Ayyub about three months ago,

من با خانم ایوب سه ماه پیش در رابطه با کتابم،

in connection with my book on sexual privacy.

با موضوع حریم جنسی، مصاحبه کردم.

I'm a law professor, lawyer and civil rights advocate.

من استاد حقوق، وکیل و طرفدار حقوق مدنی هستم.

So it's incredibly frustrating knowing that right now,

بنابراین برای من بی‌اندازه مایوس‌کننده است که می‌دانم

law could do very little to help her.

در حال حاضر قانون کمک خاصی به او نمی‌کند.

And as we talked,

و وقتی صحبت می‌کردیم،

she explained that she should have seen the fake sex video coming.

او توضیح داد که باید فکر انتشار فیلم تقلبی از رابطه جنسی را می‌کرد.

She said, "After all, sex is so often used to demean and to shame women,

او گفت، <<در واقع سکس اغلب برای تحقیر کردن و خجالت‌زده کردن زنان استفاده می‌شود،

especially minority women,

خصوصا زنان اقلیت،

and especially minority women who dare to challenge powerful men,"

و خصوصا زنان اقلیتی که جرات مبارزه با مردان قدرتمند را دارند.>>

as she had in her work.

چیزی که او در کارش داشت.

The fake sex video went viral in 48 hours.

فیلم سکس جعلی در عرض ۴۸ ساعت پخش (وایرال) شد.

All of her online accounts were flooded with screenshots of the video,

تمام حساب‌های آنلاین او غرق اسکرین‌شات‌ها از آن فیلم،

with graphic rape and death threats

و تهدیدهای گرافیکیِ تجاوز و قتل شده بود.

and with slurs about her Muslim faith.

به همراه لکه دار کردن اعتقادات اسلامی او.

Online posts suggested that she was "available" for sex.

در مطالب اینترنتی او را برای رابطه جنسی پیشنهاد می‌کردند.

And she was doxed,

و او dox شده بود،

which means that her home address and her cell phone number

به این معنی که آدرس خانه و شماره تلفن او

were spread across the internet.

در سراسر اینترنت پخش شده بود.

The video was shared more than 40,000 times.

فیلم بیش از ۴۰,۰۰۰ بار به اشتراک گذاشته شده بود.

Now, when someone is targeted with this kind of cybermob attack,

وقتی یک نفر با چنین حمله سایبری مورد هدف قرار می‌گیرد،

the harm is profound.

ضربه‌ای اساسی به او وارد شده است.

Rana Ayyub's life was turned upside down.

زندگی رانا ایوب وارونه شد.

For weeks, she could hardly eat or speak.

او برای هفته‌ها به سختی غذا می‌خورد و صحبت می‌کرد.

She stopped writing and closed all of her social media accounts,

او از نوشتن دست کشید و تمام حساب‌های شبکه‌های آنلاین خود را بست،

which is, you know, a tough thing to do when you're a journalist.

مسئله‌ای که می‌دانید چقدر مشکل است وقتی که یک خبرنگار باشید.

And she was afraid to go outside her family's home.

او از اینکه از خانه خودشان خارج شود می‌ترسید.

What if the posters made good on their threats?

اگر افرادی که مطلب گذاشته بودند، تهدیدشان را عملی می‌کردند، چه اتفاقی می‌افتاد؟

The UN Council on Human Rights confirmed that she wasn't being crazy.

شورای حقوق بشر سازمان ملل متحد تایید کرد که او دیوانه نشده است.

It issued a public statement saying that they were worried about her safety.

یک بیانیه عمومی منتشر کرد که می‌گفت که آنها نگران امنیت او هستند.

What Rana Ayyub faced was a deepfake:

رانا ایوب با یک جعل‌عمیق مواجه شده بود:

machine-learning technology

فناوری یادگیری-ماشین

that manipulates or fabricates audio and video recordings

که صوت‌ها و فیلم‌ها را دستکاری و جعل می‌کند

to show people doing and saying things

تا نشان دهد مردم چیزهایی می‌گویند و یا انجام می‌دهند که

that they never did or said.

هرگز نگفته و نکرده‌اند.

Deepfakes appear authentic and realistic, but they're not;

جعل‌عمیق‌ها به صورت موثق و واقعی ظاهر می‌شوند اما چنین نیستند،

they're total falsehoods.

آنها به کلی کذب هستند.

Although the technology is still developing in its sophistication,

فناوری هنوز با تمام پیچیدگی‌هایش در حال توسعه است،

it is widely available.

و بطور گسترده در دسترس است.

Now, the most recent attention to deepfakes arose,

اخیرا توجه به جعل‌عمیق افزایش یافته است،

as so many things do online,

به طوری که می‌شود به صورت آنلاین خیلی از

with pornography.

کارها در رابطه با پرنوگرافی انجام داد.

In early 2018,

اوایل سال ۲۰۱۸،

someone posted a tool on Reddit

یک نفر ابزاری را در Reddit منتشرکرد که

to allow users to insert faces into porn videos.

به کاربر امکان اضافه کردن چهره به فیلم‌های سکسی را می‌داد.

And what followed was a cascade of fake porn videos

و چیزی که به دنبالش بود سرازیر شدن فیلم‌های سکسی جعلی

featuring people's favorite female celebrities.

با چهره‌ی زنان مشهور و محبوب مردم بود.

And today, you can go on YouTube and pull up countless tutorials

و امروز، می‌توانید وارد سایت یوتیوب شده و تمرین‌های بیشماری را

with step-by-step instructions

با دستورالعمل‌های گام‌به‌گام

on how to make a deepfake on your desktop application.

برای درست کردن یک جعل‌عمیق بر روی کامیپوتر خود، بیابید.

And soon we may be even able to make them on our cell phones.

و به زودی شاید امکان آن را داشته باشیم تا با گوشی‌هایمان آنها را درست کنیم.

Now, it's the interaction of some of our most basic human frailties

اکنون این برهم کنش بعضی از ضعف‌های اساسی بشر و

and network tools

ابزارهای شبکه‌است که

that can turn deepfakes into weapons.

می‌تواند جعل‌عمیق را به سلاح تبدیل کند.

So let me explain.

اجازه دهید توضیح دهم.

As human beings, we have a visceral reaction to audio and video.

به عنوان انسان، ما واکنشی غریزی نسبت به فیلم وصوت داریم.

We believe they're true,

ما باور داریم آنها حقیقی هستند،

on the notion that of course you can believe

البته با این تصور که شما می‌توانید هر آنچه

what your eyes and ears are telling you.

که چشم‌ها و گوش‌هایتان می‌گوید باور کنید.

And it's that mechanism

و این همان سازوکاری است که

that might undermine our shared sense of reality.

ممکن است حس واقع‌گرایی ما را سست کند.

Although we believe deepfakes to be true, they're not.

و باور کنیم که جعل‌های عمیق درست هستند در حالی که نیستند.

And we're attracted to the salacious, the provocative.

و ما به محتوی جنسی و بحث‌برانگیز جذب می‌شویم.

We tend to believe and to share information

تمایل داریم اطلاعاتی که منفی و جدید هستند را

that's negative and novel.

باور کنیم و به اشتراک بگذاریم.

And researchers have found that online hoaxes spread 10 times faster

تحقیقات نشان داده است که حقه‌های آنلاین ده برابر داستان‌های دقیق

than accurate stories.

منتشر می‌شوند.

Now, we're also drawn to information

حال ما به اطلاعاتی که در راستای دیدگاه‌هایمان است

that aligns with our viewpoints.

کشیده می‌شویم.

Psychologists call that tendency "confirmation bias."

روانشناسان این تمایل را <<سوگیری تاییدی>> می‌نامند.

And social media platforms supercharge that tendency,

و شبکه‌های اجتماعی به شدت این گرایش را با امکان

by allowing us to instantly and widely share information

اشتراک گذاری سریع و گسترده اطلاعاتی که با نقطه نظرات ما همخوانی دارد،

that accords with our viewpoints.

تقویت می‌کنند.

Now, deepfakes have the potential to cause grave individual and societal harm.

اکنون جعل‌عمیق پتانسیل این را دارد تا موجب یک صدمه‌ی شخصی و اجتماعی جدی شود.

So, imagine a deepfake

جعل‌عمیقی را تصور کنید که

that shows American soldiers in Afganistan burning a Koran.

نشان می‌دهد که یک سرباز آمریکایی در افغانستان قرآن را می‌سوزاند.

You can imagine that that deepfake would provoke violence

می‌توانید تصور کنید که جعل‌عمیق می‌تواند به خشونت

against those soldiers.

علیه آن سربازان دامن بزند.

And what if the very next day

و چه اتفاقی خواهد افتاد، اگر در روز بعد

there's another deepfake that drops,

یک جعل‌عمیق دیگر به راه بی‌افتد،

that shows a well-known imam based in London

که نشان می‌دهد یک شیخ مشهور ساکن لندن،

praising the attack on those soldiers?

حمله به آن سربازان را ستایش می‌کند؟

We might see violence and civil unrest,

و شاید شاهد خشونت و ناآرامی‌های مدنی،

not only in Afganistan and the United Kingdom,

نه تنها در افغانستان و بریتانیا

but across the globe.

بلکه در سرتاسر جهان باشیم.

And you might say to me,

ممکن است بگویید،

"Come on, Danielle, that's far-fetched."

<<بیخیال دنیل، خیلی بعید است.>>

But it's not.

ولی نیست.

We've seen falsehoods spread

مشاهده کرده‌ایم که انتشار دروغ‌ها

on WhatsApp and other online message services

بر روی واتس‌آپ و دیگر سرویس‌های پیام‌رسان آنلاین

lead to violence against ethnic minorities.

منجر به خشونت علیه اقلیت‌های قومی می‌شود.

And that was just text --

و این فقط متن است --

imagine if it were video.

تصور کنید فیلم باشد.

Now, deepfakes have the potential to corrode the trust that we have

اکنون جعل‌عمیق پتانسیل این را دارد که اعتمادی که به نهادهای دموکراتیک داریم

in democratic institutions.

ذره ذره نابود کند.

So, imagine the night before an election.

شب قبل انتخابات را تصور کنید.

There's a deepfake showing one of the major party candidates

یک جعل‌عمیق نشان می‌دهد که یکی از کاندید‌اهای حزب اصلی

gravely sick.

به شدت مریض است.

The deepfake could tip the election

جعل‌عمیق می‌تواند انتخابات را از مسیر خود خارج کند

and shake our sense that elections are legitimate.

و احساس ما نسبت به انتخابات قانونی را تکان دهد.

Imagine if the night before an initial public offering

تصور کنید شب قبل از عرضه اولیه یک سهام،

of a major global bank,

توسط یک بانک بزرگ جهانی،

there was a deepfake showing the bank's CEO

جعل‌عمیقی نشان می‌دهد مدیرعامل آن بانک

drunkenly spouting conspiracy theories.

در حالت مستی حرف‌های بی‌جایی درباره تئوری‌ توطئه‌ می‌زند.

The deepfake could tank the IPO,

جعل‌عمیق می‌تواند عرضه سهام را به ورطه نابودی بکشاند.

and worse, shake our sense that financial markets are stable.

و بدتر، احساس ما درباره اینکه بازارهای مالی باثبات هستند را تکان دهد.

So deepfakes can exploit and magnify the deep distrust that we already have

بنابراین جعل‌های‌عمیق می‌توانند بی‌اعتمادی زیادی که همین الان هم به سیاست‌مداران،

in politicians, business leaders and other influential leaders.

رهبران اقتصادی و دیگر رهبران بانفوذ داریم بزرگتر کرده و از آن سواستقاده کنند.

They find an audience primed to believe them.

آنها مخاطب بالقوه برای باور کردن را پیدا می‌کنند.

And the pursuit of truth is on the line as well.

و همچنین دنبال کردن حقیقت هم در خطر است.

Technologists expect that with advances in AI,

اهل فن منتظر پیشرفت در هوش مصنوعی هستند،

soon it may be difficult if not impossible

بزودی به سختی و حتی غیرممکن است که

to tell the difference between a real video and a fake one.

تفاوت بین یک فیلم واقعی و تقلبی را بگوییم.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

پس حقیقت چگونه می‌تواند در بازار داغ ایده‌‌های جعلی‌عمیق نمایان شود؟

Will we just proceed along the path of least resistance

به مسیر خود بدون هیچ مقاومتی ادامه می‌دهیم

and believe what we want to believe,

و چیزی که می‌خواهیم باور کنیم را باور می‌کنیم،

truth be damned?

و حقیقت را نادیده می‌گیریم؟

And not only might we believe the fakery,

و نه تنها ممکن است جعلیات را باور کنیم،

we might start disbelieving the truth.

ممکن است باورنکردن حقیقت را هم شروع کنیم.

We've already seen people invoke the phenomenon of deepfakes

اخیرا دیده‌ایم که مردم به جعل‌های عمیق متوسل می‌شوند

to cast doubt on real evidence of their wrongdoing.

تا بر روی مدارک واقعی تخلفاتشان شبه افکنی کنند.

We've heard politicians say of audio of their disturbing comments,

شنیده‌ایم که سیاستمداران درباره صوت نظرات آزاردهنده‌شان گفته‌اند،

"Come on, that's fake news.

<<بیخیال، آنها خبرهای جعلی هستند.

You can't believe what your eyes and ears are telling you."

شما نمی‌توانید به آنچه که گوش‌ها و چشم‌هایتان می‌گوید، اعتماد کنید.>>

And it's that risk

و این همان خطری است که

that professor Robert Chesney and I call the "liar's dividend":

پرفسور روبرت چسنی و من آن را "منفعت دروغگوها" می‌نامیم.

the risk that liars will invoke deepfakes

خطر اینکه دروغگوها با توسل به جعل‌های‌عمیق

to escape accountability for their wrongdoing.

از مسئولیت تخلفاتشان فرار کنند.

So we've got our work cut out for us, there's no doubt about it.

پس ما کار بسیار سختی در پیش داریم، هیج شکی در آن نیست.

And we're going to need a proactive solution

ما به یک راه حل پیشگیرانه از شرکت‌های فناوری

from tech companies, from lawmakers,

از قانونگذارن، از حکمفرمایان

law enforcers and the media.

و رسانه‌ها نیاز داریم.

And we're going to need a healthy dose of societal resilience.

ما به دُز سالمی از مقاومت اجتماعی احتیاح داریم.

So now, we're right now engaged in a very public conversation

امروزه، در بسیاری از بحث‌های عمومی درباره

about the responsibility of tech companies.

مسئولیت شرکت‌های فناوری شرکت می‌کنیم.

And my advice to social media platforms

و پیشنهاد من به پایگاه شبکه‌های اجتماعی این بوده است که

has been to change their terms of service and community guidelines

شرایط استفاده از خدمات و دستورالعمل‌های عمومی خود را طوری تغییر دهند که

to ban deepfakes that cause harm.

جعل‌های‌عمیقی که صدمه می‌زنند را ممنوع کند.

That determination, that's going to require human judgment,

این اقدام، به یک داوری انسانی نیاز خواهد داشت،

and it's expensive.

و بسیار پرهزینه است.

But we need human beings

اما ما به انسان‌هایی نیاز داریم که

to look at the content and context of a deepfake

محتوی و متن یک جعل‌عمیق را بررسی کنند

to figure out if it is a harmful impersonation

تا تشخیص دهند که پشت آن یک هویت جعلی مخرب قرار دارد

or instead, if it's valuable satire, art or education.

یا اینکه یک طنز، هنر و یا دانش ارزشمند است.

So now, what about the law?

حالا قانون چه کار می‌کند؟

Law is our educator.

قانون مربی ماست.

It teaches us about what's harmful and what's wrong.

او به ما درباره آنچه که مضر و آنچه که اشتباه است، درس می‌دهد.

And it shapes behavior it deters by punishing perpetrators

و با مجازات افراد خاطی، رفتارهای بازدارنده را شکل می‌دهد

and securing remedies for victims.

و برای قربانیان راه چاره می‌یابد.

Right now, law is not up to the challenge of deepfakes.

در حال حاضر قانون مناسب برای جعل‌عمیق وجود ندارد.

Across the globe,

در سرتاسر جهان،

we lack well-tailored laws

با کمبود قوانین مناسب و طراحی شده

that would be designed to tackle digital impersonations

برای برخورد با هویت‌های جعلی دیجیتالی مواجهه هستیم،

that invade sexual privacy,

کسانی که نقض‌کننده حریم جنسی هستند،

that damage reputations

و اعتبار افراد را خدشه دار می‌کنند،

and that cause emotional distress.

و آنهایی که مسبب مشکلات روحی هستند.

What happened to Rana Ayyub is increasingly commonplace.

اتفاقی که برای رانا ایوب افتاد به سرعت در حال عادی شدن است.

در عین حال وقتی که به نهاد مجری قانون در دهلی رفت،

Yet, when she went to law enforcement in Delhi,

she was told nothing could be done.

به او گفتند که هیج کاری نمی‌شود انجام داد.

And the sad truth is that the same would be true

و حقیقت تلخ آن است که در اروپا

in the United States and in Europe.

و ایالات متحده هم همینطور است.

So we have a legal vacuum that needs to be filled.

بنابراین یک خلا قانونی داریم که لازم است پر شود.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

همکارم، دکتر مری آن فرنکس و من با قانون‌گذاران ایالات متحده همکاری می کنم تا

to devise legislation that would ban harmful digital impersonations

قانونی را تدوین کنیم که مانع هویت‌های جعلی دیجیتال شوند،

that are tantamount to identity theft.

کسانی که تفاوتی با سارقین هویت ندارند.

And we've seen similar moves

و ما شاهد اقدامات مشابهی در

in Iceland, the UK and Australia.

ایسلند، بریتانیا و استرالیا هستیم.

But of course, that's just a small piece of the regulatory puzzle.

و البته این فقط یک تکه کوچک از پازل نظارت است.

Now, I know law is not a cure-all. Right?

من می‌دانم که قانون علاج همه دردها نیست. درست است؟

It's a blunt instrument.

یک ابزار کند است.

And we've got to use it wisely.

و باید از آن هوشمندانه استفاده کنیم.

It also has some practical impediments.

و همجنین موانع عملی بسیاری دارد.

You can't leverage law against people you can't identify and find.

شما نمی‌توانید قانون را علیه کسانی که نمی‌شناسید و پیدا نمی‌کنید اعمال کنید.

And if a perpetrator lives outside the country

اگر فرد خاطی خارج از کشوری باشد

where a victim lives,

که قربانی در آن زندگی کند،

then you may not be able to insist

امکان ندارید بتوانید پافشاری کنید

that the perpetrator come into local courts

که آن فرد خاطی به دادگاه‌های محلی بیاید تا

to face justice.

با عدالت روبه‌رو شود.

And so we're going to need a coordinated international response.

بنابراین به یک واکنش بین‌المللی هماهنگ نیاز خواهیم داشت.

Education has to be part of our response as well.

آموزش هم باید بخشی از واکنش ما باشد.

Law enforcers are not going to enforce laws

قانونگذاران درباره چیزی که نمی‌دانند چیست

they don't know about

و چه مشکلاتی بوجود می‌آورد،

and proffer problems they don't understand.

قانون وضع نمی‌کنند.

In my research on cyberstalking,

در تحقیقاتم در مورد آزار و اذیت‌های سایبری

I found that law enforcement lacked the training

متوجه شدم مجریان قانون آموزش کافی برای

to understand the laws available to them

فهمیدن قوانینی که در اختیار دارند و

and the problem of online abuse.

معضل توهین‌های آنلاین، ندیده‌اند.

And so often they told victims,

و خیلی اوقات به قربانیان گفته‌اند،

"Just turn your computer off. Ignore it. It'll go away."

<<رایانه را خاموش کن. محل نگذار. خود به خود ناپدید می‌شود.>>

And we saw that in Rana Ayyub's case.

این را در مورد رانا ایوب مشاهده کردیم.

She was told, "Come on, you're making such a big deal about this.

به او گفته شد، <<بیخیال، بی‌خود بزرگش کردی.

It's boys being boys."

پسرها همین‌اند دیگه.>>

And so we need to pair new legislation with efforts at training.

بنابراین باید قانون جدید را با تلاش‌های در زمینه آموزش همگام کنیم.

And education has to be aimed on the media as well.

و آموزش در رسانه‌ها نیز باید هدفمند باشد.

Journalists need educating about the phenomenon of deepfakes

لازم است خبرنگاران در مورد پدیده جعل‌عمیق آموزش ببینند

so they don't amplify and spread them.

بنابراین آنها را تقویت و منتشر نمی‌کنند.

And this is the part where we're all involved.

و این جایی‌ست که همه ما باید در آن درگیر شویم.

Each and every one of us needs educating.

همه ما نیازمند آموزش هستیم.

We click, we share, we like, and we don't even think about it.

ما هستیم که کلیک می‌کنیم، به اشتراک می‌گذاریم، می‌پسندیم و حتی فکر هم نمی‌کنیم.

We need to do better.

باید بهتر عمل کنیم.

We need far better radar for fakery.

به رادارهای بهتری برای جعلیات نیاز داریم.

So as we're working through these solutions,

همان زمانی که بر روی این راه‌حل‌ها کار می‌کنیم،

there's going to be a lot of suffering to go around.

رنج زیادی در حال پخش شدن است.

Rana Ayyub is still wrestling with the fallout.

رانا ایوب هنوز با پیامدهای آن اتفاق کلنجار می‌رود.

She still doesn't feel free to express herself on- and offline.

هنوز برای بیان خودش آنلاین و آفلاین احساس راحتی نمی‌کند.

And as she told me,

و همانطور که به من گفت،

she still feels like there are thousands of eyes on her naked body,

کماکان احساس می‌کند هزاران نگاه به بدن لخت اوست،

even though, intellectually, she knows it wasn't her body.

اگرچه به صورت منطقی می‌داند که آن بدن او نبوده است.

And she has frequent panic attacks,

و به او مرتب حمله‌های عصبی می‌شود،

especially when someone she doesn't know tries to take her picture.

خصوصا زمانی که کسی که نمی‌شناسد، تلاش می‌کند از او عکس بگیرد.

"What if they're going to make another deepfake?" she thinks to herself.

با خودش فکر می‌کند: << اگر بخواهند یک جعل عمیق دیگر بسازند، چه؟>>

And so for the sake of individuals like Rana Ayyub

پس بخاطر افرادی مثل رانا ایوب

and the sake of our democracy,

و بخاطر دموکراسی

we need to do something right now.

لازم است که همین الان کاری بکنیم.

Thank you.

متشکرم.

(Applause)

(تشویق)