How deepfakes undermine truth and threaten democracy | Danielle Citron

Переводчик: Helen Girshman Редактор: Yulia Kallistratova

[This talk contains mature content]

[Это выступление предназначено для взрослых]

Rana Ayyub is a journalist in India

Рана Айюб — индийская журналистка,

whose work has exposed government corruption

разоблачающая коррупцию в правительстве

and human rights violations.

и нарушения прав человека.

And over the years,

За многие годы

she's gotten used to vitriol and controversy around her work.

она привыкла к ядовитой критике и конфликтам вокруг своей работы.

But none of it could have prepared her for what she faced in April 2018.

Но ничто не могло подготовить её к тому, с чем она столкнулась в апреле 2018 года.

She was sitting in a café with a friend when she first saw it:

Она сидела в кафе с другом, когда впервые увидела это:

a two-minute, 20-second video of her engaged in a sex act.

видео в 2 минуты и 20 секунд, в котором она занимается сексом.

And she couldn't believe her eyes.

Она не могла поверить своим глазам.

She had never made a sex video.

Она никогда не снимала секс-видео.

But unfortunately, thousands upon thousands of people

Но, к сожалению, многие тысячи людей

would believe it was her.

поверят, что это она.

I interviewed Ms. Ayyub about three months ago,

Я брала интервью у мисс Айюб около трёх месяцев назад

in connection with my book on sexual privacy.

в связи с моей книгой о неприкосновенности сексуальной жизни.

I'm a law professor, lawyer and civil rights advocate.

Я профессор права, адвокат и защитник гражданских прав.

Поэтому мне прискорбно сознавать, что в данный момент

So it's incredibly frustrating knowing that right now,

law could do very little to help her.

закон мало чем может ей помочь.

And as we talked,

В разговоре она пояснила,

she explained that she should have seen the fake sex video coming.

что, наверное, должна была ожидать фальшивого секс-видео.

Она сказала: «Секс так часто используется, чтобы унизить или опозорить женщин,

She said, "After all, sex is so often used to demean and to shame women,

особенно женщин из меньшинств

especially minority women,

и особенно женщин из меньшинств, которые бросают вызов сильным мужчинам»,

and especially minority women who dare to challenge powerful men,"

as she had in her work.

как она в своей работе.

The fake sex video went viral in 48 hours.

Фальшивое видео распространилось за 48 часов.

All of her online accounts were flooded with screenshots of the video,

Все её онлайн-аккаунты были завалены скриншотами этого видео

with graphic rape and death threats

с явными угрозами изнасилования и смерти

and with slurs about her Muslim faith.

и оскорблениями её мусульманской веры.

Online posts suggested that she was "available" for sex.

Посты в интернете говорили о её «доступности».

And she was doxed,

Личные данные её взломали,

which means that her home address and her cell phone number

а это значит, что её адрес и номер мобильного телефона

were spread across the internet.

были опубликованы в интернете.

The video was shared more than 40,000 times.

Видео расшарили более 40 000 раз.

Now, when someone is targeted with this kind of cybermob attack,

Когда кто-то становится мишенью такой кибератаки,

the harm is profound.

вред от этого огромен.

Rana Ayyub's life was turned upside down.

Жизнь Раны Айюб навсегда изменилась.

Неделями она не могла ни есть,

For weeks, she could hardly eat or speak.

ни говорить.

She stopped writing and closed all of her social media accounts,

Она перестала писать и закрыла все свои аккаунты в соцсетях,

which is, you know, a tough thing to do when you're a journalist.

что, как вы понимаете, нелегко, когда ты журналист.

And she was afraid to go outside her family's home.

Она боялась выходить из дома, где жила с семьёй.

What if the posters made good on their threats?

Что, если преследователи выполнят свои угрозы?

The UN Council on Human Rights confirmed that she wasn't being crazy.

Совет ООН по правам человека подтвердил, что она не сошла с ума.

It issued a public statement saying that they were worried about her safety.

В публичном заявлении он выразил беспокойство о её безопасности.

What Rana Ayyub faced was a deepfake:

Рана Айюб столкнулась с тем, что называется дипфейком:

machine-learning technology

это технология искусственного интеллекта,

that manipulates or fabricates audio and video recordings

которая манипулирует аудио- и видеозаписями или фабрикует их так,

to show people doing and saying things

что люди в них делают и говорят то,

that they never did or said.

чего никогда не говорили и не делали.

Deepfakes appear authentic and realistic, but they're not;

Дипфейки кажутся подлинными и реалистичными, но это не так:

they're total falsehoods.

это абсолютная фальшивка.

Although the technology is still developing in its sophistication,

Хотя эта технология ещё развивается, становясь всё изощрённей,

it is widely available.

она широко доступна.

Now, the most recent attention to deepfakes arose,

В последнее время дипфейки стали привлекать внимание,

as so many things do online,

как и многое другое онлайн,

with pornography.

в связи с порнографией.

In early 2018,

В начале 2018 года

someone posted a tool on Reddit

кто-то разместил на Reddit инструмент,

to allow users to insert faces into porn videos.

позволяющий вставлять лица в порно-видео.

And what followed was a cascade of fake porn videos

За этим последовал поток фальшивых порно-роликов

featuring people's favorite female celebrities.

с участием любимых женщин-знаменитостей.

And today, you can go on YouTube and pull up countless tutorials

И сегодня на YouTube можно найти бесчисленные обучающие программы

with step-by-step instructions

с пошаговыми инструкциями о том,

on how to make a deepfake on your desktop application.

как сфабриковать дипфейк в вашем настольном приложении.

And soon we may be even able to make them on our cell phones.

Вскоре, возможно, мы сможем создавать их даже на мобильных телефонах.

Now, it's the interaction of some of our most basic human frailties

Взаимодействие низших человеческих порывов

and network tools

и сетевых средств

that can turn deepfakes into weapons.

превращают дипфейки в оружие.

So let me explain.

Разрешите, я объясню.

As human beings, we have a visceral reaction to audio and video.

Существует инстинктивная реакция на аудио и видео.

We believe they're true,

Мы верим им:

on the notion that of course you can believe

а как же не верить

what your eyes and ears are telling you.

своим глазам и ушам?

And it's that mechanism

И именно такой механизм

that might undermine our shared sense of reality.

может подорвать наше общее чувство реальности.

Although we believe deepfakes to be true, they're not.

Хотя дипфейки кажутся нам правдой, это не так.

And we're attracted to the salacious, the provocative.

Нас привлекает непристойность, провокация.

We tend to believe and to share information

Мы склонны верить и распространять

that's negative and novel.

новую или негативную информацию.

And researchers have found that online hoaxes spread 10 times faster

Учёные обнаружили, что в интернете подделки распространяются

than accurate stories.

в 10 раз быстрее, чем правдивые истории.

Now, we're also drawn to information

Нас также привлекает информация,

that aligns with our viewpoints.

которая соответствует нашим взглядам.

Psychologists call that tendency "confirmation bias."

Психологи называют эту тенденцию «предвзятость подтверждения».

And social media platforms supercharge that tendency,

А социальные медиа-платформы усиливают эту тенденцию,

by allowing us to instantly and widely share information

позволяя нам мгновенно и широко обмениваться информацией,

that accords with our viewpoints.

согласующейся с нашей точкой зрения.

Now, deepfakes have the potential to cause grave individual and societal harm.

Дипфейки могут нанести серьёзный личный и общественный вред.

So, imagine a deepfake

Представьте себе фальшивку,

that shows American soldiers in Afganistan burning a Koran.

на которой американские солдаты в Афганистане сжигают Коран.

You can imagine that that deepfake would provoke violence

Вы понимаете, что такая подделка может спровоцировать насилие

against those soldiers.

в отношении американских солдат.

And what if the very next day

А что, если на следующий день

there's another deepfake that drops,

появится новая фальшивка,

that shows a well-known imam based in London

на которой известный лондонский имам

praising the attack on those soldiers?

восхваляет нападение на этих солдат?

We might see violence and civil unrest,

Насилие и общественные беспорядки

not only in Afganistan and the United Kingdom,

могут произойти не только в Афганистане и Великобритании,

but across the globe.

но и во всём мире.

And you might say to me,

Вы можете сказать мне:

"Come on, Danielle, that's far-fetched."

«Ладно, Даниэль, ты преувеличиваешь».

But it's not.

Но это не так.

We've seen falsehoods spread

Мы видели, как ложь, распространяемая

on WhatsApp and other online message services

на WhatsApp и других мессенджерах,

lead to violence against ethnic minorities.

приводила к насилию в отношении этнических меньшинств.

And that was just text --

И это был просто текст —

imagine if it were video.

представьте, если бы это было видео.

Now, deepfakes have the potential to corrode the trust that we have

Дипфейки могут подорвать наше доверие

in democratic institutions.

к демократическим институтам.

So, imagine the night before an election.

Представьте себе, что накануне выборов

There's a deepfake showing one of the major party candidates

появляется подделка, показывающая, что один из основных кандидатов

gravely sick.

тяжело болен.

The deepfake could tip the election

Дипфейк может перевесить чашу весов

and shake our sense that elections are legitimate.

и поколебать веру в легитимность выборов.

Imagine if the night before an initial public offering

Представьте, что накануне первого публичного размещения акций

of a major global bank,

одного из крупнейших банков

there was a deepfake showing the bank's CEO

появляется подделка, на которой гендиректор

drunkenly spouting conspiracy theories.

в пьяном виде болтает о заговорах.

The deepfake could tank the IPO,

Дипфейк может сорвать мероприятие

and worse, shake our sense that financial markets are stable.

и, хуже того, поколебать нашу веру в стабильность финансовых рынков.

Так, дипфейки используют и усиливают уже имеющееся у нас глубокое недоверие

So deepfakes can exploit and magnify the deep distrust that we already have

in politicians, business leaders and other influential leaders.

к политикам, крупным бизнесменам и другим влиятельным лидерам.

They find an audience primed to believe them.

Они находят аудиторию, готовую им поверить.

And the pursuit of truth is on the line as well.

И стремление к истине тоже поставлено на карту.

Technologists expect that with advances in AI,

Технологи ожидают, что с развитием искусственного интеллекта

soon it may be difficult if not impossible

вскоре будет трудно или даже невозможно

to tell the difference between a real video and a fake one.

отличить настоящее видео от поддельного.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Как же распознать истину на рынке идей, полном подделок?

Will we just proceed along the path of least resistance

Пойдём ли мы по пути наименьшего сопротивления,

and believe what we want to believe,

начнём ли верить во что хотим

truth be damned?

и к чёрту правду?

And not only might we believe the fakery,

Мы не только, возможно, поверим подделкам,

we might start disbelieving the truth.

мы перестанем верить правде.

We've already seen people invoke the phenomenon of deepfakes

Мы уже видели, как люди используют феномен дипфейка,

to cast doubt on real evidence of their wrongdoing.

чтобы поставить под сомнение реальные доказательства своих преступлений.

We've heard politicians say of audio of their disturbing comments,

Или как, слыша запись своих возмутительных высказываний,

"Come on, that's fake news.

политики говорили: «Это подделка.

You can't believe what your eyes and ears are telling you."

Нельзя верить своим глазам и ушам».

And it's that risk

И это тот риск,

that professor Robert Chesney and I call the "liar's dividend":

который мы с профессором Робертом Чесни называем «дивиденд лжеца»:

the risk that liars will invoke deepfakes

риск, что лжецы назовут реальность подделкой,

to escape accountability for their wrongdoing.

чтобы избежать ответственности за свои проступки.

So we've got our work cut out for us, there's no doubt about it.

Перед нами огромная работа, в этом нет сомнений.

And we're going to need a proactive solution

Нам понадобится превентивное решение

from tech companies, from lawmakers,

от техкомпаний, от законодателей,

law enforcers and the media.

от правоохранительных органов и СМИ.

And we're going to need a healthy dose of societal resilience.

А также необходима здоровая доза устойчивости общества.

So now, we're right now engaged in a very public conversation

В данный момент мы очень открыто ведём разговор

about the responsibility of tech companies.

об ответственности техкомпаний.

And my advice to social media platforms

Я рекомендую социальным медиа-платформам

has been to change their terms of service and community guidelines

изменить условия предоставления услуг и правила сообщества,

to ban deepfakes that cause harm.

чтобы запретить вредоносные подделки.

That determination, that's going to require human judgment,

Такой настрой потребует участия человеческого разума,

and it's expensive.

а это дорого.

But we need human beings

Но нам нужны люди,

to look at the content and context of a deepfake

которые бы рассмотрели содержание и контекст дипфейка,

to figure out if it is a harmful impersonation

чтобы понять, имеем ли мы дело с вредной подделкой под кого-то

or instead, if it's valuable satire, art or education.

или же это ценная сатира, искусство или урок.

So now, what about the law?

А как же закон?

Law is our educator.

Закон — наш наставник.

It teaches us about what's harmful and what's wrong.

Он показывает, чтó есть вред и чтó есть зло.

And it shapes behavior it deters by punishing perpetrators

Он объясняет, какое поведение неприемлемо, наказывая нарушителей

and securing remedies for victims.

и обеспечивая защиту жертвам.

Right now, law is not up to the challenge of deepfakes.

На данный момент закон не способен противостоять дипфейкам.

Across the globe,

Во всём мире нам не хватает

we lack well-tailored laws

хорошо продуманных законов,

that would be designed to tackle digital impersonations

направленных на борьбу с цифровыми подражаниями,

that invade sexual privacy,

вторгающимися в интимную жизнь,

that damage reputations

вредящими репутации

and that cause emotional distress.

и наносящими моральный ущерб.

What happened to Rana Ayyub is increasingly commonplace.

То, что случилось с Раной Айюб, происходит всё чаще.

Yet, when she went to law enforcement in Delhi,

Однако, когда она обратилась в полицию Дели,

she was told nothing could be done.

ей сказали, что ничего сделать нельзя.

And the sad truth is that the same would be true

И, как это ни грустно, то же бы произошло

in the United States and in Europe.

и в США, и в Европе.

So we have a legal vacuum that needs to be filled.

У нас есть правовой вакуум, который нужно заполнить.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Моя коллега д-р Мэри Энн Фрэнкс и я работаем с американскими законодателями

to devise legislation that would ban harmful digital impersonations

над разработкой закона, запрещающего вредоносные цифровые имитации,

that are tantamount to identity theft.

которые равносильны краже личных данных.

And we've seen similar moves

Подобные инициативы мы видим

in Iceland, the UK and Australia.

и в Исландии, Великобритании и Австралии.

But of course, that's just a small piece of the regulatory puzzle.

Конечно, это лишь небольшой кусочек законодательной головоломки.

Now, I know law is not a cure-all. Right?

Я знаю, что закон — не панацея. Правда?

It's a blunt instrument.

Это грубый инструмент,

And we've got to use it wisely.

и его нужно мудро использовать.

It also has some practical impediments.

Есть также практические препятствия.

You can't leverage law against people you can't identify and find.

Невозможно направить закон против людей, которых невозможно опознать и найти.

And if a perpetrator lives outside the country

И если преступник живёт в одной стране,

where a victim lives,

а жертва — в другой,

then you may not be able to insist

то вы не сможете настоять на том,

that the perpetrator come into local courts

чтобы преступник предстал перед местными судами

to face justice.

и получил вердикт.

And so we're going to need a coordinated international response.

Поэтому нам понадобится скоординированная международная реакция.

Education has to be part of our response as well.

Образование должно быть частью этой реакции.

Law enforcers are not going to enforce laws

Правоохранители не будут применять законы,

they don't know about

о которых они не знают,

and proffer problems they don't understand.

и решать проблемы, которых не понимают.

In my research on cyberstalking,

Исследуя киберпреследования,

I found that law enforcement lacked the training

я обнаружила, что правоохранители не имеют достаточной подготовки,

to understand the laws available to them

чтобы понять имеющиеся законы

and the problem of online abuse.

и проблему оскорблений в сети.

And so often they told victims,

Поэтому они часто говорят жертвам:

"Just turn your computer off. Ignore it. It'll go away."

«Просто выключите компьютер. Не обращайте внимания, и всё пройдёт».

And we saw that in Rana Ayyub's case.

Так случилось с Раной Айюб.

She was told, "Come on, you're making such a big deal about this.

Ей сказали: «Ты делаешь из мухи слона.

It's boys being boys."

Это просто мальчишечьи игры».

And so we need to pair new legislation with efforts at training.

Поэтому нужно объединять новые законы с практической подготовкой.

And education has to be aimed on the media as well.

В образовании нуждаются и СМИ.

Journalists need educating about the phenomenon of deepfakes

Журналистам нужно объяснять феномен дипфейка,

so they don't amplify and spread them.

чтобы они не усиливали и не распространяли его.

And this is the part where we're all involved.

И вот что касается всех нас.

Each and every one of us needs educating.

Каждому из нас нужно учиться.

We click, we share, we like, and we don't even think about it.

Мы кликаем, расшариваем, лайкаем и даже не задумываемся об этом.

We need to do better.

Мы способны на большее.

We need far better radar for fakery.

Нам нужен лучший радар для подделок.

So as we're working through these solutions,

Пока мы воплощаем в жизнь эти решения,

there's going to be a lot of suffering to go around.

ещё многие люди пострадают.

Rana Ayyub is still wrestling with the fallout.

Рана Айюб всё ещё борется с последствиями.

She still doesn't feel free to express herself on- and offline.

Она всё ещё не чувствует, что может свободно выражать себя в сети и вне её.

And as she told me,

И, как она мне сказала,

she still feels like there are thousands of eyes on her naked body,

ей по-прежнему кажется, что тысячи глаз смотрят на её голое тело,

even though, intellectually, she knows it wasn't her body.

хотя умом она понимает, что это было не её тело.

And she has frequent panic attacks,

Часто у неё бывают панические атаки,

especially when someone she doesn't know tries to take her picture.

особенно когда кто-то незнакомый пытается её сфотографировать.

"What if they're going to make another deepfake?" she thinks to herself.

«Что если они хотят сделать ещё один дипфейк?» — думает она.

And so for the sake of individuals like Rana Ayyub

Итак, ради таких, как Рана Айюб,

and the sake of our democracy,

ради нашей демократии

we need to do something right now.

нужно делать что-то прямо сейчас.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)