The price of a "clean" internet | Hans Block and Moritz Riesewieck

Переводчик: Elena Govorkova Редактор: Anton Zamaraev

[This talk contains mature content]

[Данное выступление не рекомендуется к просмотру лицам, не достигшим 18 лет]

Moritz Riesewieck: On March 23, 2013,

Моритц Ризевик: 23 марта 2013 года

users worldwide discovered in their news feed

пользователи по всему миру обнаружили в ленте новостей видео,

a video of a young girl being raped by an older man.

на котором девочку насилует взрослый мужчина.

Before this video was removed from Facebook,

До того, как оно было удалено с Facebook,

it was already shared 16,000 times,

им поделились 16 000 раз,

and it was even liked 4,000 times.

и оно даже набрало 4 000 лайков.

This video went viral and infected the net.

Видео стало вирусным и «заразило» сеть.

Hans Block: And that was the moment we asked ourselves

Ганс Блок: В тот момент мы задались вопросом:

how could something like this get on Facebook?

«Как нечто подобное могло попасть на Facebook?»

And at the same time, why don't we see such content more often?

И в то же время: «Почему такой контент не появляется чаще?»

After all, there's a lot of revolting material online,

В конце концов, в интернете много отвратительных материалов,

but why do we so rarely see such crap on Facebook, Twitter or Google?

но почему мы редко видим подобное на Facebook, в Twitter или в Google?

MR: While image-recognition software

МР: В то время как системы распознавания изображений

can identify the outlines of sexual organs,

могут определить очертания половых органов,

blood or naked skin in images and videos,

кровь или наготу на изображениях и видео,

it has immense difficulties to distinguish pornographic content

им очень трудно отличить порнографию

from holiday pictures, Adonis statues

от фотографий из отпуска, статуй Адониса

or breast-cancer screening campaigns.

или кампаний по выявлению рака груди.

It can't distinguish Romeo and Juliet dying onstage

Эти системы не могут отличить Ромео и Джульетту, умирающих на сцене,

from a real knife attack.

от настоящей поножовщины.

It can't distinguish satire from propaganda

Они не могут отличить сатиру от пропаганды

or irony from hatred, and so on and so forth.

или иронию от ненависти и т.д., и т.п.

Therefore, humans are needed to decide

Поэтому необходимо, чтобы именно люди решали,

which of the suspicious content should be deleted,

что из подозрительных материалов следует удалить,

and which should remain.

а что оставить.

Humans whom we know almost nothing about,

Мы практически ничего не знаем об этих людях,

because they work in secret.

потому что они работают тайно.

They sign nondisclosure agreements,

Они подписывают соглашения о неразглашении,

which prohibit them from talking and sharing

которые запрещают им рассказывать и делиться тем,

what they see on their screens and what this work does to them.

что они видят на своих экранах и как эта работа влияет на них.

They are forced to use code words in order to hide who they work for.

Они вынуждены использовать кодовые слова, чтобы скрывать, на кого работают.

They are monitored by private security firms

За ними следят частные охранные фирмы,

in order to ensure that they don't talk to journalists.

чтобы они не разговаривали с журналистами.

And they are threatened by fines in case they speak.

Им грозят штрафы за разглашение.

All of this sounds like a weird crime story,

Всё это звучит как странная криминальная история,

but it's true.

но это правда.

These people exist,

Эти люди существуют,

and they are called content moderators.

и их называют модераторами контента.

HB: We are the directors of the feature documentary film "The Cleaners,"

ГБ: Мы, режиссёры документального фильма «Чистильщики»,

and we would like to take you

хотели бы показать вам мир,

to a world that many of you may not know yet.

который многие из вас ещё не знают.

Here's a short clip of our film.

Мы покажем небольшой фрагмент нашего фильма.

(Music)

(Музыка)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Видео) Модератор: По условиям контракта я должен сохранять анонимность,

We are not allowed to declare whom we are working with.

Нам нельзя говорить, с кем мы работаем.

The reason why I speak to you

Я говорю с вами потому,

is because the world should know that we are here.

что мир должен знать о нашем существовании.

There is somebody who is checking the social media.

Мы проверяем контент социальных сетей.

We are doing our best to make this platform

Мы делаем всё возможное, чтобы эта платформа

safe for all of them.

была безопасной для всех.

Delete.

Удалить.

Ignore.

Пропустить.

Delete.

Удалить.

Ignore.

Пропустить.

Delete.

Удалить.

Ignore.

Пропустить.

Ignore.

Пропустить.

Delete.

Удалить.

HB: The so-called content moderators

ГБ: Так называемые «модераторы контента»

don't get their paychecks from Facebook, Twitter or Google themselves,

получают своё вознаграждение не от Facebook, Twitter или Google,

but from outsourcing firms around the world

а от подрядных организаций по всему миру,

in order to keep the wages low.

держащих заработную плату на низком уровне.

Tens of thousands of young people

Десятки тысяч молодых людей

looking at everything we are not supposed to see.

видят то, что не должны увидеть мы.

And we are talking about decapitations, mutilations,

Мы говорим об обезглавливании, увечьях,

executions, necrophilia, torture, child abuse.

казнях, некрофилии, пытках, насилии над детьми.

Thousands of images in one shift --

Тысячи изображений за одну смену —

ignore, delete, day and night.

пропустить, удалить — круглыми сутками.

And much of this work is done in Manila,

Большая часть этой работы делается в Маниле,

where the analog toxic waste from the Western world

куда годами из стран Запада контейнерами перевозили аналоговые токсичные отходы,

was transported for years by container ships,

now the digital waste is dumped there via fiber-optic cable.

а теперь цифровые отходы сбрасываются туда же

по оптоволоконному кабелю.

And just as the so-called scavengers

И точно так же, как мусорщики

rummage through gigantic tips on the edge of the city,

копаются в гигантской свалке на окраине города,

the content moderators click their way through an endless toxic ocean

модераторы контента пробиваются сквозь бесконечный токсичный океан

of images and videos and all manner of intellectual garbage,

изображений, видео и разного интеллектуального мусора,

so that we don't have to look at it.

чтобы нам не пришлось на него смотреть.

MR: But unlike the wounds of the scavengers,

МР: Но в отличие от шрамов мусорщиков,

those of the content moderators remain invisible.

раны наших модераторов контента остаются незаметными.

Full of shocking and disturbing content,

Шокирующие и страшные изображения и видео

these pictures and videos burrow into their memories

запечатлеваются в их памяти,

where, at any time, they can have unpredictable effects:

и последствия этого влияния могут быть непредсказуемыми:

eating disorders, loss of libido,

расстройства пищевого поведения, утрата полового влечения,

anxiety disorders, alcoholism,

тревожный невроз, алкоголизм,

depression, which can even lead to suicide.

депрессия, которая может привести к самоубийству.

The pictures and videos infect them,

Этот контент «заражает» их

and often never let them go again.

и зачастую никогда не отпускает.

If they are unlucky, they develop post-traumatic stress disorders,

В худшем случае у них развивается посттравматический синдром,

like soldiers after war missions.

как у вернувшихся с полей сражений солдат.

In our film, we tell the story of a young man

В фильме мы рассказываем историю одного молодого человека.

who had to monitor livestreams of self-mutilations and suicide attempts,

Ему пришлось раз за разом следить за трансляциями

again and again,

самокалечения и попыток суицида,

and who eventually committed suicide himself.

и в конце концов он покончил жизнь самоубийством.

It's not an isolated case, as we've been told.

Как нам сказали, это не единичный случай.

This is the price all of us pay

Такую цену все мы платим

for our so-called clean and safe and "healthy"

за так называемую чистую, безопасную и «здоровую» среду

environments on social media.

в социальных сетях.

Never before in the history of mankind

Никогда ещё в истории человечества

has it been easier to reach millions of people around the globe

не было так просто достучаться до миллионов людей по всему миру

in a few seconds.

всего за несколько секунд.

What is posted on social media spreads so quickly,

То, что публикуется в социальных сетях, распространяется настолько быстро,

becomes viral and excites the minds of people all around the globe.

что становится вирусным и будоражит умы людей по всему миру.

Before it is deleted,

Когда дело доходит до удаления такого контента,

it is often already too late.

часто уже слишком поздно.

Millions of people have already been infected

Миллионы людей уже заражены

with hatred and anger,

ненавистью и гневом,

and they either become active online,

либо проявляясь в интернете

by spreading or amplifying hatred,

путём распространения или нагнетания ненависти,

or they take to the streets and take up arms.

либо выплёскиваясь на улицы в вооружённых беспорядках.

HB: Therefore, an army of content moderators

ГБ: Поэтому армия модераторов контента

sit in front of a screen to avoid new collateral damage.

сидит перед мониторами во избежание новых негативных последствий.

And they are deciding, as soon as possible,

И они как можно быстрее решают,

whether the content stays on the platform -- ignore;

какой контент останется на платформе, нажимая «пропустить»,

or disappears -- delete.

а какой — исчезнет, нажимая «удалить».

But not every decision is as clear

Но не каждое решение так же однозначно,

as the decision about a child-abuse video.

как решение по поводу видео с насилием над детьми.

What about controversial content, ambivalent content,

А если такие спорные, неоднозначные материалы

uploaded by civil rights activists or citizen journalists?

загружены в сеть активистами или народными журналистами?

The content moderators often decide on such cases

Модераторы контента в таких случаях часто принимают решения

at the same speed as the [clear] cases.

с той же скоростью, что и в случаях с явно негативным контентом.

MR: We will show you a video now,

МР: Сейчас мы покажем вам видео

and we would like to ask you to decide:

и хотим попросить вас решить:

Would you delete it,

удалили бы вы его

or would you not delete it?

или нет?

(Video) (Air strike sounds)

(Видео) (Звуки воздушной атаки)

(Explosion)

(Взрыв)

(People speaking in Arabic)

(Люди говорят по-арабски)

MR: Yeah, we did some blurring for you.

МР: Для вас мы немного размыли изображение.

A child would potentially be dangerously disturbed

Ребёнок мог бы быть серьёзно травмирован

and extremely frightened by such content.

и чрезвычайно напуган таким контентом.

So, you rather delete it?

Итак, вы удалите его?

But what if this video could help investigate the war crimes in Syria?

А если это видео поможет в расследовании военных преступлений в Сирии?

What if nobody would have heard about this air strike,

А если никто не узнает об авиаударе,

because Facebook, YouTube, Twitter would have decided to take it down?

потому что Facebook, YouTube, Twitter удалят это видео?

Airwars, a nongovernmental organization based in London,

Airwars, неправительственная организация, базирующаяся в Лондоне,

tries to find those videos as quickly as possible

пытается найти такие видео как можно быстрее,

whenever they are uploaded to social media,

как только они загружаются в социальные сети,

in order to archive them.

чтобы поместить их в архив.

Because they know, sooner or later,

Потому что они знают: рано или поздно

Facebook, YouTube, Twitter would take such content down.

Facebook, YouTube, Twitter уберут этот контент.

People armed with their mobile phones

Люди, вооружённые мобильными телефонами,

can make visible what journalists often do not have access to.

могут показать то, что часто недоступно журналистам.

Civil rights groups often do not have any better option

Часто для групп по защите прав граждан самый лучший и быстрый способ

to quickly make their recordings accessible to a large audience

сделать эти материалы доступными для широкой аудитории —

than by uploading them to social media.

это загрузить их в социальные сети.

Wasn't this the empowering potential the World Wide Web should have?

Разве не таким потенциалом должна обладать «всемирная паутина»?

Weren't these the dreams

Разве не об этом мечтали люди

people in its early stages had about the World Wide Web?

в самом начале существования «всемирной паутины»?

Can't pictures and videos like these

Разве такие фотографии и видео

persuade people who have become insensitive to facts

не могут убедить людей, ставших нечувствительными к фактам,

to rethink?

переосмыслить их?

HB: But instead, everything that might be disturbing is deleted.

ГБ: Но вместо этого удаляется всё, что может вызвать дискомфорт.

And there's a general shift in society.

В обществе возникает перекос.

Media, for example, more and more often use trigger warnings

СМИ, например, всё чаще используют в названиях статей

at the top of articles

предупреждения о шок-контенте,

which some people may perceive as offensive or troubling.

способном вызвать у некоторых людей агрессию и тревогу.

Or more and more students at universities in the United States

Или, всё больше и больше студентов в университетах США

demand the banishment of antique classics

требуют удаления из учебной программы античной классики,

which depict sexual violence or assault from the curriculum.

изображающей сексуальное насилие или нападение.

But how far should we go with that?

Но как далеко следует зайти?

Physical integrity is guaranteed as a human right

Физическая неприкосновенность — одно из гарантированных прав человека

in constitutions worldwide.

согласно конституциям по всему миру.

In the Charter of Fundamental Rights of the European Union,

В Хартии Европейского союза об основных правах

this right expressly applies to mental integrity.

это право напрямую относится к психической неприкосновенности.

But even if the potentially traumatic effect

Но даже если потенциально травмирующее влияние

of images and videos is hard to predict,

изображений и видео трудно предсказать,

do we want to become so cautious

хотим ли мы стать настолько осторожными,

that we risk losing social awareness of injustice?

что рискуем тем, что общество не узнает о несправедливости?

So what to do?

Так что же делать?

Mark Zuckerberg recently stated that in the future,

Марк Цукерберг недавно заявил, что в будущем

the users, we, or almost everybody,

пользователи, практически каждый из нас,

will decide individually

будут сами решать,

what they would like to see on the platform,

что они хотели бы видеть на платформе,

by personal filter settings.

с помощью персональных настроек.

So everyone could easily claim to remain undisturbed

Каждый сможет легко заявить, что не желает видеть

by images of war or other violent conflicts, like ...

изображения войны или других вооружённых конфликтов, как, например...

MR: I'm the type of guy who doesn't mind seeing breasts

МР: Я, например, не возражаю против материалов с изображением женской груди,

and I'm very interested in global warming,

и меня очень интересует проблема глобального потепления,

but I don't like war so much.

но мне не нравятся войны.

HB: Yeah, I'm more the opposite,

ГБ: А у меня, скорее, наоборот,

I have zero interest in naked breasts or naked bodies at all.

вообще никакого интереса к обнажённой груди или телу.

But why not guns? I like guns, yes.

Почему не оружие? Мне нравится оружие.

MR: Come on, if we don't share a similar social consciousness,

МР: Да ладно, если наши взгляды будут настолько отличаться,

how shall we discuss social problems?

как мы сможем обсуждать социальные проблемы?

How shall we call people to action?

Как мы будем призывать людей к действию?

Even more isolated bubbles would emerge.

Появится ещё больше таких изолированных пузырей.

One of the central questions is: "How, in the future,

Вот один из центральных вопросов: «Как в будущем

freedom of expression will be weighed against the people's need for protection."

свобода выражения мнений будет сочетаться с потребностью людей в защите?»

It's a matter of principle.

Это дело принципа.

Do we want to design an either open or closed society

Хотим ли мы создать открытое или закрытое общество

for the digital space?

в цифровом пространстве?

At the heart of the matter is "freedom versus security."

В основе этого вопроса лежит дилемма: «свобода или безопасность».

Facebook has always wanted to be a "healthy" platform.

Facebook всегда хотел быть «здоровой» платформой.

Above all, users should feel safe and secure.

Прежде всего, пользователи должны чувствовать себя в безопасности.

It's the same choice of words

Точно такие же слова использовали

the content moderators in the Philippines used

модераторы контента с Филиппин

in a lot of our interviews.

во многих наших интервью.

(Video) The world that we are living in right now,

(Видео) Я считаю, что мир, в котором мы сейчас живём,

I believe, is not really healthy.

не совсем здоров.

(Music)

(Музыка)

In this world, there is really an evil who exists.

В этом мире действительно существует зло.

(Music)

(Музыка)

We need to watch for it.

Мы должны за ним следить.

(Music)

(Музыка)

We need to control it -- good or bad.

Мы должны контролировать что хорошо, а что плохо.

(Music)

(Музыка)

[Look up, Young man! --God]

[Посмотрите вверх, молодой человек! — Бог]

MR: For the young content moderators in the strictly Catholic Philippines,

МР: Для молодых модераторов контента на строго католических Филиппинах

this is linked to a Christian mission.

это связано с христианской миссией.

To counter the sins of the world

Противостоять грехам всего мира,

which spread across the web.

которые распространились по всей сети.

"Cleanliness is next to godliness,"

«Чистота — это почти благочестие», —

is a saying everybody in the Philippines knows.

на Филиппинах каждый знает эту поговорку.

HB: And others motivate themselves

ГБ: А кто-то сравнивает себя

by comparing themselves with their president, Rodrigo Duterte.

с президентом страны, Родриго Дутерте.

He has been ruling the Philippines since 2016,

Он управляет Филиппинами с 2016 года.

and he won the election with the promise: "I will clean up."

Он победил на выборах с обещанием: «Я наведу порядок».

And what that means is eliminating all kinds of problems

И это означало — устранить все проблемы,

by literally killing people on the streets

буквально убивая на улицах тех людей,

who are supposed to be criminals, whatever that means.

которые считаются преступниками, что бы это ни значило.

And since he was elected,

И с момента его избрания,

an estimated 20,000 people have been killed.

по некоторым оценкам, было убито 20 000 человек.

And one moderator in our film says,

И один модератор в нашем фильме говорит:

"What Duterte does on the streets,

«То, что Дутерте делает на улицах,

I do for the internet."

я делаю в интернете».

And here they are, our self-proclaimed superheroes,

И вот эти самопровозглашённые супергерои

who enforce law and order in our digital world.

обеспечивают правопорядок в нашем цифровом мире.

They clean up, they polish everything clean,

Они убирают, начисто всё полируют,

they free us from everything evil.

освобождают нас от зла.

Tasks formerly reserved to state authorities

Задачи, ранее возлагавшиеся на государственные органы,

have been taken over by college graduates in their early 20s,

возложены на плечи выпускников колледжей, которым чуть больше 20 лет

equipped with three- to five-day training --

и которые прошли

this is the qualification --

достаточный для квалификации 3–5-дневный тренинг.

who work on nothing less than the world's rescue.

И теперь они работают спасателями всего мира.

MR: National sovereignties have been outsourced to private companies,

МР: Национальные суверенитеты отданы на аутсорсинг частным компаниям,

and they pass on their responsibilities to third parties.

а они передают свои обязанности третьим лицам.

It's an outsourcing of the outsourcing of the outsourcing,

Это аутсорсинг аутсорсинга аутсорсинга,

который происходит прямо сейчас.

which takes place.

With social networks,

С появлением социальных сетей

we are dealing with a completely new infrastructure,

мы имеем дело с совершенно новой инфраструктурой,

with its own mechanisms,

со своими механизмами,

its own logic of action

со своей собственной логикой действий,

and therefore, also, its own new dangers,

а значит, и с новыми опасностями,

which had not yet existed in the predigitalized public sphere.

которых ещё не было в доцифровой жизни общества.

HB: When Mark Zuckerberg was at the US Congress

ГБ: Когда Марк Цукерберг выступал перед Конгрессом США

or at the European Parliament,

или Европейским парламентом,

he was confronted with all kinds of critics.

он столкнулся со всевозможной критикой.

And his reaction was always the same:

И всем он отвечал одно и то же:

"We will fix that,

«Мы это исправим,

and I will follow up on that with my team."

и я лично, со своей командой, прослежу за этим».

But such a debate shouldn't be held in back rooms of Facebook,

Но такие дебаты должны проводиться не в закрытых залах Facebook,

Twitter or Google --

Twitter или Google,

such a debate should be openly discussed in new, cosmopolitan parliaments,

а открыто обсуждаться в новых космополитичных парламентах,

in new institutions that reflect the diversity of people

в новых институтах, отражающих многообразие людей,

contributing to a utopian project of a global network.

вносящих свой вклад в утопический проект глобальной сети.

And while it may seem impossible to consider the values

И хотя может показаться невозможным учитывать ценности

of users worldwide,

пользователей всего мира,

it's worth believing

стоит поверить,

that there's more that connects us than separates us.

что в мире больше того, что нас объединяет, а не разъединяет.

MR: Yeah, at a time when populism is gaining strength,

МР: В наше время набирающего силу популизма

it becomes popular to justify the symptoms,

становится обыденным оправдание симптомов,

to eradicate them,

их искоренение,

to make them invisible.

их ретуширование.

This ideology is spreading worldwide,

Эта идеология распространяется по всему миру,

analog as well as digital,

как в аналоговом, так и в цифровом формате,

and it's our duty to stop it

и наш долг — остановить её,

before it's too late.

пока не стало слишком поздно.

The question of freedom and democracy

Вопрос свободы и демократии

must not only have these two options.

должен иметь более двух вариантов ответа.

HB: Delete.

ГБ: Удалить.

MR: Or ignore.

МР: Или пропустить.

HB: Thank you very much.

ГБ: Большое спасибо.

(Applause)

(Аплодисменты)