The price of a "clean" internet | Hans Block and Moritz Riesewieck

Traducător: Mirona Sărăroiu Corector: Mirel-Gabriel Alexa

[This talk contains mature content]

[Discurs cu puternic impact emoțional]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewieck: Pe 23 martie 2013

users worldwide discovered in their news feed

utilizatori din toată lumea au găsit pe paginile lor

a video of a young girl being raped by an older man.

un videoclip cu o fetiță care era violată de un bărbat mai în vârstă.

Before this video was removed from Facebook,

Înainte ca acest clip să fie șters de pe Facebook,

it was already shared 16,000 times,

deja fusese redistribuit de 16.000 de ori

and it was even liked 4,000 times.

și chiar a primit 4.000 de like-uri.

This video went viral and infected the net.

Clipul a devenit viral, infectând internetul.

Hans Block: And that was the moment we asked ourselves

Hans Block: Ne-am întrebat, în acel moment:

how could something like this get on Facebook?

cum a putut așa ceva să ajungă pe Facebook?

And at the same time, why don't we see such content more often?

Pe de altă parte, cum de nu vedem mai des astfel de conținuturi?

After all, there's a lot of revolting material online,

În fond, mediul online chiar e plin de materiale revoltătoare.

but why do we so rarely see such crap on Facebook, Twitter or Google?

Deci cum de vedem atât de rar asemenea grozăvii pe Facebook, Twitter sau Google?

MR: While image-recognition software

MR: Deși aplicațiile de recunoaștere a imaginilor

can identify the outlines of sexual organs,

pot identifica în poze și clipuri conturul organelor sexuale,

blood or naked skin in images and videos,

sângele sau nuditatea,

it has immense difficulties to distinguish pornographic content

ele nu pot totuși face diferența între pornografie

from holiday pictures, Adonis statues

și nuditatea unei poze de vacanță sau a unei statui,

or breast-cancer screening campaigns.

sau a unei campanii pentru depistarea cancerului la sân.

It can't distinguish Romeo and Juliet dying onstage

Nu pot face diferența dintre Romeo și Julieta murind pe scenă

from a real knife attack.

și un atac armat real.

It can't distinguish satire from propaganda

Nu pot face diferența dintre satiră și propagandă,

or irony from hatred, and so on and so forth.

dintre ironie și ură, și așa mai departe.

Therefore, humans are needed to decide

Prin urmare, e nevoie de oameni care să decidă

which of the suspicious content should be deleted,

care conținuturi suspecte ar trebui șterse

and which should remain.

și care pot rămâne.

Humans whom we know almost nothing about,

Oameni despre care nu știm mai nimic,

because they work in secret.

pentru că ei lucrează în secret.

They sign nondisclosure agreements,

Semnează acorduri de confidențialitate

which prohibit them from talking and sharing

care le interzic să vorbească și să împărtășească

what they see on their screens and what this work does to them.

despre ce văd pe ecrane și despre ce efect are asta asupra lor.

They are forced to use code words in order to hide who they work for.

Sunt obligați să folosească un limbaj codificat

ca să nu se afle pentru cine lucrează.

They are monitored by private security firms

Sunt monitorizați de firme de securitate private,

in order to ensure that they don't talk to journalists.

ca să nu poată vorbi cu presa.

And they are threatened by fines in case they speak.

Sunt amenințați cu amenzi în cazul în care vorbesc.

All of this sounds like a weird crime story,

Toate acestea sună ca o poveste polițistă ciudată,

but it's true.

dar e purul adevăr.

These people exist,

Acești oameni chiar există

and they are called content moderators.

și se numesc moderatori de conținut.

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: Noi suntem realizatorii filmului documentar „Curățătorii”

and we would like to take you

și am vrea să vă luăm cu noi

to a world that many of you may not know yet.

într-o lume pe care mulți dintre voi nu o cunosc încă.

Here's a short clip of our film.

Iată o scurtă secvență din filmul nostru.

(Music)

(Muzică)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Video) Moderatorul de conținut: Trebuie să rămân anonim,

deoarece am semnat un contract.

We are not allowed to declare whom we are working with.

Nu avem voie să spunem pentru cine lucrăm.

The reason why I speak to you

Motivul pentru care vorbesc cu tine

is because the world should know that we are here.

e că lumea ar trebui să știe că existăm.

There is somebody who is checking the social media.

Că cineva verifică social media.

We are doing our best to make this platform

Noi facem tot posibilul ca aceste platforme

safe for all of them.

să fie sigure pentru toată lumea.

Delete.

Șterge.

Ignore.

Ignoră.

Delete.

Șterge.

Ignore.

Ignoră.

Delete.

Șterge.

Ignore.

Ignoră.

Ignore.

Ignoră.

Delete.

Șterge.

HB: The so-called content moderators

HB: Așa-numiții moderatori de conținut

don't get their paychecks from Facebook, Twitter or Google themselves,

nu sunt plătiți direct de Facebook, Twitter sau Google.

but from outsourcing firms around the world

Ei sunt angajați de firme de leasing de personal,

in order to keep the wages low.

ca să poată fi ținuți pe salarii mici.

Tens of thousands of young people

Zeci de mii de tineri

looking at everything we are not supposed to see.

se uită la lucruri pe care nimeni nu ar trebui să le vadă.

And we are talking about decapitations, mutilations,

Și ne referim la decapitări, mutilări,

executions, necrophilia, torture, child abuse.

execuții, necrofilie, tortură, abuzuri asupra minorilor.

Thousands of images in one shift --

Mii de imagini pe tură;

ignore, delete, day and night.

ignoră sau șterge, zi și noapte.

And much of this work is done in Manila,

Mare parte din această muncă se face în Manila,

where the analog toxic waste from the Western world

locul către care deșeurile toxice analogice ale lumii occidentale

was transported for years by container ships,

au fost ani de zile expediate în cargoboturi,

now the digital waste is dumped there via fiber-optic cable.

iar acum deșeurile digitale sunt de asemenea „deversate” aici,

pe calea fibrei optice.

And just as the so-called scavengers

Și exact cum așa-numiții căutători prin gunoaie

rummage through gigantic tips on the edge of the city,

scormonesc prin mormanele imense de la marginea orașelor,

the content moderators click their way through an endless toxic ocean

moderatorii de conținut navighează printr-un ocean toxic nesfârșit

of images and videos and all manner of intellectual garbage,

de imagini, clipuri și tot soiul de gunoaie digitale,

so that we don't have to look at it.

pentru ca noi să nu fim nevoiți să le vedem.

MR: But unlike the wounds of the scavengers,

MR: Dar spre deosebire de rănile căutătorilor prin gunoaie,

those of the content moderators remain invisible.

cele ale moderatorilor de conținut sunt invizibile.

Full of shocking and disturbing content,

Pline de conținut șocant și tulburător,

these pictures and videos burrow into their memories

aceste imagini și clipuri le rămân întipărite în memorie

where, at any time, they can have unpredictable effects:

iar de acolo, oricând, pot declanșa efecte neprevăzute:

eating disorders, loss of libido,

tulburări de alimentație, pierderea apetitului sexual,

anxiety disorders, alcoholism,

tulburări anxioase, alcoolism,

depression, which can even lead to suicide.

depresie și chiar suicid.

The pictures and videos infect them,

Imaginile și clipurile îi infectează

and often never let them go again.

și efectele sunt adesea ireversibile.

If they are unlucky, they develop post-traumatic stress disorders,

Dacă sunt ghinioniști, dezvoltă sindromul post-traumatic

like soldiers after war missions.

exact ca soldații întorși din misiune.

In our film, we tell the story of a young man

În documentarul nostru relatăm povestea unui tânăr

who had to monitor livestreams of self-mutilations and suicide attempts,

care avea de monitorizat transmisii live de automutilări și tentative de suicid,

again and again,

din nou și din nou,

and who eventually committed suicide himself.

până când, într-un final, el însuși s-a sinucis.

It's not an isolated case, as we've been told.

Și, după cum ni s-a spus, nu e un caz izolat.

This is the price all of us pay

Acesta e prețul pe care îl plătim cu toții

for our so-called clean and safe and "healthy"

pentru așa-numitele noastre rețele sociale online

curate, sigure și „sănătoase”.

environments on social media.

Never before in the history of mankind

Niciodată în istoria umanității

has it been easier to reach millions of people around the globe

n-a fost mai ușor să ajungi la milioane de oameni din toată lumea

in a few seconds.

în câteva secunde.

What is posted on social media spreads so quickly,

Postările de pe social media se răspândesc extrem de rapid,

becomes viral and excites the minds of people all around the globe.

pot deveni virale și pot incita mințile oamenilor din toată lumea.

Before it is deleted,

Până să fie șterse,

it is often already too late.

de multe ori e prea târziu.

Millions of people have already been infected

Milioane de oameni deja au fost contaminați

with hatred and anger,

cu ură și furie,

and they either become active online,

iar aceștia fie devin activi online,

by spreading or amplifying hatred,

împrăștiind și amplificând ura,

or they take to the streets and take up arms.

fie ies pe stradă și folosesc armele.

HB: Therefore, an army of content moderators

HB: Prin urmare, o armată de moderatori de conținut

sit in front of a screen to avoid new collateral damage.

stă în fața calculatoarelor pentru a evita și mai multe daune colaterale.

And they are deciding, as soon as possible,

Și ei trebuie să decidă instantaneu

whether the content stays on the platform -- ignore;

dacă respectivul conținut rămâne pe platformă: ignoră;

or disappears -- delete.

sau dispare: șterge.

But not every decision is as clear

Dar nu toate deciziile sunt atât de clare

as the decision about a child-abuse video.

precum cea despre un clip cu un abuz asupra unui minor.

What about controversial content, ambivalent content,

Mai sunt și conținuturi controversate, ambivalente,

uploaded by civil rights activists or citizen journalists?

încărcate de apărători ai drepturilor omului sau jurnaliști.

The content moderators often decide on such cases

Moderatorii de conținut decid adesea și în aceste cazuri

at the same speed as the [clear] cases.

cu aceeași viteză cu care decid în situațiile clare.

MR: We will show you a video now,

MR: Vă vom arăta un clip

and we would like to ask you to decide:

și o să vă rugăm pe voi să decideți:

Would you delete it,

l-ați șterge de pe internet

or would you not delete it?

sau nu?

(Video) (Air strike sounds)

(Video) (Sunete de atac aerian)

(Explosion)

(Explozie)

(People speaking in Arabic)

(Oameni vorbind în arabă)

MR: Yeah, we did some blurring for you.

MR: Da, am estompat unele imagini.

A child would potentially be dangerously disturbed

E posibil ca un copil să fie serios afectat

and extremely frightened by such content.

și foarte înspăimântat de un asemenea conținut.

So, you rather delete it?

Așadar, l-ați șterge?

But what if this video could help investigate the war crimes in Syria?

Dar dacă acest clip ar putea ajuta la investigarea crimelor de război din Siria?

What if nobody would have heard about this air strike,

Dacă nimeni nu ar fi aflat despre acest atac aerian

because Facebook, YouTube, Twitter would have decided to take it down?

din cauză că Facebook, YouTube, Twitter ar fi decis să-l șteargă?

Airwars, a nongovernmental organization based in London,

Airwars, o organizație non-guvernamentală cu sediul în Londra

tries to find those videos as quickly as possible

încearcă să găsească astfel de clipuri cât mai repede,

whenever they are uploaded to social media,

de îndată ce sunt încărcate pe social media,

in order to archive them.

cu scopul de a le arhiva.

Because they know, sooner or later,

Asta pentru că ei știu că, mai devreme sau mai târziu,

Facebook, YouTube, Twitter would take such content down.

Facebook, YouTube, Twitter vor șterge astfel de conținuturi.

People armed with their mobile phones

Oameni înarmați cu telefoane mobile

can make visible what journalists often do not have access to.

pot face vizibile lucruri la care jurnaliștii adesea nu au acces.

Civil rights groups often do not have any better option

De multe ori, apărătorii drepturilor omului nu au altă opțiune mai bună

to quickly make their recordings accessible to a large audience

de a mediatiza la scară largă abuzurile înregistrate,

than by uploading them to social media.

decât dacă le încarcă pe platformele sociale.

Wasn't this the empowering potential the World Wide Web should have?

Și nu e aceasta însăși puterea pe care ar trebui să ne-o dea internetul?

Weren't these the dreams

Nu sunt acestea visurile

people in its early stages had about the World Wide Web?

pe care oamenii și le făceau în anii de început ai internetului?

Can't pictures and videos like these

Nu ar trebui ca astfel de imagini și de clipuri

persuade people who have become insensitive to facts

să-i oblige pe oamenii care au devenit insensibili la ce se întâmplă

to rethink?

să-și revizuiască atitudinea?

HB: But instead, everything that might be disturbing is deleted.

HB: În schimb, orice ar putea deranja este șters.

And there's a general shift in society.

A devenit o tendință generală în societate.

Media, for example, more and more often use trigger warnings

Mass media, de pildă, utilizează tot mai des mesaje de avertizare

at the top of articles

la începutul articolelor

which some people may perceive as offensive or troubling.

care ar putea fi percepute de unii cititori drept deranjante și ofensatoare.

Or more and more students at universities in the United States

Sau tot mai mulți studenți ai universităților americane

demand the banishment of antique classics

cer interzicerea din programa școlară a clasicilor antici

which depict sexual violence or assault from the curriculum.

care descriu în operele lor violențe sexuale și abuzuri.

But how far should we go with that?

Oare cât de departe să mergem cu asta?

Physical integrity is guaranteed as a human right

Integritatea fizică e obligatorie, ca drept constituțional al omului,

in constitutions worldwide.

peste tot în lume.

In the Charter of Fundamental Rights of the European Union,

În Carta Drepturilor Fundamentale a Uniunii Europene

this right expressly applies to mental integrity.

este în mod expres specificat și dreptul la integritate mintală.

But even if the potentially traumatic effect

Dar chiar dacă efectul potențial traumatic

of images and videos is hard to predict,

al imaginilor și clipurilor e dificil de anticipat,

do we want to become so cautious

chiar vrem să devenim atât de precauți

that we risk losing social awareness of injustice?

încât să riscăm să pierdem conștientizarea societății asupra nedreptății?

So what to do?

Atunci, ce e de făcut?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg a declarat recent că în viitor

the users, we, or almost everybody,

utilizatorii, adică noi toți,

will decide individually

vom decide fiecare în parte

what they would like to see on the platform,

ce vrem să vedem pe pagina noastră

by personal filter settings.

prin aplicarea unor filtre de personalizare.

So everyone could easily claim to remain undisturbed

Astfel, oricine poate cu ușurință să ceară să nu fie deranjat

by images of war or other violent conflicts, like ...

de imagini cu războaie sau alt gen de conflicte violente, cam așa:

MR: I'm the type of guy who doesn't mind seeing breasts

MR: Sunt genul de bărbat pe care nu-l deranjează să vadă sâni

and I'm very interested in global warming,

și sunt foarte interesat de încălzirea globală.

but I don't like war so much.

În schimb, războiul nu-mi prea place.

HB: Yeah, I'm more the opposite,

HB: Iar eu sunt cam invers,

I have zero interest in naked breasts or naked bodies at all.

adică sânii și nuditatea în general mă lasă total indiferent.

But why not guns? I like guns, yes.

Dar arme, de ce nu? Armele îmi plac.

MR: Come on, if we don't share a similar social consciousness,

MR: Păi dacă nu împărtășim aceeași conștiință socială,

how shall we discuss social problems?

cum să discutăm despre problemele sociale?

How shall we call people to action?

Cum să cerem cetățenilor să acționeze?

Even more isolated bubbles would emerge.

Vom fi și mai izolați ca până acum.

One of the central questions is: "How, in the future,

Una din întrebările cheie este: „Cum vom gestiona pe viitor

freedom of expression will be weighed against the people's need for protection."

relația dintre libertatea de exprimare și nevoia de protecție a oamenilor?”

It's a matter of principle.

E o chestiune de principiu.

Do we want to design an either open or closed society

Vrem să creăm în spațiul digital o societate deschisă

for the digital space?

sau izolată?

At the heart of the matter is "freedom versus security."

În esență, este vorba despre „libertate versus securitate”.

Facebook has always wanted to be a "healthy" platform.

Facebook și-a dorit dintotdeauna să fie o platformă „sănătoasă”.

Above all, users should feel safe and secure.

Mai presus de orice,

toți utilizatorii ar trebui să-și simtă intimitatea protejată.

It's the same choice of words

Exact aceste cuvinte le-au folosit

the content moderators in the Philippines used

și moderatorii de conținut din Filipine

in a lot of our interviews.

în multe din interviurile noastre.

(Video) The world that we are living in right now,

(Video) Lumea în care trăim acum

I believe, is not really healthy.

cred că nu e prea sănătoasă.

(Music)

(Muzică)

In this world, there is really an evil who exists.

În această lume, răul există cu adevărat.

(Music)

(Muzică)

We need to watch for it.

Trebuie să fim atenți la el.

(Music)

(Muzică)

We need to control it -- good or bad.

Trebuie să-l controlăm.

(Music)

(Muzică)

[Look up, Young man! --God]

[„Tinere, ai grijă!” - Dumnezeu]

MR: For the young content moderators in the strictly Catholic Philippines,

MR: Pentru tinerii moderatori de conținut din acest Filipine foarte catolic

this is linked to a Christian mission.

această misiune este una creștină.

To counter the sins of the world

Să țină piept păcatelor lumii

which spread across the web.

care se răspândesc pe internet.

"Cleanliness is next to godliness,"

„Curățirea te aduce mai aproape de Dumnezeu”

is a saying everybody in the Philippines knows.

e o vorbă pe care tot poporul filipinez o știe.

HB: And others motivate themselves

HB: Alții se automotivează

by comparing themselves with their president, Rodrigo Duterte.

comparându-se cu președintele lor, Rodrigo Duterte.

He has been ruling the Philippines since 2016,

El conduce statul Filipine din 2016

and he won the election with the promise: "I will clean up."

și a câștigat alegerile cu promisiunea: „Voi face curățenie.”

And what that means is eliminating all kinds of problems

Asta înseamnă eliminarea tuturor problemelor, de orice fel,

by literally killing people on the streets

prin a ucide la propriu oamenii pe stradă,

who are supposed to be criminals, whatever that means.

dacă sunt suspectați că sunt infractori, orice ar putea însemna asta.

And since he was elected,

Într-adevăr, de când a fost ales,

an estimated 20,000 people have been killed.

se presupune că 20.000 de oameni au fost omorâți.

And one moderator in our film says,

Iar în documentarul nostru, un moderator de conținut spune:

"What Duterte does on the streets,

„Ce face Duerte pe străzi,

I do for the internet."

eu fac pe internet.”

And here they are, our self-proclaimed superheroes,

Iată-i, deci, pe acești super-eroi autoproclamați

who enforce law and order in our digital world.

care impun legea și ordinea în lumea noastră digitală.

They clean up, they polish everything clean,

Ei curăță, mușamalizează,

they free us from everything evil.

ne țin la distanță de tot ce-i rău.

Tasks formerly reserved to state authorities

Responsabilități aflate odată în slujba autorităților statului

have been taken over by college graduates in their early 20s,

au fost preluate de tineri absolvenți de douăzeci și ceva de ani,

equipped with three- to five-day training --

„echipați” cu trei-cinci zile de instruire,

this is the qualification --

în asta constă calificarea lor,

who work on nothing less than the world's rescue.

care lucrează la nici mai mult nici mai puțin decât salvarea acestei lumi.

MR: National sovereignties have been outsourced to private companies,

MR: Responsabilități guvernamentale au fost externalizate

and they pass on their responsibilities to third parties.

către companii private, iar ele le dau mai departe către subcontractori.

It's an outsourcing of the outsourcing of the outsourcing,

Este o externalizare a externalizării a externalizării

which takes place.

ceea ce se întâmplă.

With social networks,

Din cauza rețelelor sociale

we are dealing with a completely new infrastructure,

avem de-a face cu o infrastructură complet nouă,

with its own mechanisms,

cu propriile ei mecanisme,

its own logic of action

propria ei logică a acțiunii

and therefore, also, its own new dangers,

și, prin urmare, cu propriile ei noi pericole

which had not yet existed in the predigitalized public sphere.

care nu existau în spațiul public al erei pre-digitale.

HB: When Mark Zuckerberg was at the US Congress

HB: Când Mark Zuckerberg a vorbit în fața congresului american

or at the European Parliament,

sau a Parlamentului European,

he was confronted with all kinds of critics.

i s-au adus tot felul de critici.

And his reaction was always the same:

Răspunsul lui a fost mereu același:

"We will fix that,

„Vom remedia asta,

and I will follow up on that with my team."

iar eu și echipa mea vom monitoriza pe viitor.”

But such a debate shouldn't be held in back rooms of Facebook,

Dar astfel de discuții nu ar trebui purtate în birourile Facebook,

Twitter or Google --

Twitter sau Google,

such a debate should be openly discussed in new, cosmopolitan parliaments,

astfel de discuții ar trebui purtate deschis în noile parlamente moderne,

in new institutions that reflect the diversity of people

în noile instituții care reflectă diversitatea umană,

contributing to a utopian project of a global network.

contribuind astfel la proiectul utopic al unei rețele globale.

And while it may seem impossible to consider the values

Chiar dacă pare imposibil să ținem cont de valorile

of users worldwide,

utilizatorilor din lumea întreagă,

it's worth believing

merită să păstrăm convingerea

that there's more that connects us than separates us.

că sunt mai multe lucrurile care ne apropie decât cele care ne separă.

MR: Yeah, at a time when populism is gaining strength,

MR: În vremurile în care populismul capătă putere

it becomes popular to justify the symptoms,

devine la modă să ne concentrăm doar pe simptome,

to eradicate them,

să le eliminăm,

to make them invisible.

să le ascundem.

This ideology is spreading worldwide,

Această ideologie se răspândește în toată lumea,

analog as well as digital,

atât în spațiul analog cât și în cel digital,

and it's our duty to stop it

și e de datoria noastră să o oprim,

before it's too late.

până nu e prea târziu.

The question of freedom and democracy

Principiul libertății și democrației

must not only have these two options.

nu ar trebui să se rezume la aceste două opțiuni.

HB: Delete.

HB: Șterge.

MR: Or ignore.

MR: Sau ignoră.

HB: Thank you very much.

HB: Vă mulțumim foarte mult!

(Applause)

(Aplauze)