The price of a "clean" internet | Hans Block and Moritz Riesewieck

Traduttore: Silvia Monti Revisore: Silvia Monti

[Questo intervento contiene contenuti per adulti]

Moritz Riesewieck: Il 23 marzo 2013,

gli utenti di tutto il mondo hanno trovato nei propri news feed

[This talk contains mature content]

il video di una ragazzina che veniva stuprata da un uomo più grande.

Moritz Riesewieck: On March 23, 2013,

Prima che questo video venisse rimosso da Facebook,

users worldwide discovered in their news feed

era già stato condiviso 16mila volte

a video of a young girl being raped by an older man.

e aveva anche ricevuto 4mila "mi piace".

Before this video was removed from Facebook,

Questo video è diventato virale e ha infettato la rete.

it was already shared 16,000 times,

Hans Block: In quel momento, ci siamo chiesti

and it was even liked 4,000 times.

come cose del genere potessero finire su Facebook.

E allo stesso tempo, perché non vediamo questo tipo di contenuti più spesso?

This video went viral and infected the net.

Dopotutto, c’è molto materiale rivoltante online,

Hans Block: And that was the moment we asked ourselves

ma perché certe schifezze le vediamo così raramente su Facebook, Twitter o Google?

how could something like this get on Facebook?

And at the same time, why don't we see such content more often?

MR: Il programma di riconoscimento immagini

riesce a identificare le sagome degli organi sessuali,

After all, there's a lot of revolting material online,

but why do we so rarely see such crap on Facebook, Twitter or Google?

sangue o pelle nuda nelle immagini e nei video,

MR: While image-recognition software

ma ha immense difficoltà a distinguere contenuti pornografici

can identify the outlines of sexual organs,

da foto delle vacanze, statue di Adoni

blood or naked skin in images and videos,

o campagne di screening per il tumore alla mammella.

it has immense difficulties to distinguish pornographic content

Non sa distinguere Romeo e Giulietta che stanno morendo sul palco

da un vero accoltellamento.

from holiday pictures, Adonis statues

Non sa distinguere la satira dalla propaganda

or breast-cancer screening campaigns.

It can't distinguish Romeo and Juliet dying onstage

o l'ironia dall'odio, e via dicendo.

from a real knife attack.

Di conseguenza, gli esseri umani sono necessari per decidere

It can't distinguish satire from propaganda

quali dei contenuti sospetti dovrebbero essere eliminati

or irony from hatred, and so on and so forth.

e quali, invece, mantenuti.

Persone delle quali non sappiamo quasi nulla,

Therefore, humans are needed to decide

perché lavorano segretamente.

Firmano accordi di non divulgazione

which of the suspicious content should be deleted,

che proibiscono loro di parlare e condividere

and which should remain.

quello che vedono sugli schermi e ciò che questo lavoro comporta per loro.

Humans whom we know almost nothing about,

Sono obbligati a usare parole in codice per nascondere per chi lavorano.

because they work in secret.

They sign nondisclosure agreements,

which prohibit them from talking and sharing

Sono monitorati da società di sicurezza private

what they see on their screens and what this work does to them.

che si assicurano che non parlino con i giornalisti.

E vengono minacciati con sanzioni in caso di divulgazione.

They are forced to use code words in order to hide who they work for.

Tutto questo può sembrare uno strano poliziesco,

They are monitored by private security firms

in order to ensure that they don't talk to journalists.

ma accade davvero.

Queste persone esistono

e si chiamano "moderatori di contenuti".

And they are threatened by fines in case they speak.

All of this sounds like a weird crime story,

HB: Siamo i registi del documentario “The Cleaners”

but it's true.

e ci piacerebbe condurvi

These people exist,

in un mondo che molti di voi non conoscono ancora.

and they are called content moderators.

Ecco un breve estratto del nostro documentario.

HB: We are the directors of the feature documentary film "The Cleaners,"

(Musica)

and we would like to take you

to a world that many of you may not know yet.

Here's a short clip of our film.

(Video) Moderatore: Dobbiamo rimanere anonimi

perché abbiamo firmato un contratto.

Non siamo autorizzati a dire con chi lavoriamo.

(Music)

La ragione per cui parlo con voi

(Video) Moderator: I need to be anonymous, because we have a contract signed.

è che il mondo deve sapere della nostra esistenza.

We are not allowed to declare whom we are working with.

C'è qualcuno che controlla i social media.

The reason why I speak to you

Stiamo facendo del nostro meglio per rendere questa piattaforma

is because the world should know that we are here.

sicura per tutti loro.

There is somebody who is checking the social media.

We are doing our best to make this platform

safe for all of them.

Cancellare.

Ignorare.

Cancellare.

Ignorare.

Cancellare.

Ignorare.

Ignorare.

Cancellare.

Delete.

Ignore.

Delete.

HB: I cosiddetti "moderatori di contenuti"

Ignore.

non vengono pagati da Facebook, Twitter o Google,

Delete.

Ignore.

Ignore.

ma da società di outsourcing sparse in tutto il mondo

Delete.

che permettono di mantenere bassi i salari.

Decine di migliaia di giovani controllano tutto ciò che noi non dovremmo vedere.

HB: The so-called content moderators

don't get their paychecks from Facebook, Twitter or Google themselves,

E parliamo di decapitazioni, mutilazioni,

but from outsourcing firms around the world

esecuzioni, necrofilia, tortura, abusi su minori.

in order to keep the wages low.

Tens of thousands of young people

Migliaia di immagini in un turno di lavoro --

looking at everything we are not supposed to see.

ignorare, cancellare, giorno e notte.

And we are talking about decapitations, mutilations,

E molto di questo lavoro viene fatto a Manila,

executions, necrophilia, torture, child abuse.

dove i rifiuti tossici del mondo occidentale

Thousands of images in one shift --

sono stati trasportati per anni da navi cargo;

ignore, delete, day and night.

ora, la spazzatura digitale viene scaricata tramite cavi in fibra ottica.

And much of this work is done in Manila,

E così come i cosiddetti "spazzini"

where the analog toxic waste from the Western world

frugano nelle gigantesche discariche ai margini della città,

was transported for years by container ships,

i moderatori, clic dopo clic, si fanno spazio nell’immenso oceano di tossicità

now the digital waste is dumped there via fiber-optic cable.

And just as the so-called scavengers

di immagini, video e ogni sorta di spazzatura intellettuale

rummage through gigantic tips on the edge of the city,

per far sì che noi non dobbiamo vederla.

MR: Ma a differenza delle ferite degli spazzini,

the content moderators click their way through an endless toxic ocean

quelle dei moderatori di contenuti restano invisibili.

of images and videos and all manner of intellectual garbage,

Pieni di contenuti scioccanti e disturbanti,

so that we don't have to look at it.

queste foto e questi video si annidano nei loro ricordi,

MR: But unlike the wounds of the scavengers,

dove, in qualsiasi momento, possono avere effetti imprevedibili:

those of the content moderators remain invisible.

disordini alimentari, perdita della libido,

Full of shocking and disturbing content,

disturbi d'ansia, alcolismo

these pictures and videos burrow into their memories

e depressione, che può portare al suicidio.

where, at any time, they can have unpredictable effects:

Queste foto e questi video li infettano

eating disorders, loss of libido,

e spesso non li mollano più.

Se sono sfortunati, sviluppano disturbi da stress post-traumatico,

anxiety disorders, alcoholism,

depression, which can even lead to suicide.

come i soldati dopo essere stati in guerra.

The pictures and videos infect them,

Nel nostro documentario, raccontiamo la storia di un giovane

and often never let them go again.

If they are unlucky, they develop post-traumatic stress disorders,

che doveva monitorare auto-mutilazioni e tentativi di suicidio in diretta

like soldiers after war missions.

di continuo,

e che ha finito per suicidarsi.

In our film, we tell the story of a young man

Come ci è stato riferito, non si tratta di un caso isolato.

who had to monitor livestreams of self-mutilations and suicide attempts,

Questo è il prezzo che tutti noi paghiamo

again and again,

per il cosiddetto ambiente pulito, sicuro e “sano”

and who eventually committed suicide himself.

It's not an isolated case, as we've been told.

sui social media.

This is the price all of us pay

Nella storia del genere umano, non è mai stato così facile

for our so-called clean and safe and "healthy"

raggiungere milioni di persone in tutto il mondo

in un attimo.

environments on social media.

Quello che viene postato sui social media si diffonde rapidamente,

Never before in the history of mankind

diventa virale ed eccita le menti delle persone di tutto il mondo.

has it been easier to reach millions of people around the globe

Prima che venga cancellato,

in a few seconds.

spesso è già troppo tardi.

What is posted on social media spreads so quickly,

Milioni di persone sono già state infettate

da odio e rabbia,

becomes viral and excites the minds of people all around the globe.

e diventano a loro volta attive online,

diffondendo o amplificando l'odio,

Before it is deleted,

it is often already too late.

oppure si armano e scendono in strada.

Millions of people have already been infected

with hatred and anger,

HB: Di conseguenza, un esercito di moderatori di contenuti

and they either become active online,

si siede di fronte a uno schermo per evitare nuovi danni collaterali.

by spreading or amplifying hatred,

E decide il più velocemente possibile

or they take to the streets and take up arms.

se il contenuto può restare sulla piattaforma -- ignorare,

HB: Therefore, an army of content moderators

o se deve sparire -- cancellare.

sit in front of a screen to avoid new collateral damage.

Ma non tutte le decisioni sono chiare

And they are deciding, as soon as possible,

come la decisione relativa a un video sull’abuso di un minore.

whether the content stays on the platform -- ignore;

Che fare con i contenuti controversi o ambivalenti

or disappears -- delete.

caricati dagli attivisti per i diritti civili o dai cittadini giornalisti?

But not every decision is as clear

Spesso, i moderatori di contenuti decidono su questi casi

as the decision about a child-abuse video.

alla stessa velocità dei casi ovvi.

What about controversial content, ambivalent content,

MR: Ora vi mostreremo un video

uploaded by civil rights activists or citizen journalists?

e ci piacerebbe chiedervi di decidere:

The content moderators often decide on such cases

lo cancellereste

at the same speed as the [clear] cases.

oppure no?

(Video) (Suono di attacco aereo)

(Esplosione)

MR: We will show you a video now,

and we would like to ask you to decide:

Would you delete it,

(Persone che parlano in arabo)

or would you not delete it?

(Video) (Air strike sounds)

(Explosion)

MR: Abbiamo sfocato un po' il video.

Potenzialmente, un bambino potrebbe essere profondamente disturbato

(People speaking in Arabic)

ed estremamente spaventato da un contenuto del genere.

Quindi, preferireste cancellarlo?

MR: Yeah, we did some blurring for you.

E se invece potesse aiutare le indagini sui crimini di guerra in Siria?

A child would potentially be dangerously disturbed

and extremely frightened by such content.

E se nessuno avesse saputo di questo attacco aereo

So, you rather delete it?

perché Facebook, YouTube e Twitter avessero deciso di rimuoverlo?

But what if this video could help investigate the war crimes in Syria?

Airwars, un’organizzazione non governativa con sede a Londra,

What if nobody would have heard about this air strike,

cerca di individuare questi video il più rapidamente possibile

because Facebook, YouTube, Twitter would have decided to take it down?

ogni volta che vengono caricati sui social media

per archiviarli.

Airwars, a nongovernmental organization based in London,

Perché sanno che prima o poi,

Facebook, YouTube e Twitter rimuoveranno questi contenuti.

tries to find those videos as quickly as possible

Con i propri cellulari, le persone possono rendere visibile

whenever they are uploaded to social media,

in order to archive them.

ciò a cui i giornalisti spesso non hanno accesso.

Because they know, sooner or later,

Spesso, l’opzione migliore che hanno i gruppi per i diritti civili

Facebook, YouTube, Twitter would take such content down.

per rendere i propri filmati velocemente accessibili

People armed with their mobile phones

a un gran numero di persone

è caricarli sui social media.

can make visible what journalists often do not have access to.

Ma non era questo il potenziale emancipativo che doveva avere Internet?

Civil rights groups often do not have any better option

to quickly make their recordings accessible to a large audience

Non erano queste le aspettative

che avevano inizialmente le persone per il World Wide Web?

than by uploading them to social media.

Wasn't this the empowering potential the World Wide Web should have?

Video e foto come questi

non potrebbero convincere le persone che sono diventate insensibili ai fatti

Weren't these the dreams

people in its early stages had about the World Wide Web?

a ripensarci?

HB: Invece, tutto quello che potrebbe essere disturbante viene cancellato.

Can't pictures and videos like these

C'è un cambiamento generale nella società.

persuade people who have become insensitive to facts

I media, per esempio, sempre più spesso mettono avvisi di contenuti espliciti

to rethink?

in cima agli articoli

HB: But instead, everything that might be disturbing is deleted.

che alcune persone potrebbero trovare offensivi o problematici.

O sempre più studenti universitari negli Stati Uniti

And there's a general shift in society.

Media, for example, more and more often use trigger warnings

chiedono l’abolizione degli antichi classici

at the top of articles

che descrivono violenze sessuali o aggressioni dal programma di studi.

which some people may perceive as offensive or troubling.

Ma fino a che punto dovremmo spingerci?

Or more and more students at universities in the United States

L’integrità fisica è garantita come diritto umano

demand the banishment of antique classics

da tutte le costituzioni del mondo.

which depict sexual violence or assault from the curriculum.

Nella Carta dei diritti fondamentali dell’Unione Europea,

But how far should we go with that?

questo diritto si applica espressamente all’integrità mentale.

Physical integrity is guaranteed as a human right

Ma anche se il potenziale effetto traumatico

in constitutions worldwide.

dei video e delle immagini è difficile da prevedere,

In the Charter of Fundamental Rights of the European Union,

vogliamo diventare così prudenti

da rischiare di perdere la consapevolezza sociale dell’ingiustizia?

this right expressly applies to mental integrity.

But even if the potentially traumatic effect

Quindi, che fare?

Recentemente, Mark Zuckerberg ha dichiarato che, in futuro,

of images and videos is hard to predict,

gli utenti, noi, o quasi tutti,

do we want to become so cautious

that we risk losing social awareness of injustice?

decideremo individualmente

cosa vorremmo vedere sulla piattaforma

So what to do?

tramite l’impostazione di filtri personalizzati.

Mark Zuckerberg recently stated that in the future,

Così, ognuno potrebbe facilmente chiedere di non essere disturbato

the users, we, or almost everybody,

da immagini di guerra o altri conflitti violenti, come...

will decide individually

MR: Io sono uno di quelli a cui non dà fastidio vedere seni

what they would like to see on the platform,

by personal filter settings.

So everyone could easily claim to remain undisturbed

e sono molto interessato al riscaldamento globale,

by images of war or other violent conflicts, like ...

ma non mi piace tanto la guerra.

HB: Io sono un po' l'opposto:

MR: I'm the type of guy who doesn't mind seeing breasts

ho zero interesse per i seni nudi o i nudi in generale.

and I'm very interested in global warming,

Ma le pistole... perché no?

Mi piacciono le pistole.

but I don't like war so much.

MR: Andiamo, se non condividiamo una coscienza sociale simile,

HB: Yeah, I'm more the opposite,

I have zero interest in naked breasts or naked bodies at all.

come possiamo discutere di problemi sociali?

Come possiamo esortare le persone all’azione?

But why not guns? I like guns, yes.

Ne conseguirebbero solo bolle più isolate.

MR: Come on, if we don't share a similar social consciousness,

Una delle questioni principali è:

come fare in futuro a soppesare la libertà di espressione

how shall we discuss social problems?

How shall we call people to action?

e il bisogno di protezione delle persone?

Even more isolated bubbles would emerge.

È una questione di principio.

Vogliamo progettare una società aperta o chiusa

One of the central questions is: "How, in the future,

freedom of expression will be weighed against the people's need for protection."

allo spazio digitale?

Il nocciolo della questione è “libertà o sicurezza”.

It's a matter of principle.

Do we want to design an either open or closed society

Facebook ha sempre voluto essere una piattaforma “sana”.

for the digital space?

Più di tutto, gli utenti dovrebbero sentirsi sicuri e protetti.

At the heart of the matter is "freedom versus security."

Si tratta della stessa scelta di parole

che i moderatori delle Filippine hanno utilizzato

Facebook has always wanted to be a "healthy" platform.

in molte delle nostre interviste.

(Video) Credo che il mondo in cui viviamo ora

Above all, users should feel safe and secure.

non sia davvero sano.

It's the same choice of words

(Musica)

the content moderators in the Philippines used

In questo mondo, esiste davvero un male.

in a lot of our interviews.

(Musica)

(Video) The world that we are living in right now,

Dobbiamo fare attenzione.

I believe, is not really healthy.

(Musica)

(Music)

Dobbiamo controllarlo, nel bene o nel male.

In this world, there is really an evil who exists.

(Musica)

(Music)

We need to watch for it.

(Music)

We need to control it -- good or bad.

[Alza la testa, giovanotto! -- Dio]

(Music)

MR: Per i giovani moderatori di contenuti delle cattolicissime Filippine,

questo è legato a una missione cristiana:

[Look up, Young man! --God]

contrastare i peccati del mondo

che si diffondono attraverso la rete.

MR: For the young content moderators in the strictly Catholic Philippines,

“La pulizia viene subito dopo la devozione”

this is linked to a Christian mission.

è un detto che tutti conoscono nelle Filippine.

To counter the sins of the world

HB: Altri si motivano comparandosi al presidente Rodrigo Duterte.

which spread across the web.

"Cleanliness is next to godliness,"

Governa le Filippine dal 2016

is a saying everybody in the Philippines knows.

e ha vinto le elezioni con la promessa “Farò pulizia”.

HB: And others motivate themselves

by comparing themselves with their president, Rodrigo Duterte.

E questo significa eliminare ogni tipo di problema

uccidendo letteralmente le persone per strada,

He has been ruling the Philippines since 2016,

persone considerate criminali, qualunque cosa significhi.

and he won the election with the promise: "I will clean up."

Da quando è stato eletto, si stima che 20mila persone siano state uccise.

And what that means is eliminating all kinds of problems

E un moderatore nel nostro documentario dice:

by literally killing people on the streets

"Quello che fa Duterte nelle strade,

who are supposed to be criminals, whatever that means.

io lo faccio in Internet”.

And since he was elected,

Ed eccoli qui, i nostri autoproclamati supereroi,

an estimated 20,000 people have been killed.

che fanno rispettare le leggi e l’ordine nel mondo digitale.

And one moderator in our film says,

Puliscono, lucidano ogni cosa,

"What Duterte does on the streets,

ci liberano da tutto il male.

I do for the internet."

And here they are, our self-proclaimed superheroes,

Compiti precedentemente riservati ad autorità statali

sono stati affidati a ventenni laureati

who enforce law and order in our digital world.

They clean up, they polish everything clean,

con una formazione che va dai tre ai cinque giorni --

they free us from everything evil.

questa è la qualifica --

Tasks formerly reserved to state authorities

che lavorano nientepopodimeno che per salvare il mondo.

have been taken over by college graduates in their early 20s,

MR: Le sovranità nazionali sono state affidate a compagnie private,

equipped with three- to five-day training --

che passano le proprie responsabilità a terze parti.

this is the qualification --

who work on nothing less than the world's rescue.

È l'appalto di un appalto di un appalto.

MR: National sovereignties have been outsourced to private companies,

Con le reti sociali,

abbiamo a che fare con un’infrastruttura completamente nuova,

and they pass on their responsibilities to third parties.

che ha i propri meccanismi

e le proprie logiche,

It's an outsourcing of the outsourcing of the outsourcing,

e che presenta quindi anche nuovi pericoli

which takes place.

With social networks,

che ancora non esistevano nella sfera pubblica pre-digitalizzata.

we are dealing with a completely new infrastructure,

with its own mechanisms,

HB: Quando Zuckerberg era al Congresso degli Stati Uniti o al Parlamento Europeo,

its own logic of action

and therefore, also, its own new dangers,

ha dovuto far fronte a critiche di ogni genere.

E la sua reazione era sempre la stessa:

which had not yet existed in the predigitalized public sphere.

"Lo sistemeremo,

e lo controllerò personalmente con la mia squadra”.

HB: When Mark Zuckerberg was at the US Congress

or at the European Parliament,

Questi dibattiti non si dovrebbero tenere dietro le quinte di Facebook,

he was confronted with all kinds of critics.

Twitter o Google.

And his reaction was always the same:

Se ne dovrebbe discutere apertamente in un nuovo Parlamento cosmopolita,

"We will fix that,

and I will follow up on that with my team."

in nuove istituzioni che riflettano la diversità delle persone

But such a debate shouldn't be held in back rooms of Facebook,

e che contribuiscano al progetto utopico di una rete globale.

Twitter or Google --

such a debate should be openly discussed in new, cosmopolitan parliaments,

E anche se può sembrare impossibile considerare i valori

in new institutions that reflect the diversity of people

degli utenti di tutto il mondo,

vale la pena credere

che siano più le cose che ci uniscono di quelle che ci separano.

contributing to a utopian project of a global network.

MR: In un’epoca in cui il populismo si sta rafforzando,

And while it may seem impossible to consider the values

of users worldwide,

diventa popolare giustificare i sintomi,

it's worth believing

sradicarli,

that there's more that connects us than separates us.

renderli invisibili.

Questa ideologia si sta diffondendo in tutto il mondo,

MR: Yeah, at a time when populism is gaining strength,

sia analogico che digitale,

it becomes popular to justify the symptoms,

ed è nostro dovere fermarla

to eradicate them,

to make them invisible.

prima che sia troppo tardi.

This ideology is spreading worldwide,

La questione della libertà e della democrazia

analog as well as digital,

non deve avere solo queste due opzioni.

and it's our duty to stop it

HB: Cancellare.

MR: O ignorare.

before it's too late.

The question of freedom and democracy

HB: Grazie mille.

(Applausi)

must not only have these two options.

HB: Delete.

MR: Or ignore.

HB: Thank you very much.

(Applause)