The price of a "clean" internet | Hans Block and Moritz Riesewieck

Traducteur: Morgane Quilfen Relecteur: eric vautier

[This talk contains mature content]

[Cette intervention contient du contenu réservé aux adultes]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewieck : Le 23 mars 2013,

users worldwide discovered in their news feed

des utilisateurs du monde entier ont découvert dans leur fil d'actualités

a video of a young girl being raped by an older man.

la vidéo d'une jeune fille se faisant violer par un homme plus âgé.

Before this video was removed from Facebook,

Avant que cette vidéo ne soit retirée de Facebook,

it was already shared 16,000 times,

elle avait déjà été partagée 16 000 fois

and it was even liked 4,000 times.

et avait même été aimée 4 000 fois.

This video went viral and infected the net.

La vidéo est devenue virale et a infecté internet.

Hans Block: And that was the moment we asked ourselves

Hans Block : C'est le moment où nous nous sommes demandé :

how could something like this get on Facebook?

comment une telle chose a-t-elle pu arriver sur Facebook ?

And at the same time, why don't we see such content more often?

Et en même temps,

pourquoi ne voyons-nous pas des contenus similaires plus souvent ?

After all, there's a lot of revolting material online,

Il y a beaucoup de contenus révoltants en ligne,

but why do we so rarely see such crap on Facebook, Twitter or Google?

mais pourquoi voyons-nous si rarement

de telles merdes sur Facebook, Twitter ou Google ?

MR: While image-recognition software

MR : Si les logiciels de reconnaissance des images

can identify the outlines of sexual organs,

peuvent identifier l’esquisse d'organes sexuels,

blood or naked skin in images and videos,

de sang ou de peau nue dans des images et des vidéos,

it has immense difficulties to distinguish pornographic content

ils ont d'immenses difficultés à distinguer du contenu pornographique

from holiday pictures, Adonis statues

de photos de vacances, de statues d'Adonis

or breast-cancer screening campaigns.

ou de campagnes de dépistage du cancer du sein.

It can't distinguish Romeo and Juliet dying onstage

Ils ne peuvent pas distinguer Roméo et Juliette mourant sur scène

from a real knife attack.

d'une vraie attaque au couteau.

It can't distinguish satire from propaganda

Ils ne peuvent pas distinguer la satire de la propagande

or irony from hatred, and so on and so forth.

ou l'ironie de la haine et ainsi de suite.

Therefore, humans are needed to decide

Par conséquent, des êtres humains sont nécessaires pour décider

which of the suspicious content should be deleted,

quels contenus suspicieux doivent être supprimés

and which should remain.

et lesquels doivent être conservés.

Humans whom we know almost nothing about,

Des êtres humains au sujet desquels nous ne savons presque rien

because they work in secret.

car ils travaillent dans le secret.

They sign nondisclosure agreements,

Ils signent des accords de confidentialité

which prohibit them from talking and sharing

qui leur interdisent de parler ou de partager

what they see on their screens and what this work does to them.

ce qu'ils voient sur leur écran et ce que ce travail leur fait.

They are forced to use code words in order to hide who they work for.

Ils sont obligés d'utiliser des codes pour dissimuler pour qui ils travaillent.

They are monitored by private security firms

Ils sont surveillés par des sociétés de sécurité privée

in order to ensure that they don't talk to journalists.

afin d'assurer qu'ils ne parlent pas à des journalistes.

And they are threatened by fines in case they speak.

Ils sont menacés d'amende s'ils parlent.

All of this sounds like a weird crime story,

Tout cela semble être une histoire policière étrange,

but it's true.

mais c'est vrai.

These people exist,

Ces gens existent

and they are called content moderators.

et ils sont appelés modérateurs de contenu.

HB: We are the directors of the feature documentary film "The Cleaners,"

HB : Nous sommes les réalisateurs du documentaire « The Cleaners »

and we would like to take you

et nous aimerions vous emmener

to a world that many of you may not know yet.

dans un monde que beaucoup ne connaissent pas encore.

Here's a short clip of our film.

Voici un court extrait de notre film.

(Music)

(Musique)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Vidéo) Modérateur : Je dois être anonyme car nous avons signé un contrat.

We are not allowed to declare whom we are working with.

Nous n'avons pas le droit de déclarer avec qui nous travaillons.

The reason why I speak to you

Je vous parle

is because the world should know that we are here.

car le monde devrait savoir que nous existons.

There is somebody who is checking the social media.

Il y a quelqu'un qui vérifie les réseaux sociaux.

We are doing our best to make this platform

Nous faisons de notre mieux pour rendre cette plateforme

safe for all of them.

sûre pour tous.

Delete.

Supprimer.

Ignore.

Ignorer.

Delete.

Supprimer.

Ignore.

Ignorer.

Delete.

Supprimer.

Ignore.

Ignorer.

Ignore.

Ignorer.

Delete.

Supprimer.

HB: The so-called content moderators

HB : Les soi-disant modérateurs de contenu

don't get their paychecks from Facebook, Twitter or Google themselves,

ne reçoivent leur salaire de Facebook, Twitter ou Google,

but from outsourcing firms around the world

mais d'entreprises de sous-traitance

in order to keep the wages low.

afin de maintenir leurs rémunérations basses.

Tens of thousands of young people

Des dizaines de milliers de jeunes gens

looking at everything we are not supposed to see.

qui regardent tout ce que nous ne sommes pas censés voir.

And we are talking about decapitations, mutilations,

Nous parlons de décapitations, de mutilations,

executions, necrophilia, torture, child abuse.

d'exécutions, de nécrophilie, de torture, de maltraitance des enfants.

Thousands of images in one shift --

Des milliers d'images chaque jour --

ignore, delete, day and night.

ignorer, supprimer, jour et nuit.

And much of this work is done in Manila,

La plupart de ce travail est réalisé à Manille,

where the analog toxic waste from the Western world

où les déchets toxiques analogiques du monde occidental

was transported for years by container ships,

étaient transportés pendant des années par porte-conteneurs

now the digital waste is dumped there via fiber-optic cable.

et on s'y débarrasse maintenant de nos déchets numériques

par fibre optique.

And just as the so-called scavengers

Tout comme les éboueurs

rummage through gigantic tips on the edge of the city,

fouillent de gigantesques décharges en lisière de la ville,

the content moderators click their way through an endless toxic ocean

les modérateurs de contenu cliquent dans un océan toxique et intarissable

of images and videos and all manner of intellectual garbage,

d'images et de vidéos et de tous genres de déchets intellectuels

so that we don't have to look at it.

pour que nous n'ayons pas à les regarder.

MR: But unlike the wounds of the scavengers,

MR : Mais contrairement aux plaies des éboueurs,

those of the content moderators remain invisible.

celles des modérateurs de contenu demeurent invisibles.

Full of shocking and disturbing content,

Pleines de contenus choquants et dérangeants,

these pictures and videos burrow into their memories

ces images et vidéos s'enfouissent dans leurs souvenirs

where, at any time, they can have unpredictable effects:

où, n'importe quand, elles peuvent avoir des effets imprévisibles :

eating disorders, loss of libido,

troubles alimentaires, perte de la libido,

anxiety disorders, alcoholism,

troubles de l'anxiété, alcoolisme,

depression, which can even lead to suicide.

dépression, pouvant même mener au suicide.

The pictures and videos infect them,

Les images et vidéos les infectent

and often never let them go again.

et souvent ne les laissent jamais s'en tirer.

If they are unlucky, they develop post-traumatic stress disorders,

S'ils sont malchanceux, ils développent un trouble du stress post-traumatique

like soldiers after war missions.

comme les soldats après des opératons de guerre.

In our film, we tell the story of a young man

Dans notre film, nous racontons l'histoire d'un jeune homme

who had to monitor livestreams of self-mutilations and suicide attempts,

qui a dû contrôler des diffusions en direct

d'automutilation et de tentatives de suicide,

again and again,

à répétition,

and who eventually committed suicide himself.

et qui a fini par se suicider.

It's not an isolated case, as we've been told.

Ce n'est pas un cas isolé, d'après ce que l'on nous a dit.

This is the price all of us pay

C'est le prix que nous payons tous

for our so-called clean and safe and "healthy"

pour nos environnements sur les réseaux sociaux

soi-disant propres, sûrs et « sains ».

environments on social media.

Never before in the history of mankind

Jamais auparavant dans l'histoire de l'humanité,

has it been easier to reach millions of people around the globe

il n'a été plus simple de toucher des millions de gens à travers le monde

in a few seconds.

en quelques secondes.

What is posted on social media spreads so quickly,

Ce qui est posté sur les réseaux sociaux se propage si rapidement,

becomes viral and excites the minds of people all around the globe.

cela devient viral et excite l'esprit de gens à travers le monde.

Before it is deleted,

Avant que ce ne soit supprimé,

it is often already too late.

il est souvent déjà trop tard.

Millions of people have already been infected

Des millions de gens ont déjà été infectés

with hatred and anger,

par la haine et la colère

and they either become active online,

et soit ils deviennent actifs en ligne

by spreading or amplifying hatred,

en diffusant ou en amplifiant la haine

or they take to the streets and take up arms.

ou ils descendent dans les rues et prennent les armes.

HB: Therefore, an army of content moderators

HB : Par conséquent, une armée de modérateurs de contenu

sit in front of a screen to avoid new collateral damage.

s'assoient devant un écran pour éviter de nouveaux dégâts collatéraux.

And they are deciding, as soon as possible,

Ils décident dès que possible

whether the content stays on the platform -- ignore;

si le contenu demeure sur la plateforme -- ignorer --

or disappears -- delete.

ou disparaît -- supprimer.

But not every decision is as clear

Mais chaque décision n'est pas aussi claire

as the decision about a child-abuse video.

que pour une vidéo de maltraitance d'enfants.

What about controversial content, ambivalent content,

Qu'en est-il de contenu controversé, ambivalent,

uploaded by civil rights activists or citizen journalists?

téléchargé par des activistes des droits civils

ou des journalistes citoyens ?

The content moderators often decide on such cases

Les modérateurs de contenu prennent souvent de telles décisions

at the same speed as the [clear] cases.

à la même vitesse que pour les cas évidents.

MR: We will show you a video now,

MR : Nous allons maintenant vous montrer une vidéo

and we would like to ask you to decide:

et nous aimerions que vous décidiez :

Would you delete it,

est-ce que vous la supprimeriez ou pas ?

or would you not delete it?

(Video) (Air strike sounds)

(Vidéo) (Bruits de frappe aérienne)

(Explosion)

(Explosion)

(People speaking in Arabic)

(Gens parlant en arabe)

MR: Yeah, we did some blurring for you.

MR : Nous avons un peu flouté cela pour vous.

A child would potentially be dangerously disturbed

Un enfant serait potentiellement dangereusement perturbé

and extremely frightened by such content.

et extrêmement effrayé par un tel contenu.

So, you rather delete it?

Préféreriez-vous le supprimer ?

But what if this video could help investigate the war crimes in Syria?

Mais... et si cette vidéo pouvait aider à enquêter

sur les crimes de guerre en Syrie ?

What if nobody would have heard about this air strike,

Et si personne n'entendait parler de cette frappe aérienne

because Facebook, YouTube, Twitter would have decided to take it down?

car Facebook, YouTube, Twitter avaient décidé de retirer ce contenu ?

Airwars, a nongovernmental organization based in London,

Airwars, une organisation non gouvernementale basée à Londres,

tries to find those videos as quickly as possible

essaye de trouver ces vidéos aussi vite que possible,

whenever they are uploaded to social media,

dès qu'elles sont publiées sur les réseaux sociaux,

in order to archive them.

afin de les archiver.

Because they know, sooner or later,

Car ils savent que, tôt ou tard,

Facebook, YouTube, Twitter would take such content down.

Facebook, YouTube, Twitter retireront un tel contenu.

People armed with their mobile phones

Les gens armés de leur téléphone portable

can make visible what journalists often do not have access to.

peuvent rendre visible ce à quoi les journalistes n'ont souvent pas accès.

Civil rights groups often do not have any better option

Les groupes pour les droits civils n'ont souvent pas de meilleure option

to quickly make their recordings accessible to a large audience

pour rendre leurs enregistrements rapidement accessibles à un large public

than by uploading them to social media.

que de les publier sur les réseaux sociaux.

Wasn't this the empowering potential the World Wide Web should have?

N'est-ce pas le potentiel responsabilisant que le World Wide Web devait avoir ?

Weren't these the dreams

N'était-ce pas les rêves

people in its early stages had about the World Wide Web?

que les gens avaient au début du World Wide Web ?

Can't pictures and videos like these

De telles images et vidéos ne peuvent-elles pas

persuade people who have become insensitive to facts

persuader les gens qui sont devenus insensibles aux faits

to rethink?

de réfléchir à nouveau ?

HB: But instead, everything that might be disturbing is deleted.

HB : Mais au lieu de cela, tout ce qui pourrait être perturbant est supprimé.

And there's a general shift in society.

Il y a un changement généralisé dans la société.

Media, for example, more and more often use trigger warnings

Les médias, par exemple, utilisent de plus en plus souvent des avertissements

at the top of articles

en haut des articles

which some people may perceive as offensive or troubling.

que certains pourraient percevoir comme blessants ou perturbants.

Or more and more students at universities in the United States

De plus en plus d'étudiants dans les universités américaines

demand the banishment of antique classics

exigent l'exclusion du programme de classiques antiques

which depict sexual violence or assault from the curriculum.

qui dépeignent de la violence ou une agression sexuelle.

But how far should we go with that?

Jusqu'où devrions-nous aller ?

Physical integrity is guaranteed as a human right

L'intégrité physique est garantie comme un droit humain

in constitutions worldwide.

dans les constitutions du monde.

In the Charter of Fundamental Rights of the European Union,

Dans la Charte des droits fondamentaux de l'Union européenne,

this right expressly applies to mental integrity.

ce droit est expressément appliqué à l'intégrité mentale.

But even if the potentially traumatic effect

Mais même si les effets potentiellement traumatiques

of images and videos is hard to predict,

des images et des vidéos est difficile à prédire,

do we want to become so cautious

voulons-nous devenir si prudents

that we risk losing social awareness of injustice?

que nous risquons de perdre la conscience sociale de l'injustice ?

So what to do?

Alors que faire ?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg a récemment déclaré qu'à l'avenir,

the users, we, or almost everybody,

les utilisateurs, nous ou presque tout le monde,

will decide individually

décideraient individuellement

what they would like to see on the platform,

de ce qu'ils aimeraient voir sur la plateforme

by personal filter settings.

en paramétrant des filtres personnels.

So everyone could easily claim to remain undisturbed

Tout le monde pourrait facilement prétendre demeurer non perturbé

by images of war or other violent conflicts, like ...

par des images de guerre et d'autres conflits violents, comme...

MR: I'm the type of guy who doesn't mind seeing breasts

MR : Je suis le genre de gars qui n'est pas gêné par la vue de seins

and I'm very interested in global warming,

et je suis très intéressé par le réchauffement climatique,

but I don't like war so much.

mais je n'aime pas trop la guerre.

HB: Yeah, I'm more the opposite,

HB : Pour moi, c'est plutôt le contraire,

I have zero interest in naked breasts or naked bodies at all.

je n'ai aucun intérêt pour les seins et corps nus.

But why not guns? I like guns, yes.

Mais pourquoi pas des armes ? J'aime les armes, oui.

MR: Come on, if we don't share a similar social consciousness,

MR : Allons, si nous ne partageons pas une conscience sociale similaire,

how shall we discuss social problems?

comment sommes-nous censés discuter de problèmes sociaux ?

How shall we call people to action?

Comment appeler les gens à agir ?

Even more isolated bubbles would emerge.

Des bulles encore plus isolées émergeraient.

One of the central questions is: "How, in the future,

Une des questions centrales est : « Comment, à l'avenir,

freedom of expression will be weighed against the people's need for protection."

la liberté d'expression sera considérée face au besoin de protection des gens ? »

It's a matter of principle.

C'est une question de principes.

Do we want to design an either open or closed society

Voulons-nous concevoir une société ouverte ou fermée

for the digital space?

pour l'espace numérique ?

At the heart of the matter is "freedom versus security."

Au cœur de la question, il y a « la liberté contre la sécurité ».

Facebook has always wanted to be a "healthy" platform.

Facebook a toujours voulu être une plateforme « saine ».

Above all, users should feel safe and secure.

Avant tout, les utilisateurs devraient se sentir en sécurité.

It's the same choice of words

C'est le même choix de mots

the content moderators in the Philippines used

que les modérateurs de contenu aux Philippines ont utilisés

in a lot of our interviews.

dans nombre de nos interviews.

(Video) The world that we are living in right now,

(Vidéo) Le monde dans lequel nous vivons,

I believe, is not really healthy.

à mon sens, n'est pas vraiment sain.

(Music)

(Musique)

In this world, there is really an evil who exists.

Dans ce monde, le mal existe vraiment.

(Music)

(Musique)

We need to watch for it.

Nous devons le surveiller.

(Music)

(Musique)

We need to control it -- good or bad.

Nous devons le contrôler -- bon ou mauvais.

(Music)

(Musique)

[Look up, Young man! --God]

[Lève la tête, jeune homme ! -- Dieu]

MR: For the young content moderators in the strictly Catholic Philippines,

MR : Pour les jeunes modérateurs de contenu

vivant dans un pays pratiquant un catholicisme strict,

this is linked to a Christian mission.

cela s'apparente à une mission chrétienne.

To counter the sins of the world

Contrer les péchés du monde

which spread across the web.

qui se propagent sur internet.

"Cleanliness is next to godliness,"

« La propreté est proche de la piété »

is a saying everybody in the Philippines knows.

est un proverbe que tout le monde connaît aux Philippines.

HB: And others motivate themselves

HB : D'autres se motivent

by comparing themselves with their president, Rodrigo Duterte.

en se comparant à leur président, Rodrigo Duterte.

He has been ruling the Philippines since 2016,

Il dirige les Philippines depuis 2016

and he won the election with the promise: "I will clean up."

et il a gagné les élections avec la promesse : « Je nettoierai ».

And what that means is eliminating all kinds of problems

Cela signifie éliminer tous genres de problèmes

by literally killing people on the streets

en tuant littéralement des gens dans les rues,

who are supposed to be criminals, whatever that means.

des gens censés être des criminels, quoi que cela signifie.

And since he was elected,

Depuis qu'il a été élu,

an estimated 20,000 people have been killed.

on estime que 20 000 personnes ont été tuées.

And one moderator in our film says,

Dans notre film, un modérateur dit :

"What Duterte does on the streets,

« Ce que Duterte fait dans les rues,

I do for the internet."

je le fais pour Internet. »

And here they are, our self-proclaimed superheroes,

Et les voilà, nos super-héros autoproclamés

who enforce law and order in our digital world.

qui font respecter la loi et l'ordre dans notre monde numérique.

They clean up, they polish everything clean,

Ils nettoient, ils astiquent tout,

they free us from everything evil.

ils nous libèrent de tout ce qui est mauvais.

Tasks formerly reserved to state authorities

Des tâches auparavant réservées aux autorités gouvernementales

have been taken over by college graduates in their early 20s,

ont été reprises par des jeunes diplômés qui ont la vingtaine

equipped with three- to five-day training --

et sont préparés via une formation de trois à cinq jours --

this is the qualification --

c'est la qualification --

who work on nothing less than the world's rescue.

qui travaillent pour rien de moins que secourir le monde.

MR: National sovereignties have been outsourced to private companies,

MR : Les souverainetés nationales ont été sous-traitées à des entreprises privées

and they pass on their responsibilities to third parties.

qui refilent leurs responsabilités à des prestataires.

It's an outsourcing of the outsourcing of the outsourcing,

C'est de la sous-traitance de sous-traitance de sous-traitance

which takes place.

qui a lieu.

With social networks,

Avec les réseaux sociaux,

we are dealing with a completely new infrastructure,

nous faisons face à une structure complètement nouvelle

with its own mechanisms,

avec ses propres mécanismes,

its own logic of action

sa propre logique de fonctionnement

and therefore, also, its own new dangers,

et de ce fait, également ses propres dangers

which had not yet existed in the predigitalized public sphere.

qui n'existaient pas encore dans la sphère publique pré-numérique.

HB: When Mark Zuckerberg was at the US Congress

HB : Quand Mark Zuckerberg était au Congrès américain

or at the European Parliament,

ou au Parlement européen,

he was confronted with all kinds of critics.

il a été confronté à tous genres de critiques.

And his reaction was always the same:

Sa réaction était toujours la même :

"We will fix that,

« Nous arrangerons cela

and I will follow up on that with my team."

et je vais en assurer le suivi avec mon équipe. »

But such a debate shouldn't be held in back rooms of Facebook,

Mais un tel débat ne devra pas se tenir dans une arrière-salle de Facebook,

Twitter or Google --

Twitter ou Google --

such a debate should be openly discussed in new, cosmopolitan parliaments,

un tel débat devrait être ouvertement discuté

dans de nouveaux parlements cosmopolites,

in new institutions that reflect the diversity of people

dans de nouvelles institutions reflétant la diversité des gens

contributing to a utopian project of a global network.

contribuant au projet utopique d'un réseau mondial.

And while it may seem impossible to consider the values

Si cela peut sembler impossible de considérer les valeurs

of users worldwide,

des utilisateurs à travers le monde,

it's worth believing

cela vaut la peine de croire

that there's more that connects us than separates us.

qu'il y a plus de choses qui nous lient que de choses qui nous séparent.

MR: Yeah, at a time when populism is gaining strength,

MR : A une époque où le populisme gagne en vigueur,

it becomes popular to justify the symptoms,

il devient populaire de justifier les symptômes,

to eradicate them,

de les éradiquer,

to make them invisible.

de les rendre invisibles.

This ideology is spreading worldwide,

Cette idéologie se propage à travers le monde,

analog as well as digital,

analogue ainsi que numérique,

and it's our duty to stop it

et il est de notre devoir de l'arrêter

before it's too late.

avant qu'il ne soit trop tard.

The question of freedom and democracy

La question de la liberté et de la démocratie

must not only have these two options.

ne doit pas avoir seulement ces deux options.

HB: Delete.

HB : Supprimer.

MR: Or ignore.

MR : Ou ignorer.

HB: Thank you very much.

HB : Merci beaucoup.

(Applause)

(Applaudissements)