The price of a "clean" internet | Hans Block and Moritz Riesewieck

Traductor: Lidia Cámara de la Fuente Revisor: Paula Motter

[This talk contains mature content]

[Esta charla incluye contenido para adultos]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewieck: El 23 de marzo de 2013,

users worldwide discovered in their news feed

usuarios en todo el mundo descubrieron en su servicio de noticias

a video of a young girl being raped by an older man.

el video de una joven que era violada por un hombre mayor.

Before this video was removed from Facebook,

Antes de que este video fuera retirado de Facebook,

it was already shared 16,000 times,

ya se había compartido 16 000 veces,

and it was even liked 4,000 times.

e incluso había recibido 4000 "Me gusta".

This video went viral and infected the net.

Este video se hizo viral e invadió la red.

Hans Block: And that was the moment we asked ourselves

Hans Block: Y ese fue el momento en que nos preguntamos:

how could something like this get on Facebook?

¿cómo podría algo así llegar a Facebook?

And at the same time, why don't we see such content more often?

Y, al mismo tiempo, ¿por qué no vemos contenido semejante más a menudo?

After all, there's a lot of revolting material online,

Después de todo, hay una gran cantidad de material repugnante en línea,

but why do we so rarely see such crap on Facebook, Twitter or Google?

pero ¿por qué tan pocas veces vemos basura en Facebook, Twitter o Google?

MR: While image-recognition software

MR: Aunque el software de reconocimiento de imágenes

can identify the outlines of sexual organs,

puede identificar el contorno de órganos sexuales,

blood or naked skin in images and videos,

sangre o piel desnuda en imágenes y videos,

it has immense difficulties to distinguish pornographic content

tiene inmensas dificultades para distinguir el contenido pornográfico

from holiday pictures, Adonis statues

de fotos de vacaciones, estatuas de Adonis

or breast-cancer screening campaigns.

o campañas de prevención del cáncer de mama.

It can't distinguish Romeo and Juliet dying onstage

No puede distinguir la escena de muerte entre Romeo y Julieta

from a real knife attack.

de un ataque real con arma blanca.

It can't distinguish satire from propaganda

No puede distinguir la sátira de la propaganda,

or irony from hatred, and so on and so forth.

ni la ironía del odio, y así sucesivamente.

Therefore, humans are needed to decide

Por lo tanto, se necesita la intervención humana

para decidir cuál de esos contenidos sospechosos debe eliminarse

which of the suspicious content should be deleted,

and which should remain.

y cuál deben permanecer.

Humans whom we know almost nothing about,

Son personas a las que apenas conocemos,

because they work in secret.

porque trabajan en secreto,

They sign nondisclosure agreements,

firman un acuerdo de confidencialidad,

which prohibit them from talking and sharing

que les prohíbe hablar y compartir

what they see on their screens and what this work does to them.

lo que ven en sus pantallas y lo que supone este trabajo para ellos.

They are forced to use code words in order to hide who they work for.

Están obligados a usar palabras codificadas

para ocultar para quién trabajan.

They are monitored by private security firms

Son supervisados por empresas de seguridad privada

in order to ensure that they don't talk to journalists.

para asegurarse de que no hablen con periodistas.

And they are threatened by fines in case they speak.

Y están amenazados con multas en caso de que hablen.

All of this sounds like a weird crime story,

Suena como una extraña historia policial,

but it's true.

pero es la verdad.

These people exist,

Estas personas existen,

and they are called content moderators.

y se llaman "moderadores de contenido".

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: Somos directores del documental "The Cleaners", o los limpiadores,

and we would like to take you

y nos gustaría llevarlos

to a world that many of you may not know yet.

a un mundo que muchos quizá desconocen todavía.

Here's a short clip of our film.

He aquí un breve clip de nuestro documental.

(Music)

(Música)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Video) Moderador: Tengo que estar en el anonimato, por un contrato firmado.

We are not allowed to declare whom we are working with.

No se nos permite revelar con quién estamos trabajando.

The reason why I speak to you

La razón por la que hablo

is because the world should know that we are here.

es porque el mundo debe saber que estamos aquí.

There is somebody who is checking the social media.

Hay alguien que controla las redes sociales.

We are doing our best to make this platform

Hacemos todo lo posible para que esta plataforma

safe for all of them.

sea segura para todos.

Delete.

Eliminar.

Ignore.

Ignorar.

Delete.

Eliminar.

Ignore.

Ignorar.

Delete.

Eliminar.

Ignore.

Ignorar.

Ignore.

Ignorar.

Delete.

Eliminar.

HB: The so-called content moderators

HB: Los llamados moderadores de contenido

don't get their paychecks from Facebook, Twitter or Google themselves,

no reciben su paga directamente de Facebook,Twitter o Google,

sino de empresas subcontratadas en todo el mundo

but from outsourcing firms around the world

in order to keep the wages low.

para mantener bajos los salarios.

Tens of thousands of young people

Hay decenas de miles de jóvenes

looking at everything we are not supposed to see.

que ven todo lo que se supone que no deben ver los demás.

And we are talking about decapitations, mutilations,

Y estamos hablando de decapitaciones, mutilaciones,

executions, necrophilia, torture, child abuse.

ejecuciones, necrofilia, tortura, abuso infantil.

Thousands of images in one shift --

Miles de imágenes por cada turno laboral:

ignore, delete, day and night.

ignorar, eliminar, día y noche.

And much of this work is done in Manila,

Y gran parte de este trabajo se hace en Manila,

where the analog toxic waste from the Western world

donde los residuos tóxicos analógicos del mundo occidental

desde hace años se llevan allí en buques portacontenedores.

was transported for years by container ships,

now the digital waste is dumped there via fiber-optic cable.

Ahora los residuos digitales se vierten allí mediante el cable de fibra óptica.

And just as the so-called scavengers

Y así como los llamados "carroñeros"

rummage through gigantic tips on the edge of the city,

hurgan en montañas gigantescas en la periferia de la ciudad,

the content moderators click their way through an endless toxic ocean

los moderadores se abren camino a golpe de clic por un océano sin fin

of images and videos and all manner of intellectual garbage,

de imágenes, videos tóxicos y todo tipo de basura intelectual,

so that we don't have to look at it.

para que no tengamos que verlo nosotros.

MR: But unlike the wounds of the scavengers,

MR: Pero a diferencia de las heridas de los carroñeros,

those of the content moderators remain invisible.

las de los moderadores de contenido permanecen invisibles.

Full of shocking and disturbing content,

Todo ese contenido impactante y perturbador,

these pictures and videos burrow into their memories

esas fotos y videos, penetran en sus memorias,

where, at any time, they can have unpredictable effects:

donde, en cualquier momento, pueden tener efectos impredecibles:

eating disorders, loss of libido,

trastornos de la alimentación, pérdida de la libido,

anxiety disorders, alcoholism,

trastornos de ansiedad, alcoholismo,

depression, which can even lead to suicide.

depresión, que puede incluso conducir al suicidio.

The pictures and videos infect them,

Las fotos y videos los infectan,

and often never let them go again.

y con frecuencia no se van de su memoria.

If they are unlucky, they develop post-traumatic stress disorders,

Si tienen mala suerte, desarrollan trastornos de estrés postraumático,

like soldiers after war missions.

como los soldados tras las misiones de guerra.

In our film, we tell the story of a young man

En nuestro documental, contamos la historia de un joven

who had to monitor livestreams of self-mutilations and suicide attempts,

que tuvo que supervisar videos de automutilaciones e intentos de suicidio,

again and again,

una y otra vez,

and who eventually committed suicide himself.

y que al final él mismo se suicidó.

It's not an isolated case, as we've been told.

No es un caso aislado, como se nos ha dicho.

This is the price all of us pay

Este es el precio que todos pagamos

for our so-called clean and safe and "healthy"

por tener un ambiente teóricamente limpio, seguro y "sano"

environments on social media.

en las redes sociales.

Never before in the history of mankind

Nunca antes en la historia de la humanidad

has it been easier to reach millions of people around the globe

ha sido más fácil llegar a millones de personas en todo el mundo

in a few seconds.

en unos pocos segundos.

What is posted on social media spreads so quickly,

Lo que se publica en las redes sociales, de manera rápida,

becomes viral and excites the minds of people all around the globe.

se convierte en viral y excita la mente de las personas en todo el mundo.

Before it is deleted,

Antes de eliminarlo,

it is often already too late.

a menudo es demasiado tarde.

Millions of people have already been infected

Millones de personas ya han sido infectadas

with hatred and anger,

con el odio y la ira,

and they either become active online,

quienes, o bien son activas en línea

by spreading or amplifying hatred,

mediante la difusión o la amplificación del odio,

or they take to the streets and take up arms.

o salen a la calle y toman las armas.

HB: Therefore, an army of content moderators

HB: Por eso, un ejército de moderadores de contenido

sit in front of a screen to avoid new collateral damage.

se sienta ante una pantalla para evitar nuevos daños colaterales.

And they are deciding, as soon as possible,

Y ellos deciden, tan pronto como sea posible,

whether the content stays on the platform -- ignore;

si el contenido permanece en la plataforma, es decir, lo ignoran,

or disappears -- delete.

o si desaparece, es decir, lo eliminan.

But not every decision is as clear

Pero no todas las decisiones son tan claras

as the decision about a child-abuse video.

como la decisión acerca de un video de abuso infantil.

What about controversial content, ambivalent content,

¿Qué pasa con el contenido controvertido, el contenido ambivalente,

uploaded by civil rights activists or citizen journalists?

subido por los defensores de derechos civiles o periodistas ciudadanos?

The content moderators often decide on such cases

Los moderadores de contenido a menudo deciden sobre estos casos

at the same speed as the [clear] cases.

a la misma velocidad que en los casos claros.

MR: We will show you a video now,

MR: Les mostraremos un video ahora,

and we would like to ask you to decide:

y nos gustaría pedirles que decidieran:

Would you delete it,

¿Lo eliminarían,

or would you not delete it?

o no lo eliminarían?

(Video) (Air strike sounds)

(Video) (Sonido de ataque aéreo)

(Explosion)

(Explosión)

(People speaking in Arabic)

(Personas que hablan en árabe)

MR: Yeah, we did some blurring for you.

MR: Hicimos que algunas partes quedaran borrosas adrede.

A child would potentially be dangerously disturbed

Un niño se vería perturbado peligrosamente

and extremely frightened by such content.

y muy asustado con dicho contenido.

So, you rather delete it?

Por lo tanto, ¿mejor eliminarlo?

But what if this video could help investigate the war crimes in Syria?

Pero ¿y si el video ayudara a investigar los crímenes de guerra en Siria?

What if nobody would have heard about this air strike,

¿Qué pasa si nadie se hubiera enterado de este ataque aéreo,

because Facebook, YouTube, Twitter would have decided to take it down?

porque Facebook, YouTube y Twitter decidieron eliminarlo?

Airwars, a nongovernmental organization based in London,

Airwars, una organización no gubernamental con sede en Londres,

tries to find those videos as quickly as possible

trata de encontrar esos videos lo antes posible

whenever they are uploaded to social media,

cada vez que se suben a las redes sociales,

in order to archive them.

con el fin de archivarlos.

Because they know, sooner or later,

Porque saben que, tarde o temprano,

Facebook, YouTube, Twitter would take such content down.

Facebook, YouTube o Twitter eliminarán dicho contenido de sus plataformas.

People armed with their mobile phones

Las personas armadas con sus teléfonos móviles

can make visible what journalists often do not have access to.

pueden hacer visible contenido al que los periodistas no suelen tener acceso.

Civil rights groups often do not have any better option

Los grupos de derechos civiles no tienen ninguna opción mejor

to quickly make their recordings accessible to a large audience

para hacer rápidamente accesibles sus grabaciones a una gran audiencia

than by uploading them to social media.

que subirlas a las redes sociales.

Wasn't this the empowering potential the World Wide Web should have?

¿No era ese el potencial de empoderamiento que la web debe tener?

Weren't these the dreams

¿No era este, en sus etapas iniciales,

people in its early stages had about the World Wide Web?

el sueño de las personas en torno a la web?

Can't pictures and videos like these

¿Pueden imágenes y videos como estos

persuade people who have become insensitive to facts

convencer a las personas que se han vuelto insensibles a los hechos

to rethink?

a reflexionar?

HB: But instead, everything that might be disturbing is deleted.

HB: Pero en vez de eso, todo lo que podría ser molesto se elimina.

And there's a general shift in society.

Y hay un cambio general en la sociedad.

Media, for example, more and more often use trigger warnings

Los medios de comunicación, por ejemplo, ponen más menudo notas de advertencia

at the top of articles

en la parte superior de los artículos,

which some people may perceive as offensive or troubling.

que algunas personas pueden percibir como ofensivo o preocupante.

Or more and more students at universities in the United States

O cada vez más estudiantes en las universidades de EE. UU.

demand the banishment of antique classics

exigen que se eliminen del plan de estudios los clásicos antiguos

which depict sexual violence or assault from the curriculum.

donde se represente la violencia sexual o el abuso.

But how far should we go with that?

Pero ¿hasta dónde deberíamos ir?

Physical integrity is guaranteed as a human right

La integridad física está garantizada como un derecho humano

in constitutions worldwide.

en las constituciones de todo el mundo.

In the Charter of Fundamental Rights of the European Union,

En la Carta de los Derechos Fundamentales de la Unión Europea,

this right expressly applies to mental integrity.

este derecho se aplica expresamente a la integridad psíquica.

But even if the potentially traumatic effect

Pero incluso si el efecto potencialmente traumático

of images and videos is hard to predict,

de imágenes y videos es difícil de predecir,

do we want to become so cautious

¿queremos llegar a ser tan cautelosos

that we risk losing social awareness of injustice?

de correr el riesgo de perder la conciencia social de la injusticia?

So what to do?

Entonces ¿qué hay que hacer?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg declaró recientemente que en el futuro,

the users, we, or almost everybody,

los usuarios, o casi todo el mundo,

will decide individually

decidirá de forma individual

what they would like to see on the platform,

lo que les gusta ver en la plataforma,

by personal filter settings.

mediante ajustes de filtros personales.

So everyone could easily claim to remain undisturbed

De este modo, todos podrían fácilmente permanecer imperturbables

by images of war or other violent conflicts, like ...

frente a imágenes de guerra u otros conflictos violentos, como...

MR: I'm the type of guy who doesn't mind seeing breasts

MR: Yo soy el tipo de persona a quien no le importa ver pechos

and I'm very interested in global warming,

y estoy muy interesado en el calentamiento global,

but I don't like war so much.

pero no me gusta la guerra.

HB: Sí, yo soy más bien lo contrario.

HB: Yeah, I'm more the opposite,

I have zero interest in naked breasts or naked bodies at all.

Tengo cero interés en senos o cuerpos desnudos.

But why not guns? I like guns, yes.

Pero ¿por qué no armas de fuego? Me gustan las armas, sí.

MR: Come on, if we don't share a similar social consciousness,

MR: Como ven, si no compartimos una conciencia social similar,

how shall we discuss social problems?

¿cómo vamos a debatir sobre los problemas sociales?

How shall we call people to action?

¿Cómo vamos a llamar a la gente a la acción?

Even more isolated bubbles would emerge.

Surgirían incluso más burbujas solitarias.

One of the central questions is: "How, in the future,

Una de las cuestiones centrales es: ¿Cómo, en el futuro,

freedom of expression will be weighed against the people's need for protection."

la libertad de expresión irá contra la necesidad de protección del pueblo?

It's a matter of principle.

Es una cuestión de principios.

Do we want to design an either open or closed society

¿Queremos diseñar una sociedad abierta o cerrada

for the digital space?

en el espacio digital?

At the heart of the matter is "freedom versus security."

En el meollo de la cuestión está en "la libertad frente a la seguridad".

Facebook has always wanted to be a "healthy" platform.

Facebook siempre ha querido ser una plataforma "sana".

Above all, users should feel safe and secure.

Por encima de todo, los usuarios deben sentirse seguros y protegidos.

It's the same choice of words

Es la misma elección de las palabras

the content moderators in the Philippines used

de los moderadores de contenido encuestados en las Filipinas

in a lot of our interviews.

en muchas de nuestras entrevistas.

(Video) The world that we are living in right now,

(Video) El mundo en el que vivimos ahora,

I believe, is not really healthy.

creo que, en realidad, no es sano.

(Music)

(Música)

In this world, there is really an evil who exists.

En este mundo existe un mal real.

(Music)

(Música)

We need to watch for it.

Tenemos que vigilarlo.

(Music)

(Música)

We need to control it -- good or bad.

Tenemos que controlar lo bueno y lo malo.

(Music)

(Música)

[Look up, Young man! --God]

[Mira hacia arriba. Dios]

MR: For the young content moderators in the strictly Catholic Philippines,

MR: Para los moderadores de contenido jóvenes en la muy católica Filipinas,

this is linked to a Christian mission.

su trabajo está vinculado a una misión cristiana

To counter the sins of the world

para contrarrestar los pecados del mundo

which spread across the web.

que se extienden a través de la web.

"Cleanliness is next to godliness,"

"La limpieza se aproxima a lo divino"

is a saying everybody in the Philippines knows.

es un dicho que en Filipinas todo el mundo sabe.

HB: And others motivate themselves

HB: Y otros se motivan

by comparing themselves with their president, Rodrigo Duterte.

comparándose con su presidente Rodrigo Duterte.

He has been ruling the Philippines since 2016,

Gobierna Filipinas desde 2016,

and he won the election with the promise: "I will clean up."

y ganó las elecciones con la promesa: "Voy a limpiar todo".

And what that means is eliminating all kinds of problems

Y lo que esto significa es eliminar todo tipo de problemas

by literally killing people on the streets

matando, literalmente, a la gente en las calles,

who are supposed to be criminals, whatever that means.

personas supuestamente delincuentes, o lo que eso signifique.

And since he was elected,

Y desde que fue elegido,

an estimated 20,000 people have been killed.

unas 20 000 personas han muerto.

And one moderator in our film says,

Y un moderador de nuestro documental dice:

"What Duterte does on the streets,

"Lo que hace Duterte en las calles,

I do for the internet."

yo lo hago en internet".

And here they are, our self-proclaimed superheroes,

Y aquí están, los autoproclamados superhéroes,

who enforce law and order in our digital world.

que hacen cumplir la ley y el orden en nuestro mundo digital.

They clean up, they polish everything clean,

Limpian, pulen y dejan todo impoluto,

they free us from everything evil.

para liberarnos de todo lo malo.

Tasks formerly reserved to state authorities

Tareas antes reservadas a las autoridades estatales

have been taken over by college graduates in their early 20s,

ahora las realizan graduados universitarios de 20 a 25 años,

equipped with three- to five-day training --

con solo tres a cinco días de entrenamiento,

this is the qualification --

que es el requisito

who work on nothing less than the world's rescue.

para trabajar en nada menos que el rescate del mundo.

MR: National sovereignties have been outsourced to private companies,

MR: Las soberanías nacionales están en manos de empresas privadas,

and they pass on their responsibilities to third parties.

y derivan sus responsabilidades a terceras partes.

Es una subcontratación de la subcontratación de la subcontratación

It's an outsourcing of the outsourcing of the outsourcing,

which takes place.

lo que está ocurriendo.

With social networks,

Con las redes sociales,

we are dealing with a completely new infrastructure,

se trata de una infraestructura completamente nueva,

with its own mechanisms,

con sus propios mecanismos,

its own logic of action

su propia lógica de acción

and therefore, also, its own new dangers,

y por lo tanto, también, sus propios nuevos peligros,

which had not yet existed in the predigitalized public sphere.

que no existían en la esfera pública predigitalizada.

HB: When Mark Zuckerberg was at the US Congress

HB: Cuando Mark Zuckerberg estuvo en el Congreso de EE. UU.

or at the European Parliament,

o en el Parlamento Europeo,

he was confronted with all kinds of critics.

debió enfrentarse a todo tipo de críticos.

And his reaction was always the same:

Y su reacción era siempre la misma:

"We will fix that,

"Vamos a solucionarlo,

and I will follow up on that with my team."

y voy a hacer un seguimiento con mi equipo".

But such a debate shouldn't be held in back rooms of Facebook,

Pero tal debate no debería celebrarse en la trastienda de Facebook,

Twitter or Google --

Twitter o Google.

such a debate should be openly discussed in new, cosmopolitan parliaments,

Ese debate debe discutirse abiertamente en nuevos parlamentos cosmopolitas,

in new institutions that reflect the diversity of people

en nuevas instituciones que reflejen la diversidad de personas

contributing to a utopian project of a global network.

que contribuyan al proyecto utópico de una red global.

And while it may seem impossible to consider the values

Y si bien puede parecer imposible el tener en cuenta los valores

of users worldwide,

de los usuarios en todo el mundo,

it's worth believing

vale la pena creer

that there's more that connects us than separates us.

que es más lo que nos une que lo que nos separa.

MR: Yeah, at a time when populism is gaining strength,

MR: Sí, en un momento en que el populismo está tomando fuerza,

it becomes popular to justify the symptoms,

se hace popular el justificar los síntomas,

to eradicate them,

erradicarlos,

to make them invisible.

para hacerlos invisibles.

This ideology is spreading worldwide,

Esta ideología se está extendiendo en todo el mundo,

analog as well as digital,

tanto analógico como digital,

and it's our duty to stop it

y es nuestro deber detenerla

before it's too late.

antes de que sea demasiado tarde.

The question of freedom and democracy

La cuestión de la libertad y la democracia

must not only have these two options.

no solo debe tener estas dos opciones:

HB: Delete.

HB: Eliminar...

MR: Or ignore.

MR: O ignorar.

HB: Thank you very much.

HB: Muchas gracias.

(Applause)

(Aplausos)