The price of a "clean" internet | Hans Block and Moritz Riesewieck

Tradutor: Maria Aparecida de Rodrigues Machado Revisora: Margarida Ferreira

[This talk contains mature content]

[Esta palestra contém conteúdo para adultos]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewick: Em 23 de março de 2013,

users worldwide discovered in their news feed

utilizadores do mundo inteiro descobriram no seu "feed" de notícias

a video of a young girl being raped by an older man.

um vídeo de uma menina a ser violada por um homem mais velho.

Before this video was removed from Facebook,

Antes de esse vídeo ser removido do Facebook,

it was already shared 16,000 times,

já tinha sido partilhado 16 000 vezes

and it was even liked 4,000 times.

e tinha recebido 4000 "likes".

This video went viral and infected the net.

O vídeo tornou-se viral e espalhou-se pela Internet.

Hans Block: And that was the moment we asked ourselves

Hans Block: Foi nesse momento que nos perguntámos:

how could something like this get on Facebook?

Como algo assim pode aparecer no Facebook?

And at the same time, why don't we see such content more often?

Ao mesmo tempo, porque não vemos esse tipo de conteúdo com maior frequência?

After all, there's a lot of revolting material online,

Afinal, há muitos conteúdos revoltantes na Internet,

but why do we so rarely see such crap on Facebook, Twitter or Google?

mas porque é raro vermos essa porcaria no Facebook, no Twitter ou no Google?

MR: While image-recognition software

MR: Embora os "softwares" de reconhecimento facial

can identify the outlines of sexual organs,

possam identificar os contornos de órgãos sexuais,

blood or naked skin in images and videos,

de sangue ou de pele nua em imagens e vídeos,

it has immense difficulties to distinguish pornographic content

eles têm grande dificuldade em distinguir conteúdo pornográfico

from holiday pictures, Adonis statues

de fotos de férias, de estátuas de Adónis

or breast-cancer screening campaigns.

ou de campanhas de combate ao cancro da mama.

It can't distinguish Romeo and Juliet dying onstage

Não conseguem distinguir Romeu e Julieta a morrer no palco

from a real knife attack.

de um esfaqueamento real.

It can't distinguish satire from propaganda

Não conseguem diferenciar entre sátira e propaganda

or irony from hatred, and so on and so forth.

ou entre ironia e ódio, e assim por diante.

Therefore, humans are needed to decide

Assim sendo, as pessoas precisam de decidir

which of the suspicious content should be deleted,

qual o conteúdo suspeito que deve ser apagado,

and which should remain.

e qual o que deve permanecer.

Humans whom we know almost nothing about,

Pessoas, a respeito das quais nada sabemos

because they work in secret.

porque trabalham em segredo.

They sign nondisclosure agreements,

Assinam contratos de confidencialidade,

which prohibit them from talking and sharing

que lhes proíbem falar e partilhar

what they see on their screens and what this work does to them.

o que eles veem nos ecrãs e o que esse trabalho lhes faz.

They are forced to use code words in order to hide who they work for.

São forçados a usar códigos para esconder para quem trabalham.

They are monitored by private security firms

São monitorados por empresas privadas de segurança

in order to ensure that they don't talk to journalists.

para assegurarem que não falem com jornalistas.

And they are threatened by fines in case they speak.

E são ameaçados com multas, caso falem.

All of this sounds like a weird crime story,

Isso parece uma esquisita história criminal,

but it's true.

mas é verdade.

These people exist,

Essas pessoas existem,

and they are called content moderators.

e chamam-se "moderadores de conteúdos".

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: Nós somos os realizadores do documentário "The Cleaners",

and we would like to take you

e gostaríamos de vos levar

to a world that many of you may not know yet.

a um mundo que muitos de vocês desconhecem.

Here's a short clip of our film.

Eis um pequeno excerto do nosso filme.

(Vídeo)

(Music)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

Tenho de ficar anónimo, porque assinei um contrato.

We are not allowed to declare whom we are working with.

Não podemos dizer para quem trabalhamos.

The reason why I speak to you

Estou a falar com vocês

is because the world should know that we are here.

porque o mundo precisa de saber que existimos.

There is somebody who is checking the social media.

Há alguém que está a vigiar as redes sociais.

We are doing our best to make this platform

Estamos a fazer o nosso melhor para tornar esta plataforma,

safe for all of them.

segura para toda a gente.

Delete.

Apagar.

Ignore.

Ignorar.

Delete.

Apagar.

Ignore.

Ignorar.

Delete.

Apagar.

Ignore.

Ignorar.

Ignore.

Ignorar.

Delete.

Apagar.

HB: The so-called content moderators

HB: Os chamados moderadores de conteúdo

don't get their paychecks from Facebook, Twitter or Google themselves,

não são pagos pelo Facebook, pelo Twitter ou pelo Google.

but from outsourcing firms around the world

mas por empresas contratadas no mundo inteiro,

in order to keep the wages low.

para manter os salários baixos.

Tens of thousands of young people

Dezenas de milhares de jovens

looking at everything we are not supposed to see.

que olham para todas as coisas que não devemos ver.

And we are talking about decapitations, mutilations,

Estamos a falar de decapitações, de mutilações,

executions, necrophilia, torture, child abuse.

de execuções, de necrofilia, de tortura, de abuso infantil.

Thousands of images in one shift --

Milhares de imagens num turno de trabalho

ignore, delete, day and night.

— ignorar, apagar, dia e noite.

And much of this work is done in Manila,

Muito deste trabalho é feito em Manila,

where the analog toxic waste from the Western world

para onde o lixo analógico do Ocidente

was transported for years by container ships,

foi embarcado em contentores durante anos.

now the digital waste is dumped there via fiber-optic cable.

Agora o lixo digital é atirado para ali, por cabo de fibra ótica.

And just as the so-called scavengers

Tal como os catadores de lixo

rummage through gigantic tips on the edge of the city,

vasculham pilhas gigantes na periferia da cidade,

the content moderators click their way through an endless toxic ocean

os moderadores de conteúdo clicam através de um oceano tóxico infinito

of images and videos and all manner of intellectual garbage,

de imagens e vídeos e todo o tipo de lixo intelectual,

so that we don't have to look at it.

para não termos de olhar para isso.

MR: But unlike the wounds of the scavengers,

MR: Mas ao contrário das feridas dos catadores,

those of the content moderators remain invisible.

as dos moderadores de conteúdo permanecem invisíveis.

Full of shocking and disturbing content,

Repletos de conteúdos chocantes e perturbadores,

these pictures and videos burrow into their memories

essas fotos e vídeos ficam marcadas na memória deles,

where, at any time, they can have unpredictable effects:

onde, em qualquer momento, podem ter efeitos imprevisíveis:

eating disorders, loss of libido,

distúrbios alimentares, perda de líbido,

anxiety disorders, alcoholism,

ansiedade, alcoolismo,

depression, which can even lead to suicide.

depressão, que até podem levar ao suicídio.

The pictures and videos infect them,

As imagens e vídeos infetam-nos,

and often never let them go again.

e frequentemente nunca os abandonam.

If they are unlucky, they develop post-traumatic stress disorders,

Se não tiverem sorte, desenvolvem "stress" pós-traumático,

like soldiers after war missions.

como soldados após missões de guerra.

In our film, we tell the story of a young man

No nosso filme, contamos a história de um jovem

who had to monitor livestreams of self-mutilations and suicide attempts,

que tinha de monitorar vídeos de automutilações e tentativas de suicídio,

again and again,

repetidamente,

and who eventually committed suicide himself.

e que acabou por se suicidar.

It's not an isolated case, as we've been told.

Não é um caso isolado, como viemos a saber.

This is the price all of us pay

Este é o preço que todos pagamos

for our so-called clean and safe and "healthy"

para os ambientes dos "media" sociais

environments on social media.

a que chamamos limpos, seguros e "saudáveis".

Never before in the history of mankind

Nunca na história da humanidade

has it been easier to reach millions of people around the globe

foi tão fácil alcançar milhares de pessoas do globo inteiro,

in a few seconds.

em poucos segundos.

What is posted on social media spreads so quickly,

O que é publicado nas redes sociais propaga-se muito rapidamente,

becomes viral and excites the minds of people all around the globe.

torna-se viral e excita as mentes das pessoas no mundo inteiro.

Before it is deleted,

Antes de ser eliminado

it is often already too late.

em geral, já é tarde demais.

Millions of people have already been infected

Milhões de pessoas já foram infetadas

with hatred and anger,

com ódio e raiva,

and they either become active online,

e podem tornar-se ativas "online",

by spreading or amplifying hatred,

espalhando e amplificando o ódio,

or they take to the streets and take up arms.

ou invadir as ruas e pegar em armas.

HB: Therefore, an army of content moderators

HB: Um exército de moderadores de conteúdos

sit in front of a screen to avoid new collateral damage.

sentados em frente de um ecrã para evitar novos danos colaterais.

And they are deciding, as soon as possible,

Decidem, o mais depressa possível,

whether the content stays on the platform -- ignore;

se o conteúdo permanece na plataforma — ignorar —

or disappears -- delete.

ou se o conteúdo desaparece — apagar.

But not every decision is as clear

Mas nem todas as decisões são tão fáceis,

as the decision about a child-abuse video.

como a decisão sobre um vídeo de abuso infantil.

What about controversial content, ambivalent content,

O que se passa quanto ao conteúdo controverso e ambivalente,

uploaded by civil rights activists or citizen journalists?

publicado por ativistas de direitos civis ou por cidadãos?

The content moderators often decide on such cases

Os moderadores de conteúdos decidem sobre esses casos

at the same speed as the [clear] cases.

com a mesma velocidade dos casos "fáceis".

MR: We will show you a video now,

MR: Vamos mostrar um vídeo

and we would like to ask you to decide:

e pedirmos que decidam:

Would you delete it,

Vocês apagá-lo-iam?

or would you not delete it?

Ou não o apagavam?

(Video) (Air strike sounds)

(Vídeo)

(Explosion)

(Explosão)

(Pessoas a falar árabe)

(People speaking in Arabic)

MR: Yeah, we did some blurring for you.

MR: Esfumámos a imagem para vocês.

A child would potentially be dangerously disturbed

Uma criança podia ficar muito perturbada

and extremely frightened by such content.

e muito assustada com este conteúdo.

So, you rather delete it?

Então, vocês apagá-lo-iam?

But what if this video could help investigate the war crimes in Syria?

E se este vídeo ajudasse a investigar crimes de guerra na Síria?

What if nobody would have heard about this air strike,

E se ninguém soubesse deste ataque aéreo

because Facebook, YouTube, Twitter would have decided to take it down?

porque o Facebook, o Youtube, e o Twitter decidiram eliminá-lo?

Airwars, a nongovernmental organization based in London,

A Airwars, uma ONG londrina

tries to find those videos as quickly as possible

tenta encontrar esses vídeos o mais depressa possível

whenever they are uploaded to social media,

sempre que são publicados nas redes sociais

in order to archive them.

para poder arquivá-los.

Because they know, sooner or later,

Porque sabem que, mais cedo ou mais tarde,

Facebook, YouTube, Twitter would take such content down.

o Facebook, o YouTube, o Twitter eliminam esse conteúdo.

People armed with their mobile phones

Pessoas armadas com os seus telemóveis

can make visible what journalists often do not have access to.

divulgam coisas a que os jornalistas nem sempre têm acesso.

Civil rights groups often do not have any better option

Grupos de ação civil em geral não têm uma opção melhor

to quickly make their recordings accessible to a large audience

para tornarem as suas gravações acessíveis ao grande público

than by uploading them to social media.

do que publicá-las nas redes sociais.

Wasn't this the empowering potential the World Wide Web should have?

Isto não é um potencial fator de poder que a rede devia ter?

Weren't these the dreams

Não eram esses os sonhos

people in its early stages had about the World Wide Web?

que as pessoas tinham sobre a Internet?

Can't pictures and videos like these

Essas fotos e vídeos não deveriam

persuade people who have become insensitive to facts

persuadir as pessoas que se tornaram insensíveis aos factos

to rethink?

a repensarem?

HB: But instead, everything that might be disturbing is deleted.

HB: Mas o que pode ser incómodo é apagado.

And there's a general shift in society.

E a sociedade está a mudar.

Media, for example, more and more often use trigger warnings

Os "media", por exemplo, vêm usando alertas

at the top of articles

colocados no topo de artigos

which some people may perceive as offensive or troubling.

que as pessoas podem achar ofensivos ou perturbadores.

Or more and more students at universities in the United States

Ou cada vez mais universitários norte-americanos

demand the banishment of antique classics

querem que sejam banidos do programa de obras clássicas

which depict sexual violence or assault from the curriculum.

que apresentam violência ou assédio sexual.

But how far should we go with that?

Mas até onde devemos levar isso?

Physical integrity is guaranteed as a human right

A integridade física é um direito humano

in constitutions worldwide.

garantido nas Constituições ao redor do mundo.

In the Charter of Fundamental Rights of the European Union,

Entre os Direitos Fundamentais da União Europeia,

esse direito aplica-se expressamente à integridade mental.

this right expressly applies to mental integrity.

But even if the potentially traumatic effect

Mas mesmo que o efeito potencialmente traumático

of images and videos is hard to predict,

de imagens e vídeos seja difícil de prever

do we want to become so cautious

será que queremos ser tão cautelosos

that we risk losing social awareness of injustice?

que percamos a consciência da injustiça?

So what to do?

Então o que fazer?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg afirmou

the users, we, or almost everybody,

que, no futuro, nós, utilizadores, ou todo mundo

will decide individually

decidiremos individualmente

what they would like to see on the platform,

o que queremos ver nas plataformas

by personal filter settings.

por meio de filtros pessoais.

So everyone could easily claim to remain undisturbed

Poderemos optar por não nos incomodarmos

by images of war or other violent conflicts, like ...

com imagens de guerra e violência, como...

MR: I'm the type of guy who doesn't mind seeing breasts

MR: Sou o tipo de pessoa que não se importa de ver seios

and I'm very interested in global warming,

e me interesso muito pelo aquecimento global

but I don't like war so much.

mas não gosto muito de guerra...

HB: Yeah, I'm more the opposite,

HB: Pois, mas eu sou o oposto,

I have zero interest in naked breasts or naked bodies at all.

zero interesse em seios e corpos nus,

mas porque não armas? Eu gosto de armas.

But why not guns? I like guns, yes.

MR: Come on, if we don't share a similar social consciousness,

MR: Espera aí. Se não partilharmos uma mesma consciência social

how shall we discuss social problems?

como discutiremos problemas sociais?

How shall we call people to action?

Como chamaremos as pessoas a agirem?

Even more isolated bubbles would emerge.

Surgiriam bolhas ainda mais isoladas.

One of the central questions is: "How, in the future,

Uma das questões centrais é:

"Como é que, no futuro, a liberdade de expressão será ponderada com a proteção individual?"

freedom of expression will be weighed against the people's need for protection."

It's a matter of principle.

É uma questão de princípios.

Do we want to design an either open or closed society

Vamos projetar uma sociedade aberta ou fechada

for the digital space?

ao espaço digital?

Em suma, "liberdade ou segurança?".

At the heart of the matter is "freedom versus security."

Facebook has always wanted to be a "healthy" platform.

O Facebook sempre quis ser uma plataforma "saudável".

Above all, users should feel safe and secure.

Acima de tudo, os utilizadores deviam sentir-se seguros.

It's the same choice of words

É a mesma escolha de palavras

the content moderators in the Philippines used

que os moderadores de conteúdo filipinos usaram

in a lot of our interviews.

em muitas das nossas entrevistas.

(Video) The world that we are living in right now,

[Vídeo]

Acho que o mundo em que vivemos não é muito saudável.

I believe, is not really healthy.

(Music)

In this world, there is really an evil who exists.

Neste mundo existe um mal.

(Music)

We need to watch for it.

Precisamos de estar atentos.

(Music)

We need to control it -- good or bad.

Precisamos de controlá-lo — bom ou mau.

(Music)

[Look up, Young man! --God]

[Olhe para cima, rapaz! — Deus]

MR: For the young content moderators in the strictly Catholic Philippines,

MR: Para os jovens moderadores nas Filipinas, um país católico,

this is linked to a Christian mission.

isto está ligado a uma missão cristã:

To counter the sins of the world

combater os pecados do mundo

which spread across the web.

que se espalham pela Internet.

"Cleanliness is next to godliness,"

" A pureza está perto da divindade"

is a saying everybody in the Philippines knows.

é um ditado que todos os filipinos conhecem.

HB: And others motivate themselves

HB: E outros encontram motivação,

by comparing themselves with their president, Rodrigo Duterte.

comparando-se a Rodrigo Duterte.

He has been ruling the Philippines since 2016,

o Presidente das Filipinas desde 2016,

and he won the election with the promise: "I will clean up."

que ganhou a eleição com o lema: "Eu limparei".

And what that means is eliminating all kinds of problems

Isso significa acabar com todos os problemas

by literally killing people on the streets

literalmente matando pessoas nas ruas,

who are supposed to be criminals, whatever that means.

suspeitas de serem criminosas, seja lá o que isso for.

And since he was elected,

E desde que foi eleito,

an estimated 20,000 people have been killed.

já foram mortas cerca de 20 000 pessoas.

And one moderator in our film says,

Um moderador diz no nosso filme:

"What Duterte does on the streets,

"O que Duterte faz nas ruas,

I do for the internet."

"eu faço na Internet".

And here they are, our self-proclaimed superheroes,

E eis que eles, os heróis autoproclamados

who enforce law and order in our digital world.

garantem a lei e a ordem no nosso mundo digital.

They clean up, they polish everything clean,

Eles limpam tudo com esmero,

they free us from everything evil.

livram-nos de todo o mal.

Tasks formerly reserved to state authorities

As tarefas antes reservadas a autoridades do Estado

foram assumidas por universitários com 20 anos

have been taken over by college graduates in their early 20s,

equipped with three- to five-day training --

munidos de uma formação de três a cinco dias

this is the qualification --

— é essa a qualificação —

who work on nothing less than the world's rescue.

que trabalham em nada menos do que salvar o mundo.

MR: National sovereignties have been outsourced to private companies,

MR: A soberania nacional foi entregue a empresas privadas

and they pass on their responsibilities to third parties.

que entregam a terceiros essa responsabilidade.

It's an outsourcing of the outsourcing of the outsourcing,

É uma sucessão de entregas de responsabilidade

which takes place.

o que está a ocorrer.

With social networks,

Com as redes sociais,

we are dealing with a completely new infrastructure,

há uma infraestrutura totalmente nova

with its own mechanisms,

com os seus próprios mecanismos

its own logic of action

a sua própria lógica de ação

and therefore, also, its own new dangers,

e, assim, os seus próprios perigos,

which had not yet existed in the predigitalized public sphere.

que não existiam na esfera pública pré-digital.

HB: When Mark Zuckerberg was at the US Congress

HB: Quando Mark Zuckerberg foi ao Congresso dos EUA

or at the European Parliament,

ou ao Parlamento Europeu

he was confronted with all kinds of critics.

foi confrontado com todo o tipo de críticas.

And his reaction was always the same:

A sua reação foi sempre a mesma:

"We will fix that,

"Vamos consertar isso,

and I will follow up on that with my team."

"vou acompanhar isso com a minha equipa".

But such a debate shouldn't be held in back rooms of Facebook,

Mas tal debate não deveria ocorrer nos bastidores do Facebook,

Twitter or Google --

do Twitter ou do Google,

such a debate should be openly discussed in new, cosmopolitan parliaments,

mas sim abertamente, em novos parlamentos cosmopolitas,

in new institutions that reflect the diversity of people

em novas instituições que refletissem a diversidade das pessoas,

contributing to a utopian project of a global network.

contribuindo para um projeto utópico de uma rede global.

And while it may seem impossible to consider the values

Embora pareça impossível levar em conta os valores

of users worldwide,

dos utilizadores do mundo inteiro,

it's worth believing

vale a pena acreditar

that there's more that connects us than separates us.

que há mais coisas que nos unem do que as que nos separam.

MR: Yeah, at a time when populism is gaining strength,

MR: Sim, numa época em que o populismo ganha força,

it becomes popular to justify the symptoms,

tornou-se comum justificar os sintomas,

to eradicate them,

para os erradicar,

to make them invisible.

para os tornar invisíveis.

This ideology is spreading worldwide,

Esta ideologia espalha-se pelo mundo,

analog as well as digital,

tanto analógico como digital,

and it's our duty to stop it

e é nosso dever impedi-la

before it's too late.

antes que seja tarde demais.

The question of freedom and democracy

A questão da liberdade e da democracia

must not only have these two options.

não pode ter somente essas duas opções.

HB: Delete.

HB: Eliminar...

MR: Or ignore.

MR: ... ou ignorar.

HB: Thank you very much.

HB: Muito obrigado.

(Applause)

(Aplausos)