The price of a "clean" internet | Hans Block and Moritz Riesewieck

Tradutor: Larissa Toyohara Revisor: Maricene Crus

[This talk contains mature content]

[Esta palestra apresenta conteúdo adulto]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewieck: Em 23 de março de 2013,

users worldwide discovered in their news feed

usuários do mundo todo viram em seu "feed" de notícias,

a video of a young girl being raped by an older man.

um vídeo de uma garota jovem sendo estuprada por um homem mais velho.

Before this video was removed from Facebook,

Antes de o vídeo ser removido do Facebook,

it was already shared 16,000 times,

ele foi compartilhado 16 mil vezes

and it was even liked 4,000 times.

e ainda recebeu 4 mil curtidas.

This video went viral and infected the net.

Esse vídeo "viralizou" e infectou a rede.

Hans Block: And that was the moment we asked ourselves

Hans Block: E esse foi o momento em que nos perguntamos:

how could something like this get on Facebook?

como algo assim pôde aparecer no Facebook?

And at the same time, why don't we see such content more often?

E, ao mesmo tempo, por que não vemos esse tipo de conteúdo com mais frequência?

After all, there's a lot of revolting material online,

Afinal, há muito material repugnante na internet,

but why do we so rarely see such crap on Facebook, Twitter or Google?

mas por que raramente vemos tais porcarias no Facebook, Twitter ou Google?

MR: While image-recognition software

MR: Embora o software de reconhecimento de imagem

can identify the outlines of sexual organs,

possa identificar traços de órgãos sexuais,

blood or naked skin in images and videos,

sangue ou pele nua exposta em imagens e vídeos,

it has immense difficulties to distinguish pornographic content

ele tem uma dificuldade enorme em distinguir conteúdo pornográfico

from holiday pictures, Adonis statues

de fotos de viagem, estátuas de Adonis

or breast-cancer screening campaigns.

ou campanhas de prevenção do câncer de mama.

It can't distinguish Romeo and Juliet dying onstage

Ele não consegue distinguir Romeu e Julieta morrendo no palco

from a real knife attack.

de um verdadeiro ataque com faca.

It can't distinguish satire from propaganda

Não consegue distinguir sátira de propaganda

or irony from hatred, and so on and so forth.

ou ironia de ódio, e por aí vai.

Therefore, humans are needed to decide

Portanto, cabe aos seres humanos decidir

which of the suspicious content should be deleted,

qual dos conteúdos suspeitos deve ser excluído e qual deve ser mantido.

and which should remain.

Humans whom we know almost nothing about,

Sabemos muito pouco sobre essas pessoas, porque elas trabalham em sigilo.

because they work in secret.

They sign nondisclosure agreements,

Elas assinam acordos de confidencialidade,

which prohibit them from talking and sharing

que as proíbem de falar e compartilhar o que veem na tela delas

what they see on their screens and what this work does to them.

e o que este trabalho as faz sentir.

They are forced to use code words in order to hide who they work for.

São forçadas a usar palavras de código para esconder para quem trabalham.

They are monitored by private security firms

São monitoradas por firmas de segurança privada

in order to ensure that they don't talk to journalists.

para garantir que elas não falarão com jornalistas.

And they are threatened by fines in case they speak.

E são ameaçadas por multas, caso falem.

All of this sounds like a weird crime story,

Parece ser uma história estranha de crime,

but it's true.

mas é verdadeira.

These people exist,

Essas pessoas existem e são chamadas de moderadores de conteúdo.

and they are called content moderators.

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: Nós somos os diretores do documentário "The Cleaners"

and we would like to take you

e gostaríamos de levá-los a um mundo que muitos de vocês ainda desconhecem.

to a world that many of you may not know yet.

Here's a short clip of our film.

Eis um pequeno clipe do nosso filme.

(Music)

(Música)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Vídeo) Moderador: Precisamos manter anonimato porque assinamos um contrato.

We are not allowed to declare whom we are working with.

Não somos permitidos a anunciar para quem estamos trabalhando.

The reason why I speak to you

Estou falando com vocês

is because the world should know that we are here.

porque o mundo precisa saber que estamos aqui.

There is somebody who is checking the social media.

Alguém está verificando as mídias sociais.

We are doing our best to make this platform

Estamos fazendo o melhor para tornar essa plataforma segura para todos.

safe for all of them.

Delete.

Excluir.

Ignore.

Ignorar.

Delete.

Excluir.

Ignore.

Ignorar.

Delete.

Excluir.

Ignore.

Ignorar.

Ignore.

Ignorar.

Delete.

Excluir.

HB: The so-called content moderators

HB: Os chamados moderadores de conteúdo

don't get their paychecks from Facebook, Twitter or Google themselves,

não recebem seus salários diretamente do Facebook, Twitter ou Google,

but from outsourcing firms around the world

mas de empresas de terceirização ao redor do mundo

in order to keep the wages low.

a fim de manter os baixos salários.

Tens of thousands of young people

Dezenas de milhares de jovens examinando tudo o que nós não deveríamos ver.

looking at everything we are not supposed to see.

And we are talking about decapitations, mutilations,

E estamos falando de decapitações, mutilações, execuções, necrofilia,

executions, necrophilia, torture, child abuse.

tortura, abuso infantil.

Thousands of images in one shift --

Milhares de imagens em um turno: ignorar, excluir, dia e noite.

ignore, delete, day and night.

And much of this work is done in Manila,

E muito disso é feito em Manila,

where the analog toxic waste from the Western world

para onde os resíduos tóxicos analógicos do Ocidente foram transportados

was transported for years by container ships,

por navios porta-contêineres durante anos,

now the digital waste is dumped there via fiber-optic cable.

agora os resíduos digitais são jogados lá através de cabos de fibra ótica.

And just as the so-called scavengers

E assim como os catadores vasculham montes gigantescos de lixo na periferia,

rummage through gigantic tips on the edge of the city,

the content moderators click their way through an endless toxic ocean

os moderadores de conteúdo clicam em um oceano tóxico sem fim

of images and videos and all manner of intellectual garbage,

de imagens, vídeos e toda a forma de lixo intelectual,

so that we don't have to look at it.

para que não precisemos olhar para isso.

MR: But unlike the wounds of the scavengers,

MR: Mas ao contrário dos catadores,

those of the content moderators remain invisible.

as feridas dos moderadores de conteúdo permanecem invisíveis.

Full of shocking and disturbing content,

Todo esse conteúdo chocante e perturbador

these pictures and videos burrow into their memories

de fotos e vídeos entram na memória deles

where, at any time, they can have unpredictable effects:

e, a qualquer momento, podem causar efeitos imprevisíveis:

eating disorders, loss of libido,

distúrbio alimentar, perda de libido,

anxiety disorders, alcoholism,

transtornos de ansiedade, alcoolismo,

depression, which can even lead to suicide.

depressão, que pode até levar ao suicídio.

The pictures and videos infect them,

Essas fotos e vídeos os contaminam, e muitas vezes nunca mais os deixam.

and often never let them go again.

If they are unlucky, they develop post-traumatic stress disorders,

Se não tiverem sorte, podem desenvolver transtorno de estresse pós-traumático,

like soldiers after war missions.

como soldados após missões de guerra.

In our film, we tell the story of a young man

Em nosso filme, contamos a história de um jovem

who had to monitor livestreams of self-mutilations and suicide attempts,

que tinha de monitorar transmissões ao vivo de automutilações

e tentativas de suicídio repetidas vezes,

again and again,

e que, por fim, acabou cometendo suicídio.

and who eventually committed suicide himself.

It's not an isolated case, as we've been told.

Não é um caso isolado, como nos disseram.

This is the price all of us pay

Esse é o preço que todos nós pagamos

for our so-called clean and safe and "healthy"

para termos mídias sociais consideradas limpas, seguras e "saudáveis".

environments on social media.

Never before in the history of mankind

Nunca antes na história da humanidade

has it been easier to reach millions of people around the globe

foi tão fácil atingir milhões de pessoas do mundo todo em poucos segundos.

in a few seconds.

What is posted on social media spreads so quickly,

O que é publicado nas redes sociais se espalha muito rapidamente,

becomes viral and excites the minds of people all around the globe.

se torna viral e excita a mente das pessoas em todo o mundo.

Before it is deleted,

Antes de ter sido excluído, muitas vezes já é tarde demais.

it is often already too late.

Millions of people have already been infected

Milhões de pessoas já foram afetadas pelo ódio e pela raiva

with hatred and anger,

and they either become active online,

ou se tornam ativas na rede espalhando ou ampliando o ódio

by spreading or amplifying hatred,

or they take to the streets and take up arms.

ou elas tomam as ruas à mão armada.

HB: Therefore, an army of content moderators

HB: Por isso, há um exército de moderadores de conteúdo

sit in front of a screen to avoid new collateral damage.

sentado em frente à tela para evitar novos danos colaterais.

And they are deciding, as soon as possible,

E eles decidem o mais rápido possível,

whether the content stays on the platform -- ignore;

se o conteúdo permanece na plataforma, ignorando-o,

or disappears -- delete.

ou se ele deve desaparecer, excluindo-o.

But not every decision is as clear

Mas nem toda decisão é tão clara como aquela sobre um vídeo de abuso infantil.

as the decision about a child-abuse video.

What about controversial content, ambivalent content,

O que dizer sobre conteúdos controversos ou ambivalentes

uploaded by civil rights activists or citizen journalists?

enviados por ativistas de direitos humanos ou pelo jornalismo cidadão?

The content moderators often decide on such cases

Os moderadores de conteúdo muitas vezes decidem sobre esses casos

at the same speed as the [clear] cases.

na mesma velocidade que os casos mais claros.

MR: We will show you a video now,

MR: Vamos mostrar um vídeo agora e pedimos que decidam:

and we would like to ask you to decide:

Would you delete it,

vocês o excluiriam ou não?

or would you not delete it?

(Video) (Air strike sounds)

(Vídeo) (Som de ataque aéreo)

(Explosion)

(Som de explosão)

(People speaking in Arabic)

(Pessoas falando em árabe)

MR: Yeah, we did some blurring for you.

MR: Desfocamos algumas imagens para mostrar a vocês.

A child would potentially be dangerously disturbed

Possivelmente, uma criança ficaria muito perturbada

and extremely frightened by such content.

e extremamente assustada com tal conteúdo.

So, you rather delete it?

Então, vocês prefeririam excluí-lo?

But what if this video could help investigate the war crimes in Syria?

Mas e se esse vídeo pudesse ajudar a investigar crimes de guerra na Síria?

What if nobody would have heard about this air strike,

E se ninguém ouvisse falar sobre esse ataque aéreo,

because Facebook, YouTube, Twitter would have decided to take it down?

porque o Facebook, Youtube, Twitter decidiram removê-lo?

Airwars, a nongovernmental organization based in London,

A Airwars, uma ONG sediada em Londres,

tries to find those videos as quickly as possible

tenta encontrar esses vídeos assim que são carregados nas mídias sociais,

whenever they are uploaded to social media,

in order to archive them.

para arquivá-los.

Because they know, sooner or later,

Porque eles sabem que, cedo ou tarde,

Facebook, YouTube, Twitter would take such content down.

o Facebook, Youtube, Twitter removeriam esses conteúdos.

People armed with their mobile phones

Pessoas armadas com seus celulares podem tornar visível

can make visible what journalists often do not have access to.

aquilo que jornalistas muitas vezes não têm acesso.

Civil rights groups often do not have any better option

Grupos de direitos humanos geralmente não têm uma opção melhor

to quickly make their recordings accessible to a large audience

para tornar seus registros rapidamente acessíveis a um grande público

than by uploading them to social media.

do que publicá-los nas redes sociais.

Wasn't this the empowering potential the World Wide Web should have?

Não era esse o potencial empoderador que a "World Wide Web" deveria ter?

Weren't these the dreams

Não era esse o sonho que as pessoas inicialmente tinham quanto à internet?

people in its early stages had about the World Wide Web?

Can't pictures and videos like these

Será que imagens e vídeos como esses não podem convencer as pessoas

persuade people who have become insensitive to facts

que se tornaram insensíveis aos fatos a repensar?

to rethink?

HB: But instead, everything that might be disturbing is deleted.

HB: Mas, em vez disso, tudo que pode ser perturbador é excluído.

And there's a general shift in society.

E há a mudança geral na sociedade.

Media, for example, more and more often use trigger warnings

Por exemplo, a mídia usa cada vez mais alertas de gatilho no início dos artigos

at the top of articles

which some people may perceive as offensive or troubling.

que algumas pessoas podem achar ofensivo ou problemático.

Or more and more students at universities in the United States

Cada vez mais estudantes nas universidades dos EUA demandam o banimento do currículo

demand the banishment of antique classics

de clássicos antigos que mostram violência ou assédio sexual.

which depict sexual violence or assault from the curriculum.

But how far should we go with that?

Mas até onde devemos ir com isso?

Physical integrity is guaranteed as a human right

A integridade física é um direito humano garantido por constituições no mundo todo.

in constitutions worldwide.

In the Charter of Fundamental Rights of the European Union,

Na Carta dos Direitos Fundamentais da União Europeia,

this right expressly applies to mental integrity.

esse direito expressamente se aplica à integridade mental.

But even if the potentially traumatic effect

Mas ainda que seja difícil prever o efeito potencialmente traumático das imagens,

of images and videos is hard to predict,

do we want to become so cautious

queremos mesmo nos tornar tão cautelosos

that we risk losing social awareness of injustice?

que arriscamos perder o senso de injustiça social?

So what to do?

Então o que fazer?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg declarou recentemente que, no futuro,

the users, we, or almost everybody,

nós, usuários deles, ou quase todo mundo

will decide individually

decidiremos individualmente o que queremos ver na plataforma,

what they would like to see on the platform,

através de filtros personalizados.

by personal filter settings.

So everyone could easily claim to remain undisturbed

Então, todos poderão facilmente optar por não serem perturbados

by images of war or other violent conflicts, like ...

por imagens de guerra ou outros conflitos violentos, como...

MR: I'm the type of guy who doesn't mind seeing breasts

MR: Eu sou o tipo de cara que não se importa em ver seios

and I'm very interested in global warming,

e tenho muito interesse em aquecimento global,

but I don't like war so much.

mas eu não gosto tanto de guerra.

HB: Yeah, I'm more the opposite,

HB: Sou o oposto, tenho zero interesse em seios ou sequer corpos nus.

I have zero interest in naked breasts or naked bodies at all.

But why not guns? I like guns, yes.

Mas por que não armas? Eu gosto de armas, sim.

MR: Come on, if we don't share a similar social consciousness,

MR: Fala sério, se não compartilhamos uma consciência social similar,

how shall we discuss social problems?

como vamos discutir problemas sociais?

How shall we call people to action?

Como vamos chamar as pessoas para agir?

Even more isolated bubbles would emerge.

Surgiriam ainda mais bolhas isoladas.

One of the central questions is: "How, in the future,

Uma das perguntas centrais é: "Como, no futuro, a liberdade de expressão

freedom of expression will be weighed against the people's need for protection."

será pesada contra a necessidade de proteção das pessoas?"

It's a matter of principle.

É uma questão de princípios.

Do we want to design an either open or closed society

Queremos criar uma sociedade aberta ou fechada para o espaço digital?

for the digital space?

At the heart of the matter is "freedom versus security."

O cerne da questão é "liberdade versus segurança".

Facebook has always wanted to be a "healthy" platform.

O Facebook sempre quis ser uma plataforma "saudável".

Above all, users should feel safe and secure.

Acima de tudo, os usuários devem se sentir seguros e protegidos.

It's the same choice of words

São as mesmas palavras

the content moderators in the Philippines used

que moderadores de conteúdo nas Filipinas usaram em muitas de nossas entrevistas.

in a lot of our interviews.

(Video) The world that we are living in right now,

(Vídeo) Homem: Acho que o mundo em que vivemos não é tão saudável.

I believe, is not really healthy.

(Music)

(Música)

In this world, there is really an evil who exists.

Nesse mundo, existe realmente um mal.

(Music)

(Música)

We need to watch for it.

Precisamos prestar atenção nisso.

(Music)

We need to control it -- good or bad.

Precisamos controlar isso, bom ou mau.

(Music)

(Música)

[Look up, Young man! --God]

["Olhe para cima, jovem!", Deus]

MR: For the young content moderators in the strictly Catholic Philippines,

MR: Para jovens moderadores nas Filipinas, um país estritamente católico,

this is linked to a Christian mission.

isso está ligado a uma missão cristã:

To counter the sins of the world

combater os pecados do mundo que se espalham pela internet.

which spread across the web.

"Cleanliness is next to godliness,"

"A pureza está ao lado da divindade" é um ditado popular nas Filipinas.

is a saying everybody in the Philippines knows.

HB: And others motivate themselves

HB: E outros se motivam comparando-se com seu presidente Rodrigo Duterte.

by comparing themselves with their president, Rodrigo Duterte.

He has been ruling the Philippines since 2016,

Ele governa as Filipinas desde 2016, e ganhou as eleições com a promessa:

and he won the election with the promise: "I will clean up."

"Farei a limpeza".

And what that means is eliminating all kinds of problems

Isso significa eliminar os problemas literalmente matando as pessoas nas ruas,

by literally killing people on the streets

who are supposed to be criminals, whatever that means.

que supostamente são criminosos, seja lá o que signifique isso.

And since he was elected,

Desde que foi eleito, uma estimativa de 20 mil pessoas foram mortas.

an estimated 20,000 people have been killed.

And one moderator in our film says,

Em nosso filme, um dos moderadores diz:

"What Duterte does on the streets,

"O que Duterte faz nas ruas, eu faço para a Internet".

I do for the internet."

And here they are, our self-proclaimed superheroes,

E aqui estão eles, nossos autoproclamados super-heróis,

who enforce law and order in our digital world.

que impõem lei e ordem em nosso mundo digital.

They clean up, they polish everything clean,

Eles deixam tudo limpo e nos libertam de todo o mal.

they free us from everything evil.

Tasks formerly reserved to state authorities

Tarefas que antes eram reservadas às autoridades do Estado,

have been taken over by college graduates in their early 20s,

foram assumidas por recém-graduados com 20 e poucos anos,

equipped with three- to five-day training --

qualificados com 3 a 5 dias de treinamento,

this is the qualification --

who work on nothing less than the world's rescue.

e que trabalham com nada menos que o resgate do mundo.

MR: National sovereignties have been outsourced to private companies,

MR: As soberanias nacionais foram terceirizadas a companhias privadas,

and they pass on their responsibilities to third parties.

que repassam a terceiros suas responsabilidades.

It's an outsourcing of the outsourcing of the outsourcing,

Ocorre uma terceirização da terceirização.

which takes place.

With social networks,

Com as redes sociais, estamos lidando com uma infraestrutura completamente nova,

we are dealing with a completely new infrastructure,

with its own mechanisms,

com mecanismos próprios, lógica de ação própria

its own logic of action

and therefore, also, its own new dangers,

e, portanto, novos perigos também,

which had not yet existed in the predigitalized public sphere.

que não existiam na esfera pública pré-digital.

HB: When Mark Zuckerberg was at the US Congress

HB: Quando Mark Zuckerberg esteve no Congresso norte-americano

or at the European Parliament,

ou no Parlamento Europeu,

he was confronted with all kinds of critics.

foi confrontado com todo tipo de crítica.

And his reaction was always the same:

E a reação dele foi sempre a mesma:

"We will fix that,

"Nós vamos consertar isso e vou acompanhar com a minha equipe".

and I will follow up on that with my team."

But such a debate shouldn't be held in back rooms of Facebook,

Mas tal debate não deveria ocorrer nos bastidores do Facebook,

Twitter or Google --

Twitter ou Google.

such a debate should be openly discussed in new, cosmopolitan parliaments,

Ele deveria ser discutido publicamente em novos parlamentos cosmopolitas,

in new institutions that reflect the diversity of people

em novas instituições que refletem a diversidade de pessoas,

contributing to a utopian project of a global network.

contribuindo para um projeto utópico de uma rede global.

And while it may seem impossible to consider the values

Mesmo que pareça impossível considerar os valores dos usuários do mundo todo,

of users worldwide,

it's worth believing

vale a pena acreditar que há mais daquilo que nos conecta do que nos separa.

that there's more that connects us than separates us.

MR: Yeah, at a time when populism is gaining strength,

MR: Sim, num momento em que o populismo ganha força,

it becomes popular to justify the symptoms,

torna-se "popular" justificar os sintomas, erradicá-los, e torná-los invisíveis.

to eradicate them,

to make them invisible.

This ideology is spreading worldwide,

Essa ideologia está se espalhando em todo o mundo, analógico e digital,

analog as well as digital,

and it's our duty to stop it

e é nosso dever impedir isso antes que seja tarde demais.

before it's too late.

The question of freedom and democracy

A questão da liberdade e democracia não pode ter só estas duas opções.

must not only have these two options.

HB: Delete.

HB: Excluir...

MR: Or ignore.

MR: Ou ignorar.

HB: Thank you very much.

HB: Muito obrigado.

(Applause)

(Aplausos)