The price of a "clean" internet | Hans Block and Moritz Riesewieck

Fordító: Maria Ruzsane Cseresnyes Lektor: Zsuzsa Viola

[This talk contains mature content]

[Felnőtt tartalom]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewieck: 2013. március 23-án

users worldwide discovered in their news feed

egy olyan videót találtak a felhasználók a hírfolyamukban szerte a világban,

a video of a young girl being raped by an older man.

amelyen egy idősebb férfi megerőszakol egy fiatal lányt.

Before this video was removed from Facebook,

Mielőtt a videót eltávolították volna a Facebookról,

it was already shared 16,000 times,

már 16 ezren megosztották,

and it was even liked 4,000 times.

és négyezren lájkolták is.

This video went viral and infected the net.

A videó terjedt, és megfertőzte a netet.

Hans Block: And that was the moment we asked ourselves

Hans Block: Ez volt az a pillanat, amikor megkérdeztük magunktól,

how could something like this get on Facebook?

hogyan kerülhet fel ilyesmi a Facebookra?

And at the same time, why don't we see such content more often?

És ugyanakkor miért nem látunk ilyen tartalmat még sokkal gyakrabban?

After all, there's a lot of revolting material online,

Elvégre sok visszataszító tartalom kering online,

but why do we so rarely see such crap on Facebook, Twitter or Google?

miért látunk ritkán ilyen ganét a Facebookon, Twitteren vagy Google-on?

MR: While image-recognition software

MR: Míg a képeken és videókon

can identify the outlines of sexual organs,

a képfelismerő szoftverek azonosítani tudják

blood or naked skin in images and videos,

a nemi szervek körvonalait, a vért vagy a meztelenséget,

it has immense difficulties to distinguish pornographic content

óriási nehézségeket jelent megkülönböztetni a pornográf tartalmat

from holiday pictures, Adonis statues

a nyaraláson készült képektől, egy Adonisz-szobortól

or breast-cancer screening campaigns.

vagy a mellrákszűrés kampányanyagától.

It can't distinguish Romeo and Juliet dying onstage

Nem tudják megkülönböztetni Rómeó és Júlia halálát a színpadon

from a real knife attack.

egy valódi késes támadástól.

It can't distinguish satire from propaganda

Nem tudnak különbséget tenni a szatíra és propaganda,

or irony from hatred, and so on and so forth.

a gúny és a gyűlölet, és más hasonló dolgok között.

Therefore, humans are needed to decide

Tehát emberek kellenek annak eldöntéshez,

which of the suspicious content should be deleted,

hogy a gyanús tartalmak közül mit kéne törölni,

and which should remain.

és mi az, ami maradhat.

Humans whom we know almost nothing about,

Olyan emberek, akikről szinte semmit nem tudunk,

because they work in secret.

mert titokban dolgoznak.

They sign nondisclosure agreements,

Aláírnak egy titoktartási megállapodást,

which prohibit them from talking and sharing

amely megtiltja, hogy beszéljenek róla,

what they see on their screens and what this work does to them.

megosszák, mit láttak a képernyőn, milyen hatással van rájuk ez a munka.

They are forced to use code words in order to hide who they work for.

Kódszavakat kötelező használniuk, hogy ki ne derüljön, kinek dolgoznak.

They are monitored by private security firms

Megfigyeltetik őket biztonsági magáncégekkel,

in order to ensure that they don't talk to journalists.

nehogy újságírókkal beszélhessenek,

And they are threatened by fines in case they speak.

büntetéssel fenyegetik őket arra az esetre, ha mégis beszélnének.

All of this sounds like a weird crime story,

Olyan ez az egész, mint egy hátborzongató krimi,

but it's true.

de igaz.

These people exist,

Vannak ilyen emberek,

and they are called content moderators.

tartalommoderátornak nevezik őket.

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: Mi rendeztük a "Tisztogatók" című dokumentarista játékfilmet –

and we would like to take you

elvisszük önöket egy olyan világba,

to a world that many of you may not know yet.

amelynek létezéséről sokuk talán nem is tudott.

Here's a short clip of our film.

Itt egy rövid részlet a filmből.

(Zene)

(Music)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Video) Moderátor: Névtelenségben kell maradnom, mert aláírtunk egy szerződést.

We are not allowed to declare whom we are working with.

Nem szabad megmondanunk, hogy kivel dolgozunk.

The reason why I speak to you

Azért beszélek most önnek,

is because the world should know that we are here.

mert a világnak tudnia kell, hogy vagyunk.

There is somebody who is checking the social media.

Van itt valaki, aki ellenőrzi a közösségi médiát.

We are doing our best to make this platform

Minden tőlünk telhetőt megteszünk, hogy ez a platform

safe for all of them.

mindenki számára biztonságos legyen.

Delete.

Töröl.

Ignore.

Nem érdekes.

Delete.

Töröl.

Ignore.

Nem érdekes.

Delete.

Töröl.

Ignore.

Nem érdekes.

Ignore.

Nem érdekes.

Delete.

Töröl.

HB: The so-called content moderators

HB: Az úgynevezett tartalommoderátorok

don't get their paychecks from Facebook, Twitter or Google themselves,

nem a Facebooktól, a Twittertől vagy a Goggle-tól kapják a fizetésüket,

hanem a világ más részeire kiszervezett cégektől,

but from outsourcing firms around the world

in order to keep the wages low.

hogy munkabérüket alacsonyan lehessen tartani.

Tens of thousands of young people

Fiatalok tízezrei néznek végig mindent,

looking at everything we are not supposed to see.

amit nem kéne látnunk.

And we are talking about decapitations, mutilations,

Lefejezésekről, csonkításokról, kivégzésekről,

executions, necrophilia, torture, child abuse.

halottgyalázásról, kínzásról, gyermekmolesztálásról beszélünk.

Thousands of images in one shift --

Képek ezrei egyetlen műszakban –

ignore, delete, day and night.

nem érdekes, töröl – éjjel-nappal.

And much of this work is done in Manila,

E munkák többségét Manilában végzik,

where the analog toxic waste from the Western world

ahová éveken keresztül szállították teherhajókon

was transported for years by container ships,

a veszélyes hulladékot a nyugati világból –

now the digital waste is dumped there via fiber-optic cable.

mára a digitális szemét ömlik ide optikai kábelen.

And just as the so-called scavengers

És ahogy a guberálók

rummage through gigantic tips on the edge of the city,

átturkálják az óriási szeméthegyeket a város peremén,

the content moderators click their way through an endless toxic ocean

a tartalommoderátorok is utat kattintgatnak maguknak

of images and videos and all manner of intellectual garbage,

a képek és videók intellektuális szemetének végtelen, mérgező óceánján,

so that we don't have to look at it.

így nekünk nem kell azokat megnéznünk.

MR: But unlike the wounds of the scavengers,

MR: A guberálók sérüléseivel szemben

those of the content moderators remain invisible.

a tartalommoderátorok sebei láthatatlanok maradnak.

Full of shocking and disturbing content,

Teli sokkoló és megzavaró részletekkel,

these pictures and videos burrow into their memories

ezek a képek és videók befészkelik magukat memóriájukba,

where, at any time, they can have unpredictable effects:

és bármikor meg nem jósolható hatást válthatnak ki:

eating disorders, loss of libido,

evészavart, a libidó elvesztését,

anxiety disorders, alcoholism,

idegrendszeri rendellenességeket, alkoholizmust, depressziót,

depression, which can even lead to suicide.

és akár öngyilkossághoz is vezethetnek.

The pictures and videos infect them,

A képek és videók megfertőzik,

and often never let them go again.

és gyakran el sem engedik őket többé.

If they are unlucky, they develop post-traumatic stress disorders,

Ha nincs szerencséjük, poszttraumás stresszszindróma fejlődik ki náluk,

like soldiers after war missions.

akár a katonáknál háborús küldetés után.

In our film, we tell the story of a young man

Filmünkben egy fiatalember történetét mondjuk el,

who had to monitor livestreams of self-mutilations and suicide attempts,

akinek öncsonkításokat és öngyilkossági kísérleteket kellett élőben monitoroznia,

again and again,

újra és újra,

and who eventually committed suicide himself.

és aki végül maga is öngyilkos lett.

It's not an isolated case, as we've been told.

Ez nem példátlan eset, ahogy megtudtuk.

This is the price all of us pay

Ez az ára annak, amit mindannyian fizetünk

for our so-called clean and safe and "healthy"

az ún. biztonságos és egészséges

environments on social media.

környezetért a közösségi médiában.

Never before in the history of mankind

Az emberiség történelmében soha korábban

has it been easier to reach millions of people around the globe

nem volt ilyen egyszerű emberek millióit elérni világszerte

in a few seconds.

néhány másodperc alatt.

What is posted on social media spreads so quickly,

Amit a közösségi médiában posztolunk, gyorsan terjed,

becomes viral and excites the minds of people all around the globe.

felkapják, és szerte a földgolyón felzaklatja az embereket.

Before it is deleted,

Mire törölnék,

it is often already too late.

már túl késő.

Millions of people have already been infected

Milliókat megfertőzött már

with hatred and anger,

gyűlölettel és haraggal,

and they either become active online,

akik aztán vagy online aktivizálják magukat,

by spreading or amplifying hatred,

és terjesztik vagy gerjesztik a gyűlöletet,

vagy kiviszik az utcára, és harcra készülnek.

or they take to the streets and take up arms.

HB: Therefore, an army of content moderators

HB: Tehát tartalommoderátorok serege ül a képernyő előtt,

sit in front of a screen to avoid new collateral damage.

hogy elkerüljük a további károkozást.

And they are deciding, as soon as possible,

És döntenek, amilyen gyorsan csak lehet,

whether the content stays on the platform -- ignore;

hogy az a tartalom maradhat-e, mert nem érdekes;

or disappears -- delete.

vagy tűnjön el és törli.

But not every decision is as clear

De nem minden döntés annyira egyértelmű,

as the decision about a child-abuse video.

mint az a videó a gyermekmolesztálásról.

What about controversial content, ambivalent content,

Mi a helyzet az ellentmondásos vagy kétértelmű tartalmakkal,

uploaded by civil rights activists or citizen journalists?

amelyeket emberjogi aktivisták vagy civil tudósítók töltenek fel?

The content moderators often decide on such cases

A tartalommoderátorok gyakran döntenek ilyeneknél is,

at the same speed as the [clear] cases.

ugyanolyan gyorsan, mint az egyértelmű esetekben.

MR: We will show you a video now,

MR: Mutatunk egy videót,

and we would like to ask you to decide:

és szeretnénk, ha döntenének:

Would you delete it,

törölnék-e,

or would you not delete it?

vagy meghagynák?

(Video) (Air strike sounds)

(Video) (Légvédelmi sziréna)

(Explosion)

(Robbanás)

(People speaking in Arabic)

(Arabul beszélő emberek)

MR: Yeah, we did some blurring for you.

MR: Letakartunk néhány részletet a kedvükért.

A child would potentially be dangerously disturbed

Egy gyereket alkalomadtán vészesen megzavarhat

and extremely frightened by such content.

és szélsőségesen megrémiszthet az ilyen tartalom.

So, you rather delete it?

Tehát, törölnék inkább?

But what if this video could help investigate the war crimes in Syria?

És ha ez a videó segíthetné a háborús bűnök kivizsgálását Szíriában?

What if nobody would have heard about this air strike,

És mi van, ha senki nem hall a légicsapásról,

because Facebook, YouTube, Twitter would have decided to take it down?

mert a Facebook, a YouTube és a Twitter eldöntötték, hogy leveszik?

Airwars, a nongovernmental organization based in London,

Az Airwars, egy londoni székhelyű civil szervezet

tries to find those videos as quickly as possible

megpróbálja minél gyorsabban megtalálni az ilyen videókat,

whenever they are uploaded to social media,

bármikor is töltötték fel a közösségi médiába,

in order to archive them.

hogy aztán archiválja.

Because they know, sooner or later,

Tudják, hogy előbb vagy utóbb

Facebook, YouTube, Twitter would take such content down.

a Facebook, a YouTube, a Twitter törli az ilyen tartalmakat.

People armed with their mobile phones

Mobiltelefonjukkal felfegyverkezve sokszor olyan dolgokról is tudósítanak emberek,

can make visible what journalists often do not have access to.

amikhez az újságírók nem férnek hozzá.

Civil rights groups often do not have any better option

Emberjogi csoportok sokszor nem tehetnek jobbat,

to quickly make their recordings accessible to a large audience

gyorsan elérhetővé teszik felvételeiket a széles nyilvánosság számára azzal,

than by uploading them to social media.

hogy feltöltik őket a közösségi médiába.

Wasn't this the empowering potential the World Wide Web should have?

Nem ez kéne legyen az internetben rejlő erő?

Weren't these the dreams

Nem ezeket az álmokat dédelgettük

people in its early stages had about the World Wide Web?

a kezdetekkor az internettel kapcsolatban?

Can't pictures and videos like these

Vajon az ilyen képek és videók

persuade people who have become insensitive to facts

nem győzik meg a tények iránt érzéketlen embereket,

to rethink?

hogy gondolják újra?

HB: But instead, everything that might be disturbing is deleted.

HB: De ehelyett mindent törölnek, ami kényelmetlenséget okozhat.

And there's a general shift in society.

Van egy általános elmozdulás a társadalomban.

Media, for example, more and more often use trigger warnings

A média például egyre gyakrabban használ figyelmeztetést

at the top of articles

az olyan cikkek tetején,

which some people may perceive as offensive or troubling.

amelyek esetleg fenyegetőnek vagy ijesztőnek értelmezhetők.

Or more and more students at universities in the United States

Vagy az Egyesült Államok egyetemein mind több hallgató követeli

demand the banishment of antique classics

az olyan ókori klasszikusok tiltását a tanrendből,

which depict sexual violence or assault from the curriculum.

amelyek nemi erőszakot vagy tettlegességet ábrázolnak.

But how far should we go with that?

De hová jutunk ezzel?

Physical integrity is guaranteed as a human right

Fizikai sértetlenségünket, mint emberi jogot,

in constitutions worldwide.

világszerte garantálják az alkotmányok.

In the Charter of Fundamental Rights of the European Union,

Az Európai Unió Alapjogi Chartája

this right expressly applies to mental integrity.

ezt a jogot a mentális sértetlenségre is kimondja.

But even if the potentially traumatic effect

De még ha nehéz is megjósolni a képek és videók

of images and videos is hard to predict,

lehetséges traumatikus hatását,

do we want to become so cautious

valóban olyan óvatosak akarunk lenni,

that we risk losing social awareness of injustice?

hogy kockáztatnánk azt, hogy tudjunk a társadalmi igazságtalanságokról?

So what to do?

Mit tegyünk hát?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg mostanában jelentette be, hogy mi, felhasználók,

the users, we, or almost everybody,

szinte mindenki,

will decide individually

a jövőben egyénileg fogja eldönteni,

what they would like to see on the platform,

hogy mit szeretne látni a platformon,

azzal, hogy beállítja személyes szűrőjét.

by personal filter settings.

So everyone could easily claim to remain undisturbed

Így bárki könnyen kérheti, hogy ne zavarják

by images of war or other violent conflicts, like ...

háborús felvételekkel vagy más erőszakos konfliktusokkal, mint...

MR: I'm the type of guy who doesn't mind seeing breasts

MR: Én olyan fickó vagyok, akit nem zavar a keblek látványa,

and I'm very interested in global warming,

és érdekel a globális felmelegedés,

but I don't like war so much.

de a háborút nem szeretem olyan nagyon.

HB: Yeah, I'm more the opposite,

HB: Én meg pont az ellenkezője vagyok,

I have zero interest in naked breasts or naked bodies at all.

egy csöppet sem érdekelnek a fedetlen keblek vagy meztelen testek.

But why not guns? I like guns, yes.

De a fegyverek miért ne? Igen, szeretem a fegyvereket.

MR: Come on, if we don't share a similar social consciousness,

MR: Ha nem osztjuk meg a tudásunkat a hasonló társadalmi problémákról,

how shall we discuss social problems?

akkor hogyan fogjuk megvitatni a társadalmi kérdéseket?

How shall we call people to action?

Hogyan szólítjuk meg az embereket, hogy tegyenek valamit?

Even more isolated bubbles would emerge.

Még több, egymástól elszigetelt buborék fog létrejönni.

One of the central questions is: "How, in the future,

Az egyik központi kérdés, hogy mi lesz fontosabb a jövőben:

freedom of expression will be weighed against the people's need for protection."

az önkifejezés szabadsága vagy az igény, hogy biztonságban érezzük magunkat?

It's a matter of principle.

Ez elvi kérdés.

Do we want to design an either open or closed society

Hogy nyílt vagy zárt társadalmat szeretnénk

for the digital space?

a digitális térben teremteni?

At the heart of the matter is "freedom versus security."

Szabadság vagy biztonság – ez a lényegi kérdés.

Facebook has always wanted to be a "healthy" platform.

A Facebook mindig is "egészséges" platform akart lenni.

Above all, users should feel safe and secure.

A felhasználóknak először is biztonságban kell érezniük magukat.

It's the same choice of words

Ugyanígy fogalmaznak

the content moderators in the Philippines used

a filippínó tartalommoderátorok

in a lot of our interviews.

számos interjúban.

(Video) The world that we are living in right now,

(Videó) Az a világ, amiben jelenleg élünk,

I believe, is not really healthy.

szerintem nem igazán egészséges.

(Music)

(Zene)

In this world, there is really an evil who exists.

Ebben a világban valóban jelen van a gonosz, aki létezik.

(Music)

(Zene)

We need to watch for it.

Szükséges, hogy odafigyeljünk.

(Music)

(Zene)

We need to control it -- good or bad.

Kontroll alatt kell tartsuk: jó vagy rossz.

(Music)

(Zene)

[Look up, Young man! --God]

[Figyelj, fiatalember! – Isten]

MR: For the young content moderators in the strictly Catholic Philippines,

MR: A szigorúan katolikus Fülöp-szigeteken a fiatal moderátorok számára

this is linked to a Christian mission.

ez a keresztény küldetéshez kötődik.

To counter the sins of the world

Tenni a világ bűnei ellen,

which spread across the web.

amelyek a világhálón keresztül terjednek.

"Cleanliness is next to godliness,"

"Erkölcsi kötelességünk megőrizni a tisztaságot" –

is a saying everybody in the Philippines knows.

ez általános vélekedés a filippínók között.

HB: And others motivate themselves

HB: Mások abból nyernek ösztönzést,

by comparing themselves with their president, Rodrigo Duterte.

hogy elnökükhöz, Rodrigo Dutertéhez hasonlítják magukat,

He has been ruling the Philippines since 2016,

aki 2016 óta kormányozza a Fülöp-szigeteket,

and he won the election with the promise: "I will clean up."

és az volt a választási ígérete, hogy "feltakarítok".

And what that means is eliminating all kinds of problems

Ez azt jelenti, hogy úgy szüntet meg különböző problémákat,

by literally killing people on the streets

hogy szó szerint az utcán öli meg a feltételezett bűnözőket,

who are supposed to be criminals, whatever that means.

bármit is jelentsen ez.

And since he was elected,

Megválasztása óta

an estimated 20,000 people have been killed.

nagyjából 20 000 embert gyilkoltak meg.

And one moderator in our film says,

A filmben az egyik moderátor azt mondja,

"What Duterte does on the streets,

"Amit Duterte az utcán csinál,

I do for the internet."

azt teszem én az internetért."

And here they are, our self-proclaimed superheroes,

Itt vannak ők, az önjelölt szuperhősök,

who enforce law and order in our digital world.

akik kikényszerítik a törvényt és rendet digitális világunkban.

They clean up, they polish everything clean,

Kitakarítanak, tisztára sikálnak mindent,

they free us from everything evil.

megszabadítanak minket minden gonosztól.

Tasks formerly reserved to state authorities

Ami régebben a hatóságok dolga volt,

have been taken over by college graduates in their early 20s,

mára 20-as éveik elején járó főiskolát végzettek teszik,

equipped with three- to five-day training --

három-ötnapos képzés után megszerzett papírral.

this is the qualification --

Ezzel a minősítéssel rendelkeznek azok,

who work on nothing less than the world's rescue.

akik nem kisebb munkát végeznek, mint a világ megmentése.

MR: National sovereignties have been outsourced to private companies,

MR: A nemzeti szuverenitás átkerült a magáncégek kezébe,

and they pass on their responsibilities to third parties.

ők meg átadják a felelősségüket egy harmadik félnek.

It's an outsourcing of the outsourcing of the outsourcing,

Ez a kiszervezés kiszervezésének kiszervezése,

which takes place.

ami most megy.

With social networks,

A közösségi háló

we are dealing with a completely new infrastructure,

merőben új infrastruktúra,

with its own mechanisms,

saját mechanizmusával,

its own logic of action

tevékenységének saját logikájával,

and therefore, also, its own new dangers,

így egy egészen új, saját veszéllyel,

which had not yet existed in the predigitalized public sphere.

ami nem létezett még a digitális világ előtti publikus világban.

HB: When Mark Zuckerberg was at the US Congress

HB: Amikor Mark Zuckenberg megjelent az USA Kongresszusában

or at the European Parliament,

vagy az Európai Parlamentben,

he was confronted with all kinds of critics.

mindenféle kritikákkal került szembe.

And his reaction was always the same:

Mindenre ugyanúgy reagált:

"We will fix that,

"Kijavítjuk,

and I will follow up on that with my team."

és ennek megfelelően folytatjuk."

But such a debate shouldn't be held in back rooms of Facebook,

De az ilyen vitákat nem a Facebook, a Twitter

vagy a Google hátsó szobáiban kéne lefolytatni –

Twitter or Google --

such a debate should be openly discussed in new, cosmopolitan parliaments,

ezekről a témákról nyíltan kéne vitázni új, világpolgári parlamentekben,

in new institutions that reflect the diversity of people

olyan új intézményekben, amelyek figyelembe veszik az emberek sokféleségét,

contributing to a utopian project of a global network.

és ezzel hozzájárulnak a világháló utópisztikus projektjéhez.

And while it may seem impossible to consider the values

S míg talán lehetetlen a világ felhasználóinak értékrendjét

of users worldwide,

figyelembe venni,

it's worth believing

érdemes hinni abban,

that there's more that connects us than separates us.

hogy több dolog van, ami közös bennünk, mint ami elválaszt.

MR: Yeah, at a time when populism is gaining strength,

MR: Hát, igen, olyan időkben, amikor a populizmus megerősödik,

it becomes popular to justify the symptoms,

népszerűvé válik tisztázni a jelenségeket,

to eradicate them,

megszabadulni tőlük,

to make them invisible.

láthatatlanná tenni őket.

This ideology is spreading worldwide,

Világszerte terjed ez a felfogás

analog as well as digital,

az analóg és digitális világban egyaránt.

and it's our duty to stop it

A mi kötelességünk megállítani,

before it's too late.

még mielőtt késő lenne.

The question of freedom and democracy

Szabadság és demokrácia kérdésében

must not only have these two options.

más alternatívák is kell, hogy legyenek, mint hogy:

HB: Delete.

HB: Töröl.

MR: Or ignore.

MR: Vagy nem érdekes.

HB: Thank you very much.

HB: Nagyon köszönjük.

(Applause)

(Taps)