The price of a "clean" internet | Hans Block and Moritz Riesewieck

Çeviri: Adel Kuzulu Gözden geçirme: Ezgisu Karakaya

[This talk contains mature content]

[Bu konuşma yetişkin içeriklidir]

Moritz Riesewieck: On March 23, 2013,

Moritz Riesewieck: 23 Mart 2013'te,

users worldwide discovered in their news feed

dünya çapındaki kullanıcılar kendi haber akışlarında

a video of a young girl being raped by an older man.

yaşlı bir adam tarafından tecavüze uğrayan genç bir kızın videosunu gördü.

Before this video was removed from Facebook,

Bu video Facebook’tan kaldırılmadan önce

it was already shared 16,000 times,

çoktan 16 bin kez paylaşılmıştı.

and it was even liked 4,000 times.

Beğeni sayısı ise 4 bin olmuştu.

This video went viral and infected the net.

Video, internette viral oldu ve sonrasında bütün bir ağa yayılmıştı.

Hans Block: And that was the moment we asked ourselves

Hans Block: O an kendimize sorduk.

how could something like this get on Facebook?

Böylesi bir video Facebook'ta nasıl olabiliyordu?

And at the same time, why don't we see such content more often?

Aynı zamanda, buna benzer içerikleri neden daha sık görmüyoruz?

After all, there's a lot of revolting material online,

Sonuç olarak internet, birçok iğrenç içerikle dolu.

but why do we so rarely see such crap on Facebook, Twitter or Google?

Peki bunlara Facebook, Twitter veya Google'da neden nadiren rastlıyoruz?

MR: While image-recognition software

MR: Görüntü tanımlama yazılımları

can identify the outlines of sexual organs,

her ne kadar cinsel organ, kan veya çıplaklık içeren

blood or naked skin in images and videos,

fotoğraf ve videoları tanımlayabiliyor olsa da,

it has immense difficulties to distinguish pornographic content

tatil fotoğraflarını, Adonis heykellerini

from holiday pictures, Adonis statues

ya da göğüs kanseriyle mücadele için yürütülen bir kampanya görselini

or breast-cancer screening campaigns.

pornografik içerikten ayırmakta oldukça zorluk çekiyor.

It can't distinguish Romeo and Juliet dying onstage

Romeo ve Juliet'in sahnede öldüğü anı

from a real knife attack.

gerçek bir bıçak saldırısından ayırt edemiyor.

It can't distinguish satire from propaganda

Yine aynı şekilde bir propaganda veya nefret söylemini

or irony from hatred, and so on and so forth.

mizah ve ironiden ayırt etmekte oldukça zorlanıyor.

Therefore, humans are needed to decide

Bu yüzden hangi şüpheli içeriğin silinmesi

which of the suspicious content should be deleted,

hangisinin ise kalması gerektiğine

and which should remain.

insanlar karar vermeli.

Humans whom we know almost nothing about,

Gizli çalıştıkları için

because they work in secret.

haklarında hiçbir şey bilmediğimiz insanlar var.

They sign nondisclosure agreements,

Ekranlarında gördüklerini ve bunun kendileri üzerindeki etkilerini

which prohibit them from talking and sharing

konuşmalarını ve paylaşmalarını yasaklayan

what they see on their screens and what this work does to them.

gizlilik sözleşmeleri imzalıyorlar.

They are forced to use code words in order to hide who they work for.

Kimin adına çalıştıklarını saklamak için kod kelimeler kullanmaya zorlanıyorlar.

They are monitored by private security firms

Özel güvenlik firmaları tarafından

in order to ensure that they don't talk to journalists.

gazetecilere konuşmadıklarından emin olmak için izleniyorlar.

And they are threatened by fines in case they speak.

Konuşurlarsa para cezasıyla tehdit ediliyorlar.

All of this sounds like a weird crime story,

Bütün bunlar garip bir suç hikayesi gibi geliyor

but it's true.

ama hepsi doğru.

These people exist,

Bu insanlar gerçekten var.

and they are called content moderators.

Onlara içerik denetleyicisi deniyor.

HB: We are the directors of the feature documentary film "The Cleaners,"

HB: Biz "The Cleaners" belgeselinin yönetmenleriyiz.

and we would like to take you

Sizi henüz çoğunuzun bilmediği

to a world that many of you may not know yet.

bir dünyaya götürmek istiyoruz.

Here's a short clip of our film.

İşte filmimizden kısa bir parça.

(Music)

(Müzik)

(Video) Moderator: I need to be anonymous, because we have a contract signed.

(Video) Denetleyici: Kimliğim bilinmemeli çünkü sözleşme imzaladık.

We are not allowed to declare whom we are working with.

Kiminle çalıştığımızı söylememize izin verilmiyor.

The reason why I speak to you

Sizinle konuşma sebebim;

is because the world should know that we are here.

bizim var olduğumuzu herkes bilmeli.

There is somebody who is checking the social media.

Sosyal medyayı denetleyen insanlar var.

We are doing our best to make this platform

Bu platformu herkese güvenli hale getirmek için

safe for all of them.

elimizden gelenin en iyisini yapıyoruz.

Delete.

Sil.

Ignore.

Yok say.

Delete.

Sil.

Ignore.

Yok say.

Delete.

Sil.

Ignore.

Yok say.

Ignore.

Yok say.

Delete.

Sil.

HB: The so-called content moderators

HB: İçerik denetleyicisi denilen kişiler

don't get their paychecks from Facebook, Twitter or Google themselves,

maliyetin düşük tutulması istendiğinden

maaşlarını Facebook,Twitter ya da Google'dan almak yerine

but from outsourcing firms around the world

in order to keep the wages low.

dış kaynak firmalarından alıyorlar.

Tens of thousands of young people

Onlarca, yüzlerce genç insan

looking at everything we are not supposed to see.

görülmemesi gereken her şeyi görüyor.

And we are talking about decapitations, mutilations,

Burada baş kesilmesinden, şiddetli zarar vermelerden

executions, necrophilia, torture, child abuse.

idamlardan, nekrofiliden, işkenceden ve çocuk istismarından bahsediyoruz.

Thousands of images in one shift --

Bir vardiyada binlerce görüntü --

ignore, delete, day and night.

yok say ve sil, hiç durmadan.

And much of this work is done in Manila,

Bu işin çoğu Manila'da yapılıyor.

where the analog toxic waste from the Western world

Batı dünyasının fiziksel çöplerinin

was transported for years by container ships,

konteyner gemilerinde yıllarca aktarıldığı yer.

now the digital waste is dumped there via fiber-optic cable.

Artık fiber optik kablo kullanılarak dijital çöpler bırakılıyor.

And just as the so-called scavengers

Şehrin kenarlarında devasa çöp yığınlarını

rummage through gigantic tips on the edge of the city,

karıştıran çöpçüler gibi içerik denetleyiciler de

the content moderators click their way through an endless toxic ocean

tek tık ile video, görüntü ve karmaşık çöp dolu

of images and videos and all manner of intellectual garbage,

sonu olmayan zehirli bir okyanusa dalıyorlar.

Bu sayede bizlerin bunların hiçbirini görmesi gerekmiyor.

so that we don't have to look at it.

MR: But unlike the wounds of the scavengers,

MR: Çöpçülerin yara izlerinin aksine

those of the content moderators remain invisible.

içerik denetleyicilerinin yara izleri görünmezdir.

Full of shocking and disturbing content,

Rahatsız ve şok edici içerikle dolu

these pictures and videos burrow into their memories

fotoğraf ve videolar hafızalarında yer ediniyor.

where, at any time, they can have unpredictable effects:

Bir anda ortaya çıkabilecek öngörülemez etkiler bırakabiliyor:

eating disorders, loss of libido,

Yeme bozuklukları, libido kaybı,

anxiety disorders, alcoholism,

kaygı bozuklukları, alkolizm,

depression, which can even lead to suicide.

hatta intiharla sonuçlanabilen depresyon.

The pictures and videos infect them,

Onlara bulaşan bu fotoğraf ve videolar

and often never let them go again.

bir daha onları hiç rahat bırakmıyor.

If they are unlucky, they develop post-traumatic stress disorders,

Eğer şanssızlarsa, savaştan dönen askerler gibi

like soldiers after war missions.

travma sonrası stres bozukluğu yaşıyorlar.

In our film, we tell the story of a young man

Filmimizde genç bir adamın hikayesini anlatıyoruz.

who had to monitor livestreams of self-mutilations and suicide attempts,

Kendine zarar veren ve intihar girişiminde bulunanların

canlı yayınlarını tekrar ve tekrar izlemek zorunda kalmış

again and again,

and who eventually committed suicide himself.

ve sonunda intihar etmiş bir adam.

It's not an isolated case, as we've been told.

Bu bize yansıtıldığı gibi nadir bir vaka değil.

This is the price all of us pay

Bu hepimizin sözde temiz, güvenli ve "sağlıklı"

for our so-called clean and safe and "healthy"

sosyal medya alanları için

environments on social media.

ödemek zorunda olduğu bir bedel.

Never before in the history of mankind

Tarih boyunca, dünyanın her yerindeki milyonlarca insana

has it been easier to reach millions of people around the globe

birkaç saniyede erişmek

in a few seconds.

hiç bu kadar kolay olmamıştı.

What is posted on social media spreads so quickly,

Sosyal medyada paylaşılanlar çok hızlı yayılıyor.

becomes viral and excites the minds of people all around the globe.

Bir anda viral oluyor ve tüm dünyadaki insanlardan ilgi topluyor.

Before it is deleted,

Bunlar silinmeden önce

it is often already too late.

genellikle iş işten geçmiş oluyor.

Millions of people have already been infected

Milyonlarca insan kin ve öfkeyle

with hatred and anger,

çoktan zehirlenmiş oluyor.

and they either become active online,

Bu nefreti ya internette yayıp saçarak

by spreading or amplifying hatred,

ya da sokaklara çıkıp

or they take to the streets and take up arms.

silaha sarılarak yayıyorlar.

HB: Therefore, an army of content moderators

HB: Bu nedenle içerik denetleyicilerden oluşan bir ordu,

sit in front of a screen to avoid new collateral damage.

istenmeyen yeni hasarları önlemek için ekran başında oturuyor.

And they are deciding, as soon as possible,

Bunlar mümkün olduğunca kısa sürede

whether the content stays on the platform -- ignore;

içeriğin platformda kalmasına - yok say

or disappears -- delete.

ya da kaldırılmasına - sil - karar veriyorlar.

But not every decision is as clear

Ama bazı içerikler hakkındaki kararlar

çocuk istismarı videosu hakkında verilen karar kadar net olmuyor.

as the decision about a child-abuse video.

What about controversial content, ambivalent content,

İnsan hakları savunucuları ya da gazeteciler tarafından yüklenen

uploaded by civil rights activists or citizen journalists?

tartışmalı ve çelişkili içeriklere ne demeli?

The content moderators often decide on such cases

İçerik denetleyicileri genellikle bu tür vakalar konusunda

at the same speed as the [clear] cases.

net vakalarla aynı hızda karar veriyorlar.

MR: We will show you a video now,

MR: Şimdi size bir video göstereceğiz.

and we would like to ask you to decide:

Karar vermenizi istiyoruz.

Would you delete it,

Bunu siler miydiniz

or would you not delete it?

silmez miydiniz?

(Video) (Air strike sounds)

(Video) (Hava saldırısı sesleri)

(Explosion)

(Patlama)

(People speaking in Arabic)

(Arapça konuşan insanlar)

MR: Yeah, we did some blurring for you.

MR: Sizin için görüntüleri bulanıklaştırdık.

A child would potentially be dangerously disturbed

Bir çocuk böyle bir içerik karşısında

and extremely frightened by such content.

çok rahatsız olur ve korkardı.

So, you rather delete it?

Siz bunu siler miydiniz?

But what if this video could help investigate the war crimes in Syria?

Bu video Suriye’deki savaş suçlarını soruşturmaya yardımcı olsaydı ne olurdu?

What if nobody would have heard about this air strike,

Facebook, YouTube, Twitter bu videoyu kaldırmaya karar verdiği için

because Facebook, YouTube, Twitter would have decided to take it down?

hiç kimsenin hava saldırısından haberi olmasaydı?

Airwars, a nongovernmental organization based in London,

Londra merkezli bir sivil toplum kuruluşu olan Airways

tries to find those videos as quickly as possible

bu tür videoları arşivlemek için

whenever they are uploaded to social media,

sosyal medyaya yüklendiği anda

in order to archive them.

mümkün olduğunca kısa sürede bulmaya çalışıyor.

Because they know, sooner or later,

Çünkü Facebook, YouTube, Twitter'ın er ya da geç

Facebook, YouTube, Twitter would take such content down.

bu tür içerikleri kaldırdığını biliyorlar.

People armed with their mobile phones

Gazetecilerin genellikle erişim izinlerinin olmadığı şeyleri

can make visible what journalists often do not have access to.

insanlar telefonlarıyla görünür hale getirebilirler.

Civil rights groups often do not have any better option

İnsan hakları gruplarının

to quickly make their recordings accessible to a large audience

kaydettikleri şeylerin büyük izleyici kitlesine hızla ulaşması için

bunları sosyal medyaya yüklemekten daha iyi bir seçeneği genelde yoktur.

than by uploading them to social media.

Wasn't this the empowering potential the World Wide Web should have?

Bu, dünya çapında ağın sahip olması gereken yetki potansiyeli değil miydi?

Weren't these the dreams

Bunlar, insanların dünya çapında ağ hakkında

people in its early stages had about the World Wide Web?

ilk hayalleri değil miydi?

Can't pictures and videos like these

Bu tür görüntü ve videolar

persuade people who have become insensitive to facts

gerçeklere karşı duyarsızlaşmış insanların durup düşünmesi için

to rethink?

onları ikna edemez mi?

HB: But instead, everything that might be disturbing is deleted.

HB: Ama bunun yerine, rahatsız edici olabilecek her şey siliniyor.

And there's a general shift in society.

Toplumda genel bir değişim var.

Media, for example, more and more often use trigger warnings

Örneğin, medya makalelerin başına daha sık uyarı koyuyor.

at the top of articles

İçeriğin kimilerince saldırgan veya rahatsız edici

which some people may perceive as offensive or troubling.

bulunabileceğine dair uyarıyor.

Or more and more students at universities in the United States

ABD'deki üniversitelerde gitgide daha çok öğrenci

demand the banishment of antique classics

cinsel şiddet veya saldırı betimleyen klasiklerin

which depict sexual violence or assault from the curriculum.

müfredattan çıkarılmasını talep ediyor.

But how far should we go with that?

Bu konuda ne kadar ileri gitmeliyiz?

Physical integrity is guaranteed as a human right

Vücut dokunulmazlığı dünyanın her yerindeki anayasalarda

insan hakkı olarak güvence altına alınmıştır.

in constitutions worldwide.

In the Charter of Fundamental Rights of the European Union,

Avrupa Birliği Temel Haklar Şartı'nda,

this right expressly applies to mental integrity.

zihinsel bütünlük için bu hak açıkça geçerlidir.

But even if the potentially traumatic effect

Görüntü ve videoların potansiyel olarak travmatik etkisini

of images and videos is hard to predict,

öngörmek zor olsa bile,

do we want to become so cautious

adaletsizlik konusundaki sosyal farkındalığı kaybetmeyi

that we risk losing social awareness of injustice?

göze alacak kadar tedbirli olmayı istiyor muyuz?

So what to do?

Peki ne yapmalıyız?

Mark Zuckerberg recently stated that in the future,

Mark Zuckerberg geçenlerde,

the users, we, or almost everybody,

gelecekte kullanıcıların bu platformda

will decide individually

ne görmek istediklerine

what they would like to see on the platform,

kişisel ayarlar sayesinde bireysel olarak

by personal filter settings.

karar verebileceklerini söyledi.

So everyone could easily claim to remain undisturbed

Yani herkes savaş ya da diğer şiddetli çatışmaların

by images of war or other violent conflicts, like ...

görüntüleriyle rahatsız olmamayı kolayca talep edebilir.

MR: I'm the type of guy who doesn't mind seeing breasts

MR: Ben göğüs görmeye itiraz etmeyen bir adamım.

and I'm very interested in global warming,

Küresel ısınma konusuyla çok ilgiliyim.

but I don't like war so much.

Ama savaşı çok sevmiyorum.

HB: Yeah, I'm more the opposite,

HB: Bense tersiyim.

I have zero interest in naked breasts or naked bodies at all.

Göğüsler ya da çıplak bedenler ilgimi hiç çekmiyor.

But why not guns? I like guns, yes.

Ama neden silah olmasın? Evet, silahları seviyorum.

MR: Come on, if we don't share a similar social consciousness,

MR: Hadi ama! Eğer benzer bir sosyal bilincimiz olmasa

how shall we discuss social problems?

sosyal sorunları nasıl tartışacağız?

How shall we call people to action?

İnsanları eyleme geçmeye nasıl çağıracağız?

Even more isolated bubbles would emerge.

Daha da çok izole balonlar oluşacak.

One of the central questions is: "How, in the future,

Ana sorulardan birisi şu: "Gelecekte ifade özgürlüğü

freedom of expression will be weighed against the people's need for protection."

insanların korunma ihtiyacıyla nasıl karşılaştırılacak?"

It's a matter of principle.

Bu bir prensip meselesi.

Do we want to design an either open or closed society

Dijital alan için açık mı kapalı bir toplum mu

for the digital space?

tasarlamak istiyoruz?

At the heart of the matter is "freedom versus security."

Meselenin özü şu: "özgürlüğe karşı güvenlik"

Facebook has always wanted to be a "healthy" platform.

Facebook her zaman "sağlıklı" bir platform olmak istedi.

Above all, users should feel safe and secure.

Her şeyden önce, kullanıcıların kendilerini güvende hissetmesi gerekiyor.

It's the same choice of words

Filipinler'deki içerik denetleyicileri

the content moderators in the Philippines used

yaptığımız röportajların çoğunda

in a lot of our interviews.

aynı sözcükleri kullandılar.

(Video) The world that we are living in right now,

(Video) Şu anda yaşadığımız dünyanın

I believe, is not really healthy.

gerçekten sağlıklı olmadığına inanıyorum.

(Music)

(Müzik)

In this world, there is really an evil who exists.

Bu dünyada kötülük gerçekten var.

(Music)

(Müzik)

We need to watch for it.

Ona dikkat etmemiz gerekiyor.

(Music)

(Müzik)

We need to control it -- good or bad.

Onu kontrol etmemiz gerekiyor -- iyi ya da kötü.

(Music)

(Müzik)

[Look up, Young man! --God]

[Yukarı bak genç adam! -- Tanrı]

MR: For the young content moderators in the strictly Catholic Philippines,

MR: Katı bir şekilde Katolik olan Filipinler'de

this is linked to a Christian mission.

genç moderatörler için bu bir Hristiyan misyonuyla ilgili.

To counter the sins of the world

İnternete yayılmış olan

which spread across the web.

dünya günahlarına karşı koymak.

"Cleanliness is next to godliness,"

"Temizlik imandan gelir"

is a saying everybody in the Philippines knows.

Filipinler'de herkes tarafından bilinen bir söz.

HB: And others motivate themselves

HB: Başkaları ise kendilerini

by comparing themselves with their president, Rodrigo Duterte.

devlet başkanı Rorigo Duterte ile kıyaslayarak motive ediyor.

He has been ruling the Philippines since 2016,

Duterte 2016'dan beri Filipinler'i yönetiyor.

and he won the election with the promise: "I will clean up."

Seçimi "Temizleyeceğim," vaadiyle kazandı.

And what that means is eliminating all kinds of problems

Bu da her türlü sorunu ortadan kaldırmak oluyor.

by literally killing people on the streets

Sokaklardaki, suçlu oldukları farz edilen insanları

who are supposed to be criminals, whatever that means.

gerçekten öldürerek.

And since he was elected,

Duterte seçildiğinden beri

an estimated 20,000 people have been killed.

tahmini 20 bin insan öldürüldü.

And one moderator in our film says,

Filmdeki bir denetleyici dedi ki:

"What Duterte does on the streets,

"Duterte'nin sokaklarda yaptığını

I do for the internet."

ben internette yapıyorum."

And here they are, our self-proclaimed superheroes,

İşte onlar, dijital dünyamızda yasa ve düzeni uygulayan,

who enforce law and order in our digital world.

kendi kendini ilan eden süper kahramanlarımız.

They clean up, they polish everything clean,

Temizlik yapıyor, her şeyi temiz hale getiriyorlar.

they free us from everything evil.

Bizi kötü olan her şeyden kurtarıyorlar.

Tasks formerly reserved to state authorities

Daha önce devlet yetkililerine ayrılan görevler,

have been taken over by college graduates in their early 20s,

20'li yaşların başındaki üniversite mezunları tarafından devralındı.

equipped with three- to five-day training --

Üç beş günlük eğitim ile donatılıyor --

this is the qualification --

eğitimin niteliği bu --

who work on nothing less than the world's rescue.

dünyanın kurtarılması için çalışıyorlar.

MR: National sovereignties have been outsourced to private companies,

MR: Ulusal egemenlikler özel şirketlere taşeronlaştırıldı

and they pass on their responsibilities to third parties.

ve sorumluluklarını üçüncü taraflara aktardılar.

It's an outsourcing of the outsourcing of the outsourcing,

Bu, dış kaynak kullanımının dış kaynak kullanımının da

which takes place.

dış kaynak kullanımı.

With social networks,

Sosyal ağlar ile,

we are dealing with a completely new infrastructure,

kendi mekanizmaları ve eylem mantığı

with its own mechanisms,

ve dolasıyla kendi yeni tehlikeleri olan

its own logic of action

dijitalleşmiş kamusal alanda

and therefore, also, its own new dangers,

henüz mevcut olmayan

which had not yet existed in the predigitalized public sphere.

tamamen yeni bir altyapı ile uğraşıyoruz.

HB: When Mark Zuckerberg was at the US Congress

HB: Mark Zuckerberg ABD Kongresi'nde

or at the European Parliament,

veya Avrupa Parlamentosu'ndayken,

he was confronted with all kinds of critics.

her türlü eleştirmenle karşılaştı.

And his reaction was always the same:

Tepkisi hep aynıydı:

"We will fix that,

"Bunu düzelteceğiz.

and I will follow up on that with my team."

Ekibimle bunu takip edeceğim."

But such a debate shouldn't be held in back rooms of Facebook,

Ancak böyle bir tartışma Facebook,

Twitter veya Google'ın arka odalarında yapılmamalıdır.

Twitter or Google --

such a debate should be openly discussed in new, cosmopolitan parliaments,

Böyle bir tartışma yeni kozmopolit parlamentolarda,

in new institutions that reflect the diversity of people

küresel bir ağın ütopik projesine katkıda bulunan insanların

contributing to a utopian project of a global network.

çeşitliliğini yansıtan yeni kurumlarda açıkça tartışılmalıdır.

And while it may seem impossible to consider the values

Dünya çapındaki kullanıcıların değerlerini düşünmek

of users worldwide,

imkansız gibi görünse de

it's worth believing

bizi birbirimizden ayırandan daha çok

that there's more that connects us than separates us.

birbirimize bağlayan şey olduğuna inanmaya değer.

MR: Yeah, at a time when populism is gaining strength,

MR: Evet, popülizmin güç kazandığı bir zamanda,

it becomes popular to justify the symptoms,

semptomları haklı çıkarmak,

to eradicate them,

yok etmek

to make them invisible.

ve görünmez hale getirmek popülerleşti.

This ideology is spreading worldwide,

Bu ideoloji dünya çapında yayılıyor,

analog as well as digital,

analog olduğu kadar dijital de,

and it's our duty to stop it

çok geç olmadan

bunu durdurmak bizim görevimiz.

before it's too late.

The question of freedom and democracy

Özgürlük ve demokrasi sorusu

must not only have these two options.

sadece iki cevaba sahip olmamalı.

HB: Delete.

HB: Sil.

MR: Or ignore.

MR: Yok say.

HB: Thank you very much.

HB: Teşekkür ederiz.

(Applause)

(Alkışlar)