How technology can fight extremism and online harassment | Yasmin Green

Fordító: Dániel Nagy Abonyi Lektor: Péter Pallós

My relationship with the internet reminds me of the setup

Az internettel való kapcsolatom közhelyes horrorfilmre emlékeztet:

to a clichéd horror movie.

You know, the blissfully happy family moves in to their perfect new home,

a boldog családtagok beköltöznek tökéletes, új otthonukba,

excited about their perfect future,

izgatottak a tökéletes jövőjük miatt,

and it's sunny outside and the birds are chirping ...

odakint süt a nap, csicseregnek a madarak...

And then it gets dark.

Aztán minden elsötétül.

And there are noises from the attic.

Zajok szűrődnek le a padlásról,

And we realize that that perfect new house isn't so perfect.

és rájövünk, hogy a tökéletes új ház nem is olyan tökéletes.

When I started working at Google in 2006,

Amikor 2006-ban elkezdtem a Google-nál dolgozni,

Facebook was just a two-year-old,

a Facebook még csak kétéves volt, a Twitter pedig még nem is létezett.

and Twitter hadn't yet been born.

And I was in absolute awe of the internet and all of its promise

Teljesen lenyűgözött az internet és az ígéret,

hogy közelebb hoz bennünket,

to make us closer

and smarter

illetve okosabbá és szabadabbá tesz majd.

and more free.

But as we were doing the inspiring work of building search engines

De amíg mi lelkesítő munkát végeztünk,

keresőmotorokat, videómegosztó oldalakat és közösségi hálókat fejlesztve,

and video-sharing sites and social networks,

criminals, dictators and terrorists were figuring out

addig bűnözők, diktátorok és terroristák azt találgatták,

how to use those same platforms against us.

hogyan is használhatnák ugyanezeket a felületeket ellenünk.

And we didn't have the foresight to stop them.

És nem voltunk előrelátóak, hogy megállítsuk őket.

Over the last few years, geopolitical forces have come online to wreak havoc.

Geopolitikai erők online kezdtek pusztítani az elmúlt években.

And in response,

Válaszul a Google támogatást nyújtott pár kollégámnak és nekem,

Google supported a few colleagues and me to set up a new group called Jigsaw,

hogy felállítsunk egy új, Jigsaw nevű csapatot, abból a célból,

with a mandate to make people safer from threats like violent extremism,

hogy megvédjük az embereket az erőszakos szélsőségességtől,

censorship, persecution --

a cenzúrától, üldözéstől...

threats that feel very personal to me because I was born in Iran,

Számomra is ismerős fenyegetésektől, mivel Iránban születtem,

and I left in the aftermath of a violent revolution.

és az erőszakos forradalom után elhagytam az országot.

But I've come to realize that even if we had all of the resources

De rájöttem, hogy még ha rendelkeznénk is

a világ összes technológiai cégének minden erőforrásával,

of all of the technology companies in the world,

we'd still fail

akkor is elbuknánk,

if we overlooked one critical ingredient:

ha figyelmen kívül hagynánk egy fontos tényezőt:

the human experiences of the victims and perpetrators of those threats.

az áldozatok és a fenyegetéseket elkövetők tapasztalatait.

There are many challenges I could talk to you about today.

Rengeteg kihívásról beszélhetnék,

I'm going to focus on just two.

de most csak kettőt emelek ki.

The first is terrorism.

Az egyik a terrorizmus.

So in order to understand the radicalization process,

A radikalizálódás folyamatának megértésére

we met with dozens of former members of violent extremist groups.

erőszakos szélsőséges csoportok volt tagjainak tucatjaival ültünk össze.

One was a British schoolgirl,

Egyikük egy brit diáklány volt,

who had been taken off of a plane at London Heathrow

akit leszállítottak a repülőről a londoni Heathrow reptéren,

as she was trying to make her way to Syria to join ISIS.

amikor Szíriába próbált eljutni, hogy csatlakozhasson az ISIS-hez.

And she was 13 years old.

Tizenhárom éves volt.

So I sat down with her and her father, and I said, "Why?"

Így hát leültem vele és az apjával, és azt kérdeztem: "Miért?"

And she said,

Erre azt válaszolta:

"I was looking at pictures of what life is like in Syria,

"Nézegettem képeket arról, hogy milyen is az élet Szíriában,

and I thought I was going to go and live in the Islamic Disney World."

és azt hittem, hogy az Iszlám Disney Worldben fogok élni."

That's what she saw in ISIS.

Ezt látta az ISIS-ben.

She thought she'd meet and marry a jihadi Brad Pitt

Azt képzelte, hogy találkozik egy dzsihádi Brad Pitt-tel, hozzámegy,

and go shopping in the mall all day and live happily ever after.

és majd vásárlással tölti a napjait, és boldogan élnek, míg meg nem halnak.

ISIS understands what drives people,

Az ISIS tudja, mi hajtja az embereket,

and they carefully craft a message for each audience.

és gondosan kidolgozott üzeneteket készítenek mindenféle közönségnek.

Just look at how many languages

Elég csak megnézni, hogy hány nyelvre fordítják le a reklámanyagaikat.

they translate their marketing material into.

They make pamphlets, radio shows and videos

Brosúrákat, rádióműsorokat és videókat készítenek

in not just English and Arabic,

nemcsak angolul és arabul,

but German, Russian, French, Turkish, Kurdish,

de német, orosz, francia, török, kurd,

héber és mandarin nyelven is.

Hebrew,

Mandarin Chinese.

I've even seen an ISIS-produced video in sign language.

Jelnyelven készült ISIS-videót is láttam.

Just think about that for a second:

Gondoljunk csak bele!

ISIS took the time and made the effort

Az ISIS időt és energiát fordított arra,

to ensure their message is reaching the deaf and hard of hearing.

hogy a siketeket és nagyothallókat is elérjék az üzeneteik.

It's actually not tech-savviness

Valójában nem a technológiai jártasság az,

that is the reason why ISIS wins hearts and minds.

amivel az ISIS meggyőzi az embereket.

It's their insight into the prejudices, the vulnerabilities, the desires

Hanem a rálátás azokra az előítéletekre, gyengeségekre és vágyakra,

of the people they're trying to reach

amelyek az általuk megcélzott emberek sajátosságai.

that does that.

That's why it's not enough

Ezért nem elég,

for the online platforms to focus on removing recruiting material.

hogy az online felületek toborzóanyagok eltávolítására összpontosítanak.

If we want to have a shot at building meaningful technology

Ha esélyt szeretnénk egy jelentős technológia fejlesztésére,

that's going to counter radicalization,

amely szembeszáll a radikalizálódással,

we have to start with the human journey at its core.

akkor annak gyökerénél kell kezdenünk az emberi utazást.

So we went to Iraq

Elmentünk Irakba,

to speak to young men who'd bought into ISIS's promise

hogy fiatal férfiakkal beszéljünk,

of heroism and righteousness,

akik bedőltek az ISIS hősiességről és tisztességről szóló ígéretének,

who'd taken up arms to fight for them

fegyvert ragadtak, hogy harcoljanak értük,

and then who'd defected

majd megszöktek, miután látták az ISIS uralmának brutalitását.

after they witnessed the brutality of ISIS's rule.

And I'm sitting there in this makeshift prison in the north of Iraq

Ott ültem ebben az észak-iraki átmeneti börtönben egy 23 éves fiúval,

with this 23-year-old who had actually trained as a suicide bomber

aki öngyilkos merénylőnek készült,

before defecting.

mielőtt elszökött volna.

And he says,

Azt mondta:

"I arrived in Syria full of hope,

"Reményekkel telve jöttem Szíriába,

and immediately, I had two of my prized possessions confiscated:

de azonnal elkobozták két értékes tárgyamat:

my passport and my mobile phone."

az útlevelemet és a mobiltelefonomat."

The symbols of his physical and digital liberty

A fizikai és digitális szabadságának jelképeit érkezéskor elvették tőle.

were taken away from him on arrival.

And then this is the way he described that moment of loss to me.

Így írta le ezt a veszteséges pillanatot.

He said,

Azt mondta:

"You know in 'Tom and Jerry,'

"Ismerik azt a jelenetet a Tom és Jerryben,

when Jerry wants to escape, and then Tom locks the door

amikor Jerry meg akar szökni, Tom pedig rázárja az ajtót,

and swallows the key

lenyeli a kulcsot, és látni, ahogy nyelés közben kidudorodik a torkában?"

and you see it bulging out of his throat as it travels down?"

And of course, I really could see the image that he was describing,

Láttam magam előtt a képet, amit leírt,

and I really did connect with the feeling that he was trying to convey,

és azonnal átéreztem az érzést, amit közölni próbált.

which was one of doom,

A végzet érzését. Amikor tudjuk, hogy nincs kiút.

when you know there's no way out.

And I was wondering:

Azon tűnődtem, hogy bármi miatt

What, if anything, could have changed his mind

meggondolta volna-e magát, mielőtt elindul otthonról?

the day that he left home?

Azt kérdeztem:

So I asked,

"If you knew everything that you know now

"Ha az indulásod napján tudtál volna mindent, amit most tudsz

about the suffering and the corruption, the brutality --

a szenvedésről, a korrupcióról és a brutalitásról,

that day you left home,

would you still have gone?"

akkor is eljöttél volna?"

And he said, "Yes."

És azt mondta: "Igen."

And I thought, "Holy crap, he said 'Yes.'"

Azt gondoltam: "Basszus, igent mondott!"

And then he said,

Azt mondta:

"At that point, I was so brainwashed,

"Akkor már annyira agymosott voltam,

I wasn't taking in any contradictory information.

hogy semmilyen ellentmondó információt nem fogadtam be.

I couldn't have been swayed."

Nem tántoríthattak volna el."

"És ha tudtál volna mindent, amit most,

"Well, what if you knew everything that you know now

six months before the day that you left?"

fél évvel az indulásod előtt?"

"At that point, I think it probably would have changed my mind."

"Akkor valószínűleg meggondoltam volna magam."

Radicalization isn't this yes-or-no choice.

A radikalizálódás nem választás kérdése,

hanem folyamat, amely során az embereknek kérdéseik támadnak

It's a process, during which people have questions --

about ideology, religion, the living conditions.

ideológiáról, vallásról, az életkörülményekről.

And they're coming online for answers,

És az internethez fordulnak válaszokért,

which is an opportunity to reach them.

ami esélyt ad arra, hogy megtalálják őket.

And there are videos online from people who have answers --

És vannak videók olyanokkal, akiknek már megvannak a válaszaik,

defectors, for example, telling the story of their journey

pl. disszidensek, akik elmesélik, hogyan tértek rá az erőszak útjára, majd le róla.

into and out of violence;

stories like the one from that man I met in the Iraqi prison.

Történetek, mint amilyet az a férfi mondott nekem az iraki börtönben.

There are locals who've uploaded cell phone footage

Vannak telefonos felvételek, amelyeket az ottani lakosok töltöttek fel arról,

of what life is really like in the caliphate under ISIS's rule.

hogy milyen valójában az élet az ISIS uralta kalifátusban.

There are clerics who are sharing peaceful interpretations of Islam.

Vannak papok, akik az iszlám békés értelmezését terjesztik.

But you know what?

De ezeknek az embereknek nincs olyan marketingerejük, mint az ISIS-nek.

These people don't generally have the marketing prowess of ISIS.

They risk their lives to speak up and confront terrorist propaganda,

Az életüket kockáztatják a terrorista propaganda elleni felszólalással.

and then they tragically don't reach the people

De sajnos nem tudják elérni azokat az embereket,

who most need to hear from them.

akiknek a leginkább kellene hallani őket.

And we wanted to see if technology could change that.

Ki akartuk deríteni, hogy a technológia változtathat-e ezen.

So in 2016, we partnered with Moonshot CVE

2016-ban összefogtunk a Moonshot CVE-vel,

to pilot a new approach to countering radicalization

hogy a radikalizálódás elleni harc új megközelítését,

called the "Redirect Method."

az ún. "átirányító módszert" teszteljük.

It uses the power of online advertising

Ez a módszer az online reklámozást használja fel,

to bridge the gap between those susceptible to ISIS's messaging

hogy áthidalja a szakadékot az ISIS üzeneteire fogékonyak

and those credible voices that are debunking that messaging.

és a hiteles hangok között, akik leleplezik az ISIS üzeneteit.

And it works like this:

A következőképp működik: bárki, aki szélsőséges anyagot keres,

someone looking for extremist material --

say they search for "How do I join ISIS?" --

és rákeres pl. erre: "Hogyan csatlakozhatok az ISIS-hez?",

will see an ad appear

reklámot fog látni, amely arra biztatja,

that invites them to watch a YouTube video of a cleric, of a defector --

hogy egy YouTube-videót nézzen meg

lelkészről, disszidensről,

someone who has an authentic answer.

valakiről, akinek autentikus a válasza.

And that targeting is based not on a profile of who they are,

A videó kiválasztása pedig nem a személyiségképük alapján történik,

but of determining something that's directly relevant

hanem a kérdésükhöz közvetlenül kapcsolódó valamilyen konkrétum alapján.

to their query or question.

During our eight-week pilot in English and Arabic,

Az angolul és arabul zajló nyolchetes felmérés során

we reached over 300,000 people

több mint 300 000 emberhez értünk el,

who had expressed an interest in or sympathy towards a jihadi group.

akik érdeklődést vagy együttérzést mutattak egy dzsihádista csoport iránt.

These people were now watching videos

Ezek az emberek már olyan videókat néztek,

that could prevent them from making devastating choices.

amelyek megakadályozhatják, hogy végzetes döntéseket hozzanak.

And because violent extremism isn't confined to any one language,

Mivel az erőszakos szélsőségesség nem korlátozódik egyetlen nyelvre,

religion or ideology,

vallásra vagy ideológiára,

the Redirect Method is now being deployed globally

az átirányító módszert jelenleg az egész világra terjesztik ki,

to protect people being courted online by violent ideologues,

hogy megvédjék az embereket erőszakos ideológusok csábításától,

whether they're Islamists, white supremacists

legyenek azok iszlamisták, fehér felsőbbrendűséget hirdetők,

or other violent extremists,

vagy egyéb erőszakos szélsőségesek.

with the goal of giving them the chance to hear from someone

A cél, hogy legyen esélyük olyanok véleményét hallani,

on the other side of that journey;

akik a másik oldalon állnak:

to give them the chance to choose a different path.

hogy esélyük legyen más utat választani.

It turns out that often the bad guys are good at exploiting the internet,

Kiderült, hogy a rosszfiúk gyakran nem azért tudják kihasználni az internetet,

not because they're some kind of technological geniuses,

mert afféle technikai géniuszok,

but because they understand what makes people tick.

hanem mert tudják, mi mozgatja meg az embereket.

I want to give you a second example:

Hadd hozzak egy másik példát:

online harassment.

internetes zaklatás.

Online harassers also work to figure out what will resonate

Az internetes zaklatók is azt találgatják, mivel tudnak hatni egy másik emberre.

with another human being.

But not to recruit them like ISIS does,

Csak ők ezt nem toborzás céljából teszik, mint az ISIS,

but to cause them pain.

hanem hogy fájdalmat okozzanak nekik.

Imagine this:

Most képzeljék azt,

you're a woman,

hogy nők,

you're married,

férjnél vannak,

you have a kid.

és van gyerekük.

You post something on social media,

Közösségi oldalra kiposztolnak valamit,

and in a reply, you're told that you'll be raped,

és azt kapják rá válaszul, hogy meg lesznek erőszakolva.

that your son will be watching,

A fiuk szeme láttára.

details of when and where.

Részletekkel, hogy mikor és hol.

In fact, your home address is put online for everyone to see.

Sőt, még a lakcímüket is feltüntetik, hogy mindenki láthassa.

That feels like a pretty real threat.

Ez elég valós fenyegetésnek tűnik.

Do you think you'd go home?

Mit gondolnak, hazamennének?

Do you think you'd continue doing the thing that you were doing?

Folytatnák azt, amit addig csináltak?

Folytatnák azt, ami zavarja a támadójukat?

Would you continue doing that thing that's irritating your attacker?

Online abuse has been this perverse art

Az online zaklatás perverz művészetté vált,

of figuring out what makes people angry,

melynek lényege, hogy kitaláljuk, mi dühíti fel az embereket,

what makes people afraid,

mitől félnek, mitől lesznek bizonytalanok,

what makes people insecure,

and then pushing those pressure points until they're silenced.

és addig gyakoroljunk rájuk nyomást, amíg el nem hallgatnak.

When online harassment goes unchecked,

Ha dúl az online zaklatás,

free speech is stifled.

az a szólásszabadság elfojtása.

And even the people hosting the conversation

Még a párbeszédet irányítók is csak felemelik a kezüket és feladják,

throw up their arms and call it quits,

closing their comment sections and their forums altogether.

lezárják a kommentszekciókat és a fórumokat.

That means we're actually losing spaces online

Ezzel elveszítjük az internetes felületeket,

to meet and exchange ideas.

ahol összegyűlhetünk és eszmecserét folytathatunk.

And where online spaces remain,

A fennmaradó online felületeken pedig süketszobába szorulunk

we descend into echo chambers with people who think just like us.

a hozzánk hasonlóan gondolkodókkal.

But that enables the spread of disinformation;

Ez viszont lehetővé teszi a félretájékoztatás terjedését,

that facilitates polarization.

az pedig elősegíti a polarizációt.

What if technology instead could enable empathy at scale?

Mi lenne, ha a technológia ehelyett elegendő empátiát tudna biztosítani?

This was the question that motivated our partnership

Ez a kérdés motiválta a társulásunkat

with Google's Counter Abuse team,

a Google zaklatás elleni csoportjával,

Wikipedia

a Wikipédiával és újságokkal, mint pl. a The New York Timesszal.

and newspapers like the New York Times.

We wanted to see if we could build machine-learning models

Látni akartuk, hogy kifejleszthetünk-e olyan gépi tanulási modelleket,

that could understand the emotional impact of language.

amelyek megértik a nyelv érzelmi hatásait.

Could we predict which comments were likely to make someone else leave

Előrejelezhetjük-e, mely kommentek késztethetnek valakit

az online beszélgetés elhagyására?

the online conversation?

And that's no mean feat.

Ez pedig nem kis vállalkozás!

That's no trivial accomplishment

Az, hogy egy MI képes legyen erre, nem triviális feladat.

for AI to be able to do something like that.

I mean, just consider these two examples of messages

Vegyük csak példának ezt a két üzenetet, amelyeket én kaphattam volna múlt héten.

that could have been sent to me last week.

"Break a leg at TED!"

"Kéz- és lábtörést a TED-en!" És:

... and

"I'll break your legs at TED."

"Eltöröm kezed-lábad a TED-en."

(Laughter)

(Nevetés)

You are human,

Maguk emberek, ezért önök számára egyértelmű a különbség.

that's why that's an obvious difference to you,

even though the words are pretty much the same.

Noha a szavak majdnem megegyeznek,

But for AI, it takes some training to teach the models

egy MI-nek be kell tanítani a különbséget felismerő modelleket,

to recognize that difference.

Egy ilyen MI kifejlesztésében az a szép,

The beauty of building AI that can tell the difference

is that AI can then scale to the size of the online toxicity phenomenon,

hogy az MI később átméretezhető az online zaklatás jelenségének mértékére.

and that was our goal in building our technology called Perspective.

Ez volt a célunk a Perspective nevű technológiánk kifejlesztésével.

With the help of Perspective,

A Perspective segítségével pl. a The New York Times

the New York Times, for example,

megnövelte a beszélgetésre szánt online tereket.

has increased spaces online for conversation.

Az együttműködésünk előtt

Before our collaboration,

they only had comments enabled on just 10 percent of their articles.

a cikkeiknek mindössze 10%-ához lehetett hozzászólni.

With the help of machine learning,

A gépi tanulás segítségével ez a szám 30%-ra ugrott.

they have that number up to 30 percent.

Tehát megháromszorozódott, és ez még mindig csak a kezdet.

So they've tripled it,

and we're still just getting started.

But this is about way more than just making moderators more efficient.

De ez sokkal többről szól, mint hogy csak hatékonyabbá tegyük a moderátorokat.

Right now I can see you,

Most látom magukat,

and I can gauge how what I'm saying is landing with you.

és fel tudom mérni, hogyan fogadják azt, amit épp mondok.

You don't have that opportunity online.

Erre nincs lehetőség az interneten.

Imagine if machine learning could give commenters,

Képzeljék el, ha a gépi tanulás valós idejű visszajelzést adhatna

as they're typing,

a hozzászólóknak, gépelés közben arról, milyen reakciókat válthatnak ki a szavaik.

real-time feedback about how their words might land,

just like facial expressions do in a face-to-face conversation.

Pont, mint az arckifejezések a személyes beszélgetéseknél.

Machine learning isn't perfect,

A gépi tanulás nem tökéletes,

and it still makes plenty of mistakes.

és még mindig sokszor téved,

But if we can build technology

de ha építhetünk a nyelv érzelmi hatásait értő technológiát,

that understands the emotional impact of language,

empátiát is építhetnénk.

we can build empathy.

That means that we can have dialogue between people

Ez azt jelenti, hogy párbeszédet létesíthetnénk

with different politics,

eltérő politikai nézeteket valló, különböző világnézetű,

different worldviews,

different values.

eltérő értékeket képviselő emberek között.

And we can reinvigorate the spaces online that most of us have given up on.

Felpezsdíthetnénk az online tereket, amelyekről már a többségünk lemondott.

When people use technology to exploit and harm others,

Amikor az emberek mások bántására és kihasználására használják a technológiát,

they're preying on our human fears and vulnerabilities.

az emberi félelmeinken és gyenge pontjainkon élősködnek.

If we ever thought that we could build an internet

Ha valaha is azt hittük,

megépíthetjük az emberiség sötét oldalától elszigetelt internetet,

insulated from the dark side of humanity,

we were wrong.

tévedtünk.

If we want today to build technology

Ha ma technológiát szeretnénk építeni,

that can overcome the challenges that we face,

amely képes felülkerekedni az előttünk álló kihívásokon,

we have to throw our entire selves into understanding the issues

teljes erőbedobással kell megértenünk a problémákat,

and into building solutions

és olyan megoldásokat találnunk,

that are as human as the problems they aim to solve.

amelyek éppolyan emberiek, mint a problémák, amelyek megoldására készülnek.

Let's make that happen.

Valósítsuk ezt meg!

Thank you.

Köszönöm!

(Applause)

(Taps)