How technology can fight extremism and online harassment | Yasmin Green

Vertaald door: Rik Delaet Nagekeken door: Peter van de Ven

My relationship with the internet reminds me of the setup

Mijn relatie met het internet doet me denken aan het scenario

to a clichéd horror movie.

van een clichématige horrorfilm.

You know, the blissfully happy family moves in to their perfect new home,

Je weet wel, dat zielsgelukkig gezin dat naar hun perfecte nieuwe huis verhuist,

excited about their perfect future,

enthousiast over hun perfecte toekomst;

and it's sunny outside and the birds are chirping ...

de zon schijnt en de vogeltjes fluiten ...

And then it gets dark.

En dan wordt het donker.

And there are noises from the attic.

Er komen geluiden van de zolder.

And we realize that that perfect new house isn't so perfect.

En dan beseffen we dat dat perfecte nieuwe huis niet zo perfect is.

When I started working at Google in 2006,

Toen ik in 2006 begon te werken bij Google,

Facebook was just a two-year-old,

bestond Facebook nog maar twee jaar

and Twitter hadn't yet been born.

en Twitter was nog niet eens geboren.

And I was in absolute awe of the internet and all of its promise

Ik was weg van internet

en al zijn beloftes om ons dichter bij elkaar te brengen,

to make us closer

and smarter

om ons slimmer en veel vrijer te maken.

and more free.

But as we were doing the inspiring work of building search engines

Maar terwijl we bezig waren

met het inspirerende werk van het bouwen van zoekmachines,

and video-sharing sites and social networks,

video-sharing sites en sociale netwerken,

criminals, dictators and terrorists were figuring out

waren criminelen, dictators en terroristen aan het uitzoeken

how to use those same platforms against us.

hoe ze diezelfde platforms tegen ons konden gebruiken.

And we didn't have the foresight to stop them.

We zagen het niet aankomen.

Over the last few years, geopolitical forces have come online to wreak havoc.

In de afgelopen jaren zijn geopolitieke krachten

online gekomen om grote schade aan te richten.

And in response,

Als antwoord ondersteunde Google een paar collega's en mij

Google supported a few colleagues and me to set up a new group called Jigsaw,

bij het opzetten van een nieuwe groep, ‘Jigsaw’,

with a mandate to make people safer from threats like violent extremism,

met de opdracht om mensen te beveiligen

tegen bedreigingen als gewelddadig extremisme,

censorship, persecution --

censuur, vervolging --

threats that feel very personal to me because I was born in Iran,

bedreigingen die me heel persoonlijk aanspreken, want ik ben geboren in Iran,

and I left in the aftermath of a violent revolution.

waar ik wegging in de nasleep van een gewelddadige revolutie.

But I've come to realize that even if we had all of the resources

Maar ik ben tot het besef gekomen dat zelfs als we alle middelen hadden

of all of the technology companies in the world,

van alle van technologische bedrijven in de wereld,

we'd still fail

we nog steeds zouden falen

if we overlooked one critical ingredient:

als we één kritische ingrediënt over het hoofd zagen:

the human experiences of the victims and perpetrators of those threats.

de ervaringen van de mensen die deze bedreigingen uiten en ondergaan.

There are many challenges I could talk to you about today.

Er zijn vele problemen waar ik vandaag over zou kunnen praten.

I'm going to focus on just two.

Ik beperk me tot twee.

The first is terrorism.

De eerste is het terrorisme.

So in order to understand the radicalization process,

Om het radicaliseringsproces te begrijpen,

we met with dozens of former members of violent extremist groups.

zochten we tientallen voormalige leden van gewelddadige extremistische groepen op.

One was a British schoolgirl,

Een daarvan was een Brits schoolmeisje

who had been taken off of a plane at London Heathrow

dat op London Heathrow van een vliegtuig was geplukt

as she was trying to make her way to Syria to join ISIS.

toen ze in Syrië probeerde te geraken om zich bij ISIS aan te sluiten.

And she was 13 years old.

Ze was 13 jaar.

So I sat down with her and her father, and I said, "Why?"

Ik sprak haar en haar vader, en vroeg: "Waarom?"

And she said,

Ze zei:

"I was looking at pictures of what life is like in Syria,

"Ik zocht naar foto’s over hoe het leven was in Syrië

and I thought I was going to go and live in the Islamic Disney World."

en ik dacht dat ik terecht zou komen in een islamitische Disney World."

That's what she saw in ISIS.

Zo zag ze ISIS.

She thought she'd meet and marry a jihadi Brad Pitt

Ze dacht dat ze een jihadi Brad Pitt zou ontmoeten, trouwen,

and go shopping in the mall all day and live happily ever after.

de hele dag winkelen in winkelcentra en lang en gelukkig leven.

ISIS understands what drives people,

ISIS begrijpt wat mensen drijft

and they carefully craft a message for each audience.

en ze kiezen zorgvuldig aangepaste teksten voor elke doelgroep.

Just look at how many languages

Kijk maar in hoeveel talen

they translate their marketing material into.

ze hun marketingmateriaal vertalen.

They make pamphlets, radio shows and videos

Ze maken pamfletten, radioprogramma's en video's,

in not just English and Arabic,

niet alleen in het Engels en het Arabisch,

but German, Russian, French, Turkish, Kurdish,

maar in het Duits, Russisch, Frans, Turks, Koerdisch,

Hebrew,

Hebreeuws,

Mandarin Chinese.

Mandarijn.

I've even seen an ISIS-produced video in sign language.

Ik zag zelfs een door ISIS geproduceerde video in gebarentaal.

Just think about that for a second:

Denk daar eens even aan:

ISIS took the time and made the effort

ISIS nam de tijd en deed de inspanning

to ensure their message is reaching the deaf and hard of hearing.

om ervoor te zorgen dat hun boodschap doven en slechthorenden bereikte.

It's actually not tech-savviness

Het is eigenlijk niet hun technisch kunnen

that is the reason why ISIS wins hearts and minds.

waarmee ISIS harten en geesten voor zich wint,

It's their insight into the prejudices, the vulnerabilities, the desires

maar hun inzicht in de vooroordelen, de kwetsbaarheden en de verlangens

of the people they're trying to reach

van de mensen die ze proberen te bereiken.

that does that.

That's why it's not enough

Daarom is het niet voldoende voor de online-platforms

for the online platforms to focus on removing recruiting material.

om zich te concentreren op het verwijderen van het wervingsmateriaal.

If we want to have a shot at building meaningful technology

Als we een zinvolle technologie willen bouwen

that's going to counter radicalization,

om radicalisering tegen te gaan,

we have to start with the human journey at its core.

moeten we de menselijke reis naar de kern ervan aanvatten.

So we went to Iraq

Dus gingen we naar Irak

to speak to young men who'd bought into ISIS's promise

om te spreken met jonge mannen die waren gevallen voor ISIS' belofte

of heroism and righteousness,

van heldendom en gerechtigheid,

die de wapens hadden opgenomen om voor hen te vechten

who'd taken up arms to fight for them

and then who'd defected

en die dan waren overgelopen

after they witnessed the brutality of ISIS's rule.

toen ze getuige waren van de wreedheden van ISIS.

And I'm sitting there in this makeshift prison in the north of Iraq

Ik praatte in een geïmproviseerde gevangenis in het noorden van Irak

with this 23-year-old who had actually trained as a suicide bomber

met een 23-jarige die opgeleid was tot zelfmoordterrorist

before defecting.

voordat hij overliep.

And he says,

Hij zei:

"I arrived in Syria full of hope,

"Vol hoop kwam ik naar Syrië,

and immediately, I had two of my prized possessions confiscated:

en meteen werden twee van mijn kostbaarste bezittingen in beslag genomen:

my passport and my mobile phone."

mijn paspoort en mijn mobiele telefoon."

The symbols of his physical and digital liberty

De symbolen van zijn fysieke en digitale vrijheid

were taken away from him on arrival.

werden bij aankomst van hem afgepakt.

And then this is the way he described that moment of loss to me.

Zo beschreef hij mij dat moment van verlies.

He said,

Hij zei:

"You know in 'Tom and Jerry,'

"Ken je die scène bij 'Tom en Jerry'

when Jerry wants to escape, and then Tom locks the door

waar Jerry wil ontsnappen, Tom de deur op slot doet

and swallows the key

en de sleutel inslikt,

and you see it bulging out of his throat as it travels down?"

en je zijn keel ziet uitpuilen als die naar beneden zakt?"

And of course, I really could see the image that he was describing,

Natuurlijk kon ik echt het beeld zien dat hij beschreef,

and I really did connect with the feeling that he was trying to convey,

en begreep ik het gevoel dat hij probeerde over te brengen:

which was one of doom,

een van verdoemenis,

when you know there's no way out.

als je weet dat er geen uitweg meer is.

And I was wondering:

Ik vroeg me af

What, if anything, could have changed his mind

of er iets was waardoor hij van gedachten veranderd kon zijn

the day that he left home?

de dag dat hij thuis wegging?

So I asked,

Dus vroeg ik:

"If you knew everything that you know now

"Als je alles wist wat je nu weet

about the suffering and the corruption, the brutality --

over het lijden, de corruptie, de wreedheid --

that day you left home,

die dag dat je thuis wegging,

would you still have gone?"

zou je dan nog zijn gegaan?"

And he said, "Yes."

En hij zei: "Ja."

And I thought, "Holy crap, he said 'Yes.'"

En ik dacht: krijg nou wat, hij zei: "Ja."

And then he said,

Toen zei hij:

"At that point, I was so brainwashed,

"Op dat moment was ik zo gehersenspoeld

I wasn't taking in any contradictory information.

dat ik geen enkele tegenspraak toeliet.

I couldn't have been swayed."

Ik kon toen niet worden omgepraat."

"Well, what if you knew everything that you know now

"Wel, wat als je alles wist wat je nu weet

six months before the day that you left?"

zes maanden voor de dag dat je wegging?"

"At that point, I think it probably would have changed my mind."

"Dan denk ik dat het waarschijnlijk mijn denken zou hebben veranderd."

Radicalization isn't this yes-or-no choice.

Radicalisering is geen ja-of-nee-keuze.

It's a process, during which people have questions --

Het is een proces waarbij mensen vragen hebben --

about ideology, religion, the living conditions.

over ideologie, religie, de leefomstandigheden.

And they're coming online for answers,

Ze zoeken online naar antwoorden,

which is an opportunity to reach them.

wat een kans biedt om ze te bereiken.

And there are videos online from people who have answers --

Er zijn online video's van mensen die antwoorden --

defectors, for example, telling the story of their journey

overlopers vertellen bijvoorbeeld het verhaal van hun reis

into and out of violence;

naar en terug van het geweld.

stories like the one from that man I met in the Iraqi prison.

Verhalen zoals die van de man die ik ontmoette in de Iraakse gevangenis.

There are locals who've uploaded cell phone footage

Mensen van ginder hebben beelden van hun mobiele telefoon geüpload

of what life is really like in the caliphate under ISIS's rule.

van hoe het er echt aan toegaat in het kalifaat onder het bewind van ISIS.

There are clerics who are sharing peaceful interpretations of Islam.

Er zijn geestelijken die vreedzame interpretaties van de islam delen.

But you know what?

Maar deze mensen beschikken meestal niet over het marketinglef van ISIS.

These people don't generally have the marketing prowess of ISIS.

They risk their lives to speak up and confront terrorist propaganda,

Zij riskeren hun leven als ze spreken en de terroristische propaganda tegengaan.

and then they tragically don't reach the people

Ze bereiken tragisch genoeg niet de mensen

who most need to hear from them.

die het het meest nodig hebben.

And we wanted to see if technology could change that.

Wij wilden zien of technologie dat zou kunnen veranderen.

So in 2016, we partnered with Moonshot CVE

In 2016 werkten we samen met Moonshot CVE

to pilot a new approach to countering radicalization

om een ​​nieuwe aanpak van het tegengaan van radicalisering op te starten,

called the "Redirect Method."

de ‘Redirect Method’ genaamd.

It uses the power of online advertising

Ze maakt gebruik van de kracht van online adverteren

to bridge the gap between those susceptible to ISIS's messaging

om de kloof te dichten tussen degenen die gevoelig zijn voor berichten van ISIS

and those credible voices that are debunking that messaging.

en de geloofwaardige stemmen die die berichten ontmaskeren.

And it works like this:

Het werkt als volgt:

someone looking for extremist material --

iemand zoekt extremistisch materiaal --

say they search for "How do I join ISIS?" --

bijvoorbeeld ‘Hoe word ik lid van ISIS?’

will see an ad appear

-- en ziet een advertentie verschijnen.

that invites them to watch a YouTube video of a cleric, of a defector --

Ze nodigt uit om een ​​YouTube-video

van een geestelijke of een overloper te bekijken --

someone who has an authentic answer.

iemand met een authentiek antwoord.

And that targeting is based not on a profile of who they are,

Het doel is niet gebaseerd op een profiel van wie ze zijn,

but of determining something that's directly relevant

maar op het bepalen van iets dat direct relevant is

to their query or question.

voor hun vraag of vragen.

During our eight-week pilot in English and Arabic,

Onze acht weken durende proef in het Engels en het Arabisch

we reached over 300,000 people

bereikte meer dan 300.000 mensen

who had expressed an interest in or sympathy towards a jihadi group.

die belangstelling of sympathie voor een jihadi-groep hadden geuit.

These people were now watching videos

Deze mensen keken nu naar video's

that could prevent them from making devastating choices.

die hen konden verhinderen om verwoestende keuzes te maken.

And because violent extremism isn't confined to any one language,

Omdat gewelddadig extremisme zich niet beperkt tot één taal,

religion or ideology,

religie of ideologie,

the Redirect Method is now being deployed globally

wordt de Redirect Method nu wereldwijd ingezet

to protect people being courted online by violent ideologues,

om mensen online te beschermen tegen manipulatie door gewelddadige ideologen,

whether they're Islamists, white supremacists

of het nu islamisten, blanke racisten

or other violent extremists,

of andere gewelddadige extremisten zijn,

with the goal of giving them the chance to hear from someone

met als doel hen de kans te geven om iemand te horen

on the other side of that journey;

die het heeft meegemaakt;

to give them the chance to choose a different path.

hen de kans te geven om een ​​ander pad te kiezen.

It turns out that often the bad guys are good at exploiting the internet,

Het blijkt dat de slechteriken vaak goed zijn in het benutten van het internet,

not because they're some kind of technological geniuses,

niet omdat ze technologische genieën zijn,

but because they understand what makes people tick.

maar omdat ze begrijpen wat mensen drijft.

I want to give you a second example:

Ik geef jullie een tweede voorbeeld: online pesten.

online harassment.

Online harassers also work to figure out what will resonate

Online-pesters zoeken ook uit wat andere mensen aanspreekt.

with another human being.

But not to recruit them like ISIS does,

Niet om ze te rekruteren, zoals ISIS doet,

but to cause them pain.

maar om ze leed te berokkenen.

Imagine this:

Stel je voor:

you're a woman,

je bent vrouw,

you're married,

je bent getrouwd,

you have a kid.

je hebt een kind.

You post something on social media,

Je plaatst iets op sociale media

and in a reply, you're told that you'll be raped,

en als antwoord vertellen ze je dat je zult verkracht worden

that your son will be watching,

terwijl je zoon toekijkt

details of when and where.

met details over wanneer en waar.

In fact, your home address is put online for everyone to see.

Ze zetten je huisadres online te kijk voor iedereen.

That feels like a pretty real threat.

Dat voelt serieus bedreigend aan.

Do you think you'd go home?

Denk je dat je nog naar huis zou durven?

Do you think you'd continue doing the thing that you were doing?

Denk je dat je zou bezig blijven met wat je aan het doen was?

Would you continue doing that thing that's irritating your attacker?

Zou je bezig blijven met wat je aanvaller irriteerde?

Online abuse has been this perverse art

Online pesten is de perverse kunst

of figuring out what makes people angry,

van het uitvissen wat mensen boos,

what makes people afraid,

wat mensen bang,

what makes people insecure,

wat mensen onzeker maakt,

and then pushing those pressure points until they're silenced.

en dan op die knoppen blijven drukken tot ze zwijgen.

When online harassment goes unchecked,

Als er tegen online pesten niets wordt ondernomen,

free speech is stifled.

wordt de vrijheid van meningsuiting verstikt.

And even the people hosting the conversation

Zelfs de mensen die de conversatie hosten,

throw up their arms and call it quits,

steken hun armen in de lucht, houden het voor bekeken

closing their comment sections and their forums altogether.

en sluiten hun commentaren en forums af.

That means we're actually losing spaces online

Dat betekent dat we online ruimten kwijtraken

waar we kunnen ontmoeten en ideeën uitwisselen.

to meet and exchange ideas.

And where online spaces remain,

En waar online ruimten overblijven,

we descend into echo chambers with people who think just like us.

dalen we af naar echokamers met mensen die net denken als wij.

But that enables the spread of disinformation;

Maar dat leidt tot verspreiding van desinformatie,

that facilitates polarization.

vergemakkelijkt polarisatie.

What if technology instead could enable empathy at scale?

Wat als technologie echter empathie op grote schaal mogelijk zou maken?

This was the question that motivated our partnership

Die vraag motiveerde ons partnerschap

with Google's Counter Abuse team,

met Google’s Counter Abuse team,

Wikipedia

alsook met Wikipedia

and newspapers like the New York Times.

en kranten als de New York Times.

We wanted to see if we could build machine-learning models

We wilden zien of we modellen voor machinaal leren konden bouwen

that could understand the emotional impact of language.

die de emotionele impact van taal konden begrijpen.

Could we predict which comments were likely to make someone else leave

Konden we voorspellen welke commentaren iemand konden doen weglopen

the online conversation?

van de online conversatie?

And that's no mean feat.

Dat is geen sinecure.

That's no trivial accomplishment

Het is geen peulschil voor KI om zoiets aan te kunnen.

for AI to be able to do something like that.

I mean, just consider these two examples of messages

Ik bedoel, kijk gewoon eens naar deze twee voorbeelden van berichten

that could have been sent to me last week.

die iemand me vorige week had kunnen sturen.

"Break a leg at TED!"

"Breek een been bij TED!"

... and

en ...

"I'll break your legs at TED."

"Ik zal je benen breken bij TED."

(Laughter)

(Gelach)

You are human,

Je bent mens,

that's why that's an obvious difference to you,

daarom is dat voor jou een duidelijk verschil,

even though the words are pretty much the same.

hoewel de woorden vrijwel dezelfde zijn.

But for AI, it takes some training to teach the models

Maar voor KI neemt dat enige training om de modellen te leren

to recognize that difference.

dat verschil te herkennen.

The beauty of building AI that can tell the difference

Het knappe aan het bouwen van een KI die dat onderscheid kan maken,

is that AI can then scale to the size of the online toxicity phenomenon,

is dat KI dan kan opschalen tot de omvang van dat giftige online fenomeen.

and that was our goal in building our technology called Perspective.

Dat was ons doel bij het bouwen van onze Perspective-technologie.

With the help of Perspective,

Met de hulp van Perspective

the New York Times, for example,

heeft de New York Times bijvoorbeeld

has increased spaces online for conversation.

de online ruimtes voor conversatie doen toenemen.

Before our collaboration,

Vóór onze samenwerking

they only had comments enabled on just 10 percent of their articles.

lieten ze slechts commentaren toe op maar 10% van hun artikelen.

With the help of machine learning,

Met de hulp van machinaal leren

they have that number up to 30 percent.

is dat aantal verhoogd tot 30%.

So they've tripled it,

Ze hebben het dus verdrievoudigd

and we're still just getting started.

en we zijn nog maar net begonnen.

But this is about way more than just making moderators more efficient.

Maar dit gaat over veel meer dan beheerders alleen maar efficiënter maken.

Right now I can see you,

Op dit moment kan ik jullie zien

and I can gauge how what I'm saying is landing with you.

en beoordelen hoe wat ik zeg bij jullie overkomt.

You don't have that opportunity online.

Die mogelijkheid heb je niet online.

Imagine if machine learning could give commenters,

Stel je voor dat machinaal leren aan commentators, terwijl ze typen,

as they're typing,

real-time feedback about how their words might land,

real-time feedback kon geven over hoe hun woorden overkomen.

just like facial expressions do in a face-to-face conversation.

Net zoals gezichtsuitdrukkingen bij een oog-in-oog gesprek.

Machine learning isn't perfect,

Machinaal leren is niet perfect

and it still makes plenty of mistakes.

en het maakt nog steeds veel fouten.

But if we can build technology

Maar als we technologie kunnen bouwen

that understands the emotional impact of language,

die de emotionele impact van de taal begrijpt,

we can build empathy.

kunnen we empathie opbouwen.

That means that we can have dialogue between people

Dan krijgen we dialoog tussen mensen

with different politics,

met verschillende politieke meningen,

different worldviews,

verschillende wereldbeelden,

different values.

verschillende waarden.

And we can reinvigorate the spaces online that most of us have given up on.

Dan kunnen we online ruimtes nieuwe impulsen geven

nu de meesten daar begonnen af te haken.

When people use technology to exploit and harm others,

Wanneer mensen technologie gebruiken

om anderen uit te buiten en schade toe te brengen,

they're preying on our human fears and vulnerabilities.

azen ze op onze menselijke angsten en kwetsbaarheden.

If we ever thought that we could build an internet

Als we ooit dachten dat we een internet konden bouwen

insulated from the dark side of humanity,

geïsoleerd van de donkere kant van de mensheid,

we were wrong.

dan hadden we het mis.

If we want today to build technology

Als we vandaag de dag technologie willen

that can overcome the challenges that we face,

die de uitdagingen kan overwinnen waarmee we worden geconfronteerd,

we have to throw our entire selves into understanding the issues

moeten we ons helemaal toeleggen op het begrijpen van de problemen

and into building solutions

en zoeken naar oplossingen

that are as human as the problems they aim to solve.

die even menselijk zijn als de problemen die ze beogen op te lossen.

Let's make that happen.

Laten we zorgen dat dat gebeurt.

Thank you.

Dank je.

(Applause)

(Applaus)