How technology can fight extremism and online harassment | Yasmin Green

Traduttore: Gabriella Patricola Revisore: Silvia Monti

La mia relazione con Internet è simile alla sceneggiatura

di un film dell’orrore di serie B.

Una bella famigliola felice trasloca nella nuova casa perfetta,

My relationship with the internet reminds me of the setup

con entusiasmo immagina il suo brillante futuro,

to a clichéd horror movie.

fuori c’è un bel sole, gli uccellini cantano…

You know, the blissfully happy family moves in to their perfect new home,

Poi arriva la sera.

excited about their perfect future,

Si sentono dei rumori provenire dalla soffitta.

and it's sunny outside and the birds are chirping ...

E capiamo che quella nuova casa perfetta non è poi così perfetta.

And then it gets dark.

Quando ho cominciato a lavorare a Google, nel 2006,

And there are noises from the attic.

And we realize that that perfect new house isn't so perfect.

Facebook aveva solo due anni

e Twitter non era ancora stato concepito.

Provavo un timore reverenziale per Internet e le sue potenzialità

When I started working at Google in 2006,

Facebook was just a two-year-old,

di diminuire le distanze

and Twitter hadn't yet been born.

e renderci più intelligenti

e più liberi.

And I was in absolute awe of the internet and all of its promise

Mentre eravamo impegnati a costruire motori di ricerca,

to make us closer

siti in cui condividere video e social network,

and smarter

and more free.

criminali, dittatori e terroristi

But as we were doing the inspiring work of building search engines

scoprivano come usare queste stesse piattaforme contro di noi.

and video-sharing sites and social networks,

criminals, dictators and terrorists were figuring out

Non abbiamo avuto la lungimiranza di bloccarli.

Da alcuni anni, forze geopolitiche sono arrivate online per provocare caos.

how to use those same platforms against us.

And we didn't have the foresight to stop them.

Come risposta,

Google ha finanziato me e alcuni colleghi per creare un nuovo gruppo

Over the last few years, geopolitical forces have come online to wreak havoc.

chiamato “Jigsaw”,

con l’obiettivo di proteggere le persone da minacce come l’estremismo violento,

And in response,

Google supported a few colleagues and me to set up a new group called Jigsaw,

la censura e le persecuzioni.

Minacce, queste, che sento molto vicine, poiché sono nata in Iran

with a mandate to make people safer from threats like violent extremism,

e ho dovuto abbandonare il Paese a causa di una rivoluzione violenta.

censorship, persecution --

Ma ho capito che pur disponendo di tutte le migliori risorse

threats that feel very personal to me because I was born in Iran,

and I left in the aftermath of a violent revolution.

di tutte le aziende tecnologiche al mondo,

But I've come to realize that even if we had all of the resources

avremmo comunque fallito

se avessimo trascurato un aspetto fondamentale:

of all of the technology companies in the world,

l’esperienza umana delle vittime e degli autori di quelle minacce.

we'd still fail

if we overlooked one critical ingredient:

Ci sono moltissime sfide di cui potrei parlarvi oggi,

the human experiences of the victims and perpetrators of those threats.

ma mi concentrerò solo su due.

La prima di queste sfide è il terrorismo.

There are many challenges I could talk to you about today.

Al fine di comprendere il processo di radicalizzazione,

I'm going to focus on just two.

abbiamo incontrato dozzine di ex membri di gruppi estremisti violenti.

The first is terrorism.

So in order to understand the radicalization process,

Una era una ragazzina britannica,

we met with dozens of former members of violent extremist groups.

fermata alle partenze dell’aeroporto di Londra

mentre cercava di raggiungere la Siria per arruolarsi nell’ISIS.

One was a British schoolgirl,

who had been taken off of a plane at London Heathrow

Aveva 13 anni.

as she was trying to make her way to Syria to join ISIS.

Mi sono seduta insieme a lei e al padre e le ho chiesto:

“Perché?”

Mi ha risposto:

And she was 13 years old.

“Ho visto foto della vita in Siria

So I sat down with her and her father, and I said, "Why?"

e credevo che sarei andata a vivere nella Disney World islamica”.

And she said,

Questo è ciò che vedeva nell’ISIS.

"I was looking at pictures of what life is like in Syria,

Credeva di incontrare e sposare un Brad Pitt in versione jihadista,

and I thought I was going to go and live in the Islamic Disney World."

andare nei centri commerciali e vivere felice per sempre.

That's what she saw in ISIS.

She thought she'd meet and marry a jihadi Brad Pitt

L’ISIS comprende la psiche delle persone

e con molta cura confeziona i messaggi per ciascuna audience.

and go shopping in the mall all day and live happily ever after.

ISIS understands what drives people,

Guardate solo in quante lingue si declina il loro materiale di marketing.

and they carefully craft a message for each audience.

Creano pamphlet, programmi radiofonici e video

non soltanto in inglese e arabo,

Just look at how many languages

ma anche in tedesco, russo, francese, turco, curdo,

they translate their marketing material into.

They make pamphlets, radio shows and videos

ebraico

in not just English and Arabic,

e cinese mandarino.

but German, Russian, French, Turkish, Kurdish,

Ho persino visto un video prodotto dall’ISIS nel linguaggio dei segni.

Hebrew,

Mandarin Chinese.

Rifletteteci un secondo:

l’ISIS si è dato tempo e si è impegnato a fondo

I've even seen an ISIS-produced video in sign language.

per assicurarsi che il messaggio arrivi a persone sorde o con difficoltà uditive.

Just think about that for a second:

ISIS took the time and made the effort

Non è una questione di dimestichezza con la tecnologia.

to ensure their message is reaching the deaf and hard of hearing.

C’è un motivo perché l’ISIS conquista cuori e menti.

È l’intuizione sui pregiudizi, le vulnerabilità e le aspirazioni

It's actually not tech-savviness

delle persone bersaglio.

that is the reason why ISIS wins hearts and minds.

It's their insight into the prejudices, the vulnerabilities, the desires

Per questo non basta che le piattaforme online si concentrino

sul rimuovere il materiale di reclutamento.

of the people they're trying to reach

that does that.

Se vogliamo avere l’opportunità di progettare una tecnologia utile

That's why it's not enough

for the online platforms to focus on removing recruiting material.

che possa arginare gli estremismi,

dobbiamo avere come base l’essere umano.

If we want to have a shot at building meaningful technology

Siamo andati in Iraq

per parlare con un giovane incappato nei proclami dell’ISIS

that's going to counter radicalization,

we have to start with the human journey at its core.

di eroismo e giustizia,

So we went to Iraq

che avrebbe combattuto per loro

e che ha disertato

to speak to young men who'd bought into ISIS's promise

appena si è reso conto delle barbarie dell’ISIS.

of heroism and righteousness,

Mi trovo in questa prigione improvvisata nel nord dell’Iraq

who'd taken up arms to fight for them

con questo ventitreenne addestrato come attentatore suicida

and then who'd defected

after they witnessed the brutality of ISIS's rule.

And I'm sitting there in this makeshift prison in the north of Iraq

prima della diserzione.

Racconta:

with this 23-year-old who had actually trained as a suicide bomber

“Sono arrivato in Siria pieno di speranze

e immediatamente, mi hanno sequestrato due tra i miei beni più preziosi:

before defecting.

And he says,

il mio passaporto e il mio cellulare”.

"I arrived in Syria full of hope,

I simboli della sua libertà fisica e digitale

and immediately, I had two of my prized possessions confiscated:

gli vengono sottratti all’arrivo.

my passport and my mobile phone."

Questo è il modo in cui descrive il momento della perdita.

The symbols of his physical and digital liberty

Dice:

were taken away from him on arrival.

“Ha presente ‘Tom & Jerry’,

And then this is the way he described that moment of loss to me.

quando Jerry tenta la fuga e Tom chiude la porta

e inghiotte la chiave

He said,

e si vede la chiave che sporge dalla gola mentre scende giù?”

"You know in 'Tom and Jerry,'

Certo, potevo davvero vedere l’immagine che stava descrivendo,

when Jerry wants to escape, and then Tom locks the door

and swallows the key

e realmente ho vissuto la sensazione che lui cercava di convogliare,

and you see it bulging out of his throat as it travels down?"

che era di annichilimento,

And of course, I really could see the image that he was describing,

quando si capisce di non avere via d’uscita.

and I really did connect with the feeling that he was trying to convey,

Mi chiedevo

se qualcosa avrebbe potuto fargli cambiare idea

which was one of doom,

il giorno della partenza.

when you know there's no way out.

Quindi gli ho chiesto:

“Se avessi saputo tutto quello che sai adesso

And I was wondering:

What, if anything, could have changed his mind

sulla sofferenza, sulla corruzione e sulla brutalità

the day that he left home?

il giorno della partenza,

So I asked,

"If you knew everything that you know now

saresti partito comunque?”

Mi ha risposto: “Sì”.

about the suffering and the corruption, the brutality --

Ho pensato: “Cavolo, ha detto di sì”.

that day you left home,

Ma poi ha aggiunto:

would you still have gone?"

“A quel punto, avevo subito un lavaggio del cervello tale

And he said, "Yes."

da non credere più a nessuna informazione contraddittoria.

And I thought, "Holy crap, he said 'Yes.'"

And then he said,

Non potevo essere persuaso”.

"At that point, I was so brainwashed,

“E se avessi saputo tutto quello che sai adesso

I wasn't taking in any contradictory information.

sei mesi prima della tua partenza?”

I couldn't have been swayed."

“A quel punto, penso che probabilmente avrei cambiato idea”.

"Well, what if you knew everything that you know now

six months before the day that you left?"

La radicalizzazione non è una scelta netta.

"At that point, I think it probably would have changed my mind."

È un processo, durante il quale le persone si pongono domande

sull’ideologia, sulla religione e sulle condizioni di vita.

Radicalization isn't this yes-or-no choice.

E vanno online per trovare delle risposte,

It's a process, during which people have questions --

il che rappresenta un’opportunità per raggiungerle.

about ideology, religion, the living conditions.

Ci sono video online di persone con risposte.

And they're coming online for answers,

Per esempio, disertori che raccontano il loro percorso

which is an opportunity to reach them.

di uscita dalla violenza,

storie simili a quella del ragazzo che ho incontrato nella prigione irachena.

And there are videos online from people who have answers --

defectors, for example, telling the story of their journey

Ci sono residenti locali che caricano in rete filmati

into and out of violence;

che mostrano la vita nei califfati dove vigono le regole dell’ISIS.

stories like the one from that man I met in the Iraqi prison.

Ci sono chierici che condividono interpretazioni pacifiche dell’Islam.

There are locals who've uploaded cell phone footage

of what life is really like in the caliphate under ISIS's rule.

Ma queste persone non sono abili nel marketing come l’ISIS.

There are clerics who are sharing peaceful interpretations of Islam.

Rischiano la propria vita per contrastare la propaganda dei terroristi,

But you know what?

These people don't generally have the marketing prowess of ISIS.

ma non riescono a raggiungere le persone che più hanno bisogno di essere raggiunte.

They risk their lives to speak up and confront terrorist propaganda,

Volevamo capire se la tecnologia potesse essere d’aiuto.

Nel 2016, abbiamo creato una partnership con Moonshot CVE

and then they tragically don't reach the people

who most need to hear from them.

per un progetto pilota contro la radicalizzazione

And we wanted to see if technology could change that.

chiamato “Redirect Method”,

So in 2016, we partnered with Moonshot CVE

che sfrutta la potenzialità della pubblicità online

to pilot a new approach to countering radicalization

per colmare il divario tra le persone vulnerabili ai proclami dell’ISIS

called the "Redirect Method."

e le testimonianze credibili che ne smentiscono il messaggio.

It uses the power of online advertising

to bridge the gap between those susceptible to ISIS's messaging

Funziona in questo modo:

qualcuno cerca materiale estremista,

del tipo: “Come faccio ad arruolarmi nell’ISIS?”

and those credible voices that are debunking that messaging.

e compare un annuncio pubblicitario

And it works like this:

che invita a guardare un video su YouTube di un chierico o di un disertore,

someone looking for extremist material --

say they search for "How do I join ISIS?" --

di qualcuno in grado di dare risposte autentiche.

will see an ad appear

Il targeting si basa non sul loro profilo,

that invites them to watch a YouTube video of a cleric, of a defector --

ma determinando una pertinenza diretta

someone who has an authentic answer.

alla loro ricerca o domanda.

And that targeting is based not on a profile of who they are,

In otto settimane di progetto pilota in inglese e in arabo,

but of determining something that's directly relevant

abbiamo raggiunto oltre 300.000 persone

to their query or question.

che hanno espresso un interesse o un’affinità verso i gruppi jihadisti.

During our eight-week pilot in English and Arabic,

we reached over 300,000 people

Queste persone stanno guardando dei video

who had expressed an interest in or sympathy towards a jihadi group.

che possono dissuaderli dal compiere scelte devastanti.

Poiché l’estremismo violento

These people were now watching videos

non si limita a un linguaggio, una religione o un’ideologia specifici,

that could prevent them from making devastating choices.

il Redirect Method è stato implementato a livello globale

And because violent extremism isn't confined to any one language,

per proteggere le persone che vengono approcciate online da ideologi violenti,

religion or ideology,

quali islamisti, suprematisti bianchi

the Redirect Method is now being deployed globally

e altri estremisti violenti,

to protect people being courted online by violent ideologues,

con l’obiettivo di fare ascoltare loro l’altra versione di quella storia,

whether they're Islamists, white supremacists

di dar loro la possibilità di scegliere un percorso diverso.

or other violent extremists,

with the goal of giving them the chance to hear from someone

Si è scoperto che spesso i cattivi sono bravi nello sfruttare Internet,

on the other side of that journey;

to give them the chance to choose a different path.

non perché siano dei geni tecnologici,

It turns out that often the bad guys are good at exploiting the internet,

ma perché capiscono cosa attecchisce nelle persone.

not because they're some kind of technological geniuses,

Vi porto un secondo esempio:

le molestie online.

but because they understand what makes people tick.

Anche chi molesta online cerca di capire cosa farà presa

I want to give you a second example:

su un altro essere umano.

Non per reclutarlo, come fa l’ISIS,

online harassment.

Online harassers also work to figure out what will resonate

ma per nuocere.

Provate a pensare:

with another human being.

siete una donna,

But not to recruit them like ISIS does,

sposata,

con un bambino.

but to cause them pain.

Postate sui social media

Imagine this:

e in una risposta, vi viene detto che sarete stuprate

you're a woman,

you're married,

you have a kid.

davanti a vostro figlio

You post something on social media,

e anche quando e dove.

and in a reply, you're told that you'll be raped,

L’indirizzo di casa vostra è online ed è visibile a tutti.

that your son will be watching,

La minaccia sembrerebbe reale.

details of when and where.

Pensate di poter tornare a casa?

In fact, your home address is put online for everyone to see.

Pensate di poter continuare a fare quello che stavate facendo?

That feels like a pretty real threat.

Continuereste a fare quello che sta irritando il vostro hater?

Do you think you'd go home?

Do you think you'd continue doing the thing that you were doing?

Gli abusi online sono diventati questa arte perversa

di capire cosa fa arrabbiare le persone,

Would you continue doing that thing that's irritating your attacker?

cosa le spaventa,

Online abuse has been this perverse art

cosa le rende insicure,

per poi insistere sui punti deboli fino a ridurle al silenzio.

of figuring out what makes people angry,

Quando le molestie online non vengono arginate,

what makes people afraid,

what makes people insecure,

la libertà di parola è in pericolo.

and then pushing those pressure points until they're silenced.

Persino i moderatori

alzano le mani e rinunciano,

When online harassment goes unchecked,

chiudendo la sezione commenti e i loro forum definitivamente.

free speech is stifled.

Questo significa che stiamo perdendo quegli spazi online

And even the people hosting the conversation

utili per incontrarsi e scambiarsi idee.

throw up their arms and call it quits,

closing their comment sections and their forums altogether.

E laddove rimangano spazi online,

ci rifugiamo in luoghi e con persone che sono l’eco delle nostre stesse idee.

That means we're actually losing spaces online

to meet and exchange ideas.

And where online spaces remain,

Ma questo accresce la disinformazione

e favorisce la polarizzazione dell’informazione.

we descend into echo chambers with people who think just like us.

E se invece la tecnologia riuscisse a sviluppare l’empatia su vasta scala?

But that enables the spread of disinformation;

that facilitates polarization.

Questa domanda ha motivato la nostra partnership

What if technology instead could enable empathy at scale?

con il team anti-abusi di Google,

Wikipedia

e quotidiani come il New York Times.

Volevamo provare a costruire modelli di apprendimento automatico

This was the question that motivated our partnership

with Google's Counter Abuse team,

in grado di comprendere l’impatto emozionale del linguaggio.

Wikipedia

and newspapers like the New York Times.

Possiamo predire quali commenti provocano l’abbandono

We wanted to see if we could build machine-learning models

that could understand the emotional impact of language.

delle conversazioni online?

Non è impresa da poco.

Could we predict which comments were likely to make someone else leave

Non è una banale corrispondenza che una IA sia in grado di fare.

the online conversation?

And that's no mean feat.

Considerate questi due esempi

di messaggi che avrebbero potuto inviarmi la settimana scorsa.

That's no trivial accomplishment

for AI to be able to do something like that.

“Spacca a TED!”

I mean, just consider these two examples of messages

e...

“Ti spacco se parli a TED”.

that could have been sent to me last week.

(Risate)

Siete esseri umani

e questa differenza è per voi ovvia,

"Break a leg at TED!"

... and

anche se le parole sono pressoché simili.

"I'll break your legs at TED."

Ma una IA va addestrata,

(Laughter)

le vanno insegnati i modelli in grado di vedere quella differenza.

You are human,

that's why that's an obvious difference to you,

La bellezza di creare una IA che può leggere quella differenza

even though the words are pretty much the same.

è la possibilità di applicarla su scala ai fenomeni di tossicità online.

But for AI, it takes some training to teach the models

to recognize that difference.

The beauty of building AI that can tell the difference

Questo è stato il nostro obiettivo per la nostra tecnologia Perspective.

is that AI can then scale to the size of the online toxicity phenomenon,

Con l’aiuto di Perspective,

il New York Times, ad esempio, ha incrementato

lo spazio per le conversazioni online.

and that was our goal in building our technology called Perspective.

Prima della collaborazione,

i commenti erano abilitati solo nel 10% dei loro articoli.

With the help of Perspective,

the New York Times, for example,

has increased spaces online for conversation.

Con l’aiuto dell’apprendimento automatico, quella percentuale è salita al 30%.

Before our collaboration,

they only had comments enabled on just 10 percent of their articles.

È stata triplicata.

E questo è solo l’inizio.

Ma parliamo non solo di aumentare l’efficienza dei moderatori.

With the help of machine learning,

they have that number up to 30 percent.

So they've tripled it,

In questo momento,

and we're still just getting started.

posso vedervi e posso valutare come reagite a quello che dico.

But this is about way more than just making moderators more efficient.

In rete, questa possibilità non esiste.

Right now I can see you,

Immaginate un apprendimento automatico in grado di dare ai commentatori,

and I can gauge how what I'm saying is landing with you.

mentre digitano,

feedback in tempo reale sulle possibili reazioni alle loro parole,

You don't have that opportunity online.

Imagine if machine learning could give commenters,

come fanno le espressioni facciali in un dialogo vis-à-vis.

as they're typing,

real-time feedback about how their words might land,

L’apprendimento automatico non è perfetto

e continua a fare molti errori.

just like facial expressions do in a face-to-face conversation.

Ma se creassimo una tecnologia

che comprenda l’impatto emozionale del linguaggio,

Machine learning isn't perfect,

potremmo costruire empatia.

and it still makes plenty of mistakes.

Questo renderebbe possibile il dialogo tra persone con diverse idee politiche,

But if we can build technology

that understands the emotional impact of language,

con diverse visioni

e diversi valori.

we can build empathy.

Potremmo dare nuovo slancio agli spazi online

That means that we can have dialogue between people

che molti di noi hanno abbandonato.

with different politics,

different worldviews,

different values.

Quando le persone usano la tecnologia per sfruttare e molestare gli altri,

And we can reinvigorate the spaces online that most of us have given up on.

ci colpiscono facendo leva su umanissime paure e vulnerabilità.

When people use technology to exploit and harm others,

Se era nostra intenzione costruire una Internet

they're preying on our human fears and vulnerabilities.

isolata dal lato oscuro dell’umanità,

abbiamo fallito.

Se oggi vogliamo costruire una tecnologia

If we ever thought that we could build an internet

che possa superare le sfide che stiamo affrontando,

insulated from the dark side of humanity,

dobbiamo metterci completamente in gioco

we were wrong.

nel comprendere le problematiche e nel progettare soluzioni

If we want today to build technology

that can overcome the challenges that we face,

tanto umane quanto i problemi che cerchiamo di risolvere.

we have to throw our entire selves into understanding the issues

Rendiamolo possibile.

and into building solutions

Grazie.

(Applausi)

that are as human as the problems they aim to solve.

Let's make that happen.

Thank you.

(Applause)