How technology can fight extremism and online harassment | Yasmin Green

Traducteur: Morgane Quilfen Relecteur: Juliet Vdt

My relationship with the internet reminds me of the setup

Ma relation avec internet me rappelle le début stéréotypé

to a clichéd horror movie.

d'un film d'horreur.

You know, the blissfully happy family moves in to their perfect new home,

La famille parfaitement heureuse emménage dans sa parfaite nouvelle maison,

excited about their perfect future,

enthousiaste au sujet de son parfait avenir,

and it's sunny outside and the birds are chirping ...

il fait beau dehors et les oiseaux pépient...

And then it gets dark.

Puis la nuit tombe.

And there are noises from the attic.

Il y a des bruits dans le grenier.

And we realize that that perfect new house isn't so perfect.

Nous réalisons que cette parfaite nouvelle maison n'est pas si parfaite.

When I started working at Google in 2006,

Quand j'ai commencé à travailler chez Google en 2006,

Facebook was just a two-year-old,

Facebook n'avait que deux ans

and Twitter hadn't yet been born.

et Twitter n'était pas encore né.

And I was in absolute awe of the internet and all of its promise

J'étais totalement émerveillée par internet et sa promesse

to make us closer

de nous rapprocher,

and smarter

de nous rendre plus intelligents et plus libres.

and more free.

But as we were doing the inspiring work of building search engines

Alors que nous créions des moteurs de recherche,

and video-sharing sites and social networks,

des sites de partage de vidéos et des réseaux sociaux,

criminals, dictators and terrorists were figuring out

les criminels, les dictateurs et les terroristes comprenaient

how to use those same platforms against us.

comment utiliser ces mêmes plateformes contre nous.

And we didn't have the foresight to stop them.

Nous n'avons pas eu la clairvoyance de les en empêcher.

Over the last few years, geopolitical forces have come online to wreak havoc.

Ces dernières années, des forces géopolitiques

ont causé des ravages en ligne.

And in response,

En réponse à cela,

Google supported a few colleagues and me to set up a new group called Jigsaw,

Google a soutenu quelques collègues et moi dans la création d'un groupe, Jigsaw,

with a mandate to make people safer from threats like violent extremism,

ayant pour mandat de protéger les gens des menaces comme l'extrémisme violent,

censorship, persecution --

la censure, la persécution...

threats that feel very personal to me because I was born in Iran,

Des menaces qui me semblent très personnelles car je suis née en Iran

and I left in the aftermath of a violent revolution.

et je suis partie au lendemain d'une révolution violente.

But I've come to realize that even if we had all of the resources

Mais j'ai réalisé que, même si nous avions toutes les ressources

of all of the technology companies in the world,

de toutes les entreprises de technologie du monde,

we'd still fail

nous échouerions

if we overlooked one critical ingredient:

si nous négligions un ingrédient crucial :

the human experiences of the victims and perpetrators of those threats.

les expériences humaines des victimes et des auteurs de ces menaces.

There are many challenges I could talk to you about today.

Je pourrais vous parler de nombreux défis aujourd'hui.

I'm going to focus on just two.

Je vais me concentrer sur deux.

The first is terrorism.

Le premier est le terrorisme.

So in order to understand the radicalization process,

Afin de comprendre le processus de radicalisation,

we met with dozens of former members of violent extremist groups.

nous avons rencontré

des dizaines d'anciens membres de groupes extrémistes violents.

One was a British schoolgirl,

Parmi eux, il y avait une écolière britannique

who had been taken off of a plane at London Heathrow

qui avait été sortie d'un avion à l'aéroport de Londres

as she was trying to make her way to Syria to join ISIS.

alors qu'elle essayait d'aller en Syrie pour rejoindre Daech.

And she was 13 years old.

Elle avait 13 ans.

So I sat down with her and her father, and I said, "Why?"

Nous avons discuté avec elle et son père et j'ai demandé : « Pourquoi ? »

And she said,

Elle a dit :

"I was looking at pictures of what life is like in Syria,

« Je regardais des photos de ce à quoi la vie ressemblait en Syrie

and I thought I was going to go and live in the Islamic Disney World."

et je pensais que j'allais vivre dans un Disneyland islamique. »

That's what she saw in ISIS.

Voilà ce qu'elle a vu en Daech.

She thought she'd meet and marry a jihadi Brad Pitt

Elle pensait qu'elle allait rencontrer et épouser un Brad Pitt djihadiste,

and go shopping in the mall all day and live happily ever after.

aller faire du shopping toute la journée et vivre heureuse.

ISIS understands what drives people,

Daech comprend ce qui motive les gens

and they carefully craft a message for each audience.

et ils élaborent soigneusement un message pour chaque public.

Just look at how many languages

Regardez en combien de langues

they translate their marketing material into.

leur matériel promotionnel est traduit.

They make pamphlets, radio shows and videos

Ils créent des brochures, des émissions de radio, des vidéos,

in not just English and Arabic,

pas seulement en anglais et en arabe

but German, Russian, French, Turkish, Kurdish,

mais en allemand, en russe, en français, en turc, en kurde,

Hebrew,

en hébreu,

Mandarin Chinese.

en mandarin.

I've even seen an ISIS-produced video in sign language.

J'ai même vu une vidéo produite par Daech en langue des signes.

Just think about that for a second:

Réfléchissez-y un instant :

ISIS took the time and made the effort

Daech a pris le temps et a fait l'effot

to ensure their message is reaching the deaf and hard of hearing.

de s'assurer que son message touche les sourds et malentendants.

It's actually not tech-savviness

Ce n'est pas leur savoir-faire technologique

that is the reason why ISIS wins hearts and minds.

qui permet de conquérir les cœurs et les esprits.

It's their insight into the prejudices, the vulnerabilities, the desires

C'est leur connaissance des préjugés, des vulnérabilités, des désirs

of the people they're trying to reach

des gens qu'ils tentent d'atteindre

that does that.

qui le leur permet.

That's why it's not enough

Il ne suffit donc pas

for the online platforms to focus on removing recruiting material.

que les plateformes en ligne

se concentrent sur le retrait des contenus de recrutement.

If we want to have a shot at building meaningful technology

Si nous voulons avoir une chance de développer une technologie utile

that's going to counter radicalization,

pour lutter contre la radicalisation,

we have to start with the human journey at its core.

nous devons commencer par le voyage humain qui est en son cœur.

So we went to Iraq

Nous sommes allés en Irak

to speak to young men who'd bought into ISIS's promise

pour parler à des jeunes hommes convaincus par la promesse de Daech

of heroism and righteousness,

d'héroïsme et de vertu,

who'd taken up arms to fight for them

qui avaient pris les armes pour eux

and then who'd defected

et qui s'étaient enfuis

after they witnessed the brutality of ISIS's rule.

après avoir été témoins de la brutalité du règne de Daech.

And I'm sitting there in this makeshift prison in the north of Iraq

Je me suis retrouvée dans cette prison de fortune dans le nord de l'Irak

with this 23-year-old who had actually trained as a suicide bomber

avec ce jeune de 23 ans qui avait été formé pour être un kamikaze

before defecting.

avant de s'enfuir.

And he says,

Il disait :

"I arrived in Syria full of hope,

« Je suis arrivé en Syrie plein d'espoir

and immediately, I had two of my prized possessions confiscated:

et immédiatement, deux de mes biens les plus précieux ont été confisqués :

my passport and my mobile phone."

mon passeport et mon téléphone portable. »

The symbols of his physical and digital liberty

Les symboles de sa liberté physique et numérique

were taken away from him on arrival.

lui ont été ôtés à son arrivée.

And then this is the way he described that moment of loss to me.

Voici comment il m'a décrit ce moment de perte.

He said,

Il a dit :

"You know in 'Tom and Jerry,'

« Vous savez, dans « Tom et Jerry »,

when Jerry wants to escape, and then Tom locks the door

quand Jerry veut s'échapper et que Tom ferme la porte à clé

and swallows the key

et avale la clé

and you see it bulging out of his throat as it travels down?"

et vous la voyez passer dans sa gorge ? »

And of course, I really could see the image that he was describing,

Bien sûr, je pouvais voir l'image qu'il décrivait

and I really did connect with the feeling that he was trying to convey,

et l'associer au sentiment qu'il essayait de communiquer,

which was one of doom,

le sentiment d'être condamné,

when you know there's no way out.

quand vous savez qu'il n'y a pas d'issue.

And I was wondering:

Je me suis demandé :

What, if anything, could have changed his mind

qu'est-ce qui aurait pu lui faire changer d'avis

the day that he left home?

le jour où il est parti ?

So I asked,

J'ai demandé :

"If you knew everything that you know now

« Si vous saviez tout ce que vous savez maintenant

about the suffering and the corruption, the brutality --

sur la souffrance, la corruption, la brutalité,

that day you left home,

le jour où vous êtes parti, seriez-vous parti ? »

would you still have gone?"

And he said, "Yes."

Il a dit : « Oui. »

And I thought, "Holy crap, he said 'Yes.'"

Et j'ai pensé : « Merde, il a dit « oui ». »

And then he said,

Puis il a dit :

"At that point, I was so brainwashed,

« À ce moment-là, j'avais subi un tel lavage de cerveau,

I wasn't taking in any contradictory information.

je n'assimilais plus aucune information contradictoire.

I couldn't have been swayed."

Je n'aurais pas pu être influencé.

"Well, what if you knew everything that you know now

- Et si vous aviez su tout ce que vous savez maintenant

six months before the day that you left?"

six mois avant le jour où vous êtes parti ?

"At that point, I think it probably would have changed my mind."

- A ce moment-là, je pense que j'aurais probablement changé d'avis. »

Radicalization isn't this yes-or-no choice.

La radicalisation n'est pas un choix simple entre oui et non.

It's a process, during which people have questions --

C'est un processus, durant lequel les gens ont des questions

about ideology, religion, the living conditions.

au sujet de l'idéologie, la religion, les conditions de vie.

And they're coming online for answers,

Et ils cherchent les réponses en ligne,

which is an opportunity to reach them.

ce qui offre une opportunité de les atteindre.

And there are videos online from people who have answers --

Il y a des vidéos en ligne venant de gens ayant des réponses :

defectors, for example, telling the story of their journey

des transfuges, par exemple, racontant l'histoire de leur voyage

into and out of violence;

vers la violence et leur retour ;

stories like the one from that man I met in the Iraqi prison.

des histoires comme celle d'un homme rencontré dans une prison irakienne.

There are locals who've uploaded cell phone footage

Ce sont des locaux qui ont publié des vidéos

of what life is really like in the caliphate under ISIS's rule.

de ce qu'est vraiment la vie dans le califat sous le règne de Daech.

There are clerics who are sharing peaceful interpretations of Islam.

Il y a des religieux qui partagent des interprétations pacifiques de l'islam.

But you know what?

Mais vous savez quoi ?

These people don't generally have the marketing prowess of ISIS.

Ces gens n'ont en général pas le talent que Daech a pour le marketing.

They risk their lives to speak up and confront terrorist propaganda,

Ils risquent leur vie pour s'exprimer et s'opposer à la propagande terroriste

and then they tragically don't reach the people

et, tragiquement, ils ne touchent pas les gens

who most need to hear from them.

qui ont le plus besoin de les entendre.

And we wanted to see if technology could change that.

Nous voulions voir si la technologie pouvait changer cela.

So in 2016, we partnered with Moonshot CVE

En 2016, nous avons établi un partenariat avec Moonshot CVE

to pilot a new approach to countering radicalization

afin d'expérimenter une approche pour lutter contre la radicalisation

called the "Redirect Method."

appelée « Méthode de Redirection ».

It uses the power of online advertising

Elle utilise le pouvoir de la publicité en ligne

to bridge the gap between those susceptible to ISIS's messaging

pour rapprocher ceux qui sont réceptifs au message de Daech

and those credible voices that are debunking that messaging.

et ces voix crédibles qui réfutent ce message.

And it works like this:

Cela fonctionne ainsi :

someone looking for extremist material --

quelqu'un cherchant du contenu extrémiste,

say they search for "How do I join ISIS?" --

cherchant, disons, « Comment rejoindre Daech ? »,

will see an ad appear

verra apparaître une publicité

that invites them to watch a YouTube video of a cleric, of a defector --

qui l'invite à regarder une vidéo YouTube d'un religieux, d'un transfuge ;

someone who has an authentic answer.

quelqu'un qui a une réponse authentique.

And that targeting is based not on a profile of who they are,

Ce ciblage est basé, non pas sur un profil de leur identité,

but of determining something that's directly relevant

mais sur la détermination d'une chose pertinente

to their query or question.

pour leur interrogation ou question.

During our eight-week pilot in English and Arabic,

Durant notre pilote de huit semaines en anglais et en arabe,

we reached over 300,000 people

nous avons touché plus de 300 000 personnes

who had expressed an interest in or sympathy towards a jihadi group.

ayant exprimé de l'intérêt ou de la sympathie

pour un groupe djihadiste.

These people were now watching videos

Ces gens regardent maintenant des vidéos

that could prevent them from making devastating choices.

qui pourraient les empêcher de prendre des décisions dévastatrices.

And because violent extremism isn't confined to any one language,

Puisque l'extrémisme violent n'est pas limité à une langue en particulier,

religion or ideology,

une religion ou une idéologie,

the Redirect Method is now being deployed globally

la méthode de redirection est en cours de déploiement à l'échelle mondiale

to protect people being courted online by violent ideologues,

afin de protéger les gens courtisés en ligne par des idéologues violents,

whether they're Islamists, white supremacists

que ce soient des islamistes, des suprémacistes blancs

or other violent extremists,

ou d'autres extrémistes violents,

with the goal of giving them the chance to hear from someone

avec l'objectif de leur donner une chance d'entendre quelqu'un

on the other side of that journey;

ayant suivi ce chemin ;

to give them the chance to choose a different path.

leur donner une chance de choisir un autre chemin.

It turns out that often the bad guys are good at exploiting the internet,

Il s'avère que souvent les méchants savent bien exploiter internet,

not because they're some kind of technological geniuses,

pas parce qu'ils sont des génies de la technologie,

but because they understand what makes people tick.

mais parce qu'ils comprennent ce qui fait réagir les gens.

I want to give you a second example:

Je veux vous donner un second exemple :

online harassment.

le cyber-harcèlement.

Online harassers also work to figure out what will resonate

Les cyber-harceleurs cherchent aussi ce qui va faire écho

with another human being.

pour un autre être humain.

But not to recruit them like ISIS does,

Pas pour les recruter comme le fait Daech,

but to cause them pain.

mais pour les blesser.

Imagine this:

Imaginez :

you're a woman,

vous êtes une femme,

you're married,

vous êtes mariée,

you have a kid.

vous avez un enfant.

You post something on social media,

Vous postez sur les réseaux sociaux

and in a reply, you're told that you'll be raped,

et dans une réponse, on vous dit que vous serez violée,

that your son will be watching,

que votre fils regardera,

details of when and where.

avec des détails sur quand et où.

In fact, your home address is put online for everyone to see.

En fait, votre adresse est mise en ligne publiquement.

That feels like a pretty real threat.

Cela semble être une menace plutôt réelle.

Do you think you'd go home?

Pensez-vous que vous rentreriez chez vous ?

Do you think you'd continue doing the thing that you were doing?

Pensez-vous que vous continueriez à faire ce que vous faisiez ?

Would you continue doing that thing that's irritating your attacker?

Continueriez-vous à faire cette chose qui irrite votre agresseur ?

Online abuse has been this perverse art

Le cyber-harcèlement est l'art pervers

of figuring out what makes people angry,

de découvrir ce qui met les gens en colère,

what makes people afraid,

ce qui les effraie,

what makes people insecure,

ce qui les dérange,

and then pushing those pressure points until they're silenced.

et puis d'appuyer sur ces points de pression jusqu'à les faire taire.

When online harassment goes unchecked,

Quand les cyber-harceleurs restent impunis,

free speech is stifled.

la liberté de parole est étouffée.

And even the people hosting the conversation

Même les gens qui animent la conversation

throw up their arms and call it quits,

lèvent les bras au ciel et jettent l'éponge,

closing their comment sections and their forums altogether.

désactivant complètement les commentaires et les forums.

That means we're actually losing spaces online

Cela signifie que nous perdons des espaces en ligne

to meet and exchange ideas.

où se rencontrer et échanger des idées.

And where online spaces remain,

Là où les espaces en ligne demeurent,

we descend into echo chambers with people who think just like us.

nous descendons dans des chambres d'écho avec des gens qui pensent comme nous.

But that enables the spread of disinformation;

Mais cela permet la prolifération de la désinformation ;

that facilitates polarization.

cela facilite la polarisation.

What if technology instead could enable empathy at scale?

Et si, au lieu de cela, la technologie favorisait l'empathie à grande échelle ?

This was the question that motivated our partnership

C'était la question qui a motivé notre partenariat

with Google's Counter Abuse team,

avec l'équipe de lutte contre les abus de Google, Wikipédia

Wikipedia

and newspapers like the New York Times.

et des journaux tels que le New York Times.

We wanted to see if we could build machine-learning models

Nous voulions élaborer des modèles d'apprentissage automatique

that could understand the emotional impact of language.

qui pouvaient comprendre l'incidence émotionnelle du langage.

Could we predict which comments were likely to make someone else leave

Pouvions-nous prévoir quels commentaires allaient pousser quelqu'un à quitter

the online conversation?

la conversation en ligne ?

And that's no mean feat.

Ce n'est pas une mince affaire.

That's no trivial accomplishment

Ce n'est pas un exploit trivial

for AI to be able to do something like that.

d'avoir une IA capable de faire une telle chose.

I mean, just consider these two examples of messages

Considérez ces deux exemples de messages

that could have been sent to me last week.

qu'on aurait pu m'envoyer la semaine dernière.

"Break a leg at TED!"

« Merde pour TED ! »

... and

et

"I'll break your legs at TED."

« Tu seras une merde à TED ».

(Laughter)

(Rires)

You are human,

Vous êtes humains,

that's why that's an obvious difference to you,

c'est pourquoi la différence vous paraît évidente

even though the words are pretty much the same.

même si les mots sont plus ou moins les mêmes.

But for AI, it takes some training to teach the models

Pour une IA, il faut un entraînement pour apprendre aux modèles

to recognize that difference.

à reconnaître cette différence.

The beauty of building AI that can tell the difference

La beauté de la conception d'une IA qui peut faire la différence

is that AI can then scale to the size of the online toxicity phenomenon,

est que cette IA peut s'étendre à l'échelle

du phénomène de toxicité en ligne

and that was our goal in building our technology called Perspective.

et c'était notre objectif

lors de l'élaboration de notre technologie, Perspective.

With the help of Perspective,

Avec l'aide de Perspective,

the New York Times, for example,

le New York Times, par exemple,

has increased spaces online for conversation.

a accru l'espace de conversation en ligne.

Before our collaboration,

Avant notre collaboration,

they only had comments enabled on just 10 percent of their articles.

les commentaires n'étaient activés que sur 10% de leurs articles.

With the help of machine learning,

Avec notre apprentissage automatique,

they have that number up to 30 percent.

ils ont augmenté ce nombre à 30%.

So they've tripled it,

Ils l'ont triplé

and we're still just getting started.

et ce n'est que le début.

But this is about way more than just making moderators more efficient.

Il est question de bien plus que de rendre les modérateurs plus efficaces.

Right now I can see you,

Actuellement, je peux vous voir

and I can gauge how what I'm saying is landing with you.

et je peux évaluer comment vous recevez ce que je dis.

You don't have that opportunity online.

Vous n'avez pas cette opportunité en ligne.

Imagine if machine learning could give commenters,

Imaginez si l'apprentissage automatique pouvait offrir aux commentateurs,

as they're typing,

pendant qu'ils tapent,

real-time feedback about how their words might land,

un retour en temps réel quant à comment leurs mots pourraient être pris,

just like facial expressions do in a face-to-face conversation.

comme le font les expressions faciales lors d'une conversation en face à face.

Machine learning isn't perfect,

L'apprentissage automatique n'est pas parfait

and it still makes plenty of mistakes.

et fait encore plein d'erreurs.

But if we can build technology

Mais en créant une technologie

that understands the emotional impact of language,

qui comprend l'incidence émotionnelle du langage,

we can build empathy.

nous développons l'empathie.

That means that we can have dialogue between people

Nous pouvons avoir un dialogue entre des personnes

with different politics,

ayant différentes opinions politiques,

different worldviews,

conceptions du monde et valeurs.

different values.

And we can reinvigorate the spaces online that most of us have given up on.

Nous pouvons relancer les espaces en ligne que beaucoup d'entre nous ont délaissés.

When people use technology to exploit and harm others,

Quand les gens utilisent la technologie pour exploiter et blesser les autres,

they're preying on our human fears and vulnerabilities.

ils s'attaquent à nos peurs et vulnérabilités humaines.

If we ever thought that we could build an internet

Si nous pensions que nous pouvions développer un internet

insulated from the dark side of humanity,

isolé du côté obscur de l'humanité,

we were wrong.

nous avions tort.

If we want today to build technology

Si nous voulons aujourd'hui créer des technologies

that can overcome the challenges that we face,

pouvant surmonter les défis auxquels nous faisons face,

we have to throw our entire selves into understanding the issues

nous devons nous lancer complètement dans la compréhension des problèmes

and into building solutions

et l'élaboration de solutions

that are as human as the problems they aim to solve.

qui sont aussi humaines que les problèmes qu'elles ont l'ambition de résoudre.

Let's make that happen.

Mettons-nous au travail !

Thank you.

Merci.

(Applause)

(Applaudissements)