How technology can fight extremism and online harassment | Yasmin Green

Tradutor: Matilde Freitas Revisora: Margarida Ferreira

My relationship with the internet reminds me of the setup

A minha relação com a Internet

é semelhante ao enredo de um filme de horror clichê.

to a clichéd horror movie.

You know, the blissfully happy family moves in to their perfect new home,

Uma família encantada e feliz que se muda para uma casa nova e perfeita,

excited about their perfect future,

entusiasmada com o seu futuro perfeito.

and it's sunny outside and the birds are chirping ...

Lá fora está sol, os pássaros chilreiam...

And then it gets dark.

E então escurece.

And there are noises from the attic.

Ouvem-se barulhos no sótão.

And we realize that that perfect new house isn't so perfect.

E percebemos que aquela casa nova e perfeita, não é assim tão perfeita.

When I started working at Google in 2006,

Quando comecei a trabalhar na Google, em 2006,

Facebook was just a two-year-old,

o Facebook ainda só tinha dois anos

and Twitter hadn't yet been born.

e o Twitter ainda nem tinha nascido.

And I was in absolute awe of the internet and all of its promise

Eu estava absolutamente maravilhada com a Internet

e a sua promessa de nos tornar mais próximos,

to make us closer

and smarter

mais inteligentes

and more free.

e mais livres.

But as we were doing the inspiring work of building search engines

Mas enquanto fazíamos o trabalho inspirador

de construir motores de pesquisa,

and video-sharing sites and social networks,

"sites" de partilha de vídeos e redes sociais,

criminals, dictators and terrorists were figuring out

criminosos, ditadores e terroristas estavam a tentar descobrir

how to use those same platforms against us.

como usar estas plataformas contra nós.

And we didn't have the foresight to stop them.

E nós não nos antecipámos de forma a impedi-los.

Over the last few years, geopolitical forces have come online to wreak havoc.

Nos últimos anos, apareceram "online" forças geopolíticas para causar danos.

And in response,

Como resposta, a Google apoiou-me a mim e a um grupo de colegas,

Google supported a few colleagues and me to set up a new group called Jigsaw,

na criação dum novo grupo chamado Jigsaw,

with a mandate to make people safer from threats like violent extremism,

cuja missão era proteger as pessoas de ameaças como o extremismo violento,

censorship, persecution --

a censura e a perseguição,

threats that feel very personal to me because I was born in Iran,

ameaças que sinto como muito pessoais, porque eu nasci no Irão

and I left in the aftermath of a violent revolution.

de onde parti, no rescaldo de uma revolução violenta.

But I've come to realize that even if we had all of the resources

Mas cheguei à conclusão de que, mesmo com acesso a todos os recursos

of all of the technology companies in the world,

de todas as empresas tecnológicas do mundo,

we'd still fail

continuaríamos a falhar

if we overlooked one critical ingredient:

enquanto ignorássemos um fator chave:

the human experiences of the victims and perpetrators of those threats.

as experiências humanas das vítimas e dos autores dessas ameaças.

There are many challenges I could talk to you about today.

Há vários problemas de que vos poderia falar hoje.

I'm going to focus on just two.

Vou-me focar apenas em dois:

The first is terrorism.

O primeiro é o terrorismo.

So in order to understand the radicalization process,

Para compreendermos o processo de radicalização,

we met with dozens of former members of violent extremist groups.

conhecemos dezenas de antigos membros de grupos extremistas violentos.

One was a British schoolgirl,

Um deles era uma estudante britânica,

who had been taken off of a plane at London Heathrow

que tinha sido retirada de um avião no aeroporto de Heathrow, em Londres,

as she was trying to make her way to Syria to join ISIS.

quando tentava chegar à Síria, para se juntar ao ISIS.

And she was 13 years old.

Tinha 13 anos.

So I sat down with her and her father, and I said, "Why?"

Eu sentei-me com ela e com o pai dela e perguntei-lhe: "Porquê?"

And she said,

E ela respondeu:

"I was looking at pictures of what life is like in Syria,

"Eu estive a ver fotos da vida na Síria,

and I thought I was going to go and live in the Islamic Disney World."

"e achei que iria viver na Disneylândia islâmica."

That's what she saw in ISIS.

Foi isso que ela viu no ISIS.

She thought she'd meet and marry a jihadi Brad Pitt

Achou que ia conhecer e casar-se com um Brad Pitt jihadista,

and go shopping in the mall all day and live happily ever after.

passar o dia nas compras no centro comercial

e viver feliz para sempre.

ISIS understands what drives people,

O ISIS percebe aquilo que move as pessoas

and they carefully craft a message for each audience.

e cria cuidadosamente uma mensagem para cada público-alvo.

Just look at how many languages

Basta ver o número de línguas

they translate their marketing material into.

para as quais traduzem o seu material de "marketing".

They make pamphlets, radio shows and videos

Têm panfletos, programas de rádio e vídeos

in not just English and Arabic,

não só em árabe e inglês,

but German, Russian, French, Turkish, Kurdish,

mas também em alemão, russo, francês, turco, curdo,

Hebrew,

hebreu,

Mandarin Chinese.

mandarim...

I've even seen an ISIS-produced video in sign language.

Vi até um vídeo produzido pelo ISIS em linguagem gestual.

Just think about that for a second:

Pensem nisso por um momento:

ISIS took the time and made the effort

o ISIS dedicou tempo e esforço

to ensure their message is reaching the deaf and hard of hearing.

para garantir que a sua mensagem chega a surdos e deficientes auditivos.

It's actually not tech-savviness

Não é pelo conhecimento tecnológico.

that is the reason why ISIS wins hearts and minds.

que o ISIS conquista corações e mentes.

It's their insight into the prejudices, the vulnerabilities, the desires

Fazem-no através do conhecimento dos preconceitos,

das vulnerabilidades e dos desejos

of the people they're trying to reach

das pessoas a que estão a tentar chegar.

that does that.

That's why it's not enough

Por isso, é insuficiente

for the online platforms to focus on removing recruiting material.

focarmo-nos na remoção de materiais de recrutamento de plataformas "online".

If we want to have a shot at building meaningful technology

Se queremos ter uma hipótese na construção de tecnologias

that's going to counter radicalization,

que consigam combater a radicalização

we have to start with the human journey at its core.

temos de começar pelo cerne deste percurso humano.

So we went to Iraq

Então, fomos para o Iraque

to speak to young men who'd bought into ISIS's promise

para falar com jovens adultos que tinham caído na promessa

of heroism and righteousness,

de heroísmo e justiça do ISIS,

que estavam dispostos a pegar em armas por eles,

who'd taken up arms to fight for them

and then who'd defected

mas que desertaram

after they witnessed the brutality of ISIS's rule.

quando testemunharam a brutalidade do domínio do ISIS.

And I'm sitting there in this makeshift prison in the north of Iraq

Eu estou sentada numa prisão provisória no norte do Iraque

with this 23-year-old who had actually trained as a suicide bomber

com um jovem de 23 anos que treinou para ser bombista suicida

before defecting.

antes de ter abandonado o ISIS.

And he says,

E ele diz-me:

"I arrived in Syria full of hope,

"Eu cheguei à Síria cheio de esperança,

and immediately, I had two of my prized possessions confiscated:

"e, imediatamente, eles confiscaram-me dois dos meus bens mais preciosos:

my passport and my mobile phone."

"o meu passaporte e o meu telemóvel."

The symbols of his physical and digital liberty

Os símbolos da sua liberdade. física e digital.

were taken away from him on arrival.

foram-lhe retirados assim que ele chegou.

And then this is the way he described that moment of loss to me.

E ele descreveu-me este momento de perda

He said,

dizendo:

"You know in 'Tom and Jerry,'

"Sabes como no 'Tom e Jerry',

when Jerry wants to escape, and then Tom locks the door

"quando o Jerry quer fugir

"mas o Tom tranca a porta e engole a chave,

and swallows the key

and you see it bulging out of his throat as it travels down?"

"e conseguimos vê-la saliente enquanto desce ao longo da garganta?"

And of course, I really could see the image that he was describing,

Claro, eu conseguia ver a imagem que ele estava a descrever,

and I really did connect with the feeling that he was trying to convey,

e liguei-me ao sentimento que ele estava a tentar transmitir,

which was one of doom,

ao desespero e fatalidade,

when you know there's no way out.

quando sabemos que não há nenhuma saída.

And I was wondering:

E perguntei-me:

What, if anything, could have changed his mind

O que é que o teria feito mudar de ideias no dia em que saiu de casa?

the day that he left home?

So I asked,

Então perguntei-lhe:

"If you knew everything that you know now

"Se soubesses tudo o que sabes agora

about the suffering and the corruption, the brutality --

"sobre o sofrimento, a corrupção, a brutalidade,

that day you left home,

"no dia em que saíste de casa,

would you still have gone?"

"ainda assim, terias partido?"

And he said, "Yes."

E ele respondeu: "Sim."

And I thought, "Holy crap, he said 'Yes.'"

E eu pensei: "Raios, ele disse 'Sim.' "

And then he said,

Então, ele acrescentou:

"At that point, I was so brainwashed,

"Nessa altura, a lavagem ao cérebro já era tal

I wasn't taking in any contradictory information.

"que eu não aceitava nenhuma informação contraditória.

I couldn't have been swayed."

"Não poderia ter sido persuadido."

"Well, what if you knew everything that you know now

"Bom, então e se soubesses tudo o que sabes agora

six months before the day that you left?"

"seis meses antes do dia em que partiste?"

"At that point, I think it probably would have changed my mind."

"Nesse momento, acho que, provavelmente, teria mudado de ideias."

Radicalization isn't this yes-or-no choice.

A radicalização não é uma escolha de sim ou não.

It's a process, during which people have questions --

É um processo, durante o qual as pessoas têm dúvidas

about ideology, religion, the living conditions.

sobre ideologia, religião, condições de vida.

And they're coming online for answers,

E procuram respostas "online",

which is an opportunity to reach them.

criando uma oportunidade para chegarem até elas.

And there are videos online from people who have answers --

Há vídeos "online" feitos por pessoas que têm respostas

defectors, for example, telling the story of their journey

— desertores, por exemplo, a contar

como se envolveram e se libertaram da violência.

into and out of violence;

stories like the one from that man I met in the Iraqi prison.

Histórias como a de um homem que conheci na prisão no Iraque.

There are locals who've uploaded cell phone footage

Há habitantes que fizeram o "upload" de filmagens de telemóvel

of what life is really like in the caliphate under ISIS's rule.

da realidade da vida no Califado, sob o domínio do ISIS.

There are clerics who are sharing peaceful interpretations of Islam.

Há clérigos a partilharem interpretações pacíficas do Islamismo.

But you know what?

Mas sabem uma coisa?

These people don't generally have the marketing prowess of ISIS.

Essas pessoas não têm normalmente a capacidade de "marketing" do ISIS.

They risk their lives to speak up and confront terrorist propaganda,

Arriscam a vida para falar e combater a propaganda terrorista,

and then they tragically don't reach the people

e depois, tragicamente,

não conseguem chegar a quem mais precisava de ouvir a sua mensagem.

who most need to hear from them.

And we wanted to see if technology could change that.

Nós queríamos perceber se a tecnologia podia mudar isso.

So in 2016, we partnered with Moonshot CVE

Então, em 2016, juntámo-nos à Moonshot CVE

to pilot a new approach to countering radicalization

para conduzirmos uma nova abordagem ao combate da radicalização:

called the "Redirect Method."

"O Método de Redirecionamento".

It uses the power of online advertising

Este método usa o poder da publicidade "online"

to bridge the gap between those susceptible to ISIS's messaging

para ligar aqueles que são mais suscetíveis à mensagem do ISIS

and those credible voices that are debunking that messaging.

a vozes credíveis que estão a desconstruir essa mensagem.

And it works like this:

E funciona assim:

someone looking for extremist material --

alguém que esteja à procura de material extremista

say they search for "How do I join ISIS?" --

— digamos que pesquisam "Como é que me junto ao ISIS?" —

will see an ad appear

vê aparecer um anúncio

that invites them to watch a YouTube video of a cleric, of a defector --

que os convida a assistir a um vídeo no Youtube de um clérigo, de um desertor.

de alguém que tem uma resposta autêntica.

someone who has an authentic answer.

And that targeting is based not on a profile of who they are,

Este redirecionamento funciona, não com base no perfil dessa pessoa,

but of determining something that's directly relevant

mas determinando algo que é diretamente relevante

to their query or question.

àquilo que ela pesquisou.

During our eight-week pilot in English and Arabic,

Durante as nossas 8 semanas de teste em inglês e árabe,

we reached over 300,000 people

conseguimos chegar a mais de 300 000 pessoas

who had expressed an interest in or sympathy towards a jihadi group.

que tinham manifestado interesse ou simpatia por um grupo Jihadista.

These people were now watching videos

Estas pessoas estavam agora a ver vídeos

that could prevent them from making devastating choices.

que podiam evitar que elas fizessem escolhas devastadoras.

And because violent extremism isn't confined to any one language,

E porque o extremismo violento não se limita a uma única linguagem,

religion or ideology,

religião ou ideologia,

the Redirect Method is now being deployed globally

o Método de Redirecionamento está a ser implementado globalmente

to protect people being courted online by violent ideologues,

para proteger as pessoas que estão a ser cortejadas por ideólogos violentos

whether they're Islamists, white supremacists

— sejam eles islamistas, suprematistas brancos,

or other violent extremists,

ou de outros grupos extremistas —

with the goal of giving them the chance to hear from someone

com o objetivo de dar-lhes a oportunidade de ouvirem alguém

on the other side of that journey;

do outro lado desse percurso;

to give them the chance to choose a different path.

dar-lhes a oportunidade de escolherem um caminho diferente.

It turns out that often the bad guys are good at exploiting the internet,

Vemos que frequentemente os vilões são bons a explorar a Internet,

not because they're some kind of technological geniuses,

não porque sejam génios tecnológicos,

but because they understand what makes people tick.

mas porque percebem aquilo que motiva as pessoas.

I want to give you a second example:

Eu dou-vos outro exemplo:

online harassment.

O assédio "online".

Online harassers also work to figure out what will resonate

Os assediadores "online" também trabalham para perceber

o que éque vai afetar outro ser humano.

with another human being.

But not to recruit them like ISIS does,

Não para os recrutar, como o ISIS faz,

but to cause them pain.

mas para lhes causar dor.

Imagine this:

Imaginem o seguinte:

you're a woman,

Se fossem uma mulher,

you're married,

casada,

you have a kid.

com um filho.

You post something on social media,

Publicam algo numa rede social,

and in a reply, you're told that you'll be raped,

e num comentário dizem-vos que vão ser violadas,

that your son will be watching,

que o vosso filho estará a ver,

details of when and where.

com detalhes sobre quando e onde.

In fact, your home address is put online for everyone to see.

A vossa morada é publicada "online" para que todos vejam.

That feels like a pretty real threat.

Parece-me uma ameaça bastante real.

Do you think you'd go home?

Acham que iriam para casa?

Do you think you'd continue doing the thing that you were doing?

Acham que continuariam a fazer o que estavam a fazer antes?

Continuariam a fazer aquilo que está a irritar o vosso agressor?

Would you continue doing that thing that's irritating your attacker?

Online abuse has been this perverse art

O abuso "online" tem sido esta arte perversa

of figuring out what makes people angry,

de perceber o que é que deixa as pessoas zangadas,

what makes people afraid,

o que é que deixa as pessoas assustadas,

what makes people insecure,

o que é que deixa as pessoas inseguras,

and then pushing those pressure points until they're silenced.

e depois pressionar nesses pontos até que elas se silenciem.

When online harassment goes unchecked,

Quando o assédio "online" passa despercebido

free speech is stifled.

a liberdade de expressão é reprimida.

And even the people hosting the conversation

E mesmo aqueles que conduzem a conversa

throw up their arms and call it quits,

lavam as mãos do assunto,

closing their comment sections and their forums altogether.

fechando a secção de comentários e os fóruns de discussão.

That means we're actually losing spaces online

Isso quer dizer que estamos a perder espaços "online"

to meet and exchange ideas.

para nos encontrarmos e partilharmos ideias.

And where online spaces remain,

E onde permanecem espaços "online",

we descend into echo chambers with people who think just like us.

estes degeneram, criando câmaras de eco, com pessoas que pensam tal como nós.

But that enables the spread of disinformation;

Mas isso permite a difusão da desinformação;

that facilitates polarization.

o que facilita a polarização.

What if technology instead could enable empathy at scale?

E se a tecnologia pudesse, proporcionalmente, permitir a empatia?

This was the question that motivated our partnership

Esta foi a pergunta que nos levou à parceria

with Google's Counter Abuse team,

com a equipa de combate ao abuso da Google, com a Wikipédia,

Wikipedia

e com jornais como o New York Times.

and newspapers like the New York Times.

We wanted to see if we could build machine-learning models

Queríamos construir modelos dotados de aprendizagem automática

that could understand the emotional impact of language.

que percebessem o impacto emocional da linguagem.

Could we predict which comments were likely to make someone else leave

Poderíamos prever quais os comentários que, mais provavelmente

the online conversation?

levassem alguém a abandonar uma conversa?

And that's no mean feat.

Isso não é simples de fazer.

That's no trivial accomplishment

Conseguir que a IA o faça não é uma conquista trivial.

for AI to be able to do something like that.

I mean, just consider these two examples of messages

Considerem estes dois exemplos de mensagens

that could have been sent to me last week.

que me podiam ter enviado a semana passada:

"Break a leg at TED!"

"Parte uma perna, na TED!"

... and

ou...

"I'll break your legs at TED."

"Eu vou partir-te as pernas na TED."

(Laughter)

(Risos)

You are human,

Vocês são seres humanos,

that's why that's an obvious difference to you,

por isso a diferença é óbvia para vocês,

even though the words are pretty much the same.

embora as palavras sejam praticamente iguais.

But for AI, it takes some training to teach the models

Mas para a IA, é preciso treino para ensinar os modelos

to recognize that difference.

a reconhecer a diferença.

The beauty of building AI that can tell the difference

A beleza na construção da IA que reconheça esta diferença

is that AI can then scale to the size of the online toxicity phenomenon,

é que a IA pode depois evoluir

para a dimensão do fenómeno de toxicidade "online",

and that was our goal in building our technology called Perspective.

que foi o nosso objetivo ao criar a nossa tecnologia "Perspective".

With the help of Perspective,

Com a ajuda da Perspective,

the New York Times, for example,

o New York Times, por exemplo,

has increased spaces online for conversation.

aumentou o número de espaços para conversas "online".

Before our collaboration,

Antes da nossa colaboração,

they only had comments enabled on just 10 percent of their articles.

só eram permitidos comentários em 10% dos artigos.

With the help of machine learning,

A aprendizagem automática

permitiu aumentar esse número para 30%.

they have that number up to 30 percent.

So they've tripled it,

Triplicou, e nós ainda só estamos a começar.

and we're still just getting started.

But this is about way more than just making moderators more efficient.

Mas isto é mais importante do que tornar os moderadores mais eficientes.

Right now I can see you,

Neste momento eu estou a ver-vos,

and I can gauge how what I'm saying is landing with you.

e consigo avaliar o efeito que as minhas palavras têm em vocês.

You don't have that opportunity online.

Não temos essa possibilidade "online".

Imagine if machine learning could give commenters,

Imaginem se a aprendizagem automática pudesse dar a quem está a comentar,

as they're typing,

à medida que escrevem,

real-time feedback about how their words might land,

um "feedback" em tempo real sobre o efeito que essas palavras podem ter,

just like facial expressions do in a face-to-face conversation.

tal como as expressões faciais numa conversa cara-a-cara.

Machine learning isn't perfect,

A aprendizagem automática não é perfeita e ainda comete inúmeros erros.

and it still makes plenty of mistakes.

But if we can build technology

Mas se criarmos uma tecnologia

that understands the emotional impact of language,

que compreenda o impacto emocional da linguagem,

podemos criar empatia.

we can build empathy.

That means that we can have dialogue between people

Isso significa que pode haver diálogo entre pessoas

with different politics,

com diferentes opiniões políticas,

different worldviews,

diferentes visões do mundo

different values.

e diferentes valores.

And we can reinvigorate the spaces online that most of us have given up on.

E podemos dar novamente vida a espaços "online"

dos quais muitos de nós já desistiram.

When people use technology to exploit and harm others,

Quando as pessoas usam tecnologia para explorar e causar dano a outras,

they're preying on our human fears and vulnerabilities.

estão a aproveitar-se dos nossos medos e vulnerabilidades humanas.

If we ever thought that we could build an internet

Se alguma vez pensámos que era possível

construir uma Internet isolada do lado negro da humanidade,

insulated from the dark side of humanity,

we were wrong.

estávamos enganados.

If we want today to build technology

Se queremos construir uma tecnologia

that can overcome the challenges that we face,

que possa ultrapassar os desafios que enfrentamos,

we have to throw our entire selves into understanding the issues

temos de nos dedicar inteiramente a perceber os problemas

and into building solutions

e a construir soluções

that are as human as the problems they aim to solve.

que sejam tão humanas como os problemas que elas tentam solucionar.

Vamos fazer com que isso aconteça.

Let's make that happen.

Thank you.

Obrigada.

(Applause)

(Aplausos)