How technology can fight extremism and online harassment | Yasmin Green

69,878 views

2018-06-27・ 1374    724


Can technology make people safer from threats like violent extremism, censorship and persecution? In this illuminating talk, technologist Yasmin Green details programs pioneered at Jigsaw (a unit within Alphabet Inc., the collection of companies that also includes Google) to counter radicalization and online harassment -- including a project that could give commenters real-time feedback about how their words might land, which has already increased spaces for dialogue. "If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong," Green says. "We have to throw our entire selves into building solutions that are as human as the problems they aim to solve." Check out more TED Talks: http://www.ted.com The TED Talks channel features the best talks and performances from the TED Conference, where the world's leading thinkers and doers give the talk of their lives in 18 minutes (or less). Look for talks on Technology, Entertainment and Design -- plus science, business, global issues, the arts and more. Follow TED on Twitter: http://www.twitter.com/TEDTalks Like TED on Facebook: https://www.facebook.com/TED Subscribe to our channel: https://www.youtube.com/TED

Instruction

Double-click on the English captions to play the video from there.

Tradutor: Aline Senra Revisor: Maricene Crus
00:13
My relationship with the internet reminds me of the setup
Minha relação com a internet me lembra o roteiro
00:17
to a clichéd horror movie.
de um filme de terror clichê.
00:19
You know, the blissfully happy family moves in to their perfect new home,
A radiante família feliz se muda para a nova casa perfeita,
00:24
excited about their perfect future,
animada com seu futuro perfeito,
00:26
and it's sunny outside and the birds are chirping ...
está ensolarado, os pássaros cantam...
00:30
And then it gets dark.
E então começa a ficar sinistro.
00:32
And there are noises from the attic.
Há sons vindo do sótão.
00:35
And we realize that that perfect new house isn't so perfect.
E descobrimos que a nova casa perfeita não é tão perfeita.
00:40
When I started working at Google in 2006,
Quando comecei a trabalhar no Google em 2016
00:43
Facebook was just a two-year-old,
o Facebook tinha apenas dois anos
00:45
and Twitter hadn't yet been born.
e o Twitter ainda não tinha nascido.
00:47
And I was in absolute awe of the internet and all of its promise
Eu estava maravilhada pela internet e toda sua promessa
00:52
to make us closer
de nos aproximar,
00:53
and smarter
nos tornar mais espertos e mais livres.
00:55
and more free.
00:57
But as we were doing the inspiring work of building search engines
Porém, ao nos dedicar à inspiradora tarefa de construir máquinas de busca,
01:01
and video-sharing sites and social networks,
sites de compartilhamento de vídeo e redes sociais,
01:04
criminals, dictators and terrorists were figuring out
criminosos, ditadores e terroristas estavam descobrindo
01:09
how to use those same platforms against us.
como usar as mesmas plataformas contra nós.
01:13
And we didn't have the foresight to stop them.
E nós não previmos isso para detê-los.
01:16
Over the last few years, geopolitical forces have come online to wreak havoc.
Nos últimos anos, forças geopolíticas surgiram on-line para causar estragos.
01:21
And in response,
E, em resposta,
01:23
Google supported a few colleagues and me to set up a new group called Jigsaw,
o Google apoiou alguns colegas e eu a criar um novo grupo chamado Jigsaw
01:27
with a mandate to make people safer from threats like violent extremism,
com a missão de tornar as pessoas mais seguras
de ameaças como o extremismo violento,
01:32
censorship, persecution --
censura, perseguição.
01:35
threats that feel very personal to me because I was born in Iran,
Ameaças muito pessoais a mim, pois eu nasci no Irã
01:39
and I left in the aftermath of a violent revolution.
e saí de lá após o período de uma revolução violenta.
01:43
But I've come to realize that even if we had all of the resources
Mas percebi que, mesmo se tivéssemos todos os recursos
01:47
of all of the technology companies in the world,
de todas as empresas de tecnologia do mundo,
01:51
we'd still fail
nós ainda iríamos falhar
01:53
if we overlooked one critical ingredient:
caso negligenciássemos um ingrediente crítico:
01:57
the human experiences of the victims and perpetrators of those threats.
as experiências humanas das vítimas e os autores dessas ameaças.
02:04
There are many challenges I could talk to you about today.
Há muitos desafios sobre os quais eu poderia falar hoje;
02:07
I'm going to focus on just two.
vou focar apenas dois.
02:09
The first is terrorism.
Primeiro, o terrorismo.
02:13
So in order to understand the radicalization process,
Para entender o processo de radicalização,
02:16
we met with dozens of former members of violent extremist groups.
nos encontramos com dezenas de ex-membros de grupos extremistas violentos.
02:21
One was a British schoolgirl,
Um era uma estudante britânica
02:25
who had been taken off of a plane at London Heathrow
que havia sido retirada de um avião em Londres-Heathrow,
02:28
as she was trying to make her way to Syria to join ISIS.
enquanto tentava entrar na Síria para se juntar ao EI.
02:34
And she was 13 years old.
Ela só tinha 13 anos.
02:37
So I sat down with her and her father, and I said, "Why?"
Então me sentei com ela e seu pai e disse: "Por quê?"
02:42
And she said,
E ela respondeu:
02:44
"I was looking at pictures of what life is like in Syria,
"Eu estava procurando por imagens de como é a vida na Síria;
02:47
and I thought I was going to go and live in the Islamic Disney World."
achei que eu estava indo viver na Disneylândia islâmica".
02:52
That's what she saw in ISIS.
Foi isso o que ela viu no Estado Islâmico.
02:54
She thought she'd meet and marry a jihadi Brad Pitt
Ela achou que iria conhecer e se casar com um Brad Pitt jihadista,
02:58
and go shopping in the mall all day and live happily ever after.
fazer compras no shopping o dia todo e viver feliz para sempre.
03:02
ISIS understands what drives people,
O EI entende o que motiva as pessoas
03:05
and they carefully craft a message for each audience.
e, cuidadosamente, constrói uma mensagem para cada audiência.
03:11
Just look at how many languages
Basta ver em quantas línguas eles traduzem sua propaganda.
03:12
they translate their marketing material into.
03:15
They make pamphlets, radio shows and videos
Eles fazem planfetos, programas de rádio e vídeos
03:18
in not just English and Arabic,
não só em inglês e árabe,
03:20
but German, Russian, French, Turkish, Kurdish,
mas em alemão, russo, francês, turco, curdo,
03:25
Hebrew,
hebraico
03:26
Mandarin Chinese.
e chinês mandarim.
03:29
I've even seen an ISIS-produced video in sign language.
Cheguei até a ver um vídeo do EI produzido em linguagem de sinais.
03:34
Just think about that for a second:
Apenas pensem nisso por um segundo:
03:36
ISIS took the time and made the effort
o EI dedicou tempo e esforço para garantir que sua mensagem
03:38
to ensure their message is reaching the deaf and hard of hearing.
chegasse aos surdos e deficientes auditivos.
03:45
It's actually not tech-savviness
Não é a sagacidade tecnológica
03:47
that is the reason why ISIS wins hearts and minds.
a razão pela qual o EI ganha corações e mentes.
03:49
It's their insight into the prejudices, the vulnerabilities, the desires
É a sua percepção dos preconceitos, vulnerabilidades e desejos das pessoas
03:54
of the people they're trying to reach
que eles tentam alcançar que faz isso.
03:55
that does that.
03:57
That's why it's not enough
É por isso que não basta que as plataformas on-line
03:59
for the online platforms to focus on removing recruiting material.
se concentrem em remover material de recrutamento.
04:04
If we want to have a shot at building meaningful technology
Se quisermos acertar na construção de uma tecnologia relevante
04:08
that's going to counter radicalization,
que irá combater a radicalização
04:10
we have to start with the human journey at its core.
temos que começar pela essência da jornada humana.
04:13
So we went to Iraq
Fomos ao Iraque
04:16
to speak to young men who'd bought into ISIS's promise
conversar com homens jovens que aderiram à promessa do EI
04:18
of heroism and righteousness,
de heroísmo e justiça,
04:22
who'd taken up arms to fight for them
que pegaram em armas para lutar por eles
04:24
and then who'd defected
e desertaram após terem testemunhado a brutalidade das regras do EI.
04:25
after they witnessed the brutality of ISIS's rule.
04:28
And I'm sitting there in this makeshift prison in the north of Iraq
Eu estava sentada numa prisão improvisada no norte do Iraque
04:32
with this 23-year-old who had actually trained as a suicide bomber
com um jovem de 23 anos que foi treinado para ser homem-bomba
04:36
before defecting.
antes de ter desertado.
04:39
And he says,
E ele disse:
04:41
"I arrived in Syria full of hope,
"Eu cheguei na Síria cheio de esperança
04:44
and immediately, I had two of my prized possessions confiscated:
e, imediatamente, tive duas de minhas mais preciosas posses confiscadas:
04:48
my passport and my mobile phone."
meu passaporte e meu celular".
04:52
The symbols of his physical and digital liberty
Os ícones de sua liberdade física e digital
04:54
were taken away from him on arrival.
foram retirados dele em sua chegada.
04:57
And then this is the way he described that moment of loss to me.
Foi assim que ele descreveu aquele momento de perda para mim.
05:01
He said,
Ele disse:
05:02
"You know in 'Tom and Jerry,'
"Sabe, no Tom e Jerry,
05:06
when Jerry wants to escape, and then Tom locks the door
quando o Jerry quer fugir e o Tom tranca a porta
05:09
and swallows the key
e engole a chave,
05:10
and you see it bulging out of his throat as it travels down?"
e você a vê descendo garganta abaixo?"
05:14
And of course, I really could see the image that he was describing,
Claro, eu pude mesmo ver a imagem que ele descrevia
05:17
and I really did connect with the feeling that he was trying to convey,
e me conectei com o sentimento que ele tentava transmitir,
05:21
which was one of doom,
que era de desgraça
05:23
when you know there's no way out.
quando você sabe que não há saída.
05:26
And I was wondering:
Eu fiquei pensando:
05:28
What, if anything, could have changed his mind
"E se alguma coisa pudesse tê-lo mudado de ideia
05:31
the day that he left home?
quando ele saiu de casa?"
05:32
So I asked,
Então, perguntei:
05:33
"If you knew everything that you know now
"Se você soubesse tudo o que sabe agora
05:37
about the suffering and the corruption, the brutality --
sobre o sofrimento, a corrupção, a brutalidade, no dia em que saiu de casa,
05:40
that day you left home,
05:41
would you still have gone?"
ainda assim você teria partido?"
05:43
And he said, "Yes."
Ele respondeu: "Sim".
05:45
And I thought, "Holy crap, he said 'Yes.'"
E pensei: "Puxa vida, ele disse sim!"
05:48
And then he said,
E ele disse:
05:49
"At that point, I was so brainwashed,
"Naquele ponto, eu tinha sofrido tanta lavagem cerebral
05:52
I wasn't taking in any contradictory information.
que eu não aceitava nenhuma informação contrária;
05:56
I couldn't have been swayed."
não poderia ter sido influenciado do contrário".
05:59
"Well, what if you knew everything that you know now
"Bom, e se você soubesse tudo o que sabe agora
06:01
six months before the day that you left?"
seis meses antes do dia em que partiu?"
06:05
"At that point, I think it probably would have changed my mind."
"Naquele instante, acho que eu, provavelmente, teria mudado de ideia."
06:10
Radicalization isn't this yes-or-no choice.
Radicalismo não é uma escolha de sim ou não.
06:14
It's a process, during which people have questions --
É um processo durante o qual as pessoas têm dúvidas
06:17
about ideology, religion, the living conditions.
sobre ideologia, religião, condições de vida.
06:20
And they're coming online for answers,
Elas buscam respostas on-line,
06:23
which is an opportunity to reach them.
o que é uma oportunidade para alcançá-las.
06:25
And there are videos online from people who have answers --
Existem vídeos on-line de pessoas que possuem respostas
06:28
defectors, for example, telling the story of their journey
desertores, por exemplo, contando a história de sua jornada
06:31
into and out of violence;
para dentro e fora da violência.
06:33
stories like the one from that man I met in the Iraqi prison.
Histórias como a daquele homem que conheci na prisão no Iraque.
06:37
There are locals who've uploaded cell phone footage
Há moradores que enviaram imagens de celular
06:40
of what life is really like in the caliphate under ISIS's rule.
de como é realmente a vida no califado sob as regras do EI.
06:44
There are clerics who are sharing peaceful interpretations of Islam.
Há clérigos que estão compartilhando interpretações pacíficas do Islã.
06:48
But you know what?
Essas pessoas, geralmente, não têm a proeza que a propaganda do EI tem.
06:50
These people don't generally have the marketing prowess of ISIS.
06:54
They risk their lives to speak up and confront terrorist propaganda,
Eles arriscam suas vidas para rebater e confrontar a propaganda terrorista,
06:58
and then they tragically don't reach the people
e, então, tragicamente não alcançam as pessoas
07:00
who most need to hear from them.
que mais precisam de ouvi-los.
07:03
And we wanted to see if technology could change that.
Queríamos ver se a tecnologia poderia mudar isso.
07:06
So in 2016, we partnered with Moonshot CVE
Em 2016, fizemos uma parceria com a Moonshot CVE
07:10
to pilot a new approach to countering radicalization
para testar uma nova abordagem para combater o radicalismo
07:13
called the "Redirect Method."
chamada Método de Redirecionamento.
07:16
It uses the power of online advertising
Ele usa o poder da propaganda on-line
07:19
to bridge the gap between those susceptible to ISIS's messaging
para preencher a lacuna entre aqueles suscetíveis à mensagem do EI
e as vozes confiáveis que estão desbancando aquela mensagem.
07:24
and those credible voices that are debunking that messaging.
07:28
And it works like this:
Funciona assim: alguém em busca de material extremista,
07:29
someone looking for extremist material --
07:31
say they search for "How do I join ISIS?" --
digamos que ele busque "Como me juntar ao EI?",
07:34
will see an ad appear
verá um anúncio aparecer
07:37
that invites them to watch a YouTube video of a cleric, of a defector --
que o convida a assistir um vídeo no Youtube
de um clérigo, de um desertor,
07:42
someone who has an authentic answer.
de alguém que tenha uma resposta autêntica.
07:44
And that targeting is based not on a profile of who they are,
Esse direcionamento é baseado não no perfil de quem eles são,
07:48
but of determining something that's directly relevant
mas na identificação de algo que é diretamente relevante
07:51
to their query or question.
à sua consulta ou dúvida.
07:54
During our eight-week pilot in English and Arabic,
Durante as oito semanas do teste, em inglês e em árabe,
07:56
we reached over 300,000 people
alcançamos mais de 300 mil pessoas
08:00
who had expressed an interest in or sympathy towards a jihadi group.
que expressaram interesse ou simpatia por um grupo jihadista.
08:06
These people were now watching videos
Elas estavam, agora, vendo vídeos
08:08
that could prevent them from making devastating choices.
que poderiam impedi-las de fazer escolhas devastadoras.
08:13
And because violent extremism isn't confined to any one language,
Como o extremismo violento não se limita a nenhum idioma,
08:17
religion or ideology,
religião ou ideologia,
08:18
the Redirect Method is now being deployed globally
o método de redirecionamento está sendo implantado globalmente
08:22
to protect people being courted online by violent ideologues,
para proteger pessoas sendo cortejadas on-line por idealistas violentos,
08:26
whether they're Islamists, white supremacists
sejam eles islâmicos, supremacistas brancos,
08:28
or other violent extremists,
ou outros extremistas violentos,
08:31
with the goal of giving them the chance to hear from someone
com o objetivo de dar a elas a chance de ouvir alguém
08:33
on the other side of that journey;
que esteve do outro lado dessa jornada.
08:36
to give them the chance to choose a different path.
Dar a chance de escolher um caminho diferente.
08:40
It turns out that often the bad guys are good at exploiting the internet,
Às vezes, os vilões são bons em explorar a internet,
08:46
not because they're some kind of technological geniuses,
não porque eles sejam gênios da tecnologia,
08:50
but because they understand what makes people tick.
mas porque eles entendem o que motiva as pessoas.
08:54
I want to give you a second example:
Quero dar um segundo exemplo.
08:58
online harassment.
Assédio on-line.
09:00
Online harassers also work to figure out what will resonate
Assediadores on-line também trabalham para descobrir
o que vai repercutir em outro ser humano.
09:04
with another human being.
09:05
But not to recruit them like ISIS does,
Não para recrutá-los, como o EI faz,
09:08
but to cause them pain.
mas para causar-lhes dor.
09:11
Imagine this:
Imagine isso:
09:13
you're a woman,
você é uma mulher,
09:15
you're married,
casada,
09:16
you have a kid.
e tem um filho.
09:18
You post something on social media,
Você posta algo na mídia social.
09:20
and in a reply, you're told that you'll be raped,
Em uma resposta, te dizem que você será estuprada,
09:24
that your son will be watching,
que seu filho irá assistir,
09:26
details of when and where.
detalhes de quando e onde.
09:29
In fact, your home address is put online for everyone to see.
Aliás, seu endereço é colocado on-line para todo mundo ver.
09:33
That feels like a pretty real threat.
Isso soa como uma ameaça bastante real.
09:37
Do you think you'd go home?
Você acha que iria para casa?
09:39
Do you think you'd continue doing the thing that you were doing?
Você acha que continuaria fazendo aquilo que estava fazendo
ou continuaria fazendo aquilo que está irritando seu agressor?
09:43
Would you continue doing that thing that's irritating your attacker?
09:48
Online abuse has been this perverse art
Abuso on-line tem sido essa arte perversa de descobrir
09:51
of figuring out what makes people angry,
o que causa raiva nas pessoas,
09:54
what makes people afraid,
o que as faz ter medo,
09:56
what makes people insecure,
o que as tornam inseguras,
09:58
and then pushing those pressure points until they're silenced.
e, então, pressionar esses pontos até que elas se calem.
10:02
When online harassment goes unchecked,
Quando o assédio on-line não é controlado,
10:04
free speech is stifled.
a liberdade de expressão é sufocada.
10:07
And even the people hosting the conversation
Até mesmo as pessoas conduzindo o debate jogam seus braços para cima e desistem,
10:09
throw up their arms and call it quits,
10:11
closing their comment sections and their forums altogether.
fechando tanto a seção de comentários quanto os fóruns.
10:14
That means we're actually losing spaces online
Isso significa que estamos perdendo espaço on-line
10:17
to meet and exchange ideas.
para nos encontrar e trocar ideias.
10:19
And where online spaces remain,
E, naqueles que permanecem,
10:22
we descend into echo chambers with people who think just like us.
nos reduzimos a câmaras de ressonância com pessoas que pensam como nós.
10:27
But that enables the spread of disinformation;
Isso permite a disseminação da desinformação,
10:30
that facilitates polarization.
facilita a polarização.
10:34
What if technology instead could enable empathy at scale?
E se a tecnologia, ao invés disso, pudesse possibilitar empatia em escala?
10:40
This was the question that motivated our partnership
Essa foi a pergunta que motivou nossa parceria
10:42
with Google's Counter Abuse team,
com a equipe de combate ao abuso do Google,
10:44
Wikipedia
Wikipedia
e jornais como o "New York Times".
10:46
and newspapers like the New York Times.
10:47
We wanted to see if we could build machine-learning models
Queríamos ver se poderíamos fazer modelos de aprendizado de máquina
10:50
that could understand the emotional impact of language.
que compreendessem o impacto emocional da linguagem.
10:55
Could we predict which comments were likely to make someone else leave
Poderíamos prever quais comentários eram suscetíveis
de fazer alguém deixar um debate on-line?
10:58
the online conversation?
11:00
And that's no mean feat.
Esse não é uma tarefa fácil.
11:04
That's no trivial accomplishment
Não é uma conquista trivial para o time de IA conseguir algo como isso.
11:06
for AI to be able to do something like that.
11:08
I mean, just consider these two examples of messages
Apenas considerem esses dois exemplos de mensagem
11:12
that could have been sent to me last week.
que poderiam ter sido enviadas a mim semana passada.
11:15
"Break a leg at TED!"
"Merda pra você no TED!"
11:17
... and
e...
11:18
"I'll break your legs at TED."
"Vou jogar merda em você no TED."
11:20
(Laughter)
(Risos)
11:22
You are human,
Você é humano,
11:23
that's why that's an obvious difference to you,
por isso esta diferença é óbvia,
11:25
even though the words are pretty much the same.
mesmo as palavras sendo praticamente as mesmas.
11:28
But for AI, it takes some training to teach the models
Mas, para a IA, leva uma certa prática ensinar os modelos
11:31
to recognize that difference.
a reconhecer essa diferença.
11:32
The beauty of building AI that can tell the difference
A beleza de se construir IA capaz de fazer esta distinção
é que a IA pode reduzir o tamanho do fenômeno da toxidade on-line.
11:36
is that AI can then scale to the size of the online toxicity phenomenon,
11:41
and that was our goal in building our technology called Perspective.
Esse era nosso objetivo ao construir nossa tecnologia chamada Perspective.
11:45
With the help of Perspective,
Com a ajuda da Perspective,
11:46
the New York Times, for example,
o "New York Times", por exemplo,
11:48
has increased spaces online for conversation.
aumentou espaços on-line para debate.
11:51
Before our collaboration,
Antes de nossa colaboração,
11:52
they only had comments enabled on just 10 percent of their articles.
eles só tinham comentários ativados em apenas 10% dos seus artigos.
11:57
With the help of machine learning,
Com a ajuda do aprendizado de máquina, eles levaram o número para até 30%.
11:59
they have that number up to 30 percent.
12:01
So they've tripled it,
Ou seja, eles o triplicaram e estamos, ainda, só começando.
12:02
and we're still just getting started.
12:04
But this is about way more than just making moderators more efficient.
Isso vai muito além de apenas tornar os moderadores mais eficientes.
12:10
Right now I can see you,
Nesse instante, eu consigo te ver
12:11
and I can gauge how what I'm saying is landing with you.
e avaliar como o que eu digo está soando para você.
12:16
You don't have that opportunity online.
Você não tem essa oportunidade on-line.
12:18
Imagine if machine learning could give commenters,
Imagine se o aprendizado de máquina pudesse dar aos comentaristas,
12:22
as they're typing,
enquanto eles digitam,
12:23
real-time feedback about how their words might land,
feedback real sobre como suas palavras podem soar,
12:27
just like facial expressions do in a face-to-face conversation.
tal como expressões faciais o fazem em conversas cara a cara.
12:32
Machine learning isn't perfect,
O aprendizado de máquina não é perfeito
12:34
and it still makes plenty of mistakes.
e ainda comete muitos enganos.
12:37
But if we can build technology
Mas se pudermos construir uma tecnologia que compreenda
12:38
that understands the emotional impact of language,
o impacto emocional da linguagem,
12:42
we can build empathy.
poderemos construir empatia.
12:43
That means that we can have dialogue between people
Isso significa poder haver diálogo entre pessoas
12:46
with different politics,
com diferentes políticas,
12:47
different worldviews,
diferentes visões de mundo, diferentes valores.
12:49
different values.
12:51
And we can reinvigorate the spaces online that most of us have given up on.
E poderemos revigorar espaços on-line de que a maioria de nós havia desistido.
12:57
When people use technology to exploit and harm others,
Quando as pessoas usam a tecnologia para explorar e prejudicar os outros,
13:01
they're preying on our human fears and vulnerabilities.
eles estão se alimentando dos nossos temores humanos e vulnerabilidades.
13:06
If we ever thought that we could build an internet
Se alguma vez pensamos que poderíamos ter feito a internet
13:09
insulated from the dark side of humanity,
isolada do lado obscuro da humanidade,
13:12
we were wrong.
estávamos errados.
13:14
If we want today to build technology
Se quisermos construir uma tecnologia
13:16
that can overcome the challenges that we face,
que possa superar os desafios que enfrentamos
13:19
we have to throw our entire selves into understanding the issues
temos que nos dedicar inteiramente a compreender tais problemas
13:23
and into building solutions
e a construir soluções que sejam tão humanas
13:25
that are as human as the problems they aim to solve.
quanto os problemas que almejamos resolver.
13:30
Let's make that happen.
Vamos fazer isso acontecer.
13:31
Thank you.
Obrigada.
13:33
(Applause)
(Aplausos)
About this site

This site was created for the purpose of learning English through video.

Each video can be played with simultaneous captions in English and your native language.

Double-click on the English captions will play the video from there.

If you have any comments or suggestions, please contact us using this contact form.