How technology can fight extremism and online harassment | Yasmin Green

Traductor: Ciro Gomez

My relationship with the internet reminds me of the setup

Mi relación con Internet me recuerda al montaje

to a clichéd horror movie.

de una típica película de terror.

You know, the blissfully happy family moves in to their perfect new home,

Ya saben, la familia dichosamente feliz se muda a su nuevo hogar perfecto,

excited about their perfect future,

entusiasmada con su futuro perfecto,

and it's sunny outside and the birds are chirping ...

y hace un día soleado y los pájaros están cantando...

And then it gets dark.

Y entonces se pone oscuro.

And there are noises from the attic.

Y hay ruidos en el ático.

And we realize that that perfect new house isn't so perfect.

Y nos damos cuenta de que esa casa perfecta

no es tan perfecta.

When I started working at Google in 2006,

Cuando comencé a trabajar en Google en 2006,

Facebook was just a two-year-old,

Facebook tenía solo dos años

and Twitter hadn't yet been born.

y Twitter aún no había nacido.

And I was in absolute awe of the internet and all of its promise

Y estaba absolutamente asombrada con Internet y toda su promesa

to make us closer

de hacernos más cercanos,

and smarter

más inteligentes

and more free.

y más libres.

But as we were doing the inspiring work of building search engines

Pero mientras hacíamos el inspirador trabajo

de construir motores de búsqueda

and video-sharing sites and social networks,

y páginas para compartir videos y redes sociales,

criminals, dictators and terrorists were figuring out

los criminales, dictadores y terroristas estaban descubriendo

how to use those same platforms against us.

cómo usar esas mismas plataformas contra nosotros.

And we didn't have the foresight to stop them.

Y no tuvimos la previsión de detenerlos.

Over the last few years, geopolitical forces have come online to wreak havoc.

Últimamente, las fuerzas geopolíticas se han conectado para causar estragos.

And in response,

Y en respuesta,

Google supported a few colleagues and me to set up a new group called Jigsaw,

Google nos apoyó a algunos colegas y a mí para montar un nuevo grupo llamado Jigsaw,

with a mandate to make people safer from threats like violent extremism,

con la pretensión de lograr más seguridad

contra amenazas como el extremismo violento,

censorship, persecution --

la censura, o persecución,

threats that feel very personal to me because I was born in Iran,

amenazas que considero personales porque yo nací en Irán,

and I left in the aftermath of a violent revolution.

y me marché después de una revolución violenta.

But I've come to realize that even if we had all of the resources

Pero me he dado cuenta de que aunque tuviéramos todos los recursos

of all of the technology companies in the world,

de todas las empresas tecnológicas del mundo,

we'd still fail

aún así fallaríamos

if we overlooked one critical ingredient:

si pasáramos por alto un ingrediente crítico:

the human experiences of the victims and perpetrators of those threats.

las experiencias humanas de las víctimas y los infractores de esas amenazas.

There are many challenges I could talk to you about today.

Hay muchos desafíos de los que les podría hablar hoy.

I'm going to focus on just two.

Me voy a centrar en solo dos.

The first is terrorism.

El primero es el terrorismo.

So in order to understand the radicalization process,

Para entender el proceso de radicalización,

we met with dozens of former members of violent extremist groups.

nos reunimos con docenas de exmiembros de grupos extremistas violentos.

One was a British schoolgirl,

Una era una colegiala británica,

who had been taken off of a plane at London Heathrow

que había sido sacada de un avión en Heathrow, en Londres,

as she was trying to make her way to Syria to join ISIS.

mientras trataba de abrirse camino hasta Siria para unirse al ISIS.

And she was 13 years old.

Tenía 13 años.

So I sat down with her and her father, and I said, "Why?"

Así que me senté con ella y su padre, y pregunté: "¿Por qué?"

And she said,

Y me dijo,

"I was looking at pictures of what life is like in Syria,

"Estaba mirando fotos de cómo es la vida en Siria,

and I thought I was going to go and live in the Islamic Disney World."

y pensé en irme y vivir en el mundo islámico de Disney".

That's what she saw in ISIS.

Eso es lo que ella vio en ISIS.

She thought she'd meet and marry a jihadi Brad Pitt

Pensó que se encontraría y se casaría con un jihadista Brad Pitt

and go shopping in the mall all day and live happily ever after.

e irían todo el día de compras al centro comercial y vivirían felices.

ISIS understands what drives people,

El ISIS entiende qué impulsa a la gente,

and they carefully craft a message for each audience.

y elaboran cuidadosamente un mensaje para cada audiencia.

Just look at how many languages

Miren a cuántos idiomas

they translate their marketing material into.

traducen su material de mercadotecnia.

They make pamphlets, radio shows and videos

Hacen panfletos, programas de radio y videos

in not just English and Arabic,

no solo en inglés y árabe,

but German, Russian, French, Turkish, Kurdish,

también en alemán, ruso, francés, turco, kurdo,

Hebrew,

hebreo,

Mandarin Chinese.

chino mandarín.

I've even seen an ISIS-produced video in sign language.

Incluso he visto un video producido por ISIS en lenguaje de signos.

Just think about that for a second:

Piensen en ello un segundo:

ISIS took the time and made the effort

El ISIS se tomó su tiempo y se esforzó

to ensure their message is reaching the deaf and hard of hearing.

por asegurarse de que su mensaje llegara a sordos e hipoacúsicos.

It's actually not tech-savviness

En realidad, no es por el dominio tecnológico

that is the reason why ISIS wins hearts and minds.

por lo que el ISIS gana corazones y mentes.

It's their insight into the prejudices, the vulnerabilities, the desires

Lo que lo consigue es su percepción de los prejuicios, las vulnerabilidades

y los deseos de las personas a las que intentan llegar.

of the people they're trying to reach

that does that.

That's why it's not enough

Por eso no basta con que las plataformas en línea se centren

for the online platforms to focus on removing recruiting material.

en eliminar el material de reclutamiento.

If we want to have a shot at building meaningful technology

Si queremos tener una oportunidad de construir una tecnología significativa

that's going to counter radicalization,

que contrarreste la radicalización,

we have to start with the human journey at its core.

tenemos que comenzar con un viaje a su esencia más humana.

So we went to Iraq

Así que fuimos a Irak

to speak to young men who'd bought into ISIS's promise

a hablar con hombres jóvenes que habían aceptado la promesa

of heroism and righteousness,

de heroísmo y rectitud de ISIS,

who'd taken up arms to fight for them

que se habían armado para luchar por ellos

and then who'd defected

y que habían desertado

after they witnessed the brutality of ISIS's rule.

después de ser testigos de la brutalidad del gobierno del ISIS.

And I'm sitting there in this makeshift prison in the north of Iraq

Y estoy sentada allí en esa improvisada prisión en el norte de Irak

with this 23-year-old who had actually trained as a suicide bomber

con este chico de 23 años

que se había entrenado como terrorista suicida

before defecting.

antes de desertar.

And he says,

Y él nos dice:

"I arrived in Syria full of hope,

"Yo llegué a Siria lleno de esperanza,

and immediately, I had two of my prized possessions confiscated:

e inmediatamente, me confiscaron dos de mis preciadas posesiones:

my passport and my mobile phone."

mi pasaporte y mi teléfono móvil".

The symbols of his physical and digital liberty

Los símbolos de su libertad física y digital

were taken away from him on arrival.

le fueron arrebatados a su llegada.

And then this is the way he described that moment of loss to me.

Y así fue cómo me describió ese momento de pérdida.

He said,

Dijo:

"You know in 'Tom and Jerry,'

"Sabes, es como en 'Tom y Jerry',

when Jerry wants to escape, and then Tom locks the door

cuando Jerry quiere escapar, y entonces Tom cierra la puerta

and swallows the key

y se traga la llave

and you see it bulging out of his throat as it travels down?"

y la ve sobresaliendo por su garganta cuando baja".

And of course, I really could see the image that he was describing,

Y por supuesto, de veras, pude ver la imagen que estaba describiendo,

and I really did connect with the feeling that he was trying to convey,

y realmente conecté con la sensación que estaba tratando de transmitir,

which was one of doom,

que era un sentimiento de condena,

when you know there's no way out.

en el que saben que no hay escapatoria.

And I was wondering:

Y me preguntaba:

What, if anything, could have changed his mind

¿Qué podría haberle hecho cambiar de idea, si hubiese algo,

the day that he left home?

el día que se fue de casa?

So I asked,

Entonces pregunté,

"If you knew everything that you know now

"Si supieras todo lo que sabes ahora

about the suffering and the corruption, the brutality --

--sobre el sufrimiento y la corrupción, la brutalidad--

ese día que te fuiste de casa,

that day you left home,

would you still have gone?"

¿aun así te habrías ido?

And he said, "Yes."

Y él dijo: "Sí".

And I thought, "Holy crap, he said 'Yes.'"

Y pensé, "madre mía, dijo 'sí'".

And then he said,

Y luego dijo:

"At that point, I was so brainwashed,

"En ese punto, tenía tan sorbido el seso,

I wasn't taking in any contradictory information.

no pillaba ninguna información contradictoria.

I couldn't have been swayed."

No podían haberme influenciado".

"Well, what if you knew everything that you know now

"Bueno, ¿y si supieras todo lo que sabes ahora

six months before the day that you left?"

seis meses antes del día en que te fuiste?

"At that point, I think it probably would have changed my mind."

"En ese momento, creo que probablemente habría cambiado de idea".

Radicalization isn't this yes-or-no choice.

La radicalización no es esta opción de sí o no.

It's a process, during which people have questions --

Es un proceso, durante el cual la gente tiene preguntas...

about ideology, religion, the living conditions.

sobre ideología, religión, las condiciones de vida.

And they're coming online for answers,

Y entran en la red para obtener respuestas;

which is an opportunity to reach them.

es una oportunidad para conseguirlas.

And there are videos online from people who have answers --

Y hay videos en la red de personas que tienen respuestas...

defectors, for example, telling the story of their journey

desertores, por ejemplo, contando la historia de su viaje

into and out of violence;

dentro y fuera de la violencia;

stories like the one from that man I met in the Iraqi prison.

historias como la de ese hombre que conocí en la prisión iraquí.

There are locals who've uploaded cell phone footage

Hay lugareños subiendo videos hechos con el móvil

of what life is really like in the caliphate under ISIS's rule.

sobre cómo es la vida realmente en el califato bajo el mandato del ISIS.

There are clerics who are sharing peaceful interpretations of Islam.

Hay clérigos que están compartiendo interpretaciones pacíficas del islam.

But you know what?

¿Pero saben? Estas personas

These people don't generally have the marketing prowess of ISIS.

generalmente no tienen la destreza de comercialización del ISIS.

They risk their lives to speak up and confront terrorist propaganda,

Arriesgan sus vidas por hablar y enfrentar la propaganda terrorista,

and then they tragically don't reach the people

y luego trágicamente no llegan a esas personas

who most need to hear from them.

que más necesitan escucharles.

And we wanted to see if technology could change that.

Y nosotros quisimos ver si la tecnología podía cambiar eso.

So in 2016, we partnered with Moonshot CVE

Así que, en 2016, nos asociamos con Moonshot CVE

to pilot a new approach to countering radicalization

para pilotar un nuevo enfoque que contrarreste la radicalización

called the "Redirect Method."

llamado el "Método de Redireccionamiento".

It uses the power of online advertising

Utiliza el poder de la publicidad en red

to bridge the gap between those susceptible to ISIS's messaging

para cerrar la brecha entre esos susceptibles a los mensajes del ISIS

and those credible voices that are debunking that messaging.

y esas voces creíbles que están desacreditando ese mensaje.

And it works like this:

Y funciona así:

someone looking for extremist material --

alguien buscando material extremista

say they search for "How do I join ISIS?" --

--dicen que buscan: "¿Cómo me uno a ISIS?"--

will see an ad appear

verá aparecer un anuncio

that invites them to watch a YouTube video of a cleric, of a defector --

que los invita a ver un video de YouTube de un clérigo, de un desertor...

someone who has an authentic answer.

alguien que tiene una respuesta auténtica.

And that targeting is based not on a profile of who they are,

Y ese foco no se basa en el perfil de quiénes son,

but of determining something that's directly relevant

sino en determinar algo que es directamente relevante

to their query or question.

con su consulta o pregunta.

During our eight-week pilot in English and Arabic,

Durante nuestra prueba de ocho semanas en inglés y árabe,

we reached over 300,000 people

llegamos a más de 300 000 personas

who had expressed an interest in or sympathy towards a jihadi group.

que habían expresado interés o simpatía hacia un grupo yihadista.

These people were now watching videos

Estas personas ahora estaban viendo videos

that could prevent them from making devastating choices.

que podrían prevenirlos de tomar decisiones devastadoras.

And because violent extremism isn't confined to any one language,

Y como el extremismo violento no se limita a ningún idioma,

religion or ideology,

religión o ideología,

the Redirect Method is now being deployed globally

el método de redirección se está desplegando globalmente ahora

to protect people being courted online by violent ideologues,

para proteger a la gente de ser cortejada en la red por ideólogos violentos,

whether they're Islamists, white supremacists

ya sean islamistas, supremacistas blancos

or other violent extremists,

u otros extremistas violentos,

with the goal of giving them the chance to hear from someone

con el objetivo de darles la oportunidad de escuchar a alguien

on the other side of that journey;

desde el otro lado de ese viaje;

to give them the chance to choose a different path.

para darles la oportunidad de elegir un camino diferente.

It turns out that often the bad guys are good at exploiting the internet,

Resulta que a menudo los malos son buenos explotando Internet,

not because they're some kind of technological geniuses,

no porque sean genios tecnológicos,

but because they understand what makes people tick.

sino porque entienden lo que hace que la gente actúe.

I want to give you a second example:

Quiero darles un segundo ejemplo:

online harassment.

el acoso en línea.

Online harassers also work to figure out what will resonate

Los acosadores en línea también buscan descubrir lo que impactará

with another human being.

en otro ser humano.

But not to recruit them like ISIS does,

Pero no para reclutarlos como lo hace ISIS,

but to cause them pain.

sino para causarles dolor.

Imagine this:

Imaginen esto:

you're a woman,

son mujeres,

you're married,

están casadas,

you have a kid.

tienen un niño.

You post something on social media,

Publican algo en las redes sociales,

and in a reply, you're told that you'll be raped,

y como respuesta, les dicen que serán violadas,

that your son will be watching,

que su hijo lo verá,

details of when and where.

detallan cuándo y dónde.

In fact, your home address is put online for everyone to see.

De hecho, publican su dirección para que todos lo vean.

That feels like a pretty real threat.

Parece una amenaza bastante real.

Do you think you'd go home?

¿Creen que se irían a casa?

Do you think you'd continue doing the thing that you were doing?

¿Creen que seguirían haciendo lo que estaban haciendo?

¿O continuarían haciendo eso que está irritando a tu atacante?

Would you continue doing that thing that's irritating your attacker?

Online abuse has been this perverse art

El acoso en la red ha sido este arte perverso

of figuring out what makes people angry,

de descifrar qué hace enojar a la gente,

what makes people afraid,

qué hace que la gente tenga miedo,

what makes people insecure,

qué las hace sentir inseguras,

and then pushing those pressure points until they're silenced.

y luego apretar esos puntos de presión hasta que sean silenciados.

When online harassment goes unchecked,

Cuando no se controla el acoso en la red,

free speech is stifled.

se reprime la libertad de expresión.

And even the people hosting the conversation

E incluso las personas que moderan la conversación

throw up their arms and call it quits,

levantan sus brazos y las cortan,

closing their comment sections and their forums altogether.

cerrando sus secciones de comentarios y foros.

That means we're actually losing spaces online

Eso significa que estamos perdiendo espacios en línea

to meet and exchange ideas.

para reunirnos e intercambiar ideas.

And where online spaces remain,

Y esos espacios en línea que perduran,

we descend into echo chambers with people who think just like us.

se reducen a cámaras acústicas

con personas que piensan igual que nosotros.

But that enables the spread of disinformation;

Pero eso propicia la difusión de la desinformación;

that facilitates polarization.

eso facilita la polarización.

What if technology instead could enable empathy at scale?

¿Qué pasa si en vez de eso, la tecnología pudiera incluir empatía en la balanza?

This was the question that motivated our partnership

Esta era la pregunta que motivó a nuestra asociación

with Google's Counter Abuse team,

junto al equipo de Google "Contra el Abuso,"

Wikipedia

la Wikipedia

and newspapers like the New York Times.

y periódicos como el New York Times.

We wanted to see if we could build machine-learning models

Queríamos ver si podíamos construir modelos de aprendizaje automático

that could understand the emotional impact of language.

que pudieran entender el impacto emocional del lenguaje.

Could we predict which comments were likely to make someone else leave

¿Podríamos predecir qué comentarios podrían hacer que otra persona dejara

the online conversation?

la conversación en la red?

And that's no mean feat.

Y eso no es poca cosa.

That's no trivial accomplishment

No es un logro trivial

for AI to be able to do something like that.

para la IA conseguir hacer algo así.

I mean, just consider these two examples of messages

Es decir, solo consideren estos dos ejemplos de mensajes

that could have been sent to me last week.

que podrían haberme enviado la semana pasada.

"Break a leg at TED!"

"¡Suerte: Que la rompas en TED!".

... and

... y

"I'll break your legs at TED."

"Te romperemos en TED".

(Laughter)

(Risas)

You are human,

Son humanos,

that's why that's an obvious difference to you,

Por eso ven obvia la diferencia,

even though the words are pretty much the same.

a pesar de que las palabras son más o menos las mismas.

But for AI, it takes some training to teach the models

Pero para la IA, lleva algo de práctica

enseñar los modelos que reconocen esa diferencia.

to recognize that difference.

The beauty of building AI that can tell the difference

La belleza de construir una IA que pueda notar la diferencia

is that AI can then scale to the size of the online toxicity phenomenon,

es que la IA pueda modificar la escala

al tamaño del fenómeno de la toxicidad en línea,

y ese fue nuestro objetivo al construir nuestra tecnología llamada Perspectiva.

and that was our goal in building our technology called Perspective.

With the help of Perspective,

Con la ayuda de Perspectiva,

the New York Times, for example,

el New York Times, por ejemplo,

has increased spaces online for conversation.

ha aumentado los espacios en la red para la conversación.

Antes de nuestra colaboración,

Before our collaboration,

they only had comments enabled on just 10 percent of their articles.

tenían comentarios habilitados en solo el 10 % de sus artículos.

With the help of machine learning,

Con ayuda del aprendizaje automático, ha subido a un 30 %.

they have that number up to 30 percent.

So they've tripled it,

Así que lo han triplicado, y apenas estamos comenzando.

and we're still just getting started.

But this is about way more than just making moderators more efficient.

Pero esto va más allá de hacer que los moderadores sean más eficientes.

Right now I can see you,

En este momento puedo verles,

and I can gauge how what I'm saying is landing with you.

y puedo medir el impacto que tienen mis palabras en Uds.

You don't have that opportunity online.

No tienen esa oportunidad en la red.

Imagine if machine learning could give commenters,

Imagínense si el aprendizaje automático pudiera darles a los comentaristas,

as they're typing,

mientras escriben,

real-time feedback about how their words might land,

una retroalimentación en tiempo real sobre cómo podrían impactar sus palabras,

just like facial expressions do in a face-to-face conversation.

igual que hacen las expresiones faciales en una conversación cara a cara.

Machine learning isn't perfect,

El aprendizaje automático no es perfecto,

and it still makes plenty of mistakes.

y todavía comete muchos errores.

But if we can build technology

Pero si podemos construir tecnologías

that understands the emotional impact of language,

que entiendan el impacto emocional del lenguaje,

we can build empathy.

podemos construir empatía.

That means that we can have dialogue between people

Eso significa que podemos mantener diálogos

with different politics,

con diferentes políticas,

different worldviews,

diferentes visiones del mundo,

different values.

diferentes valores.

And we can reinvigorate the spaces online that most of us have given up on.

Y podemos revitalizar los espacios en línea

que la mayoría de nosotros hemos abandonado.

When people use technology to exploit and harm others,

Cuando usan la tecnología para explotar y dañar a otros,

they're preying on our human fears and vulnerabilities.

se están aprovechando de nuestros miedos y vulnerabilidades como seres humanos.

If we ever thought that we could build an internet

Si alguna vez pensamos que podríamos construir una Internet

insulated from the dark side of humanity,

aislada del lado oscuro de la humanidad,

we were wrong.

estábamos equivocados.

If we want today to build technology

Si hoy queremos construir una tecnología

that can overcome the challenges that we face,

que pueda superar los desafíos que enfrentamos,

we have to throw our entire selves into understanding the issues

tenemos que dedicarnos completamente a comprender los problemas

and into building solutions

y a construir soluciones

that are as human as the problems they aim to solve.

que sean tan humanas como los problemas que pretenden resolver.

Let's make that happen.

Hagámoslo posible.

Thank you.

Gracias.

(Applause)

(Aplausos)