How deepfakes undermine truth and threaten democracy | Danielle Citron

Traductor: Elisa Tortosa Revisor: Sebastian Betti

[This talk contains mature content]

[Esta charla tiene contenido adulto]

Rana Ayyub is a journalist in India

Rana Ayyub es periodista en India

whose work has exposed government corruption

y ha destapado casos de corrupción del gobierno

and human rights violations.

y violaciones de los derechos humanos.

And over the years,

Con los años

she's gotten used to vitriol and controversy around her work.

se acostumbró a la fuerte crítica y a la polémica de su trabajo.

But none of it could have prepared her for what she faced in April 2018.

Pero nada podría haberla preparado para lo que enfrentó en abril de 2018.

She was sitting in a café with a friend when she first saw it:

Ella estaba en una cafetería con una amiga la primera vez que lo vio.

a two-minute, 20-second video of her engaged in a sex act.

Un vídeo de 2 minutos y 20 segundos de ella en un acto sexual.

And she couldn't believe her eyes.

Y ella no se lo podía creer.

She had never made a sex video.

Ella nunca había hecho un vídeo sexual.

But unfortunately, thousands upon thousands of people

Pero por desgracia miles y miles de personas

would believe it was her.

creerían que era ella.

I interviewed Ms. Ayyub about three months ago,

Entrevisté a Ayyub hace tres meses

in connection with my book on sexual privacy.

en relación con mi libro de privacidad sexual.

I'm a law professor, lawyer and civil rights advocate.

Soy catedrática en Derecho, abogada y defensora de los derechos civiles,

So it's incredibly frustrating knowing that right now,

así que es frustra mucho saber que ahora mismo

law could do very little to help her.

la ley podría hacer muy poco para ayudarla.

And as we talked,

Y mientras hablábamos

she explained that she should have seen the fake sex video coming.

me explicó que nunca vio venir el falso vídeo sexual.

She said, "After all, sex is so often used to demean and to shame women,

Dijo "el sexo se usa muchas veces para menospreciar y avergonzar a las mujeres

especially minority women,

en particular a las mujeres minoritarias

and especially minority women who dare to challenge powerful men,"

y sobre todo a las que se atreven a desafiar a hombres poderosos",

as she had in her work.

como los de su trabajo.

The fake sex video went viral in 48 hours.

El vídeo se hizo viral en 48 horas.

All of her online accounts were flooded with screenshots of the video,

Todas sus redes sociales se llenaron de capturas del vídeo

with graphic rape and death threats

con amenazas de violación y amenazas de muerte

and with slurs about her Muslim faith.

insultando su fe musulmana.

Online posts suggested that she was "available" for sex.

Había publicaciones online que insinuaban que ella estaba "disponible" para sexo.

And she was doxed,

Revelaron su información personal,

which means that her home address and her cell phone number

es decir, su dirección y su número de teléfono

were spread across the internet.

se difundió por Internet.

The video was shared more than 40,000 times.

El vídeo se compartió más de 40 000 veces.

Now, when someone is targeted with this kind of cybermob attack,

Cuando alguien es el objetivo de este tipo de ataques de mafias online

the harm is profound.

la herida es profunda.

Rana Ayyub's life was turned upside down.

La vida de Rana Ayyub se puso patas arriba.

For weeks, she could hardly eat or speak.

Durante semanas, apenas podía comer y hablar.

She stopped writing and closed all of her social media accounts,

Dejó de escribir y cerró todas sus cuentas de las redes sociales,

which is, you know, a tough thing to do when you're a journalist.

algo muy duro cuando eres periodista.

And she was afraid to go outside her family's home.

Y tenía miedo de salir de su casa.

What if the posters made good on their threats?

¿Y si cumplían con las amenazas?

The UN Council on Human Rights confirmed that she wasn't being crazy.

El Consejo de Derechos Humanos de la ONU afirmó que no estaba loca.

It issued a public statement saying that they were worried about her safety.

Publicó una declaración que decía que estaban preocupados por su seguridad.

What Rana Ayyub faced was a deepfake:

Rana Ayyub se enfrentaba a un deepfake:

machine-learning technology

Tecnología de aprendizaje automático

that manipulates or fabricates audio and video recordings

que manipula o fabrica audio y vídeos

to show people doing and saying things

que muestran personas diciendo o haciendo cosas

that they never did or said.

que nunca han dicho o hecho.

Deepfakes appear authentic and realistic, but they're not;

Los deepfakes parecen auténticos y realistas, pero no lo son;

they're total falsehoods.

son mentiras absolutas.

Although the technology is still developing in its sophistication,

Si bien es una tecnología en desarrollo,

it is widely available.

es de fácil acceso.

Now, the most recent attention to deepfakes arose,

Y como tantas cosas en Internet,

as so many things do online,

los deepfakes llaman ahora la atención

with pornography.

por la pornografía.

In early 2018,

A principios del 2018

someone posted a tool on Reddit

alguien publicó una herramienta en Reddit

to allow users to insert faces into porn videos.

que permitía a los usuarios insertar caras en vídeos porno.

And what followed was a cascade of fake porn videos

A esto le siguió una lluvia de falsos vídeos porno protagonizados

featuring people's favorite female celebrities.

por las celebridades favoritas de las personas.

And today, you can go on YouTube and pull up countless tutorials

Y hoy en YouTube se pueden encontrar infinitos tutoriales

with step-by-step instructions

con instrucciones que enseñan paso a paso

on how to make a deepfake on your desktop application.

a hacer un deepfake en tu computadora.

And soon we may be even able to make them on our cell phones.

Y quizás pronto podamos hacerlos en nuestros móviles.

Now, it's the interaction of some of our most basic human frailties

Ahora, la interacción de algunas de nuestras debilidades humanas más básicas

and network tools

con las herramientas de la red

that can turn deepfakes into weapons.

pueden convertir estos vídeos en armas.

So let me explain.

Les explicaré.

As human beings, we have a visceral reaction to audio and video.

Los seres humanos tenemos una respuesta instintiva a los audios y vídeos.

We believe they're true,

Creemos que son verdad

on the notion that of course you can believe

ya que pensamos que obviamente podemos creer

what your eyes and ears are telling you.

lo que dicen los ojos y los oídos.

And it's that mechanism

Y este mecanismo

that might undermine our shared sense of reality.

puede debilitar nuestro sentido de la realidad.

Although we believe deepfakes to be true, they're not.

Aunque creamos que los deepfakes son verdad, no lo son.

And we're attracted to the salacious, the provocative.

Nos atrae lo lascivo, lo provocativo.

We tend to believe and to share information

Tendemos a creer y compartir información

that's negative and novel.

negativa y novedosa.

And researchers have found that online hoaxes spread 10 times faster

Los expertos dicen que online las falacias se difunden diez veces más rápido

than accurate stories.

que las historias verídicas.

Now, we're also drawn to information

Además, nos atrae la información

that aligns with our viewpoints.

más afín a nuestro punto de vista.

Psychologists call that tendency "confirmation bias."

Los psicólogos llaman a esta tendencia "sesgo de confirmación".

And social media platforms supercharge that tendency,

Y las redes sociales sobrecargan esta tendencia

by allowing us to instantly and widely share information

al permitirnos compartir información afín a nuestra idea

that accords with our viewpoints.

de una manera amplia e instantánea.

Now, deepfakes have the potential to cause grave individual and societal harm.

Pero los deepfakes tienen la posibilidad de causar un gran daño individual y social.

So, imagine a deepfake

Imaginen uno que muestre

that shows American soldiers in Afganistan burning a Koran.

a los soldados estadounidenses quemando un Corán en Afganistán.

You can imagine that that deepfake would provoke violence

Podemos imaginar que este vídeo puede causar violencia

against those soldiers.

contra esos soldados.

And what if the very next day

¿Y si justo al día siguiente

there's another deepfake that drops,

aparece otro deepfake

that shows a well-known imam based in London

que muestra a un conocido imán de Londres

praising the attack on those soldiers?

instando a atacar a esos soldados?

We might see violence and civil unrest,

Veríamos violencia y disturbios civiles.

not only in Afganistan and the United Kingdom,

no solo en Afganistán y en Reino Unido

but across the globe.

sino en todo el mundo.

And you might say to me,

Podrán decirme

"Come on, Danielle, that's far-fetched."

"Ya, Danielle, qué rebuscado".

But it's not.

Pero no lo es.

We've seen falsehoods spread

Hemos visto difusiones de mentiras

on WhatsApp and other online message services

por WhatsApp y por otros servicios de mensajería online

lead to violence against ethnic minorities.

que han llevado a la violencia contra las minorías étnicas.

And that was just text --

Y solo era un texto.

imagine if it were video.

Imaginen si fuese un vídeo.

Now, deepfakes have the potential to corrode the trust that we have

Los deepfakes tienen el potencial de corroer la confianza

que tenemos en las instituciones democráticas.

in democratic institutions.

So, imagine the night before an election.

Imaginen la noche de antes de unas elecciones.

There's a deepfake showing one of the major party candidates

Un deepfake muestra a uno de los candidatos de un partido principal

gravely sick.

muy enfermo.

The deepfake could tip the election

El vídeo podría modificar las elecciones

and shake our sense that elections are legitimate.

y cambiar nuestra opinión sobre la validez de las elecciones.

Imagine if the night before an initial public offering

Imaginen si la noche anterior a una oferta pública de venta

of a major global bank,

de un gran banco mundial

there was a deepfake showing the bank's CEO

hubiese un deepfake mostrando al director ejecutivo

drunkenly spouting conspiracy theories.

hablando borracho sobre teorías conspirativas.

The deepfake could tank the IPO,

El vídeo podría hundir la venta

and worse, shake our sense that financial markets are stable.

y peor, cambiar nuestra opinión sobre la estabilidad del mercado financiero.

So deepfakes can exploit and magnify the deep distrust that we already have

Los deepfakes pueden aprovecharse para aumentar la gran desconfianza

que ya tenemos en los políticos, líderes de empresas y otros influyentes.

in politicians, business leaders and other influential leaders.

They find an audience primed to believe them.

Encuentran a un público listo para creérselos.

And the pursuit of truth is on the line as well.

La búsqueda de la verdad también está en peligro.

Technologists expect that with advances in AI,

Expertos en tecnología creen

soon it may be difficult if not impossible

que con los avances de Inteligencia Artificial

to tell the difference between a real video and a fake one.

pronto será casi imposible diferenciar un vídeo real de uno falso.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

¿Cómo podría emerger la verdad en un mercado lleno de deepfakes?

Will we just proceed along the path of least resistance

Si seguimos por el camino de no poner resistencia

and believe what we want to believe,

creyendo lo que queramos creer

truth be damned?

¿será el fin de la verdad?

And not only might we believe the fakery,

Quizás no solo creamos lo falso,

we might start disbelieving the truth.

quizás pongamos en duda la verdad.

We've already seen people invoke the phenomenon of deepfakes

Ya hemos visto a personas que usan este fenómeno de deepfakes

to cast doubt on real evidence of their wrongdoing.

para cuestionar la evidencia tangible de sus acciones.

We've heard politicians say of audio of their disturbing comments,

Hemos oído a políticos decir sobre audios de comentarios alarmantes

"Come on, that's fake news.

"Son noticias falsas.

You can't believe what your eyes and ears are telling you."

No podemos creer los que nos dicen nuestros ojos y oídos".

And it's that risk

El profesor Robert Chesney y yo

that professor Robert Chesney and I call the "liar's dividend":

llamamos a este peligro "recompensa del mentiroso"

the risk that liars will invoke deepfakes

El temor de que los mentirosos usen deepfakes

to escape accountability for their wrongdoing.

para escapar de la culpabilidad del delito.

So we've got our work cut out for us, there's no doubt about it.

Tenemos mucho trabajo por delante, de eso no hay duda.

And we're going to need a proactive solution

Vamos a necesitar una solución proactiva

from tech companies, from lawmakers,

de parte de empresas tecnológicas, legisladores,

law enforcers and the media.

poder judicial y medios de comunicación.

And we're going to need a healthy dose of societal resilience.

Necesitaremos una dosis saludable de resistencia social.

So now, we're right now engaged in a very public conversation

Así que ahora estamos inmersos en una conversación muy pública

about the responsibility of tech companies.

sobre las responsabilidades de las empresas tecnológicas,

And my advice to social media platforms

mi consejo para las redes sociales

has been to change their terms of service and community guidelines

es que cambien sus términos de uso y las normas comunitarias

to ban deepfakes that cause harm.

para prohibir deepfakes dañinos.

That determination, that's going to require human judgment,

Esta resolución requerirá el juicio humano

and it's expensive.

y será costoso.

But we need human beings

Pero necesitamos supervisión humana

to look at the content and context of a deepfake

del contenido y el contexto de un deepfake

to figure out if it is a harmful impersonation

para ver si es una imitación perjudicial

or instead, if it's valuable satire, art or education.

o si tiene un valor satírico, artístico o educativo.

So now, what about the law?

Y, ¿qué pasa con la ley?

Law is our educator.

Debemos aprender de la ley.

It teaches us about what's harmful and what's wrong.

Nos enseña qué es perjudicial y qué es incorrecto.

And it shapes behavior it deters by punishing perpetrators

Reprime comportamientos prohibidos castigando a los responsables

and securing remedies for victims.

y cuidando a las víctimas.

Right now, law is not up to the challenge of deepfakes.

Ahora mismo la ley no está preparada para el desafío de los deepfakes.

Across the globe,

En todo el mundo

we lack well-tailored laws

necesitamos leyes hechas a medida

that would be designed to tackle digital impersonations

diseñadas para destruir las suplantaciones digitales

that invade sexual privacy,

que invaden la privacidad sexual,

that damage reputations

que dañan reputaciones

and that cause emotional distress.

y causan perjuicio emocional.

What happened to Rana Ayyub is increasingly commonplace.

Lo que le ocurrió a Rana Ayyub cada vez es más común.

Yet, when she went to law enforcement in Delhi,

Incluso cuando fue a la policía en Delhi

she was told nothing could be done.

le dijeron que no podía hacer nada.

And the sad truth is that the same would be true

Y es triste pero verdad que ocurriría lo mismo

in the United States and in Europe.

en Estados Unidos y en Europa.

So we have a legal vacuum that needs to be filled.

Así que hay un vacío legal por llenar.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Mi compañera la doctora Mary Anne Franks y yo trabajamos con legisladores de EE.UU.

to devise legislation that would ban harmful digital impersonations

para crear leyes que prohíban las suplantaciones digitales dañinas

that are tantamount to identity theft.

equivalentes a la suplantación de identidad.

And we've seen similar moves

Y hemos visto los mismos movimientos

in Iceland, the UK and Australia.

en Islandia, Reino Unido y Australia.

But of course, that's just a small piece of the regulatory puzzle.

Pero por supuesto, esto es solo una gota en el mar.

Now, I know law is not a cure-all. Right?

Sé que la ley no es el remedio universal.

It's a blunt instrument.

Es un instrumento contundente.

And we've got to use it wisely.

Y tenemos que usarlo con cabeza.

It also has some practical impediments.

También tiene algunos impedimentos prácticos.

You can't leverage law against people you can't identify and find.

No se puede sancionar a alguien si no se lo puede identificar ni encontrar.

And if a perpetrator lives outside the country

Y si el infractor vive en otro país

where a victim lives,

diferente al de la víctima

then you may not be able to insist

quizás no se le pueda exigir

that the perpetrator come into local courts

al infractor que acceda a cumplir las leyes

to face justice.

de su país.

And so we're going to need a coordinated international response.

Así que necesitaremos una respuesta internacional coordinada.

Education has to be part of our response as well.

La educación tiene que ser también parte de nuestra respuesta.

Law enforcers are not going to enforce laws

Las fuerzas del orden no van a imponer leyes

they don't know about

que no conozcan

and proffer problems they don't understand.

y juzgar problemas que no entiendan.

In my research on cyberstalking,

En mi investigación sobre el ciberacoso

I found that law enforcement lacked the training

he descubierto que el poder judicial carece de experiencia

to understand the laws available to them

para entender las leyes

and the problem of online abuse.

y el problema del acoso online.

And so often they told victims,

Y muy a menudo le dicen a las víctimas

"Just turn your computer off. Ignore it. It'll go away."

"Simplemente apaga la computadora. Ignóralo. Ya pasará".

And we saw that in Rana Ayyub's case.

Y eso se ve en el caso de Rana Ayyub.

She was told, "Come on, you're making such a big deal about this.

Le dijeron "Estás haciendo una montaña de un grano de arena.

It's boys being boys."

Son solo niños siendo niños".

And so we need to pair new legislation with efforts at training.

Así que tenemos que unir la nueva legislación con la experiencia.

And education has to be aimed on the media as well.

Y los medios de comunicación tienen que animar a la educación.

Journalists need educating about the phenomenon of deepfakes

Los periodistas necesitan instruirse en el fenómeno de deepfakes

so they don't amplify and spread them.

para que no aumenten ni se difundan.

And this is the part where we're all involved.

Y aquí todos estamos involucrados.

Each and every one of us needs educating.

Cada uno de nosotros necesita educación.

We click, we share, we like, and we don't even think about it.

Hacemos clic, compartimos, damos me gusta sin pensar en ello.

We need to do better.

Necesitamos hacerlo mejor.

We need far better radar for fakery.

Necesitamos un radar más rápido y mejor contra la falsificación.

So as we're working through these solutions,

Así que mientras trabajamos en estas soluciones

there's going to be a lot of suffering to go around.

habrá bastante sufrimiento.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub sigue lidiando con los efectos secundarios.

She still doesn't feel free to express herself on- and offline.

Aún no se siente libre de expresarse online y offline.

And as she told me,

Y ella me ha dicho

she still feels like there are thousands of eyes on her naked body,

que aún se siente como si miles de ojos mirasen su cuerpo desnudo

even though, intellectually, she knows it wasn't her body.

sabiendo perfectamente que no es su cuerpo.

And she has frequent panic attacks,

Y sufre frecuentes ataques de pánico

especially when someone she doesn't know tries to take her picture.

en concreto cuando alguien que no conoce intenta tomarle una foto.

"What if they're going to make another deepfake?" she thinks to herself.

"¿Y si van a hacer otro deepfake?" es lo que piensa.

And so for the sake of individuals like Rana Ayyub

Así que por personas como Rana Ayyub

and the sake of our democracy,

y por la democracia

we need to do something right now.

tenemos que hacer algo ahora mismo.

Thank you.

Gracias.

(Applause)

(Aplausos)