How deepfakes undermine truth and threaten democracy | Danielle Citron

Traducteur: eric vautier Relecteur: Claire Ghyselen

[This talk contains mature content]

[Cette intervention comporte du contenu réservé aux adultes]

Rana Ayyub is a journalist in India

Rana Ayyub est journaliste en Inde.

whose work has exposed government corruption

Elle a exposé la corruption du gouvernement

and human rights violations.

et des violations des droits de l'homme.

And over the years,

Et au fil des années,

she's gotten used to vitriol and controversy around her work.

elle s'est habituée à la critique et à la controverse sur son travail.

But none of it could have prepared her for what she faced in April 2018.

Mais rien n'aurait pu la préparer à ce qu'il s'est passé en avril 2018.

She was sitting in a café with a friend when she first saw it:

Elle était dans un café avec un ami quand elle a vu la vidéo :

a two-minute, 20-second video of her engaged in a sex act.

une vidéo de deux minutes vingt la montrant en plein ébat sexuel.

And she couldn't believe her eyes.

Elle n'en croyait pas ses yeux.

She had never made a sex video.

Elle n'avait jamais tourné une telle vidéo.

But unfortunately, thousands upon thousands of people

Mais malheureusement, des milliers de gens

would believe it was her.

ont cru que c'était elle.

I interviewed Ms. Ayyub about three months ago,

J'ai interviewé Mme Ayyub il y a trois mois,

in connection with my book on sexual privacy.

dans le cadre de mon livre sur la protection de l'intimité sexuelle.

I'm a law professor, lawyer and civil rights advocate.

Je suis professeur de droit, juriste et avocate en droit civil.

So it's incredibly frustrating knowing that right now,

Il est incroyablement frustrant, sachant tout cela,

law could do very little to help her.

que la loi ne puisse pas beaucoup l'aider.

And as we talked,

Lors de notre conversation,

she explained that she should have seen the fake sex video coming.

elle m'a expliqué qu'elle aurait dû voir venir cette fausse vidéo porno.

She said, "After all, sex is so often used to demean and to shame women,

Elle m'a dit : « Après tout, le sexe est si souvent utilisé

pour rabaisser les femmes ou leur faire honte,

especially minority women,

surtout les femmes issues des minorités,

and especially minority women who dare to challenge powerful men,"

et surtout les femmes des minorités qui osent défier des hommes puissants » -

as she had in her work.

ce qu'elle avait fait par son travail.

The fake sex video went viral in 48 hours.

En 48 heures, la vidéo truquée est devenue virale.

All of her online accounts were flooded with screenshots of the video,

Tous ses comptes ont été bombardés d'images de cette vidéo,

with graphic rape and death threats

accompagnées de menaces de viol, de menaces de mort,

and with slurs about her Muslim faith.

et d'insultes à sa foi de musulmane.

Online posts suggested that she was "available" for sex.

Des posts en ligne suggéraient qu'elle était « disponible » sexuellement.

And she was doxed,

Et elle a été « doxée » :

which means that her home address and her cell phone number

son adresse personnelle et son numéro de portable

were spread across the internet.

ont été dévoilés sur Internet.

The video was shared more than 40,000 times.

La vidéo a été partagée plus de 40 000 fois.

Now, when someone is targeted with this kind of cybermob attack,

Quand quelqu'un est visé par ce genre de cyber-harcèlement,

the harm is profound.

les conséquences sont immensément douloureuses.

Rana Ayyub's life was turned upside down.

La vie de Rana Ayyub a été chamboulée.

For weeks, she could hardly eat or speak.

Pendant des semaines, elle arrivait à peine à manger ou à parler.

She stopped writing and closed all of her social media accounts,

Elle a arrêté d'écrire et a fermé tous ses comptes sur les réseaux sociaux,

which is, you know, a tough thing to do when you're a journalist.

ce qui, vous savez, est un acte difficile quand vous êtes journaliste.

And she was afraid to go outside her family's home.

Elle avait peur de sortir de chez elle.

What if the posters made good on their threats?

Et si les harceleurs voulaient mettre leurs menaces à exécution ?

The UN Council on Human Rights confirmed that she wasn't being crazy.

Le Conseil de l'ONU pour les droits de l'homme ont confirmé qu'elle avait raison.

It issued a public statement saying that they were worried about her safety.

Il a publié une déclaration disant qu'il s'inquiétait pour sa sécurité.

What Rana Ayyub faced was a deepfake:

Rana Ayyub a été la cible de ce qu'on appelle un deepfake :

machine-learning technology

une technologie basée sur l'apprentissage automatique

that manipulates or fabricates audio and video recordings

qui manipule ou fabrique des enregistrements audio et vidéo

to show people doing and saying things

qui montrent des gens faisant ou disant des choses

that they never did or said.

qu'ils n'ont jamais faites ou dites.

Deepfakes appear authentic and realistic, but they're not;

Les deepfakes semblent authentiques et réalistes, mais ne le sont pas ;

they're total falsehoods.

ce sont des falsifications complètes.

Although the technology is still developing in its sophistication,

Bien que la technologie soit encore dans une phase d'amélioration,

it is widely available.

elle est déjà largement accessible.

Now, the most recent attention to deepfakes arose,

les deepfakes ont tout récemment attiré l'attention,

as so many things do online,

comme tant de choses sur Internet,

with pornography.

grâce à la pornographie.

In early 2018,

Début 2018,

someone posted a tool on Reddit

quelqu'un a posté un outil sur Reddit

to allow users to insert faces into porn videos.

permettant à ses utilisateurs d'intégrer des visages dans des vidéos pornos.

And what followed was a cascade of fake porn videos

S'en est suivi un déluge de fausses vidéos pornos

featuring people's favorite female celebrities.

mettant en scène les célébrités féminines préférées du public.

And today, you can go on YouTube and pull up countless tutorials

Aujourd'hui, vous pouvez faire défiler sur Youtube les nombreux tutoriels

with step-by-step instructions

montrant pas à pas

on how to make a deepfake on your desktop application.

comment créer un deepfake sur votre ordinateur personnel.

And soon we may be even able to make them on our cell phones.

On dit qu'on pourrait même bientôt le faire sur nos téléphones.

Now, it's the interaction of some of our most basic human frailties

On est là au croisement de certaines des plus basiques fragilités humaines

and network tools

et des outils technologiques

that can turn deepfakes into weapons.

qui peuvent transformer les deepfakes en armes.

So let me explain.

Laissez-moi préciser.

As human beings, we have a visceral reaction to audio and video.

Les êtres humains ont une réaction instinctive à l'audio et la vidéo.

We believe they're true,

On croit que c'est vrai,

on the notion that of course you can believe

car, par principe, nous croyons évidemment

what your eyes and ears are telling you.

ce que nos yeux et nos oreilles nous disent.

And it's that mechanism

Et c'est ce mécanisme

that might undermine our shared sense of reality.

qui peut saper notre sens partagé de la réalité.

Although we believe deepfakes to be true, they're not.

Bien que nous pensions que les deepfakes soient vrais, ils ne le sont pas.

And we're attracted to the salacious, the provocative.

Et nous sommes attirés par ce qui est salace, provoquant.

We tend to believe and to share information

On a tendance à croire et à diffuser des informations

that's negative and novel.

qui sont négatives et nouvelles.

And researchers have found that online hoaxes spread 10 times faster

Des chercheurs ont trouvé que les canulars en ligne se répandent dix fois plus vite

than accurate stories.

que les histoires vraies.

Now, we're also drawn to information

De plus, nous sommes aussi attirés par l'information

that aligns with our viewpoints.

qui coïncide avec notre point de vue.

Psychologists call that tendency "confirmation bias."

Les psychologues appellent cela un biais de confirmation.

And social media platforms supercharge that tendency,

Les réseaux sociaux amplifient cette tendance,

by allowing us to instantly and widely share information

en nous permettant de partager une information instantanément et largement,

that accords with our viewpoints.

si elle correspond à notre point de vue.

Now, deepfakes have the potential to cause grave individual and societal harm.

Mais les deepfakes ont le potentiel

de causer de graves dommages individuels et sociétaux.

So, imagine a deepfake

Imaginez un deepfake

that shows American soldiers in Afganistan burning a Koran.

qui montrerait des soldats américains brûlant un Coran en Afghanistan.

You can imagine that that deepfake would provoke violence

On imagine bien qu'une telle vidéo déclencherait des violences

against those soldiers.

contre ces soldats.

And what if the very next day

Et imaginons que le lendemain

there's another deepfake that drops,

tombe un nouveau deepfake

that shows a well-known imam based in London

montrant un imam de Londres bien connu

praising the attack on those soldiers?

appelant à attaquer ces soldats.

We might see violence and civil unrest,

Ça pourrait déclencher des violences et des troubles civils,

not only in Afganistan and the United Kingdom,

pas seulement en Afghanistan ou au Royaume-Uni,

but across the globe.

mais partout dans le monde.

And you might say to me,

Vous pourriez me répondre : « Allons, c'est tiré par les cheveux. »

"Come on, Danielle, that's far-fetched."

But it's not.

Mais ce n'est pas le cas.

We've seen falsehoods spread

On a vu des mensonges se répandre

on WhatsApp and other online message services

sur WhatsApp et d'autres services de messagerie en ligne

lead to violence against ethnic minorities.

et mener à des violences envers des minorités ethniques.

And that was just text --

Et ce n'était que du texte -

imagine if it were video.

imaginez si ça avait été des vidéos.

Now, deepfakes have the potential to corrode the trust that we have

Les deepfakes ont le potentiel d'entamer la confiance que nous avons

in democratic institutions.

dans les institutions démocratiques.

So, imagine the night before an election.

Imaginez qu'à la veille d'une élection,

There's a deepfake showing one of the major party candidates

on voit un deepfake montrant un des candidats du parti majoritaire

gravely sick.

gravement malade.

The deepfake could tip the election

Ce deepfake pourrait faire basculer l'élection

and shake our sense that elections are legitimate.

et mettre en doute la légitimité qu'on attribue à l'élection.

Imagine if the night before an initial public offering

Imaginez qu'à la veille de l'entrée en bourse

of a major global bank,

d'une banque importante,

there was a deepfake showing the bank's CEO

il y ait un deepfake montrant le PDG de la banque

drunkenly spouting conspiracy theories.

complètement saoûl, soutenant des théories complotistes.

The deepfake could tank the IPO,

Ce deepfake pourrait couler cette introduction en bourse,

and worse, shake our sense that financial markets are stable.

et pire encore, nous faire douter de la stabilité des marchés financiers.

So deepfakes can exploit and magnify the deep distrust that we already have

Les deepfakes savent exploiter et amplifier

la méfiance profonde que nous avons déjà

in politicians, business leaders and other influential leaders.

dans les politiciens, les patrons et les autres leaders influents.

They find an audience primed to believe them.

Ils rencontrent un public tout prêt à les croire.

And the pursuit of truth is on the line as well.

La recherche de la vérité est en danger également.

Technologists expect that with advances in AI,

Les experts en technologie s'attendent à ce qu'avec les avancées de l'IA,

soon it may be difficult if not impossible

il soit bientôt difficile, sinon impossible,

to tell the difference between a real video and a fake one.

de faire la différence entre une vraie et une fausse vidéo.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Comment la vérité pourrait donc émerger

sur une scène des idées contaminée par les deepfakes ?

Will we just proceed along the path of least resistance

Suivrons-nous juste la voie de moindre résistance

and believe what we want to believe,

pour croire ce que nous voulons croire,

truth be damned?

et au diable la vérité ?

And not only might we believe the fakery,

Non seulement nous risquons de croire les mensonges,

we might start disbelieving the truth.

mais aussi de douter de la vérité.

We've already seen people invoke the phenomenon of deepfakes

Nous avons déjà vu des gens utiliser ce phénomène des deepfakes

to cast doubt on real evidence of their wrongdoing.

pour mettre en doute des preuves tangibles de leurs agissements.

We've heard politicians say of audio of their disturbing comments,

Nous avons entendu des politiciens dire de certains enregistrements :

"Come on, that's fake news.

« Allez, ce sont des fake news.

You can't believe what your eyes and ears are telling you."

Vous ne pouvez pas croire ce que vos yeux et vos oreilles vous disent. »

And it's that risk

Et c'est ce risque

that professor Robert Chesney and I call the "liar's dividend":

que le professeur Robert Chesney et moi appelons le « dividende du menteur » :

the risk that liars will invoke deepfakes

le risque qu'un menteur invoque les deepfakes

to escape accountability for their wrongdoing.

pour échapper aux conséquences de ses malversations.

So we've got our work cut out for us, there's no doubt about it.

Nous avons donc du pain sur la planche, sans aucun doute.

And we're going to need a proactive solution

Nous allons avoir besoin d'une solution proactive

from tech companies, from lawmakers,

de la part des sociétés de technologie, des législateurs,

law enforcers and the media.

des forces de l'ordre et des media.

And we're going to need a healthy dose of societal resilience.

Et nous allons avoir besoin d'une bonne dose de résilience sociale.

So now, we're right now engaged in a very public conversation

Nous sommes déjà engagés en ce moment dans une large conversation publique

about the responsibility of tech companies.

sur la responsabilité des sociétés de technologies.

And my advice to social media platforms

J'ai déjà suggéré aux réseaux sociaux

has been to change their terms of service and community guidelines

de changer leurs conditions d'utilisation et leurs règles d'usage

to ban deepfakes that cause harm.

pour interdire ces deepfakes dangereux.

That determination, that's going to require human judgment,

Cette détermination va nécessiter une évaluation par des humains

and it's expensive.

et va coûter cher.

But we need human beings

Mais il faut que des humains

to look at the content and context of a deepfake

étudient le contenu et le contexte d'un deepfake

to figure out if it is a harmful impersonation

pour déterminer s'il s'agit une utilisation dangereuse

or instead, if it's valuable satire, art or education.

ou, au contraire, d'une satire, d'une œuvre d'art ou d'un contenu éducatif.

So now, what about the law?

Et au fait, que dit la loi ?

Law is our educator.

Nous devons apprendre de la loi.

It teaches us about what's harmful and what's wrong.

Elle nous dit ce qui est dangereux et ce qui est mal.

And it shapes behavior it deters by punishing perpetrators

Et elle réprime les comportements interdits en punissant les coupables

and securing remedies for victims.

et en prenant soin des victimes.

Right now, law is not up to the challenge of deepfakes.

A ce jour, la loi n'est pas à la hauteur du défi posé par les deepfakes.

Across the globe,

Dans le monde entier,

we lack well-tailored laws

on manque de lois adaptées

that would be designed to tackle digital impersonations

qui permettraient d'empêcher ces mises en scène numériques

that invade sexual privacy,

qui violent l'intimité,

that damage reputations

qui détruisent des réputations

and that cause emotional distress.

et qui causent des dommages émotionnels.

What happened to Rana Ayyub is increasingly commonplace.

Ce qui est arrivé à Rana Ayyub devient de plus en plus courant.

Yet, when she went to law enforcement in Delhi,

Quand elle s'est rendue à la police à Delhi,

she was told nothing could be done.

on lui a dit qu'on ne pouvait rien faire.

And the sad truth is that the same would be true

Et la triste vérité est que c'est la même chose

in the United States and in Europe.

aux États-Unis et en Europe.

So we have a legal vacuum that needs to be filled.

Il y a là un vide juridique qu'il faut combler.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Ma collègue le Dr Mary Anne Franks et moi travaillons avec le législateur étasunien

to devise legislation that would ban harmful digital impersonations

pour mettre sur pied des lois

qui interdiraient ces mises en scène numériques blessantes

that are tantamount to identity theft.

qui s'apparentent à du vol d'identité.

And we've seen similar moves

On constate des démarches similaires

in Iceland, the UK and Australia.

en Islande, au Royaume-Uni et en Australie.

But of course, that's just a small piece of the regulatory puzzle.

Mais bien sûr, il ne s'agit que d'une petite pièce dans le puzzle réglementaire.

Now, I know law is not a cure-all. Right?

Je sais bien que la loi n'est pas la panacée.

It's a blunt instrument.

C'est un instrument brutal.

And we've got to use it wisely.

Nous devons nous en servir subtilement.

It also has some practical impediments.

Il y a également quelques problèmes pratiques.

You can't leverage law against people you can't identify and find.

On ne peut pas exercer de sanctions contre quelqu'un

qu'on ne peut pas identifier ni trouver.

And if a perpetrator lives outside the country

Et si un coupable vit en dehors du pays

where a victim lives,

où vit la victime,

then you may not be able to insist

il pourrait être impossible

that the perpetrator come into local courts

que le coupable comparaisse devant la justice

to face justice.

dans le pays de la victime.

And so we're going to need a coordinated international response.

Nous allons donc avoir besoin d'une réponse internationale coordonnée.

Education has to be part of our response as well.

Sans oublier l'éducation.

Law enforcers are not going to enforce laws

Les forces de l'ordre n'interviendront pas si elles ne connaissent pas ces lois

they don't know about

and proffer problems they don't understand.

et ne régleront pas des problèmes qu'elles ne comprennent pas.

In my research on cyberstalking,

Dans mes recherches sur le cyberharcèlement,

I found that law enforcement lacked the training

j'ai constaté que les forces de l'ordre n'avaient pas la formation

to understand the laws available to them

pour comprendre les lois dont elles disposent

and the problem of online abuse.

et les problèmes sur Internet.

And so often they told victims,

Et elles disent souvent aux victimes :

"Just turn your computer off. Ignore it. It'll go away."

« Éteignez votre ordinateur. Ignorez ça. Ça va disparaître. »

And we saw that in Rana Ayyub's case.

C'est qu'on a vu dans le cas de Rana Ayyub.

She was told, "Come on, you're making such a big deal about this.

On lui a dit : « Allez, vous faites toute une histoire.

It's boys being boys."

C'est juste des garçons qui s'amusent. »

And so we need to pair new legislation with efforts at training.

Il faut donc accompagner les nouvelles lois avec de la formation.

And education has to be aimed on the media as well.

Cette formation doit aussi être dispensée aux media.

Journalists need educating about the phenomenon of deepfakes

Les journalistes doivent être formés au phénomène des deepfakes,

so they don't amplify and spread them.

pour qu'ils ne relaient pas, ni ne les amplifient.

And this is the part where we're all involved.

Et c'est là où nous sommes tous concernés.

Each and every one of us needs educating.

Chacun d'entre nous doit être formé.

We click, we share, we like, and we don't even think about it.

On clique, on partage, on like sans même y réfléchir.

We need to do better.

Nous devons nous améliorer.

We need far better radar for fakery.

Nous avons besoin de meilleurs radars contre les faux.

So as we're working through these solutions,

Et pendant que nous essayerons d'y voir clair,

there's going to be a lot of suffering to go around.

il y aura encore beaucoup de souffrance générée.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub se bat toujours contre les conséquences du deepfake.

She still doesn't feel free to express herself on- and offline.

Elle ne se sent toujours pas libre de s'exprimer -

en ligne et dans la vraie vie.

And as she told me,

Elle m'a dit

she still feels like there are thousands of eyes on her naked body,

qu'elle avait toujours l'impression que des milliers d'yeux la voyaient nue,

even though, intellectually, she knows it wasn't her body.

même si, intellectuellement, elle sait que ce n'était pas son corps.

And she has frequent panic attacks,

Elle a souvent des crises de panique,

especially when someone she doesn't know tries to take her picture.

surtout quand quelqu'un qu'elle ne connaît pas essaie de la prendre en photo.

"What if they're going to make another deepfake?" she thinks to herself.

« Est-ce qu'ils vont en faire un autre deepfake ? » se demande-t-elle.

And so for the sake of individuals like Rana Ayyub

Et donc, pour le bien de personnes comme Rana Ayyub,

and the sake of our democracy,

et pour le bien de nos démocraties,

we need to do something right now.

nous devons agir maintenant.

Thank you.

Merci.

(Applause)

(Applaudissements)