How deepfakes undermine truth and threaten democracy | Danielle Citron

Traduttore: Laura Comand Revisore: Stefania Betti

[This talk contains mature content]

[Questo discorso contiene materiale per adulti]

Rana Ayyub is a journalist in India

Rana Ayyub è un giornalista indiana

whose work has exposed government corruption

che, grazie alle sue inchieste, ha svelato la corruzione del governo

and human rights violations.

e le violazioni dei diritti umani.

And over the years,

Con il tempo,

she's gotten used to vitriol and controversy around her work.

si è abituata alle aspre critiche e alle polemiche sul suo lavoro.

But none of it could have prepared her for what she faced in April 2018.

Ma niente di tutto ciò poteva prepararla a ciò che successe nell'aprile del 2018.

She was sitting in a café with a friend when she first saw it:

Era seduta al bar con un'amica, quando lo vide per la prima volta:

a two-minute, 20-second video of her engaged in a sex act.

un video di due minuti e 20 secondi dove era protagonista di un atto sessuale.

And she couldn't believe her eyes.

Non poteva credere ai suoi occhi.

She had never made a sex video.

Non aveva mai fatto un video a sfondo sessuale.

But unfortunately, thousands upon thousands of people

Sfortunatamente, però, migliaia e migliaia di persone

would believe it was her.

credevano che fosse lei.

I interviewed Ms. Ayyub about three months ago,

Ho intervistato Ayyub circa tre mesi fa,

in connection with my book on sexual privacy.

in tema con il mio libro sulla privacy sessuale.

I'm a law professor, lawyer and civil rights advocate.

Sono una docente di legge, avvocato e sostenitrice dei diritti civili.

So it's incredibly frustrating knowing that right now,

È incredibilmente frustante sapere che al momento

law could do very little to help her.

la legge può fare ben poco per aiutarla.

And as we talked,

Mentre parlavamo,

she explained that she should have seen the fake sex video coming.

mi spiegò che si sarebbe dovuta aspettare un finto video a sfondo sessuale.

She said, "After all, sex is so often used to demean and to shame women,

Mi disse: "Si sa, il sesso è spesso usato per umiliare e infamare le donne,

especially minority women,

specialmente donne della minoranza,

and especially minority women who dare to challenge powerful men,"

e soprattutto donne della minoranza che osano sfidare uomini di potere”,

as she had in her work.

come aveva fatto lei nel suo lavoro.

The fake sex video went viral in 48 hours.

Il finto video sessuale è diventato virale in 48 ore.

All of her online accounts were flooded with screenshots of the video,

Tutti i suoi account online erano invasi da screenshot del video,

with graphic rape and death threats

da minacce di stupro e di morte descritte nel dettaglio

and with slurs about her Muslim faith.

e da offese circa la sua fede islamica.

Online posts suggested that she was "available" for sex.

I post online suggerivano che fosse "disponibile" al sesso.

And she was doxed,

Fu vittima di "doxing",

which means that her home address and her cell phone number

ovvero il suo indirizzo di casa e il suo numero di telefono

were spread across the internet.

furono diffusi sul web.

The video was shared more than 40,000 times.

Il video fu condiviso più di 40.000 volte.

Now, when someone is targeted with this kind of cybermob attack,

Quando qualcuno è preso di mira da questo tipo di attacco virtuale,

the harm is profound.

il danno è profondo.

Rana Ayyub's life was turned upside down.

La vita di Rana Ayyub è stata stravolta.

For weeks, she could hardly eat or speak.

Per settimane, riuscì a malapena a mangiare o a parlare.

She stopped writing and closed all of her social media accounts,

Smise di scrivere e chiuse tutti i suoi account social,

which is, you know, a tough thing to do when you're a journalist.

cosa molto difficile per una giornalista.

And she was afraid to go outside her family's home.

Aveva paura di uscire di casa.

What if the posters made good on their threats?

E se gli utenti fossero seri nelle loro minacce?

The UN Council on Human Rights confirmed that she wasn't being crazy.

Il Consiglio dei diritti umani ONU confermò che non era pazza.

It issued a public statement saying that they were worried about her safety.

Si dichiararono pubblicamente preoccupati per la sua incolumità.

What Rana Ayyub faced was a deepfake:

Rana Ayyub ha subito un deepfake:

machine-learning technology

un sistema di intelligenza artificiale

that manipulates or fabricates audio and video recordings

che manipola o fabbrica registrazioni audio e video

to show people doing and saying things

per mostrare persone che fanno o dicono cose

that they never did or said.

che non hanno mai fatto o detto.

Deepfakes appear authentic and realistic, but they're not;

I deepfake sembrano autentici e realistici, ma non lo sono:

they're total falsehoods.

sono dei clamorosi falsi.

Although the technology is still developing in its sophistication,

Anche se questa tecnologia è ancora in fase di perfezionamento,

it is widely available.

è largamente disponibile.

Now, the most recent attention to deepfakes arose,

La più recente attenzione ai deepfake è scaturita,

as so many things do online,

così come fanno molte cose online,

with pornography.

dalla pornografia.

In early 2018,

All'inizio del 2018

someone posted a tool on Reddit

qualcuno rese disponibile su Reddit uno strumento

to allow users to insert faces into porn videos.

che permetteva agli utenti di inserire volti all'interno di video porno.

And what followed was a cascade of fake porn videos

Ne seguì una valanga di finti video porno

featuring people's favorite female celebrities.

con le celebrità femminili più amate dal pubblico.

And today, you can go on YouTube and pull up countless tutorials

Oggi su YouTube si possono trovare tantissimi tutorial

with step-by-step instructions

con precise istruzioni

on how to make a deepfake on your desktop application.

su come creare un deepfake dalla propria applicazione desktop.

And soon we may be even able to make them on our cell phones.

Presto sarà forse possibile farli anche dai nostri telefoni.

Now, it's the interaction of some of our most basic human frailties

È l'interazione tra alcune delle nostre più intime fragilità umane

and network tools

e gli strumenti della rete

that can turn deepfakes into weapons.

che può trasformare i deepfake in armi.

So let me explain.

Lasciatemi spiegare.

As human beings, we have a visceral reaction to audio and video.

In quanto essere umani, si scatena in noi una reazione viscerale ad audio e video.

We believe they're true,

Crediamo siano veri,

on the notion that of course you can believe

partendo dal presupposto che puoi fidarti

what your eyes and ears are telling you.

di ciò che i tuoi occhi e le tue orecchie ti stanno dicendo.

And it's that mechanism

Questo è il meccanismo

that might undermine our shared sense of reality.

che potrebbe minare il nostro comune senso della realtà.

Although we believe deepfakes to be true, they're not.

Nonostante giudichiamo i deepfake come reali, non lo sono.

And we're attracted to the salacious, the provocative.

Siamo attratti dal volgare e dal provocante.

We tend to believe and to share information

Tendiamo a credere e a condividere informazioni

that's negative and novel.

che sono negative e romanzate.

And researchers have found that online hoaxes spread 10 times faster

Alcuni ricercatori hanno scoperto che le bufale online si diffondono

10 volte più velocemente delle storie vere.

than accurate stories.

Now, we're also drawn to information

Inoltre, siamo attirati verso informazioni

that aligns with our viewpoints.

che si allineano ai nostri punti di vista.

Psychologists call that tendency "confirmation bias."

Gli psicologi chiamano questa propensione il "bias di conferma".

And social media platforms supercharge that tendency,

Le piattaforme social amplificano questa tendenza,

by allowing us to instantly and widely share information

consentendoci di condividere notizie in modo istantaneo e su scala globale,

that accords with our viewpoints.

che sono fedeli alle nostre opinioni.

Now, deepfakes have the potential to cause grave individual and societal harm.

I deepfake hanno il potenziale di causare gravi danni individuali e comunitari.

So, imagine a deepfake

Immaginatevi un deepfake

that shows American soldiers in Afganistan burning a Koran.

che mostri dei soldati Americani, in Afghanistan, bruciare il Corano.

You can imagine that that deepfake would provoke violence

Viene immediato pensare che quel video possa provocare violenza

against those soldiers.

contro quei soldati.

And what if the very next day

E cosa succederebbe se, il giorno immediatamente successivo,

there's another deepfake that drops,

arrivasse un nuovo deepfake

that shows a well-known imam based in London

che mostrasse un famoso imam di Londra

praising the attack on those soldiers?

elogiare l'attacco a quei soldati?

We might see violence and civil unrest,

Il risultato potrebbe sfociare in violenza e malcontento civile,

not only in Afganistan and the United Kingdom,

non solo in Afghanistan o nel Regno Unito,

but across the globe.

ma in tutto il mondo.

And you might say to me,

E voi potreste dirmi:

"Come on, Danielle, that's far-fetched."

"Dai, Danielle, è impossibile".

But it's not.

Ma non lo è.

We've seen falsehoods spread

Abbiamo visto che il diffondersi di bufale

on WhatsApp and other online message services

su WhatsApp e su altri servizi di messaggistica online

lead to violence against ethnic minorities.

ha portato all'accanimento contro le minoranze etniche.

And that was just text --

E si trattava solo di messaggi.

imagine if it were video.

Pensate se fossero stati video.

Now, deepfakes have the potential to corrode the trust that we have

I deepfake hanno il potenziale di distruggere la fiducia che riponiamo

in democratic institutions.

nelle istituzioni democratiche.

So, imagine the night before an election.

Immaginatevi la sera prima di un'elezione.

There's a deepfake showing one of the major party candidates

C'è un deepfake che mostra uno dei principali candidati

gravely sick.

gravemente malato.

The deepfake could tip the election

Il deepfake potrebbe rovesciare le elezioni

and shake our sense that elections are legitimate.

e scuotere la nostra convinzione per cui le elezioni siano legittime.

Imagine if the night before an initial public offering

Immaginate che la sera prima di un'offerta pubblica iniziale

of a major global bank,

di un'importante banca internazionale

there was a deepfake showing the bank's CEO

ci fosse un deepfake che rappresenta l'amministratore delegato

drunkenly spouting conspiracy theories.

che declama teorie complottistiche mentre è ubriaco.

The deepfake could tank the IPO,

Quel deepfake potrebbe far perdere l'offerta

and worse, shake our sense that financial markets are stable.

e, ancora peggio, far vacillare la nostra percezione sulla stabilità dei mercati.

So deepfakes can exploit and magnify the deep distrust that we already have

I deepfake sono in grado di sfruttare e amplificare la sfiducia che già proviamo

in politicians, business leaders and other influential leaders.

nei confronti dei politici, dei leader economici e di altri leader influenti.

They find an audience primed to believe them.

Trovano un pubblico propenso a crederci.

And the pursuit of truth is on the line as well.

La ricerca della verità è messa a rischio.

Technologists expect that with advances in AI,

Gli esperti prevedono che con i progressi nell'intelligenza artificiale

soon it may be difficult if not impossible

presto sarà difficile, se non impossibile,

to tell the difference between a real video and a fake one.

distinguere un video autentico da uno falso.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Come può, quindi, emergere la verità in un mondo oppresso dai deepfake?

Will we just proceed along the path of least resistance

Continueremo a procedere lungo la strada della minima resistenza

and believe what we want to believe,

e a credere quello che vogliamo,

truth be damned?

a sfavore della verità?

And not only might we believe the fakery,

E non solo potremmo credere al falso,

we might start disbelieving the truth.

ma potremmo iniziare a dubitare della realtà.

We've already seen people invoke the phenomenon of deepfakes

Abbiamo già visto persone appellarsi al fenomeno dei deepfake

to cast doubt on real evidence of their wrongdoing.

per gettare dubbi sulle evidenti prove delle loro colpe.

We've heard politicians say of audio of their disturbing comments,

Abbiamo sentito i politici negare gli audio dei propri spiacevoli commenti:

"Come on, that's fake news.

"Dai, sono fake news.

You can't believe what your eyes and ears are telling you."

Non potete credere a ciò che i vostri occhi ed orecchie vi dicono".

And it's that risk

Questa è la minaccia

that professor Robert Chesney and I call the "liar's dividend":

che io e il professor Robert Chasney chiamiamo "il dividendo del bugiardo":

the risk that liars will invoke deepfakes

è il rischio che i bugiardi si appellino ai deepfake

to escape accountability for their wrongdoing.

per non assumersi la responsabilità delle proprie azioni.

So we've got our work cut out for us, there's no doubt about it.

È indubbio il fatto che ci sia moltissimo lavoro da fare.

And we're going to need a proactive solution

Abbiamo bisogno di una soluzione proattiva

from tech companies, from lawmakers,

da aziende tecnologiche, da legislatori,

law enforcers and the media.

dagli organi di polizia e dai media.

And we're going to need a healthy dose of societal resilience.

Abbiamo anche bisogno di una sana dose di resilienza sociale.

So now, we're right now engaged in a very public conversation

Oggi, proprio adesso, siamo coinvolti in un dibattito molto aperto

about the responsibility of tech companies.

sulle responsabilità dell'industria tecnologica.

And my advice to social media platforms

Il mio consiglio per le piattaforme social

has been to change their terms of service and community guidelines

è stato di modificare i termini d'uso e le linee guida comunitarie,

to ban deepfakes that cause harm.

al fine di bandire i deepfake pericolosi.

That determination, that's going to require human judgment,

Questa soluzione richiederà il giudizio umano

and it's expensive.

ed è costosa.

But we need human beings

Ma abbiamo bisogno di esseri umani

to look at the content and context of a deepfake

che guardino il contenuto e il contesto di un deepfake

to figure out if it is a harmful impersonation

per capire se si tratti di un'imitazione dannosa

or instead, if it's valuable satire, art or education.

o se, al contrario, si tratti di satira, arte o informazioni valide.

So now, what about the law?

Ma cosa ci dice la legge?

Law is our educator.

La legge è maestra.

It teaches us about what's harmful and what's wrong.

Ci insegna cos'è dannoso e cos'è sbagliato.

And it shapes behavior it deters by punishing perpetrators

Determina il comportamento, scoraggia i responsabili punendoli

and securing remedies for victims.

e garantendo tutele alle vittime.

Right now, law is not up to the challenge of deepfakes.

Ad oggi, la legge non è pronta a fronteggiare la sfida dei deepfake.

Across the globe,

In tutto il mondo

we lack well-tailored laws

mancano leggi studiate su misura

that would be designed to tackle digital impersonations

che sarebbero deputate a combattere le imitazioni digitali

that invade sexual privacy,

che invadono la privacy sessuale,

that damage reputations

danneggiano la reputazione

and that cause emotional distress.

e provocano squilibri emotivi.

What happened to Rana Ayyub is increasingly commonplace.

Quello che è capitato a Rana Ayyub sta diventando sempre più comune.

Yet, when she went to law enforcement in Delhi,

Ma quando lei è andata dalla polizia a Delhi,

she was told nothing could be done.

le hanno detto che non si poteva fare nulla.

And the sad truth is that the same would be true

La triste verità è che ciò potrebbe valere

in the United States and in Europe.

anche negli Stati Uniti e in Europa.

So we have a legal vacuum that needs to be filled.

Abbiamo un vuoto legale che dobbiamo colmare.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Io e la dottoressa Mary Anne Franks lavoriamo con legislatori americani

to devise legislation that would ban harmful digital impersonations

allo scopo di concepire una legislazione che vieti imitazioni digitali dannose,

that are tantamount to identity theft.

equivalenti al furto d'identità.

And we've seen similar moves

Abbiamo riscontrato azioni simili

in Iceland, the UK and Australia.

in Islanda, Regno Unito e Australia.

But of course, that's just a small piece of the regulatory puzzle.

Ma questo è solo un piccolo pezzo nel puzzle normativo.

Now, I know law is not a cure-all. Right?

Sono consapevole che la legge non sia una panacea, giusto?

It's a blunt instrument.

È uno strumento poco affilato.

And we've got to use it wisely.

Dobbiamo usarlo saggiamente.

It also has some practical impediments.

Ha anche alcuni impedimenti pratici.

You can't leverage law against people you can't identify and find.

Non è possibile usare la legge contro chi non si può identificare e trovare.

And if a perpetrator lives outside the country

E se il colpevole vive fuori dallo Stato

where a victim lives,

in cui vive la vittima,

then you may not be able to insist

potrebbe non essere possibile esigere

that the perpetrator come into local courts

che il responsabile si presenti ai tribunali locali

to face justice.

per l'udienza.

And so we're going to need a coordinated international response.

Ci servirà una reazione condivisa a livello internazionale.

Education has to be part of our response as well.

L'informazione deve essere parte integrante di questo processo.

Law enforcers are not going to enforce laws

Gli organi di polizia non possono far rispettare le leggi

they don't know about

se non le conoscono

and proffer problems they don't understand.

e non possono gestire problemi che non comprendono.

In my research on cyberstalking,

Durante le mie ricerche sul cyberstalking

I found that law enforcement lacked the training

ho appreso che agli organi di polizia mancava la formazione adeguata

to understand the laws available to them

per capire le leggi di quel settore

and the problem of online abuse.

e i pericoli dell'abuso di internet.

And so often they told victims,

Per questo spesso dicevano alle vittime:

"Just turn your computer off. Ignore it. It'll go away."

"Spegnete il computer. Ignorateli. Spariranno".

And we saw that in Rana Ayyub's case.

Nel caso di Rana Ayyub è successo così.

She was told, "Come on, you're making such a big deal about this.

Le fu detto: "Forza, ne stai facendo una tragedia.

It's boys being boys."

Sono semplicemente maschi che si comportano da maschi".

And so we need to pair new legislation with efforts at training.

Alla legislazione dobbiamo abbinare l'impegno nella formazione.

And education has to be aimed on the media as well.

La conoscenza deve essere un obiettivo anche per i media.

Journalists need educating about the phenomenon of deepfakes

I giornalisti necessitano di istruzione sul fenomeno dei deepfake

so they don't amplify and spread them.

affinché non lo intensifichino o lo diffondano.

And this is the part where we're all involved.

Qui è dove entriamo in gioco tutti quanti.

Each and every one of us needs educating.

Ciascuno di noi ha bisogno di istruzione.

We click, we share, we like, and we don't even think about it.

Clicchiamo, condividiamo, mettiamo "mi piace" senza nemmeno pensarci.

We need to do better.

Dobbiamo fare di meglio.

We need far better radar for fakery.

Ci serve un radar più sofisticato per rilevare le bufale.

So as we're working through these solutions,

Mentre ci occupiamo delle possibili soluzioni,

there's going to be a lot of suffering to go around.

dovremo superare innumerevoli difficoltà.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub sta tutt'ora lottando contro i risvolti del fatto.

She still doesn't feel free to express herself on- and offline.

Non si sente ancora libera di esprimersi online e offline.

And as she told me,

Mi ha detto che

she still feels like there are thousands of eyes on her naked body,

avverte ancora la sensazione di avere mille occhi puntati sul suo corpo nudo,

even though, intellectually, she knows it wasn't her body.

anche se, razionalmente, sa che non era il suo vero corpo.

And she has frequent panic attacks,

Ha frequenti attacchi di panico

especially when someone she doesn't know tries to take her picture.

specialmente quando uno sconosciuto tenta di fotografarla.

"What if they're going to make another deepfake?" she thinks to herself.

"E se faranno un altro deepfake?" pensa fra sé e sé.

And so for the sake of individuals like Rana Ayyub

Per il bene di persone come Rana Ayyub

and the sake of our democracy,

e per il bene della nostra democrazia,

we need to do something right now.

dobbiamo agire immediatamente.

Thank you.

Grazie.

(Applause)

(Applausi)