How deepfakes undermine truth and threaten democracy | Danielle Citron

Vertaald door: Rik Delaet Nagekeken door: Inge Widdershoven

[This talk contains mature content]

[Deze talk bevat inhoud voor volwassenen]

Rana Ayyub is a journalist in India

Rana Ayyub is een journaliste in India.

whose work has exposed government corruption

Ze onthulde corruptie bij de overheid

and human rights violations.

en schendingen van de mensenrechten.

And over the years,

Door de jaren heen

she's gotten used to vitriol and controversy around her work.

is ze aan gifspuiterij en controverse rond haar werk gewend geraakt.

But none of it could have prepared her for what she faced in April 2018.

Maar niets kon haar voorbereiden op wat ze in april 2018 tegenkwam.

She was sitting in a café with a friend when she first saw it:

Ze zat in een café met een vriend toen ze het voor het eerst zag:

a two-minute, 20-second video of her engaged in a sex act.

een video van 2 minuten en 20 seconden

waarop zij bezig was met seks.

And she couldn't believe her eyes.

Ze kon haar ogen niet geloven.

She had never made a sex video.

Ze had nooit een seksvideo gemaakt.

But unfortunately, thousands upon thousands of people

Maar helaas geloofden duizenden en duizenden mensen dat zij het was.

would believe it was her.

I interviewed Ms. Ayyub about three months ago,

Ik interviewde mevrouw Ayyub ongeveer drie maanden geleden

in connection with my book on sexual privacy.

in verband met mijn boek over seksuele privacy.

I'm a law professor, lawyer and civil rights advocate.

Ik ben professor in de rechten, advocaat en ik kom op voor burgerrechten.

So it's incredibly frustrating knowing that right now,

Daarom is het zo ongelooflijk frustrerend om weten dat op dit moment

law could do very little to help her.

de wet erg weinig doet om haar te helpen.

And as we talked,

In ons gesprek

she explained that she should have seen the fake sex video coming.

legde ze uit dat ze de nep-seksvideo had moeten zien aankomen.

She said, "After all, sex is so often used to demean and to shame women,

Ze zei: "Seks wordt immers zo vaak gebruikt

om vrouwen te vernederen en te schande te maken,

especially minority women,

vooral dan allochtone vrouwen,

and especially minority women who dare to challenge powerful men,"

en vooral allochtone vrouwen die machtige mannen durven uit te dagen,"

as she had in her work.

zoals zij door haar werk had gedaan.

The fake sex video went viral in 48 hours.

De nep-seksvideo ging in 48 uur viraal.

All of her online accounts were flooded with screenshots of the video,

Al haar online accounts werden overspoeld met screenshots van de video,

with graphic rape and death threats

met grove dreigingen van verkrachting en moord

and with slurs about her Muslim faith.

en met laster over haar islamitische geloof.

Online posts suggested that she was "available" for sex.

Online berichten suggereerden dat ze ‘beschikbaar’ was voor seks.

And she was doxed,

Ze werd ‘gedoxt’,

which means that her home address and her cell phone number

wat betekent dat haar adres en haar gsm-nummer

were spread across the internet.

werden verspreid over het internet.

The video was shared more than 40,000 times.

De video werd meer dan 40.000 keer gedeeld.

Now, when someone is targeted with this kind of cybermob attack,

Als iemand zo’n aanval van een cyberbende moet ondergaan,

the harm is profound.

is de schade diepgaand.

Rana Ayyub's life was turned upside down.

Rana Ayyub's leven stond op zijn kop.

For weeks, she could hardly eat or speak.

Wekenlang kon ze nauwelijks eten of spreken.

She stopped writing and closed all of her social media accounts,

Ze stopte met schrijven en sloot al haar ‘social media’-accounts.

which is, you know, a tough thing to do when you're a journalist.

Erg moeilijk wanneer je journalist bent.

And she was afraid to go outside her family's home.

Ze was bang om buiten te komen.

What if the posters made good on their threats?

Wat als de posters hun dreigementen zouden uitvoeren?

The UN Council on Human Rights confirmed that she wasn't being crazy.

De VN-Raad voor de mensenrechten bevestigde dat ze niet gek was.

It issued a public statement saying that they were worried about her safety.

Ze legden een openbare verklaring af

waarin ze zich zorgen maakten over haar veiligheid.

What Rana Ayyub faced was a deepfake:

Wat Rana Ayyub tegenkwam was een deepfake:

machine-learning technology

zelflerende technologie

that manipulates or fabricates audio and video recordings

die audio- en video-opnamen manipuleert of fabriceert

to show people doing and saying things

waarin mensen dingen doen en zeggen

that they never did or said.

die ze nooit gedaan of gezegd hebben.

Deepfakes appear authentic and realistic, but they're not;

Deepfakes lijken authentiek en realistisch, maar zijn het niet:

they're total falsehoods.

ze zijn helemaal onwaar.

Although the technology is still developing in its sophistication,

Hoewel de technologie nog steeds verder wordt verfijnd,

it is widely available.

is ze al op grote schaal beschikbaar.

Now, the most recent attention to deepfakes arose,

De meest recente aandacht voor deepfakes ontstond,

as so many things do online,

zoals met zo veel dingen online,

with pornography.

met pornografie.

In early 2018,

In het begin van 2018

someone posted a tool on Reddit

rapporteerde iemand een tool op Reddit

to allow users to insert faces into porn videos.

om gebruikers gezichten te laten toevoegen in pornovideo's.

And what followed was a cascade of fake porn videos

Daarop volgde een hoop fake pornovideo's

featuring people's favorite female celebrities.

met favoriete vrouwelijke beroemdheden.

And today, you can go on YouTube and pull up countless tutorials

Vandaag vind je op YouTube talloze handleidingen

with step-by-step instructions

met stap-voor-stap instructies

on how to make a deepfake on your desktop application.

om een deepfake te maken op je pc.

And soon we may be even able to make them on our cell phones.

Binnenkort kan het zelfs op onze mobiele telefoons.

Now, it's the interaction of some of our most basic human frailties

De combinatie van onze meest fundamentele menselijke zwakheden

and network tools

met netwerktools

that can turn deepfakes into weapons.

kan deepfakes veranderen in wapens.

So let me explain.

Ik leg het uit.

As human beings, we have a visceral reaction to audio and video.

Als mens hebben we een viscerale reactie op audio en video.

We believe they're true,

We geloven dat ze waar zijn

on the notion that of course you can believe

door het idee dat je uiteraard kunt geloven

what your eyes and ears are telling you.

wat je ogen en oren je vertellen.

And it's that mechanism

Het is dat mechanisme

that might undermine our shared sense of reality.

dat onze gezamenlijke realiteitszin zou kunnen ondermijnen.

Although we believe deepfakes to be true, they're not.

Hoewel we van deepfakes geloven dat ze waar zijn, zijn ze het niet.

And we're attracted to the salacious, the provocative.

Het schunnige, het provocerende trekt ons aan.

We tend to believe and to share information

We hebben de neiging

om negatieve en nieuwe informatie te geloven en te delen.

that's negative and novel.

And researchers have found that online hoaxes spread 10 times faster

En onderzoekers hebben ontdekt

dat online hoaxes 10 keer sneller verspreid worden dan accurate verhalen.

than accurate stories.

Now, we're also drawn to information

We zijn ook aangetrokken tot informatie

that aligns with our viewpoints.

die aansluit bij onze standpunten.

Psychologists call that tendency "confirmation bias."

Psychologen noemen deze tendens ‘voorkeur voor bevestiging’.

And social media platforms supercharge that tendency,

Sociale media platformen versterken die tendens,

by allowing us to instantly and widely share information

door ons informatie direct en op grote schaal te laten delen

that accords with our viewpoints.

als het overeenstemt met onze standpunten.

Now, deepfakes have the potential to cause grave individual and societal harm.

Deepfakes kunnen dus ernstige individuele en maatschappelijke schade veroorzaken.

So, imagine a deepfake

Stel je een deepfake voor

that shows American soldiers in Afganistan burning a Koran.

waarin Amerikaanse soldaten in Afghanistan een Koran verbranden.

You can imagine that that deepfake would provoke violence

Je kunt je voorstellen dat die deepfake

against those soldiers.

geweld kan uitlokken tegen die soldaten.

And what if the very next day

En wat als de volgende dag

there's another deepfake that drops,

er nog een deepfake verspreid wordt

that shows a well-known imam based in London

die een bekende imam in Londen toont

praising the attack on those soldiers?

die de aanval op die soldaten prijst?

We might see violence and civil unrest,

Het zou kunnen leiden tot geweld en burgerlijke onrust,

not only in Afganistan and the United Kingdom,

niet alleen in Afghanistan en het Verenigd Koninkrijk,

but across the globe.

maar over de hele wereld.

And you might say to me,

En je zou me kunnen zeggen:

"Come on, Danielle, that's far-fetched."

"Kom nou, Danielle, dat is vergezocht."

But it's not.

Maar dat is het niet.

We've seen falsehoods spread

We hebben onwaarheden zien verspreiden

on WhatsApp and other online message services

op WhatsApp en andere online boodschappendiensten

lead to violence against ethnic minorities.

die leidden tot geweld tegen etnische minderheden.

And that was just text --

En dat was gewoon tekst --

imagine if it were video.

stel je voor dat het video was.

Now, deepfakes have the potential to corrode the trust that we have

Deepfakes kunnen het vertrouwen aantasten

dat we hebben in democratische instellingen.

in democratic institutions.

So, imagine the night before an election.

Stel je de avond voor een verkiezing voor.

There's a deepfake showing one of the major party candidates

Een deepfake toont

een belangrijke partijkandidaat als ernstig ziek.

gravely sick.

The deepfake could tip the election

De deepfake kan de uitslag bepalen

and shake our sense that elections are legitimate.

en ons vertrouwen in de legitimiteit van verkiezingen doen wankelen.

Imagine if the night before an initial public offering

Stel je voor dat op de avond voor een beursgang

of a major global bank,

van een grote internationale bank,

there was a deepfake showing the bank's CEO

een deepfake een CEO van de bank toont

drunkenly spouting conspiracy theories.

terwijl hij dronken samenzweringstheorieën spuit.

The deepfake could tank the IPO,

De deepfake kon de beursgang doen kelderen,

and worse, shake our sense that financial markets are stable.

en erger, ons het gevoel geven dat de financiële markten onstabiel zijn.

So deepfakes can exploit and magnify the deep distrust that we already have

Deepfakes kunnen dat benutten en het diepe wantrouwen vergroten

dat we al hebben

in politicians, business leaders and other influential leaders.

in politici, bedrijfsleiders en andere invloedrijke leiders.

They find an audience primed to believe them.

Ze vinden een goedgelovig publiek.

And the pursuit of truth is on the line as well.

Het streven naar waarheid staat ook op het spel.

Technologists expect that with advances in AI,

Technologen verwachten dat met de vooruitgang in AI

soon it may be difficult if not impossible

het binnenkort moeilijk, zo niet onmogelijk, wordt

to tell the difference between a real video and a fake one.

om het verschil te zien tussen een echte video en een nepvideo.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Hoe kunnen we dan nog waarheid vinden

in een door deepfake geteisterde ideeënwereld?

Will we just proceed along the path of least resistance

Kiezen we de weg van de minste weerstand

and believe what we want to believe,

en geloven we wat we willen geloven?

truth be damned?

De waarheid kan de pot op?

And not only might we believe the fakery,

We zouden niet alleen gaan geloven in het bedrog,

we might start disbelieving the truth.

maar ook aan de waarheid kunnen gaan twijfelen.

We've already seen people invoke the phenomenon of deepfakes

We zagen al dat mensen beroep deden op het fenomeen van de deepfakes

to cast doubt on real evidence of their wrongdoing.

om echt bewijs over hun wangedrag in twijfel te trekken.

We've heard politicians say of audio of their disturbing comments,

We hoorden politici over de opnames van hun uitschuivers al zeggen:

"Come on, that's fake news.

"Kom nou, dat is nepnieuws.

You can't believe what your eyes and ears are telling you."

Je kan niet geloven wat je ogen en oren je vertellen."

And it's that risk

Het is dat risico

that professor Robert Chesney and I call the "liar's dividend":

dat professor Robert Chesney en ik het ‘leugenaarsdividend’ noemen:

the risk that liars will invoke deepfakes

het risico dat leugenaars deepfakes zullen inroepen

to escape accountability for their wrongdoing.

om aan de verantwoording voor hun wangedrag te ontsnappen.

So we've got our work cut out for us, there's no doubt about it.

We hebben werk voor de boeg, daar is geen twijfel over mogelijk.

And we're going to need a proactive solution

We hebben een proactieve oplossing nodig

from tech companies, from lawmakers,

van tech-bedrijven, van wetgevers,

law enforcers and the media.

wetshandhavers en de media.

And we're going to need a healthy dose of societal resilience.

En we zullen een gezonde dosis sociale veerkracht nodig hebben.

So now, we're right now engaged in a very public conversation

Op dit moment is er een zeer publiek discussie gaande

about the responsibility of tech companies.

over de verantwoordelijkheid van de tech-bedrijven.

And my advice to social media platforms

Het was mijn advies aan de sociale media platformen

has been to change their terms of service and community guidelines

om hun dienstvoorwaarden en gemeenschapsrichtlijnen te veranderen

to ban deepfakes that cause harm.

om schadelijke deepfakes te bannen.

That determination, that's going to require human judgment,

Dat vereist menselijk oordeel

and it's expensive.

en dat is duur.

But we need human beings

Maar we hebben mensen nodig

to look at the content and context of a deepfake

om naar de inhoud en context van een deepfake te kijken

to figure out if it is a harmful impersonation

om erachter te komen of het een schadelijke imitatie is

or instead, if it's valuable satire, art or education.

ofwel waardevolle satire, kunst of onderwijs.

So now, what about the law?

Maar hoe zit het nu met de wet?

Law is our educator.

De wet is onze opvoeder.

It teaches us about what's harmful and what's wrong.

Ze leert ons wat schadelijk en wat fout is.

And it shapes behavior it deters by punishing perpetrators

Ze modelleert gedrag door het bestraffen van daders

and securing remedies for victims.

en het beschermen van slachtoffers.

Right now, law is not up to the challenge of deepfakes.

De wet kan de uitdaging van deepfakes nog niet aan.

Across the globe,

Over heel de wereld

we lack well-tailored laws

mankeren we op maat gesneden wetten

that would be designed to tackle digital impersonations

voor het aanpakken van digitale imitaties

that invade sexual privacy,

die de seksuele privacy schenden,

that damage reputations

reputaties beschadigen

and that cause emotional distress.

en emotionele nood veroorzaken.

What happened to Rana Ayyub is increasingly commonplace.

Wat Rana Ayyub overkwam, komt steeds meer voor.

Yet, when she went to law enforcement in Delhi,

Toen ze in Delhi om rechtshandhaving vroeg,

she was told nothing could be done.

vertelden ze haar dat ze er niets aan konden doen.

And the sad truth is that the same would be true

En de trieste waarheid is dat hetzelfde waar zou zijn

in the United States and in Europe.

in de Verenigde Staten en in Europa.

So we have a legal vacuum that needs to be filled.

Dus hebben we een juridisch vacuüm dat moet worden ingevuld.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Mijn collega dr. Mary Anne Franks en ik werken samen met de Amerikaanse wetgevers

to devise legislation that would ban harmful digital impersonations

aan wetgeving die schadelijke digitale nabootsingen zou verbieden,

that are tantamount to identity theft.

die gelijkstaan aan diefstal van identiteit.

And we've seen similar moves

We zagen vergelijkbare maatregelen

in Iceland, the UK and Australia.

in IJsland, het Verenigd Koninkrijk en Australië.

But of course, that's just a small piece of the regulatory puzzle.

Maar natuurlijk is dat nog maar een klein stuk van de regelgevingspuzzel.

Now, I know law is not a cure-all. Right?

Ik weet wel dat de wet geen wondermiddel is.

It's a blunt instrument.

Ze is een bot instrument.

And we've got to use it wisely.

We zullen het verstandig moeten gebruiken.

It also has some practical impediments.

Ze heeft ook een aantal praktische belemmeringen.

You can't leverage law against people you can't identify and find.

Je kunt de wet niet aanwenden tegen wie je niet kan identificeren of opsporen.

And if a perpetrator lives outside the country

Als een dader in een ander land woont

where a victim lives,

dan het slachtoffer,

then you may not be able to insist

kan je misschien niet eisen dat de dader

that the perpetrator come into local courts

voor de lokale rechtbanken verschijnt

to face justice.

voor gerechtigheid.

And so we're going to need a coordinated international response.

Dus gaan we een gecoördineerde internationale respons nodig hebben.

Education has to be part of our response as well.

Ook onderwijs moet onderdeel zijn van ons antwoord hierop.

Law enforcers are not going to enforce laws

Wetshandhavers gaan geen wetten toepassen

they don't know about

waarover ze niets weten

and proffer problems they don't understand.

en problemen behandelen die ze niet begrijpen.

In my research on cyberstalking,

Bij mijn onderzoek naar cyberstalking

I found that law enforcement lacked the training

merkte ik dat rechters de training misten

to understand the laws available to them

om de beschikbare wetten te begrijpen

and the problem of online abuse.

alsook het probleem van online misbruik.

And so often they told victims,

Vaak vertelden ze het slachtoffer:

"Just turn your computer off. Ignore it. It'll go away."

"Zet gewoon je computer uit. Negeer het. Het zal ophouden."

And we saw that in Rana Ayyub's case.

En we zagen dat ook in het geval van Rana Ayyub.

She was told, "Come on, you're making such a big deal about this.

Ze kreeg te horen: "Kom op, je maakt je er zo druk over.

It's boys being boys."

Het zijn jongensstreken."

And so we need to pair new legislation with efforts at training.

Dus moeten we de nieuwe wetgeving koppelen aan nieuwe training.

And education has to be aimed on the media as well.

De media dient ook heropgevoed te worden.

Journalists need educating about the phenomenon of deepfakes

Journalisten moeten het deepfakefenomeen leren kennen

so they don't amplify and spread them.

zodat ze het niet versterken en verspreiden.

And this is the part where we're all involved.

Bij dat deel zijn we allemaal betrokken.

Each and every one of us needs educating.

Ieder van ons moet ermee vertrouwd geraken.

We click, we share, we like, and we don't even think about it.

We klikken, we delen, we vinden leuk zonder er eens over na te denken.

We need to do better.

Dat moet beter.

We need far better radar for fakery.

We hebben een veel betere radar voor bedrog nodig.

So as we're working through these solutions,

Terwijl we werken aan deze oplossingen,

there's going to be a lot of suffering to go around.

gaat er nog een heleboel leed veroorzaakt worden.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub worstelt nog steeds met de gevolgen.

She still doesn't feel free to express herself on- and offline.

Ze voelt zich nog steeds geremd om zich on- en offline te uiten.

And as she told me,

Zoals ze me vertelde, voelt het nog steeds

she still feels like there are thousands of eyes on her naked body,

alsof er duizenden ogen op haar naakte lichaam zijn gericht,

even though, intellectually, she knows it wasn't her body.

hoewel ze verstandelijk weet dat het niet haar lichaam was.

And she has frequent panic attacks,

Ze heeft regelmatig paniekaanvallen,

especially when someone she doesn't know tries to take her picture.

vooral wanneer iemand die ze niet kent probeert een foto van haar te nemen.

"What if they're going to make another deepfake?" she thinks to herself.

"Wat als het weer voor een deepfake is?"

denkt ze dan.

And so for the sake of individuals like Rana Ayyub

Voor het belang van mensen zoals Rana Ayyub

and the sake of our democracy,

en voor het belang van onze democratie

we need to do something right now.

moeten we nu echt iets doen.

Thank you.

Dank je.

(Applause)

(Applaus)