How deepfakes undermine truth and threaten democracy | Danielle Citron

Fordító: Péter Pallós Lektor: Beatrix Turán

[This talk contains mature content]

[Vigyázat, felnőtt tartalom]

Rana Ayyub is a journalist in India

Rana Ayyub indiai újságírónő,

whose work has exposed government corruption

akinek tevékenysége kormányzati korrupciót

and human rights violations.

és az emberi jogok megsértését tárta föl.

And over the years,

Évek alatt hozzászokott

she's gotten used to vitriol and controversy around her work.

a munkája miatti alpári szidalmazásokhoz és vitákhoz.

But none of it could have prepared her for what she faced in April 2018.

De arra nem lehetett fölkészülve, ami 2018 áprilisában érte.

She was sitting in a café with a friend when she first saw it:

Barátjával épp presszóban üldögélt, mikor először meglátta:

a two-minute, 20-second video of her engaged in a sex act.

két perc 20 másodperces videót, amely nemi aktus közben ábrázolta.

And she couldn't believe her eyes.

Képtelen volt hinni a szemének.

She had never made a sex video.

Sosem készített szexvideót.

But unfortunately, thousands upon thousands of people

De sajnos, sok ezren elhiszik,

would believe it was her.

hogy a videón ő szerepel.

I interviewed Ms. Ayyub about three months ago,

Kb. három hónapja készítettem vele interjút

in connection with my book on sexual privacy.

a szexuális magánéletről írt könyvem kapcsán.

I'm a law professor, lawyer and civil rights advocate.

Jogászprofesszor, ügyvéd és emberjogi szószóló vagyok.

So it's incredibly frustrating knowing that right now,

Hihetetlenül elkeserítő a tudat,

law could do very little to help her.

hogy a jog mily keveset segíthet rajta.

And as we talked,

Beszélgetésünkben utalt rá,

she explained that she should have seen the fake sex video coming.

hogy számítania kellett a hamisított szexvideó megjelenésére.

She said, "After all, sex is so often used to demean and to shame women,

"A szexet oly gyakran használják nők megalázására és megszégyenítésére,

especially minority women,

kiváltképp kisebbséghez tartozó nőkére,

and especially minority women who dare to challenge powerful men,"

főleg azokéra, akik hatalomban lévő férfiakkal mernek szembeszállni" – mondta.

as she had in her work.

Munkája során ezt tapasztalta.

The fake sex video went viral in 48 hours.

A hamisított szexvideó 48 óra alatt járványszerűen elterjedt.

All of her online accounts were flooded with screenshots of the video,

Minden internetes postafiókja tömve lett a videóból vett pillanatképekkel,

with graphic rape and death threats

nemi erőszakkal és halállal fenyegették,

and with slurs about her Muslim faith.

továbbá a muszlim vallását gyalázták.

Online posts suggested that she was "available" for sex.

Az internetes posztok sugalmazták, hogy szexre könnyen kapható.

And she was doxed,

Interneten gyűjtöttek róla adatokat:

which means that her home address and her cell phone number

lakcímét, mobilszámát

were spread across the internet.

fölrakták az internetre.

The video was shared more than 40,000 times.

Több mint 40 ezerszer osztották meg a videót.

Now, when someone is targeted with this kind of cybermob attack,

Mikor valakit efféle tömeges kibertámadással vesznek célba,

the harm is profound.

a kár fölmérhetetlen.

Rana Ayyub's life was turned upside down.

Rana Ayyub élete romokban hevert.

For weeks, she could hardly eat or speak.

Heteken át alig evett vagy beszélt.

She stopped writing and closed all of her social media accounts,

Fölhagyott az írással, és megszüntette valamennyi közösségimédia-fiókját,

which is, you know, a tough thing to do when you're a journalist.

ami, mondanom sem kell, újságíró lévén nehéz dolog lehetett.

And she was afraid to go outside her family's home.

Félt a házából kilépni.

What if the posters made good on their threats?

Mi lesz, ha a netes támadók beváltják a fenyegetéseket?

The UN Council on Human Rights confirmed that she wasn't being crazy.

Az ENSZ Emberi Jogi Tanácsa megerősítette, hogy nem őrült,

It issued a public statement saying that they were worried about her safety.

és közleményt jelentetett meg arról, hogy aggasztja a biztonsága.

What Rana Ayyub faced was a deepfake:

Rana Ayyub az ún. élethű hamisítással találta magát szemben.

machine-learning technology

Ez gépi tanulási technológia,

that manipulates or fabricates audio and video recordings

amely kép- és hangfelvételeket manipulál vagy állít elő,

melyekben olyan dolgokat tesznek vagy mondanak a szereplők,

to show people doing and saying things

melyet valójában sosem tettek vagy mondtak.

that they never did or said.

Deepfakes appear authentic and realistic, but they're not;

Az élethű hamisítás valóságosnak látszik, de nem az;

they're total falsehoods.

szemenszedett hazugság.

Although the technology is still developing in its sophistication,

Bár a technológia még nem a legkifinomultabb,

már széles körben hozzáférhető.

it is widely available.

Now, the most recent attention to deepfakes arose,

Az élethű hamisítást illetően a legutóbb a figyelmet –

as so many things do online,

mint oly sok más esetben az interneten –

with pornography.

a pornó keltette föl.

In early 2018,

2018 elején

someone posted a tool on Reddit

valaki eszközt posztolt a Redditre,

to allow users to insert faces into porn videos.

mellyel arcot illeszthetnek pornóvideókba.

And what followed was a cascade of fake porn videos

Ezt követően hamis pornóvideók áradata jelent meg,

amelyekben a közönség kedvenceinek számító celebnők tűntek föl.

featuring people's favorite female celebrities.

And today, you can go on YouTube and pull up countless tutorials

Ma a YouTube-on számtalan oktatóvideóból

with step-by-step instructions

lépésről lépésre megtanulható,

on how to make a deepfake on your desktop application.

hogy gyártható élethű hamisítvány valamely alkalmazásból.

And soon we may be even able to make them on our cell phones.

Hamarosan tán már mobilunkon is képesek leszünk rá.

Now, it's the interaction of some of our most basic human frailties

Íme, egypár emberi gyarlóságunk

and network tools

és internetes eszköz kölcsönhatása,

that can turn deepfakes into weapons.

amelyből fegyver válhat az élethű hamisítás révén.

So let me explain.

Elmagyarázom.

As human beings, we have a visceral reaction to audio and video.

Emberi lényként zsigerileg reagálunk hang- és képfelvételekre.

We believe they're true,

Elhisszük, hogy igazak,

on the notion that of course you can believe

hiszen feltételezzük, hogy igaz,

what your eyes and ears are telling you.

amit szemünk lát és fülünk hall.

And it's that mechanism

Épp ez a mechanizmus áshatja alá

that might undermine our shared sense of reality.

közös realitásérzékünket.

Although we believe deepfakes to be true, they're not.

Noha elhisszük az élethű hamisításról, hogy igaz, de mégsem az.

And we're attracted to the salacious, the provocative.

Vonzanak minket a pikáns, ingerlő dolgok.

We tend to believe and to share information

Hajlamosak vagyunk elhinni és megosztani

that's negative and novel.

a negatív új információt.

And researchers have found that online hoaxes spread 10 times faster

Kutatók derítették ki, hogy az internetes kacsák tízszer gyorsabban terjednek,

than accurate stories.

mint a valósághű történetek.

Now, we're also drawn to information

Vonzódunk a nézetünkkel összhangban álló

that aligns with our viewpoints.

információkhoz.

Psychologists call that tendency "confirmation bias."

Pszichológusok ezt a tendenciát megerősítési torzításnak hívják.

And social media platforms supercharge that tendency,

A közösségi média még föl is erősíti ezt a tendenciát azzal,

by allowing us to instantly and widely share information

hogy azonnal és széleskörűen továbbíthatjuk

that accords with our viewpoints.

a nézeteinkkel összhangban lévő infót.

Now, deepfakes have the potential to cause grave individual and societal harm.

Az élethű hamisítás súlyos egyéni és társadalmi kárt okozhat.

So, imagine a deepfake

Képzeljünk el élethű hamisítást,

that shows American soldiers in Afganistan burning a Koran.

amelyen Afganisztánban Koránt égető USA-katonák láthatók.

You can imagine that that deepfake would provoke violence

Elgondolhatják, hogy az élethű hamisítás mekkora erőszakot váltana ki

against those soldiers.

a szóban forgó katonák ellen.

And what if the very next day

Mi van, ha a rákövetkező nap

there's another deepfake that drops,

másik élethű hamisításon

that shows a well-known imam based in London

egy közismert, londoni illetőségű imám

praising the attack on those soldiers?

az említett katonák megtámadását dicséri?

We might see violence and civil unrest,

Erőszakos cselekmények és polgári zavargások

not only in Afganistan and the United Kingdom,

törnének ki nemcsak Afganisztánban és az Egyesült Királyságban,

but across the globe.

hanem világszerte is.

And you might say to me,

Mondhatják nekem erre:

"Come on, Danielle, that's far-fetched."

"Na, de Danielle, elragadta a képzelete!"

But it's not.

Nem úgy van.

We've seen falsehoods spread

Lépten-nyomon látjuk,

ahogy a WhatsAppon és más internetes üzenetküldőkön terjesztett hamisítások

on WhatsApp and other online message services

lead to violence against ethnic minorities.

etnikai kisebbségek elleni erőszakos cselekményekhez vezetnek.

And that was just text --

Pedig azok csak szövegek voltak...,

imagine if it were video.

képzeljék el, ha videók lettek volna!

Now, deepfakes have the potential to corrode the trust that we have

Az élethű hamisítások képesek tönkretenni

a demokratikus intézményekbe vetett bizalmunkat.

in democratic institutions.

So, imagine the night before an election.

Képzeljük el a választások előestéjét!

There's a deepfake showing one of the major party candidates

Az egyik élethű hamisítás azt mutatja,

hogy az egyik vezető párt jelöltje súlyos beteg.

gravely sick.

The deepfake could tip the election

Az élethű hamisítás fölboríthatja a választást,

and shake our sense that elections are legitimate.

és megingathatja a választás legitimitásába vetett hitünket.

Imagine if the night before an initial public offering

Képzeljék el,

hogy az egyik óriási globális bank első nyilvános kibocsátásának előestéjén

of a major global bank,

élethű hamisítás jelenik meg,

there was a deepfake showing the bank's CEO

miszerint a bank vezérigazgatója részegen összeesküvés-elméletekről hablatyol.

drunkenly spouting conspiracy theories.

The deepfake could tank the IPO,

Az élethű hamisítás meghiúsíthatja a kibocsátást,

and worse, shake our sense that financial markets are stable.

de még ennél is rosszabb, megingathatja a pénzpiac stabilitása iránti bizalmunkat.

So deepfakes can exploit and magnify the deep distrust that we already have

Az élethű hamisítás kihasználhatja és fokozhatja a politikusokkal,

üzletemberekkel és más befolyásos vezetőkkel szembeni bizalmatlanságot.

in politicians, business leaders and other influential leaders.

They find an audience primed to believe them.

Megtalálja a neki hinni kész közönségét.

And the pursuit of truth is on the line as well.

Az igazságkeresés szintén veszélybe kerül.

Technologists expect that with advances in AI,

Technológusok arra számítanak, hogy az MI fejlődésével nemsokára

soon it may be difficult if not impossible

nehéz, esetleg lehetetlen lesz megkülönböztetni

to tell the difference between a real video and a fake one.

a valódit a hamisított videótól.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Hogyan világlik ki az igazság az eszmék élethű hamisítástól hemzsegő piacán?

Will we just proceed along the path of least resistance

Csak haladunk tovább a legkisebb ellenállás útján,

and believe what we want to believe,

és azt hisszük, amit hinni akarunk,

truth be damned?

és hadd vesszen az igazság?

And not only might we believe the fakery,

Hisz így nemcsak a hamisítást hisszük el,

we might start disbelieving the truth.

hanem az igazságban is kételkedni kezdünk.

We've already seen people invoke the phenomenon of deepfakes

Már találkoztunk az élethű hamisítás jelenségére hivatkozókkal,

to cast doubt on real evidence of their wrongdoing.

akik célja gaztettük valódi bizonyítékának kétségbe vonása volt.

We've heard politicians say of audio of their disturbing comments,

Hallottunk politikusokat fölháborító szavaikről készült felvételekről

"Come on, that's fake news.

azt mondani, "Ugyan, ez csak álhír!

You can't believe what your eyes and ears are telling you."

Ne higgyenek a szemüknek, se a fülüknek!"

And it's that risk

Ezt a kockázatot

that professor Robert Chesney and I call the "liar's dividend":

Robert Chesney professzor és én "a hazug osztaléká"-nak nevezzük:

the risk that liars will invoke deepfakes

a hazug az élethű hamisításra hivatkozik,

to escape accountability for their wrongdoing.

hogy a gaztettéért járó felelősségre vonást elkerülje.

So we've got our work cut out for us, there's no doubt about it.

Úgyhogy munkánk nagyon nehéz, efelől semmi kétségünk.

And we're going to need a proactive solution

Ezért előrelátó megoldások kellenek

from tech companies, from lawmakers,

a műszaki cégektől, törvényhozóktól,

law enforcers and the media.

jogalkalmazóktól és a médiától.

And we're going to need a healthy dose of societal resilience.

Jó adag társadalmi kitartásra is szükség lesz.

So now, we're right now engaged in a very public conversation

Nagyon nyílt párbeszédet kezdtünk

about the responsibility of tech companies.

a műszaki cégek felelősségéről.

And my advice to social media platforms

A közösségi médiának azt javasoltam,

has been to change their terms of service and community guidelines

hogy módosítsák szolgáltatási feltételeiket és közösségi irányelveiket,

to ban deepfakes that cause harm.

hogy betiltsák az élethű hamisításokat, mert károsak.

That determination, that's going to require human judgment,

Ennek megítélése emberi beavatkozást igényel,

and it's expensive.

és sokba kerül.

But we need human beings

De az kell, hogy az emberek figyeljenek

to look at the content and context of a deepfake

az élethű hamisítások tartalmára és kontextusára,

to figure out if it is a harmful impersonation

hogy rájöjjenek: káros álcáról van szó,

or instead, if it's valuable satire, art or education.

vagy ellenkezőleg, értékes szatíráról, művészetről vagy oktatásról.

So now, what about the law?

De mi a helyzet a törvénnyel?

Law is our educator.

A törvény oktat bennünket.

It teaches us about what's harmful and what's wrong.

Megtanítja, hogy mi a káros és mi a rossz.

And it shapes behavior it deters by punishing perpetrators

Alakítja a magatartást, elrettent az elkövetők megbüntetése

and securing remedies for victims.

és az áldozatoknak nyújtott jogorvoslat útján.

Right now, law is not up to the challenge of deepfakes.

A jog jelenleg még nem képes az élethű hamisítással fölvenni a harcot.

Across the globe,

Az egész világon

we lack well-tailored laws

híján vagyunk a megfelelő törvényeknek,

that would be designed to tackle digital impersonations

amelyek alkalmasak lennének elbánni

a szexuális magánéletbe betörő digitális álcázással,

that invade sexual privacy,

that damage reputations

amely tönkreteszi hírnevünket,

and that cause emotional distress.

és érzelmi gyötrelmet okoz.

What happened to Rana Ayyub is increasingly commonplace.

A Rana Ayyubbal történtek egyre inkább mindennaposak.

Yet, when she went to law enforcement in Delhi,

De mikor Delhiben jogalkalmazókhoz fordult,

she was told nothing could be done.

azt a választ kapta, hogy semmit sem tehetnek.

And the sad truth is that the same would be true

A szomorú igazság,

hogy ugyanez lenne a helyzet az USA-ban és Európában is.

in the United States and in Europe.

So we have a legal vacuum that needs to be filled.

Joghézag van, amelyet ki kell tölteni.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Dr. Mary Anne Franks kollégám és én együttműködünk az USA törvényhozóival,

to devise legislation that would ban harmful digital impersonations

hogy a törvényeket fejlesszük a személyiséglopással egyenértékű

that are tantamount to identity theft.

káros digitális álcázás betiltása érdekében.

And we've seen similar moves

Hasonló intézkedéseket tapasztalunk

in Iceland, the UK and Australia.

Izlandon, az Egyesült Királyságban és Ausztráliában.

But of course, that's just a small piece of the regulatory puzzle.

Persze, a szabályozási kirakósnak ez csak kis darabkája.

Now, I know law is not a cure-all. Right?

Tudom, a törvény nem mindent old meg.

It's a blunt instrument.

Nehézkes eszköz.

And we've got to use it wisely.

Bölcsen kell alkalmaznunk,

It also has some practical impediments.

de ennek gyakorlati akadályai is vannak.

You can't leverage law against people you can't identify and find.

Nem alkalmazhatjuk a törvényt ismeretlen és föllelhetetlen egyének ellen.

And if a perpetrator lives outside the country

Ha az elkövető és áldozata

where a victim lives,

más-más országban él,

then you may not be able to insist

akkor hiába erőlködhetünk,

that the perpetrator come into local courts

hogy az elkövető helyi bíróság elé álljon,

to face justice.

és viselje tette következményeit.

And so we're going to need a coordinated international response.

Így hát nemzetközileg összehangolt megoldás kell.

Education has to be part of our response as well.

Az oktatásnak is van ebben szerepe.

Law enforcers are not going to enforce laws

A jogalkalmazók nem érvényesíthetik a törvényeket,

they don't know about

amelyekről nem tudnak,

and proffer problems they don't understand.

és nem ajánlhatnak megoldást általuk nem értett problémákra.

In my research on cyberstalking,

A kiberzaklatást kutatva kiderítettem,

I found that law enforcement lacked the training

hogy a jogalkalmazók híján vannak a képzésnek,

to understand the laws available to them

amelyből megérthetnék a rendelkezésükre álló törvényeket

and the problem of online abuse.

és az internetes zaklatás mibenlétét.

And so often they told victims,

Milyen gyakran mondják az áldozatoknak:

"Just turn your computer off. Ignore it. It'll go away."

"Kapcsolják ki a gépüket. Ne törődjenek vele. Majd elmúlik."

And we saw that in Rana Ayyub's case.

De látjuk Rana Ayyub esetét.

She was told, "Come on, you're making such a big deal about this.

Azt mondták neki: "Ugyan, túl nagy ügyet csinál belőle.

It's boys being boys."

A fiúk már csak ilyenek."

And so we need to pair new legislation with efforts at training.

Ezért az új jogszabályoknak együtt kell járniuk oktatási törekvésekkel.

And education has to be aimed on the media as well.

Az oktatásnak a médiára is ki kell terjednie.

Journalists need educating about the phenomenon of deepfakes

Az élethű hamisítás jelenségét oktatni kell újságíróknak,

so they don't amplify and spread them.

hogy ne fokozzák és ne terjesszék.

And this is the part where we're all involved.

Ebben mindannyiunknak részt kell vennünk.

Each and every one of us needs educating.

Mindannyiunknak szükségünk van képzésre.

We click, we share, we like, and we don't even think about it.

Kattintunk, megosztunk, és bele sem gondolunk abba, amit teszünk.

We need to do better.

Észszerűbben kell cselekednünk.

We need far better radar for fakery.

A hamisításokat jobban kell földerítenünk.

So as we're working through these solutions,

A megoldások kialakítása

there's going to be a lot of suffering to go around.

sok gyötrelemmel fog járni.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub még küzd a történtekkel.

She still doesn't feel free to express herself on- and offline.

Még nem képes szabadon kifejezni magát.

And as she told me,

Elmondta nekem:

she still feels like there are thousands of eyes on her naked body,

még úgy érzi magát, mintha ezernyi szem pásztázná a meztelen testét,

even though, intellectually, she knows it wasn't her body.

noha az eszével tudja, hogy nem az ő testéről van szó.

And she has frequent panic attacks,

Gyakori pánikrohamai vannak,

especially when someone she doesn't know tries to take her picture.

kiváltképp, mikor ismeretlenek le akarják fényképezni.

"What if they're going to make another deepfake?" she thinks to herself.

"Mi van, ha újabb élethű hamisítás kedvéért teszik?" – jár a fejében.

And so for the sake of individuals like Rana Ayyub

A Rana Ayyubhoz hasonló személyek miatt

and the sake of our democracy,

és demokráciánk érdekében

we need to do something right now.

valamit haladéktalanul tennünk kell.

Thank you.

Köszönöm.

(Applause)

(Taps)