How deepfakes undermine truth and threaten democracy | Danielle Citron

Übersetzung: Johannes Duschner Lektorat: Sonja Maria Neef

[This talk contains mature content]

[Dieser Vortrag besteht aus Inhalten für Erwachsene]

Rana Ayyub is a journalist in India

Rana Ayyub ist Journalistin in Indien,

whose work has exposed government corruption

die Korruption der Regierung und Menschenrechtsverletzungen aufdeckte.

and human rights violations.

And over the years,

Im Verlauf der Jahre

she's gotten used to vitriol and controversy around her work.

gewöhnte sie sich an die Giftigkeit und den Streit um ihre Arbeit.

But none of it could have prepared her for what she faced in April 2018.

Aber nichts konnte sie darauf vorbereiten, womit man sie im April 2018 konfrontierte.

She was sitting in a café with a friend when she first saw it:

Sie saß mit einem Freund in einem Café, als sie es zum ersten Mal sah:

a two-minute, 20-second video of her engaged in a sex act.

ein zwei Minuten und 20 Sekunden langes Video mit ihr beim Sex.

And she couldn't believe her eyes.

Sie konnte ihren Augen nicht trauen.

She had never made a sex video.

Sie hatte niemals ein Sex-Video gemacht.

But unfortunately, thousands upon thousands of people

Aber leider würden Tausende und Abertausende glauben, sie wäre es.

would believe it was her.

I interviewed Ms. Ayyub about three months ago,

Vor etwa drei Monaten interviewte ich Frau Ayyub,

in connection with my book on sexual privacy.

wegen meines Buches über sexuelle Privatsphäre.

I'm a law professor, lawyer and civil rights advocate.

Ich bin Jura-Professorin, Anwältin und Bürgerrechtlerin.

So it's incredibly frustrating knowing that right now,

Es ist unglaublich frustrierend zu wissen,

dass das Recht im Moment sehr wenig tun kann, um ihr zu helfen.

law could do very little to help her.

And as we talked,

Als wir miteinander sprachen, erklärte sie mir,

she explained that she should have seen the fake sex video coming.

dass sie das gefälschte Sex-Video hätte kommen sehen sollen.

She said, "After all, sex is so often used to demean and to shame women,

Sie sagte: "Sex wird so oft benutzt, um Frauen zu erniedrigen und zu beschämen.

especially minority women,

Besonders Frauen, die einer Minderheit zugehören

and especially minority women who dare to challenge powerful men,"

und solchen, die es wagen, mächtige Männer herauszufordern."

as she had in her work.

So wie sie es durch ihre Arbeit tat.

The fake sex video went viral in 48 hours.

Das gefälschte Sex-Video verbreitete sich viral in 48 Stunden.

All of her online accounts were flooded with screenshots of the video,

All ihre Online-Kontos wurden mit Screen-Shots des Videos geflutet,

with graphic rape and death threats

mit Todesdrohungen, von grausamer Vergewaltigung

and with slurs about her Muslim faith.

und Herabsetzung ihres muslimischen Glaubens.

Online posts suggested that she was "available" for sex.

Online-Kommentare deuteten an, sie sei für Sex "verfügbar".

And she was doxed,

Sie wurde "gedoxed",

which means that her home address and her cell phone number

was bedeutet, dass ihre Privatadresse und ihre Handynummer

were spread across the internet.

im Internet verbreitet wurden.

The video was shared more than 40,000 times.

Das Video wurde mehr als 40.000 Mal geteilt.

Now, when someone is targeted with this kind of cybermob attack,

Wenn jemand zum Ziel dieser Art von Cybermobbing-Angriff wird,

the harm is profound.

ist der Schaden tiefgreifend.

Rana Ayyub's life was turned upside down.

Das Leben von Rana Ayyub wurde auf den Kopf gestellt.

For weeks, she could hardly eat or speak.

Wochenlang konnte sie kaum essen oder sprechen.

She stopped writing and closed all of her social media accounts,

Sie hörte auf zu schreiben und schloss alle ihre Konten auf Sozialen Medien,

which is, you know, a tough thing to do when you're a journalist.

was heikel ist, wenn man Journalistin ist.

And she was afraid to go outside her family's home.

Sie fürchtete sich davor, das Haus ihrer Familie zu verlassen.

What if the posters made good on their threats?

Was wenn die Postenden ihre Drohungen wahr machen?

The UN Council on Human Rights confirmed that she wasn't being crazy.

Der UN-Menschenrechtsrat bestätigte, dass sie nicht verrückt war.

It issued a public statement saying that they were worried about her safety.

Er gab eine öffentliche Stellungnahme mit der Aussage,

dass sie um ihre Sicherheit besorgt seien.

What Rana Ayyub faced was a deepfake:

Rana Ayyub sah sich mit einem Deepfake konfrontiert:

machine-learning technology

Lernfähige Technologie,

that manipulates or fabricates audio and video recordings

die Ton- und Videoaufnahmen manipuliert oder erstellt,

to show people doing and saying things

um Leute zu zeigen, wie sie etwas tun oder sagen,

that they never did or said.

dass sie niemals taten oder sagten.

Deepfakes appear authentic and realistic, but they're not;

Deepfakes erscheinen glaubwürdig und lebensecht zu sein,

das sind sie aber nicht.

they're total falsehoods.

Sie sind totale Lügen.

Although the technology is still developing in its sophistication,

Obwohl die Technologie weiter verfeinert wird,

ist sie weit verbreitet.

it is widely available.

Now, the most recent attention to deepfakes arose,

Deepfakes erregten zuletzt Aufmerksamkeit,

as so many things do online,

wie so viele Dinge online,

with pornography.

durch Pornographie.

In early 2018,

Anfang 2018 postete jemand ein Tool auf Reddit,

someone posted a tool on Reddit

um Nutzern zu ermöglichen, Gesichter in Porno-Videos einzufügen.

to allow users to insert faces into porn videos.

And what followed was a cascade of fake porn videos

Es folgte eine Kaskade von gefälschten Porno-Videos

featuring people's favorite female celebrities.

mit den weiblichen Lieblingsprominenten.

And today, you can go on YouTube and pull up countless tutorials

Heutzutage kann man auf YouTube gehen

und auf zahllose Anleitungen mit schrittweisen Anweisungen zugreifen,

with step-by-step instructions

on how to make a deepfake on your desktop application.

wie man ein Deepfake mit der Desktop-Anwendung erstellt.

And soon we may be even able to make them on our cell phones.

Bald werden wir das vielleicht sogar auf dem Smartphone können.

Now, it's the interaction of some of our most basic human frailties

Es ist die Wechselwirkung

zwischen einigen unserer grundlegendsten menschlichen Schwächen und Netzwerk-Tools,

and network tools

die Deepfakes in Waffen verwandeln können.

that can turn deepfakes into weapons.

So let me explain.

Um es deutlicher zu machen:

As human beings, we have a visceral reaction to audio and video.

Als menschliche Wesen zeigen wir tiefsitzende Reaktionen auf Ton und Video.

We believe they're true,

Wir glauben sie sind wahr.

on the notion that of course you can believe

auf dem Gedanken basierend, dass man glauben kann,

what your eyes and ears are telling you.

was die Augen und Ohren wahrnehmen.

And it's that mechanism

Dieser Mechanismus untergräbt vielleicht unseren gemeinsamen Sinn für Realität.

that might undermine our shared sense of reality.

Although we believe deepfakes to be true, they're not.

Obwohl wir glauben, Deepfakes seien wahr,

sind sie es nicht.

And we're attracted to the salacious, the provocative.

Wir werden vom Obszönen, dem Provokativen angezogen.

We tend to believe and to share information

Wir neigen dazu Informationen zu glauben und zu teilen,

that's negative and novel.

die negativ und originell sind.

And researchers have found that online hoaxes spread 10 times faster

Forscher fanden heraus,

dass sich Online-Falschmeldungen zehnmal schneller verbreiten

than accurate stories.

als zutreffende Geschichten.

Now, we're also drawn to information

Es zieht uns auch zu Informationen, die sich mit unseren Ansichten decken.

that aligns with our viewpoints.

Psychologists call that tendency "confirmation bias."

Psychologen nennen diese Neigung "Bestätigungstendenz".

And social media platforms supercharge that tendency,

Social-Media-Plattformen übersteigern diese Neigung,

by allowing us to instantly and widely share information

indem sie uns ermöglichen,

Informationen im Einklang mit unseren Ansichten

that accords with our viewpoints.

sofort und weitläufig zu teilen.

Now, deepfakes have the potential to cause grave individual and societal harm.

Deepfakes haben das Potential,

ernsten Schaden persönlicher und gesellschaftlicher Art anzurichten.

So, imagine a deepfake

Stellen Sie sich einen Deepfake vor,

that shows American soldiers in Afganistan burning a Koran.

der US-Soldaten in Afghanistan zeigt, wie sie einen Koran verbrennen.

You can imagine that that deepfake would provoke violence

Man kann sich denken,

dass dieser Deepfake zu Gewalt gegen die Soldaten führen würde.

against those soldiers.

And what if the very next day

Und was, wenn direkt am nächsten Tag

there's another deepfake that drops,

ein weiterer Deepfake geschickt wird,

that shows a well-known imam based in London

der einen bekannten Imam aus London zeigt

praising the attack on those soldiers?

und den Angriff auf diese Soldaten lobt?

We might see violence and civil unrest,

Wie erleben vielleicht Gewalt und Unruhen,

not only in Afganistan and the United Kingdom,

nicht nur in Afghanistan und im Vereinigten Königreich,

but across the globe.

sondern überall auf der Welt.

And you might say to me,

Sie sagen vielleicht zu mir:

"Come on, Danielle, that's far-fetched."

"Kommen Sie, Danielle, das ist weit hergeholt."

But it's not.

Aber das ist es nicht.

We've seen falsehoods spread

Wir erlebten, wie Lügen, die sich auf WhatsApp

on WhatsApp and other online message services

und weiteren Online-Nachrichten- Diensten verbreiteten,

lead to violence against ethnic minorities.

Gewalt gegen ethnische Minderheiten zur Folge gehabt haben.

And that was just text --

Und das war nur Text.

imagine if it were video.

Stellen Sie sich vor, es wäre ein Video.

Now, deepfakes have the potential to corrode the trust that we have

Deepfakes haben das Potential,

das in demokratische Institutionen gesetzte Vertrauen, zu zersetzen.

in democratic institutions.

So, imagine the night before an election.

Denken Sie an die Nacht vor einer Wahl.

There's a deepfake showing one of the major party candidates

Es gäbe ein Deepfake, das einen Kandidaten einer Volkspartei schwer krank zeigt.

gravely sick.

The deepfake could tip the election

Der Deepfake könnte bei der Wahl den Ausschlag geben

and shake our sense that elections are legitimate.

und unser Gefühl erschüttern, dass Wahlen rechtmäßig sind.

Imagine if the night before an initial public offering

Stellen Sie sich vor, in der Nacht vor einem Börsengang

of a major global bank,

einer globalen Großbank,

there was a deepfake showing the bank's CEO

gäbe es einen Deepfake, der den Bankvorstand zeigt,

drunkenly spouting conspiracy theories.

wie er Verschwörungstheorien betrunken vom Stapel lässt.

The deepfake could tank the IPO,

Das Deepfake könnte den Börsengang in sich zusammenbrechen lassen,

and worse, shake our sense that financial markets are stable.

und schlimmer noch,

unser Gefühl erschüttern, dass die Finanzmärkte stabil sind.

So deepfakes can exploit and magnify the deep distrust that we already have

Deepfakes können das tiefe Misstrauen ausbeuten und verstärken,

das wir schon gegenüber Politikern, Wirtschaftsführern

in politicians, business leaders and other influential leaders.

und einflussreichen Personen hegen.

They find an audience primed to believe them.

Sie finden ein instruiertes gläubiges Publikum.

And the pursuit of truth is on the line as well.

Das Streben nach Wahrheit steht auch auf dem Spiel.

Technologists expect that with advances in AI,

Technologen erwarten, dass es mit dem Fortschritt in der KI

soon it may be difficult if not impossible

bald schwierig, wenn nicht sogar unmöglich sein wird,

to tell the difference between a real video and a fake one.

zwischen einem echten Video und einem gefälschten zu unterscheiden.

So how can the truth emerge in a deepfake-ridden marketplace of ideas?

Wie kann auf einem Marktplatz der Ideen,

der von Deepfakes beherrscht wird, die Wahrheit heraustreten?

Will we just proceed along the path of least resistance

Gehen wir einfach weiter den Weg des geringsten Widerstandes

and believe what we want to believe,

und glauben, was wir glauben wollen?

truth be damned?

Die Wahrheit sei verflucht.

And not only might we believe the fakery,

Nicht nur, dass wir vielleicht der Fälschung glauben,

we might start disbelieving the truth.

wir beginnen vielleicht der Wahrheit zu misstrauen.

We've already seen people invoke the phenomenon of deepfakes

Wir erlebten bereits Leute, die das Phänomen der Deepfakes anführen,

to cast doubt on real evidence of their wrongdoing.

um Zweifel an echten Beweisen zu ihrem Fehlverhalten zu sähen.

We've heard politicians say of audio of their disturbing comments,

Wir hörten Politiker, die über Aufnahmen ihrer verstörenden Kommentare sagten:

"Come on, that's fake news.

"Kommen Sie, das sind 'Fake news'.

You can't believe what your eyes and ears are telling you."

Man kann nicht glauben, was die Augen und Ohren wahrnehmen."

And it's that risk

Das ist die Gefahr,

that professor Robert Chesney and I call the "liar's dividend":

die Professor Robert Chesney und ich, die "Dividende des Lügners" nennen:

the risk that liars will invoke deepfakes

Die Gefahr, dass Lügner Deepfakes anführen,

to escape accountability for their wrongdoing.

um der Rechenschaft für ihr Fehlverhalten zu entkommen.

So we've got our work cut out for us, there's no doubt about it.

Wir müssen etwas Schwieriges schaffen, darüber besteht kein Zweifel.

And we're going to need a proactive solution

Wir werden eine vorausschauende Lösung

from tech companies, from lawmakers,

von Technologie-Unternehmen, vom Gesetzgeber,

law enforcers and the media.

von Gesetzeshütern und den Medien brauchen.

And we're going to need a healthy dose of societal resilience.

Wir benötigen eine gesunde Dosis gesellschaftlicher Widerstandsfähigkeit.

So now, we're right now engaged in a very public conversation

Wir sind gerade mit überaus öffentlichen Gesprächen

about the responsibility of tech companies.

über die Verantwortung von Technologie-Unternehmen beschäftigt.

And my advice to social media platforms

Mein Rat an Social-Media-Plattformen war,

has been to change their terms of service and community guidelines

ihre Nutzungsbedingungen und die Gemeinschaftsleitlinien zu ändern,

to ban deepfakes that cause harm.

um Deepfakes zu sperren, die Schaden verursachen.

That determination, that's going to require human judgment,

Diese Feststellung wird menschliche Beurteilung erfordern

and it's expensive.

und ist kostspielig.

But we need human beings

Aber wir brauchen menschliche Wesen,

to look at the content and context of a deepfake

um den Inhalt und den Kontext von Deepfakes zu betrachten

to figure out if it is a harmful impersonation

und herauszufinden, ob es eine schädliche Verkörperung

or instead, if it's valuable satire, art or education.

oder stattdessen eine wertvolle Satire, Kunst oder Bildung ist.

So now, what about the law?

Was ist mit dem Recht?

Law is our educator.

Das Recht ist unser Lehrer.

It teaches us about what's harmful and what's wrong.

Es lehrt uns, was gefährlich und falsch ist.

And it shapes behavior it deters by punishing perpetrators

Es formt Verhalten, es schreckt Täter ab, indem es bestraft,

and securing remedies for victims.

und garantiert Rechtsmittel für die Opfer.

Right now, law is not up to the challenge of deepfakes.

Zur Zeit ist das Recht nicht auf der Höhe der Herausforderung durch Deepfakes.

Across the globe,

Überall auf der Welt

we lack well-tailored laws

mangelt es an maßgeschneidertem Recht,

that would be designed to tackle digital impersonations

das entworfen wäre, digitalen Identitätswechsel anzugehen,

that invade sexual privacy,

die in sexuelle Privatsphäre eindringt,

that damage reputations

die gute Namen beschädigt

and that cause emotional distress.

und emotionalen Schmerz verursacht.

What happened to Rana Ayyub is increasingly commonplace.

Was Rana Ayyub passierte, wird zunehmend zur Alltäglichkeit.

Yet, when she went to law enforcement in Delhi,

Doch als sie sich an die Gesetzeshüter in Delhi wandte, sagte man ihr,

she was told nothing could be done.

es könnte nichts unternommen werden.

And the sad truth is that the same would be true

Und die traurige Wahrheit ist:

Das Gleiche gilt für Europa und die Vereinigten Staaten.

in the United States and in Europe.

So we have a legal vacuum that needs to be filled.

Wir haben einen rechtsfreien Raum, der gefüllt werden muss.

My colleague Dr. Mary Anne Franks and I are working with US lawmakers

Meine Kollegin, Dr. Mary Anne Franks, und ich erarbeiten gemeinsam

to devise legislation that would ban harmful digital impersonations

mit US-Gesetzgebern Gesetzestexte, die Identitätswechsel verbieten,

that are tantamount to identity theft.

der gleichbedeutend mit Identitätsdiebstahl ist.

And we've seen similar moves

Wir haben ähnliche Schritte

in Iceland, the UK and Australia.

in Island, dem Vereinigten Königreich und Australien erlebt.

But of course, that's just a small piece of the regulatory puzzle.

Aber selbstverständlich ist das nur ein kleiner Teil des Regelungspuzzles.

Now, I know law is not a cure-all. Right?

Ich weiß, dass Recht kein Allheilmittel ist, oder?

It's a blunt instrument.

Es ist ein stumpfes Instrument.

And we've got to use it wisely.

Und wir müssen es weise einsetzen.

It also has some practical impediments.

Es hat auch einige praktische Hemmschuhe.

You can't leverage law against people you can't identify and find.

Man kann Recht nicht gegen Leute nutzen,

die man nicht identifizieren und auffinden kann.

And if a perpetrator lives outside the country

Wenn ein Täter nicht im Land des Opfers lebt,

where a victim lives,

then you may not be able to insist

kann man vielleicht nicht darauf bestehen,

that the perpetrator come into local courts

dass der Täter zum Amtsgericht kommt, um sich der Gerechtigkeit zu stellen.

to face justice.

And so we're going to need a coordinated international response.

Wir benötigen eine koordinierte internationale Antwort.

Education has to be part of our response as well.

Schulung muss auch ein Teil unserer Antwort sein.

Law enforcers are not going to enforce laws

Gesetzeshüter setzen keine Gesetze durch,

they don't know about

von denen sie nichts wissen

and proffer problems they don't understand.

und Probleme ansprechen, die sie nicht verstehen.

In my research on cyberstalking,

Bei meiner Forschung zu Cyberstalking fand ich heraus,

I found that law enforcement lacked the training

dass den Gesetzeshütern die Schulung fehlt,

to understand the laws available to them

um die gültigen Gesetze und das Problem des Online-Missbrauchs zu verstehen.

and the problem of online abuse.

And so often they told victims,

So oft wird den Opfern gesagt:

"Just turn your computer off. Ignore it. It'll go away."

"Schalten Sie einfach den Computer aus. Ignorieren Sie es. Es geht vorbei."

And we saw that in Rana Ayyub's case.

Wir erlebten das im Fall von Rana Ayyub.

She was told, "Come on, you're making such a big deal about this.

Man sagte ihr: "Komm schon, Du machst so eine große Sache daraus.

It's boys being boys."

Jungs sind nun mal Jungs."

And so we need to pair new legislation with efforts at training.

Wir müssen also neue Gesetzgebung mit Schulungsmaßnahmen koppeln.

And education has to be aimed on the media as well.

Und Schulungen müssen auch auf die Medien gerichtet werden.

Journalists need educating about the phenomenon of deepfakes

Journalisten brauchen Schulungen zum Phänomen der Deepfakes,

so they don't amplify and spread them.

damit sie sie nicht verstärken und sie verbreiten.

And this is the part where we're all involved.

Das ist der Teil, wo wir alle beteiligt sind.

Each and every one of us needs educating.

Alle von uns brauchen Schulungen.

We click, we share, we like, and we don't even think about it.

Wir klicken, wir teilen, wir liken und denken noch nicht mal darüber nach.

We need to do better.

Wir müssen es besser machen.

We need far better radar for fakery.

Wir brauchen für Fälschungen einen viel besseren Radar.

So as we're working through these solutions,

Während wir uns durch die Lösungen arbeiten,

there's going to be a lot of suffering to go around.

liegt noch viel Leid vor uns.

Rana Ayyub is still wrestling with the fallout.

Rana Ayyub kämpft immer noch mit den negativen Folgen.

She still doesn't feel free to express herself on- and offline.

Sie kann sich noch immer nicht ohne Zögern online und offline ausdrücken.

And as she told me,

Und wie sie mir sagte,

she still feels like there are thousands of eyes on her naked body,

fühlt sie immer noch, als starrten tausende Augen auf ihren nackten Körper,

even though, intellectually, she knows it wasn't her body.

obwohl sie verstandesmäßig weiß, dass es nicht ihr Körper war.

And she has frequent panic attacks,

Sie hat häufige Panikattacken

especially when someone she doesn't know tries to take her picture.

und besonders dann, wenn jemand, den sie nicht kennt, versucht,

ein Foto von ihr zu machen.

"What if they're going to make another deepfake?" she thinks to herself.

Sie denkt sich: "Was, wenn man ein anderes Deepfake machen wird?"

And so for the sake of individuals like Rana Ayyub

Um Personen wie Rana Ayyub willen

and the sake of our democracy,

und um unserer Demokratie willen,

we need to do something right now.

müssen wir jetzt etwas unternehmen.

Thank you.

Danke.

(Applause)

(Applaus)