How we can protect truth in the age of misinformation | Sinan Aral

Translator: Ivana Korom Reviewer: Krystian Aparta

Übersetzung: Siri Hölperl Lektorat: Sonja Maria Neef

So, on April 23 of 2013,

[Sinan Aral] Am 23. April 2013,

the Associated Press put out the following tweet on Twitter.

veröffentlichte die "Associated Press" den folgenden Tweet auf Twitter:

It said, "Breaking news:

"Eilmeldung: 2 Explosionen im Weißen Haus, Barack Obama wurde verletzt."

Two explosions at the White House

and Barack Obama has been injured."

This tweet was retweeted 4,000 times in less than five minutes,

Dieser Tweet wurde in weniger als 5 Minuten 4.000 Mal retweetet

and it went viral thereafter.

und verbreitete sich anschließend viral.

Now, this tweet wasn't real news put out by the Associated Press.

Dieser Tweet war keine echte Neuigkeit, von der Associated Press herausgegeben,

In fact it was false news, or fake news,

sondern eine Falschnachricht, Fake News, von syrischen Hackern verbreitet,

that was propagated by Syrian hackers

that had infiltrated the Associated Press Twitter handle.

die den Twitter-Account der Associated Press übernommen hatten.

Their purpose was to disrupt society, but they disrupted much more.

Ihr Ziel war, die Gesellschaft zu stören, aber sie störten viel mehr.

Because automated trading algorithms

Weil automatisierte Handelsalgorithmen

immediately seized on the sentiment on this tweet,

sofort die Stimmungslage dieses Tweets erfassten,

and began trading based on the potential

und Börsengeschäfte ausführten, die auf der Annahme beruhten,

that the president of the United States had been injured or killed

dass der Präsident der USA in der Explosion verletzt oder getötet wurde.

in this explosion.

And as they started tweeting,

Als sie anfingen zu tweeten, stürzte sofort die Börse ein,

they immediately sent the stock market crashing,

und 140 Milliarden Dollar Aktienkapital wurden an einem einzigen Tag ausgelöscht.

wiping out 140 billion dollars in equity value in a single day.

Robert Mueller, special counsel prosecutor in the United States,

Robert Mueller, US Sonderstaatsanwalt,

issued indictments against three Russian companies

erhob Anklage gegen drei russische Firmen und 13 russische Personen,

and 13 Russian individuals

wegen einem Zusammenschluss zum Betrug der Vereinigten Staaten,

on a conspiracy to defraud the United States

durch Einmischung in die Präsidentschaftswahl 2016.

by meddling in the 2016 presidential election.

And what this indictment tells as a story

Was uns diese Anklage erzählt,

is the story of the Internet Research Agency,

ist die Geschichte der Internet Research Agency,

the shadowy arm of the Kremlin on social media.

eine undurchsichtige Abteilung des Kremls, die auf sozialen Netzwerken tätig ist.

During the presidential election alone,

Allein bei der Präsidentschaftswahl, erreichte die Internet Research Agency

the Internet Agency's efforts

reached 126 million people on Facebook in the United States,

in den Vereinigten Staaten auf Facebook 126 Milionen Menschen,

issued three million individual tweets

veröffentlichte 3 Millionen Einzel-Tweets und 43 Stunden YouTube-Inhalte.

and 43 hours' worth of YouTube content.

All of which was fake --

Alles war gefälscht --

misinformation designed to sow discord in the US presidential election.

Falschinformationen, deren Ziel es war, Uneinigkeit in die Wahl zu bringen.

A recent study by Oxford University

Laut einer aktuellen Studie der Universität Oxford,

showed that in the recent Swedish elections,

war bei den letzten Wahlen in Schweden, ein Drittel aller Informationen zur Wahl,

one third of all of the information spreading on social media

die auf Social Media verteilt wurden, falsch oder Fehlinformationen.

about the election

was fake or misinformation.

In addition, these types of social-media misinformation campaigns

Solche Fehlinformationskampagnen auf sozialen Kanälen,

can spread what has been called "genocidal propaganda,"

können zur Verbreitung sogenannter "Völkermord-Propaganda" beitragen,

for instance against the Rohingya in Burma,

wie die gegen die Rohingya in Birma, welche Mob-Morde in Indien auslöste.

triggering mob killings in India.

We studied fake news

Wir erforschten Fake-News, lange bevor es ein bekannter Begriff war.

and began studying it before it was a popular term.

And we recently published the largest-ever longitudinal study

In der diesjährigen März-Ausgabe des "Science" Magazins,

veröffentlichten wir die größte Lanzeitstudie

of the spread of fake news online

zur Verbreitung von Fehlinformationen online.

on the cover of "Science" in March of this year.

Wir untersuchten alle überprüften, wahren und falschen Nachrichten,

We studied all of the verified true and false news stories

that ever spread on Twitter,

die seit der Gründung 2006 bis 2017 auf Twitter verbreitet wurden.

from its inception in 2006 to 2017.

And when we studied this information,

Als wir diese Daten erforschten, untersuchten wir überprüfte Nachrichten,

we studied verified news stories

that were verified by six independent fact-checking organizations.

die von 6 unhabhängigen Organisationen im Faktencheck verifiziert wurden.

So we knew which stories were true

Wir wussten also, welche Geschichten wahr waren und welche falsch.

and which stories were false.

We can measure their diffusion,

Wir können ihre Ausbreitung messen, ihre Geschwindigkeit, Tiefe und Breite.

the speed of their diffusion,

the depth and breadth of their diffusion,

how many people become entangled in this information cascade and so on.

Wieviele Leute sich in dieser Kaskade von Informationen verwickeln usw.

And what we did in this paper

Wir vergleichten in dieser Studie

was we compared the spread of true news to the spread of false news.

die Ausbreitung der wahren Nachrichten mit der Ausbreitung der falschen.

And here's what we found.

Hier ist unser Ergebnis:

We found that false news diffused further, faster, deeper

Wir fanden heraus, dass falsche News sich weiter, schneller, tiefer und breiter

and more broadly than the truth

verbreiten als die Wahrheit,

in every category of information that we studied,

in allen Kategorien, die wir untersuchten,

sometimes by an order of magnitude.

manchmal mit großen Unterschieden.

And in fact, false political news was the most viral.

Falsche politische Nachrichten waren besonders viral.

It diffused further, faster, deeper and more broadly

Sie verbreiteten sich weiter, schneller, tiefer und breiter

than any other type of false news.

als alle Arten von Falschnachrichten.

When we saw this,

Als wir das sahen, waren wir sofort beunruhigt, aber auch neugierig.

we were at once worried but also curious.

Why?

Warum?

Why does false news travel so much further, faster, deeper

Warum verbreiten sich falsche Nachrichten weiter, schneller,

and more broadly than the truth?

tiefer und breiter als die Wahrheit?

The first hypothesis that we came up with was,

Unsere erste Hypothese war:

Vielleicht haben Leute, die falsche Nachrichten verbreiten, mehr Anhänger,

"Well, maybe people who spread false news have more followers or follow more people,

folgen mehr Leuten, tweeten öfter,

or tweet more often,

or maybe they're more often 'verified' users of Twitter, with more credibility,

vielleicht sind sie öfter "verifizierte" Twitter-Nutzer, mit mehr Glaubwürdigkeit,

or maybe they've been on Twitter longer."

oder vielleicht waren sie bereits länger auf Twitter?

So we checked each one of these in turn.

Also überprüften wir jede dieser Theorien.

And what we found was exactly the opposite.

Was wir herausfanden, war das Gegenteil:

False-news spreaders had fewer followers,

Fake-News-Verbreiter hatten weniger Abonnenten,

followed fewer people, were less active,

folgten weniger Leuten, waren weniger aktiv,

less often "verified"

seltener "verifiziert" und alle waren seit kürzerer Zeit auf Twitter.

and had been on Twitter for a shorter period of time.

And yet,

Und dennoch war es 70% wahrscheinlicher, dass Falschmeldungen retweetet werden,

false news was 70 percent more likely to be retweeted than the truth,

als die Wahrheit, trotz dieser und vieler weiterer Faktoren.

controlling for all of these and many other factors.

So we had to come up with other explanations.

Also mussten wir andere Erklärungen finden.

And we devised what we called a "novelty hypothesis."

Wir haben uns etwas überlegt, das wir "Neuheit-Hypothese" nennen.

So if you read the literature,

In der Forschung ist bekannt,

it is well known that human attention is drawn to novelty,

dass die menschliche Aufmerksamkeit von Neuem angezogen wird,

things that are new in the environment.

von Dingen, die in der Umwelt neu sind.

And if you read the sociology literature,

Wenn Sie Soziologieforschung lesen,

you know that we like to share novel information.

wissen Sie, dass wir diese neuen Informationen gerne teilen.

It makes us seem like we have access to inside information,

Wir sehen so aus, als hätten wir Zugang zu Insider-Informationen

and we gain in status by spreading this kind of information.

und unser Status wächst, weil wir solche Informationen teilen.

So what we did was we measured the novelty of an incoming true or false tweet,

Wir haben dann gemessen,

welchen Neuheitswert ein neuer, wahrer oder falscher Tweet hatte,

compared to the corpus of what that individual had seen

auf der Basis von anderen Inhalten,

die der User, 60 Tage vorher auf Twitter gesehen hatte.

in the 60 days prior on Twitter.

But that wasn't enough, because we thought to ourselves,

Aber das war nicht genug, weil wir uns dachten:

"Well, maybe false news is more novel in an information-theoretic sense,

Vielleicht sind falsche Nachrichten neuer im informationstheoretischen Sinne,

but maybe people don't perceive it as more novel."

aber vielleicht empfinden es die Leute nicht als neuer.

So to understand people's perceptions of false news,

Um die Wahrnehmung der Leute von Falschnachrichten zu verstehen,

we looked at the information and the sentiment

sahen wir uns die Informationen und die Stimmungen an,

contained in the replies to true and false tweets.

die in den Antworten auf wahre und falsche Tweets vorherrschten.

And what we found

Unter verschiedenen Stimmungskategorien --

was that across a bunch of different measures of sentiment --

surprise, disgust, fear, sadness,

Überraschung, Abscheu, Angst, Trauer,

anticipation, joy and trust --

Vorfreude, Freude und Vertrauen --

false news exhibited significantly more surprise and disgust

fanden wir bei Falschnachrichten deutlich häufiger Überraschung und Abscheu

in the replies to false tweets.

in den Kommentaren zu falschen Tweets .

And true news exhibited significantly more anticipation,

Wahre Nachrichten zeigen deutlich mehr

Vorfreude, Freude und Vertrauen

joy and trust

in reply to true tweets.

in den Antworten zu wahren Tweets.

The surprise corroborates our novelty hypothesis.

Die 'Überraschung' bestätigt unsere Neuheit-Hypothese.

This is new and surprising, and so we're more likely to share it.

Das ist neu und überraschend, also teilen wir es eher.

At the same time, there was congressional testimony

Zur gleichen Zeit gab es Anhörungen im US Kongress,

in front of both houses of Congress in the United States,

vor beiden Häusern des Kongress, welche sich mit der Rolle von Bots

looking at the role of bots in the spread of misinformation.

bei der Verbreitung von Falschinformationen beschäftigt haben.

So we looked at this too --

Also haben wir uns auch das angeschaut:

we used multiple sophisticated bot-detection algorithms

Wir haben mehrere ausgefeilte Bot-Erkennungsalgorithmen verwendet,

to find the bots in our data and to pull them out.

um die Bots in unseren Daten zu finden und herauszufiltern.

So we pulled them out, we put them back in

Wir haben sie enfernt und wieder eingefügt und haben dann verglichen,

and we compared what happens to our measurement.

was mit unseren Ergebnissen passiert.

And what we found was that, yes indeed,

Wir fanden heraus, dass Bots tatsächlich die Verbreitung von Falschnachrichten

bots were accelerating the spread of false news online,

im Internet beschleunigt haben,

but they were accelerating the spread of true news

die Verbreitung wahrer Nachrichten aber ungefähr genauso viel.

at approximately the same rate.

Which means bots are not responsible

Was bedeutet, dass Bots nicht dafür verantwortlich sind,

for the differential diffusion of truth and falsity online.

dass sich Wahres und Falsches online verschieden verbreiten.

We can't abdicate that responsibility,

Wir können die Verantwortung dafür nicht abgeben,

because we, humans, are responsible for that spread.

weil wir Menschen für diese Verbreitung verantwortlich sind.

Now, everything that I have told you so far,

Alles was ich Ihnen bisher erzählt habe -- ist für uns alle, leider,

unfortunately for all of us,

is the good news.

die gute Nachricht.

The reason is because it's about to get a whole lot worse.

Der Grund dafür ist, dass es noch viel schlimmer wird.

And two specific technologies are going to make it worse.

Zwei bestimmte Technologien werden es noch schlimmer machen.

We are going to see the rise of a tremendous wave of synthetic media.

Wir werden den Anstieg einer enormen Welle an synthetischen Medien sehen.

Fake video, fake audio that is very convincing to the human eye.

Manipulierte Video- und Audiodateien, die auf Menschen sehr überzeugend wirken.

And this will powered by two technologies.

Und dies wird von zwei Technologien vorangetrieben.

The first of these is known as "generative adversarial networks."

Die erste davon ist bekannt als 'Generative Adversarial Networks'.

This is a machine-learning model with two networks:

Das ist ein Modell für machinelles Lernen mit zwei Netzwerken:

a discriminator,

einem Diskriminator,

whose job it is to determine whether something is true or false,

dessen Aufgabe es ist, zu bestimmen, ob etwas wahr oder falsch ist,

and a generator,

und einem Generator,

whose job it is to generate synthetic media.

dessen Aufgabe es ist, synthetische Medien zu produzieren.

So the synthetic generator generates synthetic video or audio,

Der synthetische Generator produziert also synthetische Videos oder Audio,

and the discriminator tries to tell, "Is this real or is this fake?"

und der Diskriminator versucht zu erkennen, ob es echt oder fake ist.

And in fact, it is the job of the generator

Es ist sogar die Aufgabe des Generators, die Wahrscheinlichkeit zu erhöhen,

to maximize the likelihood that it will fool the discriminator

dass es den Diskriminator täuscht,

into thinking the synthetic video and audio that it is creating

sodass er glaubt, dass das produzierte synthetische Video oder Audio wahr ist.

is actually true.

Imagine a machine in a hyperloop,

Stellen Sie sich eine Maschine vor, die in einer Endlosschleife versucht,

trying to get better and better at fooling us.

besser und besser darin zu werden, uns zu täuschen.

This, combined with the second technology,

Dies, in Verbindung mit der zweiten Technologie,

which is essentially the democratization of artificial intelligence to the people,

die im Wesentlichen die Demokratisierung von künstlicher Intelligenz für alle ist.

the ability for anyone,

Die Möglichkeit für jeden,

without any background in artificial intelligence

ohne Kenntnisse in künstlicher Intelligenz oder maschinellem Lernen

or machine learning,

to deploy these kinds of algorithms to generate synthetic media

diese Algorithmen zu verwenden, um synthetische Medien zu generieren,

makes it ultimately so much easier to create videos.

macht es so viel einfacher Videos zu produzieren.

The White House issued a false, doctored video

Das Weisse Haus veröffentlichte ein falsches, bearbeitetes Video

of a journalist interacting with an intern who was trying to take his microphone.

eines Journalisten und einer Praktikantin, die ihm das Mikrofon wegnehmen wollte.

They removed frames from this video

Sie haben Einzelbilder aus dem Video herausgeschnitten,

in order to make his actions seem more punchy.

damit sein Verhalten dramatischer wirkt.

And when videographers and stuntmen and women

Als Videofilmer, Stunt-Männer und -Frauen zu diese Technik befragt wurden,

were interviewed about this type of technique,

sagten sie: "Ja, wir benutzen das in unseren Filmen ständig,

they said, "Yes, we use this in the movies all the time

to make our punches and kicks look more choppy and more aggressive."

um unsere Schläge und Tritte schneller und agressiver aussehen zu lassen."

They then put out this video

Sie haben dieses Video veröffentlicht

and partly used it as justification

und es als Rechtfertigung benutzt, um dem Jornalisten Jim Acosta

to revoke Jim Acosta, the reporter's, press pass

den Presseausweis des Weissen Hauses zu entziehen.

from the White House.

And CNN had to sue to have that press pass reinstated.

CNN musste klagen, um den Presseausweis zurückzuerhalten.

There are about five different paths that I can think of that we can follow

Meiner Meinung nach, gibt es fünf verschiedene Wege, die wir gehen können,

to try and address some of these very difficult problems today.

um zu versuchen, einige dieser schwierigen Probleme anzugehen.

Each one of them has promise,

Sie haben alle Potenzial, aber jeder davon hat auch eigene Herausforderungen.

but each one of them has its own challenges.

The first one is labeling.

Der erste Weg ist Kennzeichnung. Stellen Sie sich das so vor:

Think about it this way:

when you go to the grocery store to buy food to consume,

Wenn Sie im Supermarkt Lebensmittel kaufen,

it's extensively labeled.

ist es umfangreich beschriftet.

You know how many calories it has,

Sie wissen wieviele Kalorien es hat, wieviel Fett es enthält,

how much fat it contains --

and yet when we consume information, we have no labels whatsoever.

aber wenn wir Informationen aufnehmen, haben wir keinerlei Kennzeichnung.

What is contained in this information?

Was enthält diese Information?

Is the source credible?

Ist die Quelle glaubwürdig?

Where is this information gathered from?

Woher kommt diese Information?

We have none of that information

Wir haben keine dieser Antworten, wenn wir Informationen konsumieren.

when we are consuming information.

That is a potential avenue, but it comes with its challenges.

Das ist ein möglicher Weg, aber er hat auch Herausforderungen.

For instance, who gets to decide, in society, what's true and what's false?

Zum Beispiel, wer in der Gesellschaft entscheidet, was wahr oder falsch ist?

Is it the governments?

Sind es die Regierungen? Ist es Facebook?

Is it Facebook?

Is it an independent consortium of fact-checkers?

Ist es ein unabhängiger Verbund von Faktenprüfern?

And who's checking the fact-checkers?

Und wer überprüft die Faktenprüfer?

Another potential avenue is incentives.

Ein weiterer möglicher Weg sind Anreize.

We know that during the US presidential election

Wir wissen, dass es während der US-Präsidentschaftswahl

there was a wave of misinformation that came from Macedonia

eine Welle von Falsch-Informationen aus Mazedonien gab,

that didn't have any political motive

welche kein politisches Motiv verfolgten, sondern ein wirtschafliches.

but instead had an economic motive.

And this economic motive existed,

Dieses wirtschaftliche Motiv existierte, weil sich falsche Nachrichten

because false news travels so much farther, faster

viel weiter, schneller, und tiefer verbreiten als die Wahrheit.

and more deeply than the truth,

and you can earn advertising dollars as you garner eyeballs and attention

Und man kann Werbeeinnahmen erzielen,

durch die Aufmerksamkeit, die diese Art von Information generieren kann.

with this type of information.

But if we can depress the spread of this information,

Aber wenn wir die Verteilung dieser Informationen unterdrücken könnten,

perhaps it would reduce the economic incentive

würde es vielleicht den wirtschaflichen Anreiz reduzieren,

to produce it at all in the first place.

diese überhaupt erst zu produzieren.

Third, we can think about regulation,

Drittens können wir über Regulierungen nachdenken.

and certainly, we should think about this option.

Und wir sollten definitiv über diese Option nachdenken.

In the United States, currently,

In den USA wird aktuell erforscht, was passieren könnte,

we are exploring what might happen if Facebook and others are regulated.

wenn Facebook und andere kontrolliert würden.

While we should consider things like regulating political speech,

Während wir uns überlegen sollten, politische Rede zu regulieren,

labeling the fact that it's political speech,

sie als politische Rede zu kennzeichnen, und sicherzustellen,

making sure foreign actors can't fund political speech,

dass ausländische Akteure politische Rede nicht finanzieren können,

it also has its own dangers.

so birgt diese Regulierung auch Gefahren.

For instance, Malaysia just instituted a six-year prison sentence

Zum Beispiel hat Malaysia kürzlich eine Gefängnisstrafe von 6 Jahren eingeführt,

für jeden, der überführt wird, falsche Informationen verbreitet zu haben.

for anyone found spreading misinformation.

And in authoritarian regimes,

In autoritären Regimes können solche Vorschriften genutzt werden,

these kinds of policies can be used to suppress minority opinions

um Meinungen von Minderheiten zu unterdrücken

and to continue to extend repression.

und Unterdrückung weiter auszuweiten.

The fourth possible option is transparency.

Die vierte Option ist Transparenz.

We want to know how do Facebook's algorithms work.

Wir möchten wissen, wie die Algorithmen von Facebook funktionieren.

How does the data combine with the algorithms

Wie arbeiten Daten mit den Algorithmen zusammen,

to produce the outcomes that we see?

um die Ergebnisse zu produzieren, die wir sehen?

We want them to open the kimono

Wir möchten, dass sie ihren Mantel öffnen, und uns das Innenleben von Facebook zeigen

and show us exactly the inner workings of how Facebook is working.

und wie es genau funktioniert.

And if we want to know social media's effect on society,

Wenn wir wissen wollen, wie sich soziale Medien auf die Gesellschaft auswirken,

we need scientists, researchers

müssen Wissenschaftler, Forscher und andere

and others to have access to this kind of information.

Zugriff auf solche Informationen erhalten.

But at the same time,

Aber gleichzeitig möchten wir,

we are asking Facebook to lock everything down,

dass Facebook alles abriegelt, um diese Daten zu sichern.

to keep all of the data secure.

So, Facebook and the other social media platforms

Das heißt, Facebook und die anderen Social Media Plattformen

are facing what I call a transparency paradox.

unterliegen einem, wie ich es nenne, "Transparenz-Paradox",

We are asking them, at the same time,

Wir bitten sie, offen und transparent und gleichzeitig sicher zu sein.

to be open and transparent and, simultaneously secure.

This is a very difficult needle to thread,

Das ist eine sehr knifflige Aufgabe, welche aber gelöst werden muss,

but they will need to thread this needle

wenn wir das Potenzial von sozialen Technologien ausschöpfen wollen,

if we are to achieve the promise of social technologies

aber gleichzeitig die Risiken abwenden wollen.

while avoiding their peril.

The final thing that we could think about is algorithms and machine learning.

Das letzte worüber wir nachdenken könnten, sind Algorithmen und maschinelles Lernen.

Technology devised to root out and understand fake news, how it spreads,

Technologien, die Fake News entlarven,

die verstehen, wie sie sich verbreiten, und dann versuchen, sie einzudämmen.

and to try and dampen its flow.

Humans have to be in the loop of this technology,

Menschen müssen über diese Technologien auf dem Laufenden sein,

because we can never escape

weil wir der Tatsache nicht entkommen,

that underlying any technological solution or approach

dass hinter jeder technischen Lösung oder Herangehensweise

is a fundamental ethical and philosophical question

eine fundamentale ethische und philosophische Frage steht:

Wie definieren wir Wahrheit und Unwahrheit?

about how do we define truth and falsity,

to whom do we give the power to define truth and falsity

Wem geben wir die Macht, Wahrheit und Unwahrheit zu definieren?

and which opinions are legitimate,

Welche Meinungen sind gerechtfertigt?

which type of speech should be allowed and so on.

Welche Arten von Aussagen sind erlaubt?

Technology is not a solution for that.

Technologie ist hierfür keine Lösung.

Ethics and philosophy is a solution for that.

Ethik und Philosophie haben Lösungen dafür.

Nearly every theory of human decision making,

Fast alle Theorien menschlicher Entscheidungsfindung,

human cooperation and human coordination

menschlicher Zusammenarbeit und menschlicher Koordinierung,

has some sense of the truth at its core.

haben in ihrem Kern eine Vorstellung von Wahrheit.

But with the rise of fake news,

Aber mit dem Anstieg von Fake News,

the rise of fake video,

dem Anstieg gefälschter Videos

the rise of fake audio,

und dem Anstieg gefälschter Audiodateien,

we are teetering on the brink of the end of reality,

stehen wir am Abgrund vom Ende der Realität,

where we cannot tell what is real from what is fake.

wo wir nicht mehr unterscheiden können, was wahr und was falsch ist.

And that's potentially incredibly dangerous.

Und das kann sehr gefährlich sein.

We have to be vigilant in defending the truth

Wir müssen sicherstellen, die Wahrheit gegenüber Fehlinformation zu verteidigen.

against misinformation.

With our technologies, with our policies

Mit unseren Technologien, mit unseren Richtlinien

and, perhaps most importantly,

und vielleicht am wichtigsten,

with our own individual responsibilities,

mit unserer eigenen, persönlichen, Verantwortung, unserem Verhalten,

decisions, behaviors and actions.

unseren Entscheidungen und Handlungen.

Thank you very much.

Vielen Dank.

(Applause)

(Applaus)