How we can protect truth in the age of misinformation | Sinan Aral

Translator: Ivana Korom Reviewer: Krystian Aparta

Переводчик: Ivana Korom Редактор: Olga Mansurova

So, on April 23 of 2013,

23 апреля 2013 года

the Associated Press put out the following tweet on Twitter.

агентство «Ассошиэйтед Пресс» опубликовало сообщение в Twitter:

«Срочные новости: в Белом доме произошло два взрыва,

It said, "Breaking news:

Two explosions at the White House

and Barack Obama has been injured."

ранен Барак Обама».

This tweet was retweeted 4,000 times in less than five minutes,

В течение пяти минут сообщение ретвитнули 4 000 раз,

and it went viral thereafter.

и в конечном итоге оно взорвало интернет.

Now, this tweet wasn't real news put out by the Associated Press.

Но оказалось, что «Ассошиэйтед Пресс» не имеет отношения к этому твиту.

In fact it was false news, or fake news,

На самом деле новость была фейком,

that was propagated by Syrian hackers

а распространяли её сирийские хакеры,

that had infiltrated the Associated Press Twitter handle.

взломавшие аккаунт «Ассошиэйтед Пресс» в Twitter.

Their purpose was to disrupt society, but they disrupted much more.

Они хотели подорвать безопасность в обществе, но нанесли урон

куда больше, ведь автоматизированные системы биржевой торговли

Because automated trading algorithms

immediately seized on the sentiment on this tweet,

мгновенно уловили реакцию пользователей на сообщение

and began trading based on the potential

и стали вести торговлю, исходя из предположения,

that the president of the United States had been injured or killed

что Президент США ранен или погиб

in this explosion.

при взрыве.

And as they started tweeting,

Как только в Twitter появились сообщения,

they immediately sent the stock market crashing,

тут же последовал биржевой крах,

wiping out 140 billion dollars in equity value in a single day.

и за сутки рынок ценных бумаг потерял 140 миллиардов долларов.

Robert Mueller, special counsel prosecutor in the United States,

Специальный прокурор США Роберт Мюллер

issued indictments against three Russian companies

вынес обвинение трём российским компаниям

and 13 Russian individuals

и 13 гражданам России

on a conspiracy to defraud the United States

по делу о заговоре с целью обмана США

by meddling in the 2016 presidential election.

путём вмешательства в президентские выборы 2016 года.

And what this indictment tells as a story

В обвинительном заключении изложена история

is the story of the Internet Research Agency,

агентства интернет-исследований,

the shadowy arm of the Kremlin on social media.

секретного управления Кремля по работе в социальных сетях.

During the presidential election alone,

В период президентских выборов

the Internet Agency's efforts

агентству удалось охватить аудиторию

reached 126 million people on Facebook in the United States,

в 126 миллионов пользователей Facebook в США,

issued three million individual tweets

опубликовать три миллиона твитов

and 43 hours' worth of YouTube content.

и 43 часа контента на YouTube.

All of which was fake --

Всё это было фейком,

misinformation designed to sow discord in the US presidential election.

ложной информацией, чтобы посеять смуту в ходе выборов президента.

A recent study by Oxford University

Недавнее исследование Оксфордского Университета

showed that in the recent Swedish elections,

показало, что в ходе последних выборов в Швеции

one third of all of the information spreading on social media

треть всей информации, распространяемой в соцсетях

about the election

в отношении выборов,

was fake or misinformation.

была недостоверной, то есть фейком.

In addition, these types of social-media misinformation campaigns

Ко всему прочему, такие кампании по дезинформированию в соцсетях

can spread what has been called "genocidal propaganda,"

могут распространять информацию, направленную на пропаганду геноцида,

for instance against the Rohingya in Burma,

например, кампания против народа рохинджа в Мьянме,

triggering mob killings in India.

спровоцировавшая массовые убийства в Индии.

We studied fake news

Мы изучали фейковые новости,

and began studying it before it was a popular term.

начав эту работу ещё до того, как этот термин стал популярным.

And we recently published the largest-ever longitudinal study

И недавно мы опубликовали самое долгосрочное исследование

of the spread of fake news online

о распространении фейковых новостей в интернете,

on the cover of "Science" in March of this year.

ставшее темой номера в журнале Science в марте этого года.

We studied all of the verified true and false news stories

Мы изучили все проверенные правдивые и ложные новости,

that ever spread on Twitter,

которые публиковали в Twitter

from its inception in 2006 to 2017.

с момента её появления в 2006 году по 2017 год.

And when we studied this information,

В ходе анализа этой информации

we studied verified news stories

мы также изучали достоверные новостные статьи,

that were verified by six independent fact-checking organizations.

проверенные шестью независимыми организациями по проверке фактов.

So we knew which stories were true

То есть мы знали, где правда,

and which stories were false.

а где ложь.

We can measure their diffusion,

Мы можем измерить скорость,

the speed of their diffusion,

с которой они распространяются,

the depth and breadth of their diffusion,

глубину и широту их распространения,

how many people become entangled in this information cascade and so on.

количество жертв информационного каскада и так далее.

And what we did in this paper

В своём исследовании

was we compared the spread of true news to the spread of false news.

мы сравнили то, как распространяются правдивые и ложные новости.

And here's what we found.

И вот что мы обнаружили.

We found that false news diffused further, faster, deeper

Оказывается, ложь распространяется быстрее, дальше, глубже

and more broadly than the truth

и шире, чем правда,

in every category of information that we studied,

во всех видах изученной нами информации,

sometimes by an order of magnitude.

зачастую разница колоссальная.

And in fact, false political news was the most viral.

Самую большую популярность набирают фейки на политические темы.

It diffused further, faster, deeper and more broadly

Они расходятся быстрее, дальше, глубже и шире,

than any other type of false news.

чем остальные виды ложной информации.

When we saw this,

Когда мы это увидели,

we were at once worried but also curious.

в нас одновременно проснулись тревога и любопытство.

Why?

Почему так происходит?

Why does false news travel so much further, faster, deeper

Почему ложь проникает намного быстрее, дальше, глубже

and more broadly than the truth?

и шире, чем правда?

The first hypothesis that we came up with was,

Первой нашей гипотезой было предположение о том, что люди,

"Well, maybe people who spread false news have more followers or follow more people,

распространяющие фейки, возможно, имеют более широкую аудиторию

or tweet more often,

или публикуют больше твитов,

or maybe they're more often 'verified' users of Twitter, with more credibility,

или среди них больше подтверждённых пользователей, которым доверяют,

or maybe they've been on Twitter longer."

или они давно зарегистрированы в Twitter.

So we checked each one of these in turn.

Мы проверили каждый такой аккаунт.

And what we found was exactly the opposite.

И оказалось, что всё как раз наоборот.

False-news spreaders had fewer followers,

У распространителей фейков меньше подписчиков,

followed fewer people, were less active,

меньше подписок, меньше постов,

less often "verified"

часто аккаунт не подтверждён,

and had been on Twitter for a shorter period of time.

и в Twitter они зарегистрированы относительно недавно.

And yet,

Но тем не менее,

false news was 70 percent more likely to be retweeted than the truth,

ложные новости ретвитят на 70 процентов чаще, чем достоверную информацию,

controlling for all of these and many other factors.

даже с учётом всех упомянутых и многих других факторов.

So we had to come up with other explanations.

Поэтому нужно было найти другое объяснение.

And we devised what we called a "novelty hypothesis."

И мы придумали так называемую «гипотезу о новизне».

So if you read the literature,

Любителям художественной литературы

it is well known that human attention is drawn to novelty,

хорошо известно, что людей всегда привлекает новизна,

things that are new in the environment.

что-то, с чем они сталкиваются впервые.

And if you read the sociology literature,

А из книг по социологии мы знаем,

you know that we like to share novel information.

что люди охотно делятся сенсационной информацией.

It makes us seem like we have access to inside information,

Так создаётся впечатление, что у них есть доступ к закрытым источникам,

and we gain in status by spreading this kind of information.

и вместе с этим растёт их общественный статус.

So what we did was we measured the novelty of an incoming true or false tweet,

Соответственно, мы определяли новизну любого публикуемого твита,

compared to the corpus of what that individual had seen

сравнивая его с тем, что пользователь читал в Twitter

in the 60 days prior on Twitter.

в течение предшествующих 60 дней.

But that wasn't enough, because we thought to ourselves,

Но этого оказалось недостаточно, потому что мы думали:

«Возможно, фейки более сенсационны в информационно-теоретическом смысле,

"Well, maybe false news is more novel in an information-theoretic sense,

but maybe people don't perceive it as more novel."

но что, если люди не видят в них никакой новизны».

So to understand people's perceptions of false news,

В попытке выяснить, как люди воспринимают ложные новости,

we looked at the information and the sentiment

мы проанализировали то, как люди реагируют

contained in the replies to true and false tweets.

в комментариях на ложные и достоверные сообщения.

And what we found

В итоге мы определили

was that across a bunch of different measures of sentiment --

среди целого букета проявления различных реакций:

surprise, disgust, fear, sadness,

удивления, отвращения, страха, грусти,

anticipation, joy and trust --

предвкушения, радости, доверия,

false news exhibited significantly more surprise and disgust

что ложные новости вызывали гораздо больше удивления и отвращения у тех,

in the replies to false tweets.

кто отвечал на ложные твиты.

And true news exhibited significantly more anticipation,

А на достоверные новости реагировали с предвкушением,

joy and trust

радостью и доверием,

in reply to true tweets.

что видно в комментариях к достоверным твитам.

The surprise corroborates our novelty hypothesis.

Реакция удивления подтверждает нашу гипотезу о новизне.

This is new and surprising, and so we're more likely to share it.

Узнавая что-то новое и необычное, мы более склонны делиться этим.

At the same time, there was congressional testimony

Однако в ходе дачи свидетельских показаний

in front of both houses of Congress in the United States,

перед лицом обеих палат Конгресса США

looking at the role of bots in the spread of misinformation.

было также упомянуто о роли ботов в распространении фейковой информации.

So we looked at this too --

Мы изучили и этот вопрос.

we used multiple sophisticated bot-detection algorithms

Мы использовали многомерные усложнённые алгоритмы распознавания ботов

to find the bots in our data and to pull them out.

для выявления их в наших данных и исключения из выборки.

So we pulled them out, we put them back in

Мы исключили их, затем снова вернули

and we compared what happens to our measurement.

и сравнили полученные результаты.

And what we found was that, yes indeed,

Оказалось,

что боты действительно ускоряли распространение фейков в интернете,

bots were accelerating the spread of false news online,

but they were accelerating the spread of true news

однако и достоверные новости распространялись

at approximately the same rate.

примерно с такой же скоростью.

Which means bots are not responsible

Это значит, что боты не влияют

for the differential diffusion of truth and falsity online.

на разное распространение правды и лжи в интернете.

We can't abdicate that responsibility,

Нельзя валить всё на них,

because we, humans, are responsible for that spread.

так как мы, люди, ответственны за распространение информации.

Now, everything that I have told you so far,

Всё, о чём я вам рассказал до сих пор,

unfortunately for all of us,

к большому сожалению для всех нас,

is the good news.

это хорошие новости.

The reason is because it's about to get a whole lot worse.

Дело в том, что ситуация может стать намного хуже.

And two specific technologies are going to make it worse.

И произойдёт это благодаря двум особым технологиям.

We are going to see the rise of a tremendous wave of synthetic media.

Интернет заполонят ужасные волны синтетических СМИ.

Fake video, fake audio that is very convincing to the human eye.

Фейковые видео и аудио, которые будут казаться вполне реалистичными.

And this will powered by two technologies.

За всем этим будут стоять две технологии,

The first of these is known as "generative adversarial networks."

одна из которых известна как «генеративно состязательные сети».

This is a machine-learning model with two networks:

Это модель машинного обучения на основе двух сетей:

a discriminator,

дискриминатора,

whose job it is to determine whether something is true or false,

который должен отличать правду от лжи,

and a generator,

и генератора,

whose job it is to generate synthetic media.

создающего синтетический медиа-контент.

So the synthetic generator generates synthetic video or audio,

Синтетический генератор создаёт синтетические видео или аудио,

and the discriminator tries to tell, "Is this real or is this fake?"

а дискриминатор пытается определить, правда это или фейк.

And in fact, it is the job of the generator

Задача генератора —

to maximize the likelihood that it will fool the discriminator

добиться максимального сходства, чтобы сбитый с толку дискриминатор

into thinking the synthetic video and audio that it is creating

принял созданный генератором синтетический видео- и аудиоконтент

is actually true.

за достоверные данные.

Imagine a machine in a hyperloop,

Представьте машину в гиперпетле,

trying to get better and better at fooling us.

которая набирает обороты в умении обмануть нас.

This, combined with the second technology,

И в сочетании со второй технологией,

which is essentially the democratization of artificial intelligence to the people,

которая привела к демократизации искусственного интеллекта,

the ability for anyone,

теперь каждый способен,

without any background in artificial intelligence

в том числе те, у кого нет знаний в области ИИ

or machine learning,

или машинного обучения,

to deploy these kinds of algorithms to generate synthetic media

применять такие алгоритмы, генерируя синтетический медиаконтент,

makes it ultimately so much easier to create videos.

что значительно упрощает процесс создания видео.

The White House issued a false, doctored video

Белый дом выпустил поддельное видео,

of a journalist interacting with an intern who was trying to take his microphone.

где девушка-стажёр пытается забрать микрофон у одного из журналистов.

They removed frames from this video

Некоторые кадры были вырезаны из видео,

in order to make his actions seem more punchy.

чтобы казалось, будто журналист повел себя грубо в отношении девушки.

And when videographers and stuntmen and women

А когда операторов и каскадёров

were interviewed about this type of technique,

попросили рассказать об этом методе монтажа,

они подтвердили, что в кино постоянно прибегают к этой технике,

they said, "Yes, we use this in the movies all the time

to make our punches and kicks look more choppy and more aggressive."

чтобы удары казались более хлёсткими и сильными.

They then put out this video

Выложенное видео

and partly used it as justification

было использовано как предлог,

to revoke Jim Acosta, the reporter's, press pass

чтобы приостановить действие пропуска журналиста Джима Акосты

from the White House.

в Белый дом.

And CNN had to sue to have that press pass reinstated.

Канал CNN был вынужден обратиться в суд, чтобы журналисту восстановили пропуск.

There are about five different paths that I can think of that we can follow

Существуют пять разных способов, которые могут помочь нам

to try and address some of these very difficult problems today.

решить столь непростые проблемы, с которыми мы сегодня столкнулись.

Each one of them has promise,

Каждый из этих способов эффективен,

but each one of them has its own challenges.

но все они сопряжены с определёнными трудностями.

The first one is labeling.

Способ первый — маркировка.

Think about it this way:

Задумайтесь:

when you go to the grocery store to buy food to consume,

когда вы идёте в магазин купить продукты,

it's extensively labeled.

на всех товарах есть этикетки.

You know how many calories it has,

Мы видим, сколько в них калорий,

how much fat it contains --

или сколько жира.

and yet when we consume information, we have no labels whatsoever.

А если мы потребляем информацию, никакой маркировки на ней нет.

What is contained in this information?

Что содержит эта информация?

Is the source credible?

Можно ли доверять источникам?

Where is this information gathered from?

Откуда взята эта информация?

We have none of that information

Ничего этого мы не знаем,

when we are consuming information.

потребляя ту или иную информацию.

That is a potential avenue, but it comes with its challenges.

Это один из возможных путей, но есть свои трудности.

For instance, who gets to decide, in society, what's true and what's false?

Например, кто будет решать, что правда, а что ложь?

Is it the governments?

Правительство?

Is it Facebook?

Админы Facebook?

Is it an independent consortium of fact-checkers?

Независимая ассоциация специалистов по проверке достоверности?

And who's checking the fact-checkers?

А кто будет проверять их работу?

Another potential avenue is incentives.

Другой возможный путь — стимулирование.

We know that during the US presidential election

Известно, что в ходе выборов президента США

there was a wave of misinformation that came from Macedonia

из Македонии посыпались сообщения, содержавшие ложную информацию,

that didn't have any political motive

но они имели под собой не политическую,

but instead had an economic motive.

а экономическую подоплёку.

And this economic motive existed,

Экономический стимул появился из-за того,

because false news travels so much farther, faster

что фейковые новости расходятся гораздо дальше, быстрее

and more deeply than the truth,

и глубже, чем достоверная информация,

and you can earn advertising dollars as you garner eyeballs and attention

и можно неплохо заработать на рекламе, привлекая внимание огромной аудитории

with this type of information.

за счёт подобного контента.

But if we can depress the spread of this information,

Но если мы сможем подавить распространение такой информации,

perhaps it would reduce the economic incentive

возможно, это ослабит экономический стимул, а с ним и желание

to produce it at all in the first place.

вообще что-либо создавать.

Third, we can think about regulation,

В-третьих, можно рассмотреть механизм регулирования,

and certainly, we should think about this option.

об этом варианте определённо стоит задуматься.

In the United States, currently,

Сегодня в США мы изучаем,

we are exploring what might happen if Facebook and others are regulated.

что произойдёт, если ввести механизм регулирования Facebook и других сайтов.

While we should consider things like regulating political speech,

Следует рассмотреть регулирование в отношении политических выступлений,

labeling the fact that it's political speech,

помечая их соответствующим образом

making sure foreign actors can't fund political speech,

и следя за тем, чтобы они не финансировались другими странами.

it also has its own dangers.

Здесь есть свои риски.

For instance, Malaysia just instituted a six-year prison sentence

Например, в Малайзии недавно ввели шестилетнее тюремное наказание

for anyone found spreading misinformation.

за распространение ложных данных.

And in authoritarian regimes,

Но в странах с авторитарным режимом

these kinds of policies can be used to suppress minority opinions

подобные меры могут использоваться для подавления мнений меньшинства

and to continue to extend repression.

и ещё сильнее ужесточить политические репрессии.

The fourth possible option is transparency.

Четвёртый возможный путь — политика прозрачности.

We want to know how do Facebook's algorithms work.

Все хотят знать, как работают алгоритмы Facebook.

How does the data combine with the algorithms

Как из данных при помощи алгоритмов формируется контент,

to produce the outcomes that we see?

который в итоге мы видим?

We want them to open the kimono

Пусть соцсеть раскроет карты

and show us exactly the inner workings of how Facebook is working.

и расскажет всем, как устроена внутренняя кухня Facebook.

And if we want to know social media's effect on society,

А для того, чтобы понять, как соцсети влияют на общество,

we need scientists, researchers

нужны учёные, исследователи

and others to have access to this kind of information.

и другие специалисты, у которых есть доступ к таким данным.

But at the same time,

В то же самое время

we are asking Facebook to lock everything down,

мы просим Facebook держать все данные под замком,

to keep all of the data secure.

обеспечив их полную безопасность.

So, Facebook and the other social media platforms

Поэтому Facebook, как и другие социальные платформы,

are facing what I call a transparency paradox.

сталкиваются с тем, что я называю парадоксом прозрачности.

We are asking them, at the same time,

Ведь мы одновременно просим их

to be open and transparent and, simultaneously secure.

быть открытыми, прозрачными, но при этом безопасными.

This is a very difficult needle to thread,

А это очень непростая задача,

but they will need to thread this needle

но им придётся её решать,

if we are to achieve the promise of social technologies

если мы хотим получить все блага социальных технологий,

while avoiding their peril.

избежав при этом имеющихся рисков.

The final thing that we could think about is algorithms and machine learning.

И последнее, о чём стоит задуматься, — алгоритмы и машинное обучение.

Technology devised to root out and understand fake news, how it spreads,

Технологии, призванные искоренить фейки, выявить механизм их распространения

and to try and dampen its flow.

и значительно снизить их поток.

Humans have to be in the loop of this technology,

Люди должны разбираться в этих технологиях,

because we can never escape

так как нельзя отрицать,

that underlying any technological solution or approach

что в основе любого технологического решения или подхода

is a fundamental ethical and philosophical question

лежит фундаментальный вопрос этического и философского характера,

about how do we define truth and falsity,

например, как определять правду и ложь,

to whom do we give the power to define truth and falsity

кому дано право определять, где правда и где ложь,

and which opinions are legitimate,

чьё мнение считается легитимным,

which type of speech should be allowed and so on.

какие виды речи допустимы и так далее.

Technology is not a solution for that.

Одними технологиями здесь не обойтись.

Ethics and philosophy is a solution for that.

В поиске решения нужно обращаться к этике и философии.

Nearly every theory of human decision making,

Почти все теории о принятии решений,

human cooperation and human coordination

взаимодействии и координировании людей

has some sense of the truth at its core.

так или иначе оперируют понятием правды.

But with the rise of fake news,

Но с ростом числа новостных фейков,

the rise of fake video,

поддельных видео,

the rise of fake audio,

поддельных аудиозаписей

we are teetering on the brink of the end of reality,

общество почти утратило чувство реальности,

where we cannot tell what is real from what is fake.

мы перестали различать, где настоящее и где подделка.

And that's potentially incredibly dangerous.

А ведь это имеет чрезвычайно опасные последствия.

We have to be vigilant in defending the truth

Нам нужно быть бдительнее, чтобы суметь защитить правду

against misinformation.

от потока ложной информации,

With our technologies, with our policies

используя имеющиеся технологии, законы,

and, perhaps most importantly,

и, возможно, самое важное,

with our own individual responsibilities,

неся личную ответственность

decisions, behaviors and actions.

за свои решения, поступки и действия.

Thank you very much.

Большое спасибо.

(Аплодисменты)

(Applause)