We're building a dystopia just to make people click on ads | Zeynep Tufekci

Переводчик: Редактор: Anna Mo

So when people voice fears of artificial intelligence,

Когда люди выказывают опасения касательно искусственного интеллекта,

very often, they invoke images of humanoid robots run amok.

очень часто они строят образы гуманоидных роботов, ставших неуправляемыми.

You know? Terminator?

Знаете ведь? Терминатор?

You know, that might be something to consider,

Знаете, с этим можно согласиться,

but that's a distant threat.

но эта угроза от нас далека.

Or, we fret about digital surveillance

Или мы переживаем по поводу цифровой слежки

with metaphors from the past.

с метафорами из прошлого.

"1984," George Orwell's "1984,"

«1984», произведение Джорджа Оруэлла,

it's hitting the bestseller lists again.

снова попадает в списки бестселлеров.

It's a great book,

Это отличная книга,

but it's not the correct dystopia for the 21st century.

но эта антиутопия не подходит для XXI века.

What we need to fear most

Мы должны бояться

is not what artificial intelligence will do to us on its own,

не того, что сделает с нами искусственный интеллект самостоятельно,

but how the people in power will use artificial intelligence

а того, как люди у власти будут его использовать

to control us and to manipulate us

для контроля и управления нами

in novel, sometimes hidden,

новыми, иногда скрытыми,

subtle and unexpected ways.

коварными и неожиданными способами.

Much of the technology

Основная часть технологии,

that threatens our freedom and our dignity in the near-term future

что грозит нашим свободе и достоинству уже в обозримом будущем,

is being developed by companies

разрабатывается компаниями,

in the business of capturing and selling our data and our attention

работающими в бизнес-сфере сбора и продажи наших сведений и интересов

to advertisers and others:

рекламщикам и таким компаниям,

Facebook, Google, Amazon,

как Facebook, Google, Amazon,

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

Теперь искусственный интеллект также начал способствовать укреплению их бизнеса.

And it may seem like artificial intelligence

Может казаться, что искусственный интеллект —

is just the next thing after online ads.

лишь новая штука после онлайн-рекламы.

It's not.

Это не так.

It's a jump in category.

Это совершенно иная категория.

It's a whole different world,

Это совсем другой мир,

and it has great potential.

и у него большой потенциал.

It could accelerate our understanding of many areas of study and research.

Он может ускорить наше понимание многих сфер изучения и исследования.

But to paraphrase a famous Hollywood philosopher,

Но хочу парафразировать знаменитого голливудского философа:

"With prodigious potential comes prodigious risk."

«С огромным потенциалом приходит огромный риск».

Now let's look at a basic fact of our digital lives, online ads.

Теперь давайте обсудим основной факт из наших цифровых жизней, онлайн-рекламу.

Right? We kind of dismiss them.

Мы вроде бы не принимаем её всерьёз.

They seem crude, ineffective.

Она навязчива, неэффективна.

We've all had the experience of being followed on the web

Все мы имели опыт преследования нас в сети

by an ad based on something we searched or read.

рекламой, основанной на чём-то, что мы искали или прочли.

You know, you look up a pair of boots

Например, вы присмотрели пару ботинок,

and for a week, those boots are following you around everywhere you go.

а потом всю неделю они следуют за вами повсюду.

Even after you succumb and buy them, they're still following you around.

Даже когда вы сдаётесь и покупаете их, они всё ещё преследуют вас.

We're kind of inured to that kind of basic, cheap manipulation.

Нас задевает такая форма простой, дешёвой манипуляции.

We roll our eyes and we think, "You know what? These things don't work."

Мы закатываем глаза и думаем: «Знаете что? Эти штуки не работают».

Except, online,

Однако в интернете

the digital technologies are not just ads.

цифровые технологии не просто реклама.

Now, to understand that, let's think of a physical world example.

Для понимания этого представим пример из реального мира.

You know how, at the checkout counters at supermarkets, near the cashier,

Замечали ведь, что на кассах в супермаркетах, около кассира,

there's candy and gum at the eye level of kids?

конфетки и жевательные резинки лежат на зрительном уровне детей?

That's designed to make them whine at their parents

Так задумано, чтобы они хныкали, упрашивая своих родителей,

just as the parents are about to sort of check out.

пока те рассчитываются на кассе.

Now, that's a persuasion architecture.

Это называется архитектура убеждения.

It's not nice, but it kind of works.

Это неприятно, но это работает.

That's why you see it in every supermarket.

Потому вы видите это в каждом супермаркете.

Now, in the physical world,

В реальном же мире

such persuasion architectures are kind of limited,

такие архитектуры убеждения вроде как ограничены,

because you can only put so many things by the cashier. Right?

потому что набор товаров, который можно разместить возле кассира, конечен. Верно?

And the candy and gum, it's the same for everyone,

А конфеты и жевательная резинка — их одинаково покупают все,

even though it mostly works

хотя, конечно, чаще всего

only for people who have whiny little humans beside them.

те люди, что берут с собой маленьких хныкающих человечков.

In the physical world, we live with those limitations.

В реальном мире мы живём с такими ограничениями.

In the digital world, though,

Однако в виртуальном мире

persuasion architectures can be built at the scale of billions

архитектуры убеждения могут быть выстроены в масштабе миллиардов,

and they can target, infer, understand

и они могут обозначать, оценивать, понимать

and be deployed at individuals

и быть применены к индивидуумам,

one by one

по одиночке,

by figuring out your weaknesses,

выявляя ваши слабости,

and they can be sent to everyone's phone private screen,

и они могут быть разосланы каждому на телефон в частном порядке,

so it's not visible to us.

поэтому мы этого не замечаем.

And that's different.

И это отличается от всего.

And that's just one of the basic things that artificial intelligence can do.

И это лишь один из азов того, на что способен искусственный интеллект.

Now, let's take an example.

Давайте рассмотрим пример.

Let's say you want to sell plane tickets to Vegas. Right?

Вот вы хотите продать билеты на самолёт до Вегаса. Так?

So in the old world, you could think of some demographics to target

В прежние времена вы могли бы подумать о сборе демографических данных,

based on experience and what you can guess.

основываясь на опыте и ваших предположениях.

You might try to advertise to, oh,

Вы можете попробовать рекламировать

men between the ages of 25 and 35,

для мужчин в возрасте от 25 до 35,

or people who have a high limit on their credit card,

или людей, имеющих высокий лимит по кредитной карте,

or retired couples. Right?

или для супругов-пенсионеров. Так?

That's what you would do in the past.

Раньше вы бы действовали так.

With big data and machine learning,

С массивами данных и машинным обучением

that's not how it works anymore.

сейчас это уже работает по-другому.

So to imagine that,

Чтобы это представить,

think of all the data that Facebook has on you:

подумайте о тех данных, что хранит о вас Фейсбук:

every status update you ever typed,

каждый статус, что вы когда-то выставляли,

every Messenger conversation,

каждый ваш диалог,

every place you logged in from,

каждое место, с которого вы заходили,

all your photographs that you uploaded there.

все ваши фотографии, что были вами туда загружены.

If you start typing something and change your mind and delete it,

Если вы начали печать что-то, передумали и удалили,

Facebook keeps those and analyzes them, too.

Фейсбук сохраняет для анализа и это.

Increasingly, it tries to match you with your offline data.

Всё больше он старается сопоставить вас с вашими данными офлайн.

It also purchases a lot of data from data brokers.

Он также скупает множество информации от брокеров данных.

It could be everything from your financial records

Это может быть что угодно — от ваших финансовых ведомостей

to a good chunk of your browsing history.

до массива вашей истории браузера.

Right? In the US, such data is routinely collected,

Верно? В США такая информация собирается в рутинном порядке,

collated and sold.

сопоставляется и продаётся.

In Europe, they have tougher rules.

В Европе правила более строгие.

So what happens then is,

И вот что происходит в результате:

by churning through all that data, these machine-learning algorithms --

путём смешивания всех этих данных, эти машинно-обучаемые алгоритмы —

that's why they're called learning algorithms --

вот почему они называются алгоритмами обучения —

they learn to understand the characteristics of people

учатся понимать характеристики людей,

who purchased tickets to Vegas before.

ранее приобретавших билеты до Вегаса.

When they learn this from existing data,

Обучившись этому по имеющимся данным,

they also learn how to apply this to new people.

они также учатся тому, как применить это к новым клиентам.

So if they're presented with a new person,

И если они сталкиваются с новым для них человеком,

they can classify whether that person is likely to buy a ticket to Vegas or not.

они могут определить, захочет ли он приобретать билет до Вегаса или нет.

Fine. You're thinking, an offer to buy tickets to Vegas.

Хорошо. Вы думаете, это лишь предложение купить билет до Вегаса.

I can ignore that.

Я могу отклонить его.

But the problem isn't that.

Но проблема заключается не в этом.

The problem is,

Проблема в том,

we no longer really understand how these complex algorithms work.

что мы уже не понимаем, как работают эти комплексные алгоритмы.

We don't understand how they're doing this categorization.

Мы не понимаем, как они занимаются этой категоризацией.

It's giant matrices, thousands of rows and columns,

Это огромные матрицы, тысячи строк и столбцов,

maybe millions of rows and columns,

может, миллионы строк и столбцов,

and not the programmers

и ни программисты,

and not anybody who looks at it,

ни даже любой, кто взглянет на это,

even if you have all the data,

даже имея все данные,

understands anymore how exactly it's operating

уже не поймёт, как конкретно всё это работает.

any more than you'd know what I was thinking right now

Это как если бы вы знали, о чём я думаю в данный момент,

if you were shown a cross section of my brain.

словно вам показали профиль моего мозга.

It's like we're not programming anymore,

Мы словно уже не занимаемся программированием,

we're growing intelligence that we don't truly understand.

мы растим интеллект, который мы не понимаем полностью.

And these things only work if there's an enormous amount of data,

И всё это работает лишь при наличии доступа к громадному объёму информации,

so they also encourage deep surveillance on all of us

что подстёгивает к тотальной слежке за каждым из нас,

so that the machine learning algorithms can work.

дабы эти машинно-обучаемые алгоритмы действовали.

That's why Facebook wants to collect all the data it can about you.

Вот почему Facebook хочет собрать любую возможную информацию о вас.

The algorithms work better.

Так эти алгоритмы лучше работают.

So let's push that Vegas example a bit.

И давайте вернёмся ненадолго к тому примеру с Вегасом.

What if the system that we do not understand

Что, если бы система, работу которой мы полностью не понимаем,

was picking up that it's easier to sell Vegas tickets

подобрала такой вариант, что продать билет до Вегаса легче

to people who are bipolar and about to enter the manic phase.

людям с биполярным расстройством, готовым вот-вот перейти в маниакальную фазу.

Such people tend to become overspenders, compulsive gamblers.

Такие люди, как правило, становятся транжирами, заядлыми игроками.

They could do this, and you'd have no clue that's what they were picking up on.

Они могли сделать это, вы бы и не поняли, что это то, ради чего вёлся сбор данных.

I gave this example to a bunch of computer scientists once

Я однажды привела этот пример группе специалистов в области информатики,

and afterwards, one of them came up to me.

а после этого один из них подошёл ко мне.

He was troubled and he said, "That's why I couldn't publish it."

С озадаченным видом он сказал: «Вот почему я не смог опубликовать это».

I was like, "Couldn't publish what?"

Я в ответ: «Что не смогли опубликовать?»

He had tried to see whether you can indeed figure out the onset of mania

Он попытался понять, действительно ли можно выявить формирование мании

from social media posts before clinical symptoms,

исходя из сообщений в соцсетях, до проявления клинических симптомов,

and it had worked,

и это сработало,

and it had worked very well,

и это сработало очень хорошо,

and he had no idea how it worked or what it was picking up on.

и он понятия не имел, как это работало или на чём основывалось.

Now, the problem isn't solved if he doesn't publish it,

Если он не опубликует это, проблема не будет решена,

because there are already companies

потому что уже существуют компании,

that are developing this kind of technology,

занимающиеся разработкой такой технологии,

and a lot of the stuff is just off the shelf.

и многое из этого уже работает.

This is not very difficult anymore.

Это уже не так сложно.

Do you ever go on YouTube meaning to watch one video

Вы когда-нибудь заходили на YouTube, собираясь посмотреть одно видео,

and an hour later you've watched 27?

а спустя час вы уже посмотрели 27?

You know how YouTube has this column on the right

Знаете, на Youtube есть эта колонка справа,

that says, "Up next"

на которой указано: «Следующее»,

and it autoplays something?

и оно автоматически запускает что-то?

It's an algorithm

Это алгоритм,

picking what it thinks that you might be interested in

подбирающий то, чем вы можете заинтересоваться

and maybe not find on your own.

и, возможно, сами не найдёте.

It's not a human editor.

Это работа не человека.

It's what algorithms do.

Это то, что делают алгоритмы.

It picks up on what you have watched and what people like you have watched,

Они улавливают, что посмотрели вы и что посмотрели люди, подобные вам,

and infers that that must be what you're interested in,

и заключают, что это, должно быть, то, что вас интересует,

what you want more of,

то, что вы хотите видеть,

and just shows you more.

и просто показывает больше.

It sounds like a benign and useful feature,

Это звучит как хорошая и полезная функция,

except when it isn't.

но бывают и исключения.

So in 2016, I attended rallies of then-candidate Donald Trump

В 2016-м я присутствовала на собраниях тогда ещё кандидата Дональда Трампа

to study as a scholar the movement supporting him.

для изучения поддерживающих его масс.

I study social movements, so I was studying it, too.

Я изучаю социальные движения, поэтому изучала также и это.

And then I wanted to write something about one of his rallies,

И затем я хотела написать что-нибудь об одном из его собраний,

so I watched it a few times on YouTube.

и я пару раз просмотрела его на Youtube.

YouTube started recommending to me

YouTube начал рекомендовать мне

and autoplaying to me white supremacist videos

и включил автопроигрывание роликов на тему превосходства белых людей

in increasing order of extremism.

в растущем порядке экстремизма.

If I watched one,

Если я смотрела один,

it served up one even more extreme

он предлагал мне к просмотру ещё более экстремальный

and autoplayed that one, too.

и автопроигрывал его тоже.

If you watch Hillary Clinton or Bernie Sanders content,

Если вы смотрите контент, связанный с Хилари Клинтон или Берни Сандерсом,

YouTube recommends and autoplays conspiracy left,

YouTube рекомендует и автопроигрывает видео на тему заговора левых,

and it goes downhill from there.

и дальше — хуже.

Well, you might be thinking, this is politics, but it's not.

Что же, вы можете подумать, что это политика, но это не так.

This isn't about politics.

Это совсем не о политике.

This is just the algorithm figuring out human behavior.

Это лишь алгоритм, предугадывающий человеческое поведение.

I once watched a video about vegetarianism on YouTube

Я однажды посмотрела на Youtube ролик о вегетарианстве,

and YouTube recommended and autoplayed a video about being vegan.

и YouTube рекомендовал и автопроиграл видео о том, каково быть веганом.

It's like you're never hardcore enough for YouTube.

Вы словно никогда не бываете достаточно радикальны для YouTube.

(Laughter)

(Смех)

So what's going on?

Так что же происходит?

Now, YouTube's algorithm is proprietary,

Алгоритм YouTube запатентован,

but here's what I think is going on.

но вот что я думаю о том, как всё происходит.

The algorithm has figured out

Алгоритм вычислил,

that if you can entice people

что если ты сможешь заставить людей

into thinking that you can show them something more hardcore,

думать, что ты способен показать им нечто более жёсткое,

they're more likely to stay on the site

они с большей вероятностью останутся на сайте,

watching video after video going down that rabbit hole

просматривая ролик за роликом, спускаясь в эту кроличью нору,

while Google serves them ads.

пока Google снабжает их рекламой.

Now, with nobody minding the ethics of the store,

Поскольку никто не возражает против «коммерческой» этики,

these sites can profile people

такие сайты могут определять людей,

who are Jew haters,

ненавидящих евреев,

who think that Jews are parasites

тех, кто считает евреев паразитами,

and who have such explicit anti-Semitic content,

тех, у кого имеется столь явный антисемитский контент,

and let you target them with ads.

и позволяет вам направить рекламу на них.

They can also mobilize algorithms

Они также могут мобилизовать алгоритмы

to find for you look-alike audiences,

для поиска аудитории, разделяющей ваши взгляды,

people who do not have such explicit anti-Semitic content on their profile

людей, у которых нет столь явного антисемитского контента в профиле,

but who the algorithm detects may be susceptible to such messages,

но кто, согласно алгоритму, может быть восприимчив к такого рода сообщениям,

and lets you target them with ads, too.

позволяя вам направить рекламу и на них.

Now, this may sound like an implausible example,

Сейчас это может звучать как неправдоподобный пример,

but this is real.

но это реально.

ProPublica investigated this

ProPublica расследовала это

and found that you can indeed do this on Facebook,

и обнаружила, что вы в самом деле можете делать это в Facebook,

and Facebook helpfully offered up suggestions

и Facebook любезно предложил способы

on how to broaden that audience.

расширения этой аудитории.

BuzzFeed tried it for Google, and very quickly they found,

BuzzFeed попробовал это с Google, и очень быстро они выяснили,

yep, you can do it on Google, too.

да, вы можете делать это и с Google.

And it wasn't even expensive.

И это даже не было дорого.

The ProPublica reporter spent about 30 dollars

Журналист ProPublica потратил около 30 долларов

to target this category.

на обозначение этой категории.

So last year, Donald Trump's social media manager disclosed

В прошлом году менеджер социальных сетей из штаба Дональда Трампа раскрыл,

that they were using Facebook dark posts to demobilize people,

что они использовали тёмные посты в Facebook для демобилизации людей,

not to persuade them,

не чтобы их переубедить,

but to convince them not to vote at all.

а для того, чтобы убедить их не голосовать вовсе.

And to do that, they targeted specifically,

И чтобы сделать это, они особенно нацелились,

for example, African-American men in key cities like Philadelphia,

к примеру, на мужчин-афроамериканцев в ключевых городах типа Филадельфии,

and I'm going to read exactly what he said.

и я собираюсь прочесть именно то, что он сказал.

I'm quoting.

Я цитирую.

They were using "nonpublic posts

Они использовали «приватные посты,

whose viewership the campaign controls

чей просмотр в ходе кампании контролируется,

so that only the people we want to see it see it.

и потому их видят лишь те люди, которые нам требуются.

We modeled this.

Мы смоделировали это.

It will dramatically affect her ability to turn these people out."

Это кардинально повлияет на её возможность вернуть этих людей на свою сторону».

What's in those dark posts?

Что же собой являют эти тёмные посты?

We have no idea.

Мы не знаем.

Facebook won't tell us.

Facebook отказывается это раскрывать.

So Facebook also algorithmically arranges the posts

Facebook также алгоритмично располагает посты,

that your friends put on Facebook, or the pages you follow.

которые выкладывают ваши друзья, или странички, на которые вы подписаны.

It doesn't show you everything chronologically.

Он не показывает вам всё хронологически.

It puts the order in the way that the algorithm thinks will entice you

Он задаёт порядок так, как, по расчётам алгоритма, можно увлечь вас,

to stay on the site longer.

чтобы вы пробыли на сайте подольше.

Now, so this has a lot of consequences.

У этого есть множество последствий.

You may be thinking somebody is snubbing you on Facebook.

Вы можете подумать, что кто-то игнорирует вас в Facebook.

The algorithm may never be showing your post to them.

Возможно, алгоритм даже и не показывал им ваш пост.

The algorithm is prioritizing some of them and burying the others.

Алгоритм даёт приоритет некоторым из них и прячет другие.

Experiments show

Эксперименты показывают,

that what the algorithm picks to show you can affect your emotions.

что то, что алгоритм подбирает для показа вам, может влиять на ваши эмоции.

But that's not all.

Но это не всё.

It also affects political behavior.

Это также влияет на политическое поведение.

So in 2010, in the midterm elections,

В 2010-м, в ходе промежуточных выборов,

Facebook did an experiment on 61 million people in the US

Facebook провёл эксперимент над 61 млн человек в США,

that was disclosed after the fact.

который был раскрыт после проведения.

So some people were shown, "Today is election day,"

Так, некоторым людям показали объявление «Сегодня день выборов»,

the simpler one,

более простой вариант,

and some people were shown the one with that tiny tweak

а некоторым показали его же с крошечным изменением,

with those little thumbnails

с этакими небольшими иконками

of your friends who clicked on "I voted."

ваших друзей, уже кликнувших на кнопку «Я проголосовал».

This simple tweak.

Вот такое простое изменение.

OK? So the pictures were the only change,

Понятно? Эти картинки были единственной разницей,

and that post shown just once

и этот пост, показанный лишь раз,

turned out an additional 340,000 voters

обернулся дополнительными 340 000 избирателей

in that election,

на этих выборах,

according to this research

согласно этому исследованию,

as confirmed by the voter rolls.

как было подтверждено списками избирателей.

A fluke? No.

Счастливая случайность? Нет.

Because in 2012, they repeated the same experiment.

Поскольку в 2012-м они повторили тот же эксперимент.

And that time,

И в этот раз

that civic message shown just once

этот гражданский призыв, показанный лишь раз,

turned out an additional 270,000 voters.

обернулся 270 000 проголосовавших.

For reference, the 2016 US presidential election

Для сравнения, результат выборов президента США в 2016-м

was decided by about 100,000 votes.

решился голосами 100 000 избирателей.

Now, Facebook can also very easily infer what your politics are,

Сейчас Facebook может также легко вычислить ваши политические взгляды,

even if you've never disclosed them on the site.

даже если вы никогда не раскрывали их на сайте.

Right? These algorithms can do that quite easily.

Верно? Эти алгоритмы могут делать это очень легко.

What if a platform with that kind of power

Что, если платформа с такими возможностями

decides to turn out supporters of one candidate over the other?

решит сделать так, что на выборы придут больше сторонников одного кандидата?

How would we even know about it?

Откуда нам знать об этом?

Now, we started from someplace seemingly innocuous --

Мы начали с чего-то, казалось бы, безобидного —

online adds following us around --

онлайн реклама, преследующая нас всюду, —

and we've landed someplace else.

и мы добрались до чего-то иного.

As a public and as citizens,

Как народ и как отдельные граждане,

we no longer know if we're seeing the same information

мы больше не знаем, видим ли мы одну и ту же информацию,

or what anybody else is seeing,

или что видит кто-либо другой,

and without a common basis of information,

и без единой информационной базы,

little by little,

постепенно,

public debate is becoming impossible,

публичные дебаты становятся невозможны,

and we're just at the beginning stages of this.

и мы как раз на начальных стадиях этого.

These algorithms can quite easily infer

Эти алгоритмы крайне легко могут вычислить

things like your people's ethnicity,

такие вещи, как этническая принадлежность,

religious and political views, personality traits,

религиозные и политические взгляды, личность,

intelligence, happiness, use of addictive substances,

уровень интеллекта, довольства жизнью, наркозависимость,

parental separation, age and genders,

развод родителей, возраст и пол,

just from Facebook likes.

лишь по лайкам в Facebook.

These algorithms can identify protesters

Эти алгоритмы могут вычислить протестующих,

even if their faces are partially concealed.

даже если их лица частично скрыты.

These algorithms may be able to detect people's sexual orientation

Эти алгоритмы, возможно, способны определить сексуальную ориентацию людей

just from their dating profile pictures.

лишь по их фотографиям в профиле знакомств.

Now, these are probabilistic guesses,

Сейчас это лишь вероятные догадки,

so they're not going to be 100 percent right,

так что они необязательно будут на 100% верны,

but I don't see the powerful resisting the temptation to use these technologies

но я не вижу мощного сопротивления искушению использовать эти технологии

только потому, что есть какие-то ложноположительные результаты,

just because there are some false positives,

which will of course create a whole other layer of problems.

которые, конечно же, создадут целый ряд проблем.

Imagine what a state can do

Представьте, что государство может сделать

with the immense amount of data it has on its citizens.

с огромным объёмом данных, имеющихся у него на собственных жителей.

China is already using face detection technology

В Китае уже используется технология опознавания лиц

to identify and arrest people.

для вычисления и ареста людей.

And here's the tragedy:

И вот в чём трагедия:

we're building this infrastructure of surveillance authoritarianism

мы строим эту инфраструктуру авторитарного наблюдения,

merely to get people to click on ads.

лишь чтобы побудить людей кликать на рекламу.

And this won't be Orwell's authoritarianism.

И это не будет авторитаризм Оруэлла.

This isn't "1984."

Это не «1984».

Now, if authoritarianism is using overt fear to terrorize us,

Если авторитаризм явно использует страх, чтобы терроризировать нас,

we'll all be scared, but we'll know it,

мы все будем напуганы, но мы будем знать об этом,

we'll hate it and we'll resist it.

мы будем ненавидеть это и будем сопротивляться.

But if the people in power are using these algorithms

Но если люди у власти используют эти алгоритмы,

to quietly watch us,

чтобы незаметно следить за нами,

to judge us and to nudge us,

оценивать нас и подначивать нас,

to predict and identify the troublemakers and the rebels,

чтобы предугадывать и опознавать нарушителей порядка и бунтарей,

to deploy persuasion architectures at scale

чтобы масштабно внедрять архитектуру убеждения

and to manipulate individuals one by one

и манипулировать отдельными людьми по одиночке,

using their personal, individual weaknesses and vulnerabilities,

используя их личные, уникальные слабости и уязвимости,

and if they're doing it at scale

и если они масштабно занимаются этим

through our private screens

через наши личные экраны так,

so that we don't even know

что мы даже не знаем,

what our fellow citizens and neighbors are seeing,

что видят наши сограждане и соседи,

that authoritarianism will envelop us like a spider's web

этот авторитаризм окутает нас, словно паучья сеть,

and we may not even know we're in it.

и мы даже не будем знать, что мы уже в ней.

So Facebook's market capitalization

Итак, рыночная капитализация Facebook

is approaching half a trillion dollars.

приближается к отметке в полтриллиона долларов.

It's because it works great as a persuasion architecture.

Это потому, что он хорошо работает как архитектура убеждения.

But the structure of that architecture

Но строение этой архитектуры

is the same whether you're selling shoes

одинаково, продаёте ли вы туфли,

or whether you're selling politics.

или продаёте политику.

The algorithms do not know the difference.

Эти алгоритмы не осознают разницы.

The same algorithms set loose upon us

Те же алгоритмы, что расслабили нас,

to make us more pliable for ads

сделав нас более податливыми для рекламы,

are also organizing our political, personal and social information flows,

также организуют наши политические, личные и социально-информационные потоки,

and that's what's got to change.

и это то, что должно измениться.

Now, don't get me wrong,

Не поймите меня неправильно,

we use digital platforms because they provide us with great value.

мы используем цифровые платформы, потому что они очень ценны для нас.

I use Facebook to keep in touch with friends and family around the world.

Я пользуюсь Facebook, чтобы быть на связи с друзьями и семьёй повсюду.

I've written about how crucial social media is for social movements.

Я уже писала о том, как важны соцсети для социальных движений.

I have studied how these technologies can be used

Я изучала, как эти технологии могут быть использованы,

to circumvent censorship around the world.

чтобы обойти цензуру по всему миру.

But it's not that the people who run, you know, Facebook or Google

Но это не значит, что люди, управляющие, скажем, Facebook или Google,

are maliciously and deliberately trying

злостно и сознательно пытаются

to make the country or the world more polarized

сделать страну или мир более поляризованными

and encourage extremism.

и поощрять экстремизм.

I read the many well-intentioned statements

Я читала много благоразумных утверждений,

that these people put out.

которые выдвинули эти люди.

But it's not the intent or the statements people in technology make that matter,

Но важны не намерения или утверждения людей в области технологий,

it's the structures and business models they're building.

а структуры и бизнес-модели, которые они создают.

And that's the core of the problem.

И в этом суть проблемы.

Either Facebook is a giant con of half a trillion dollars

Или Facebook — гигантская афёра стоимостью в полтриллиона долларов,

and ads don't work on the site,

а реклама на этом сайте не работает,

it doesn't work as a persuasion architecture,

он не работает как архитектура убеждения,

or its power of influence is of great concern.

или его сила влияния является поводом для большого беспокойства.

It's either one or the other.

Это либо одно, либо другое.

It's similar for Google, too.

Та же ситуация и с Google.

So what can we do?

Так что мы можем сделать?

This needs to change.

Это нужно менять.

Now, I can't offer a simple recipe,

Сейчас я не могу предложить простой способ,

because we need to restructure

потому что нам нужно реструктурировать

the whole way our digital technology operates.

весь путь, по которому работают наши цифровые технологии.

Everything from the way technology is developed

Всё — от того, как технология развивается,

to the way the incentives, economic and otherwise,

до того, как стимулы, экономические и иные,

are built into the system.

встроены в систему.

We have to face and try to deal with

Мы должны смело встретить и попытаться справиться

the lack of transparency created by the proprietary algorithms,

с отсутствием прозрачности, образованным собственными алгоритмами,

the structural challenge of machine learning's opacity,

структурной проблемой непрозрачности процесса машинного обучения,

all this indiscriminate data that's being collected about us.

всеми этими данными, которые бессистемно собираются о нас.

We have a big task in front of us.

Перед нами стоит большая задача.

We have to mobilize our technology,

Мы должны мобилизовать нашу технологию,

our creativity

нашу креативность

and yes, our politics

и да, нашу политику так,

so that we can build artificial intelligence

чтобы мы могли создать искусственный интеллект,

that supports us in our human goals

который поддерживает нас в наших человеческих целях,

but that is also constrained by our human values.

но который также ограничен нашими человеческими ценностями.

And I understand this won't be easy.

И я осознаю, что это будет непросто.

We might not even easily agree on what those terms mean.

Мы могли бы даже не согласиться с тем, что значат эти термины.

But if we take seriously

Но если мы серьёзно относимся к тому,

how these systems that we depend on for so much operate,

как эти системы, от которых мы так сильно зависим, функционируют,

I don't see how we can postpone this conversation anymore.

я уже не вижу, как мы можем откладывать этот разговор.

These structures

Эти структуры

are organizing how we function

организуют то, как мы работаем,

and they're controlling

и они контролируют,

what we can and we cannot do.

что мы можем делать, а что нет.

And many of these ad-financed platforms,

И многие из этих платформ, финансируемых рекламой,

they boast that they're free.

кичатся, что они бесплатны.

In this context, it means that we are the product that's being sold.

В этом контексте это означает, что продаваемый продукт — это мы.

We need a digital economy

Нам нужна цифровая экономика,

where our data and our attention

где наши данные и наше внимание

is not for sale to the highest-bidding authoritarian or demagogue.

не продаются деспоту или демагогу, предложившему наибольшую цену.

(Applause)

(Аплодисменты)

So to go back to that Hollywood paraphrase,

Итак, возвращаясь к тому голливудскому парафразу,

we do want the prodigious potential

мы хотим огромного потенциала

of artificial intelligence and digital technology to blossom,

от искусственного интеллекта и расцвета цифровых технологий,

but for that, we must face this prodigious menace,

но для этого мы должны встретить эту огромную угрозу

open-eyed and now.

с широко открытыми глазами уже сейчас.

Thank you.

Спасибо вам.

(Applause)

(Аплодисменты)