We're building a dystopia just to make people click on ads | Zeynep Tufekci

Перекладач: Dina Bezsmertna Утверджено: Khrystyna Romashko

So when people voice fears of artificial intelligence,

Коли висловлюються побоювання щодо штучного інтелекту,

very often, they invoke images of humanoid robots run amok.

на думку найчастіше спадає образ

гуманоїдних роботів, що вийшли з-під контролю.

You know? Terminator?

Ну згадайте, Термінатор?

You know, that might be something to consider,

Знаєте, і такий варіант можна взяти до уваги,

but that's a distant threat.

але ця загроза — не найближча.

Or, we fret about digital surveillance

Ще ми остерігаємося цифрового спостереження,

with metaphors from the past.

використовуючи метафори з минулого.

"1984," George Orwell's "1984,"

"1984" Джорджа Орвелла

it's hitting the bestseller lists again.

знову посів своє місце у списку бестселерів.

It's a great book,

Це чудовий твір,

but it's not the correct dystopia for the 21st century.

та у ньому представлено не найкраще зображення антиутопії для XXI століття.

What we need to fear most

Найбільше нам варто боятися не того,

is not what artificial intelligence will do to us on its own,

що власне штучний інтелект зробить з нами,

but how the people in power will use artificial intelligence

а як можновладці використовуватимуть ШІ,

to control us and to manipulate us

щоб контролювати нас та маніпулювати нами

in novel, sometimes hidden,

по-новому, іноді приховано,

непомітно і так, як ми цього зовсім не очікуємо.

subtle and unexpected ways.

Much of the technology

Велику частку технологій,

that threatens our freedom and our dignity in the near-term future

що у найближчому майбутньому поставлять під загрозу наші свободу та гідність,

is being developed by companies

розробляють компанії,

in the business of capturing and selling our data and our attention

що отримують та продають наші дані та нашу увагу

to advertisers and others:

рекламним та іншим компаніям,

Facebook, Google, Amazon,

серед яких Facebook, Google, Amazon,

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

Зараз штучний інтелект надав їхній діяльності поштовх вперед.

And it may seem like artificial intelligence

І може здатися, що штучний інтелект —

is just the next thing after online ads.

це лише наступний рівень розвитку інтернет-реклами.

It's not.

Це не так.

It's a jump in category.

Це набагато більший стрибок.

It's a whole different world,

Це абсолютно інший світ,

and it has great potential.

де існують великі можливості.

It could accelerate our understanding of many areas of study and research.

Він може пришвидшити наші здобутки у багатьох дослідних сферах.

But to paraphrase a famous Hollywood philosopher,

Та перефразувавши відомого голлівудського філософа:

"With prodigious potential comes prodigious risk."

"З величезними можливостями приходить і великий ризик".

Now let's look at a basic fact of our digital lives, online ads.

Розгляньмо простий факт нашого цифрового життя — онлайн-рекламу.

Right? We kind of dismiss them.

Правильно? Ми вже до неї звикли.

Вона здається нав'язливою та неефективною.

They seem crude, ineffective.

We've all had the experience of being followed on the web

З усіма траплявся випадок, коли реклама того, що ми шукали або читали онлайн,

by an ad based on something we searched or read.

переслідує нас у мережі.

You know, you look up a pair of boots

Наприклад, ви переглядали онлайн пару черевиків,

and for a week, those boots are following you around everywhere you go.

і протягом тижня ці черевики слідують за вами, куди б ви не пішли.

Even after you succumb and buy them, they're still following you around.

Навіть після того, як ви здаєтеся і купуєте їх, вони все одно всюди.

We're kind of inured to that kind of basic, cheap manipulation.

Ми навіть звикли до такої простої та дешевої маніпуляції.

We roll our eyes and we think, "You know what? These things don't work."

Ми роздратовано закочуємо очі і думаємо: "Знаєте що? Це не працює".

Except, online,

Та в онлайн-просторі

the digital technologies are not just ads.

цифрові технології — це не лише реклама.

Now, to understand that, let's think of a physical world example.

Щоб зрозуміти це, давайте розберемо приклад з фізичного світу.

You know how, at the checkout counters at supermarkets, near the cashier,

Ви помічали, що біля кас у супермаркетах

there's candy and gum at the eye level of kids?

жуйки, цукерки зазвичай розкладені на рівні очей дитини?

That's designed to make them whine at their parents

Це спрямовано на те, щоб вони клянчили у батьків солодощі,

just as the parents are about to sort of check out.

коли всі покупки вже зроблено.

Now, that's a persuasion architecture.

Це архітектура переконання.

It's not nice, but it kind of works.

Вона підступна, але ефективна.

That's why you see it in every supermarket.

Тому ви й бачите таке у кожному супермаркеті.

Now, in the physical world,

У реальному світі

such persuasion architectures are kind of limited,

така архітектура переконання

because you can only put so many things by the cashier. Right?

обмежена кількістю товарів біля касира. Чи не так?

And the candy and gum, it's the same for everyone,

Солодощі, жуйки купують усі,

та частіше, звичайно,

even though it mostly works

only for people who have whiny little humans beside them.

ті, хто бере з собою маленьких плаксивих чоловічків.

In the physical world, we live with those limitations.

У реальному світі такі обмеження існують.

In the digital world, though,

Та у віртуальному світі

persuasion architectures can be built at the scale of billions

методи переконання можуть нараховувати мільярди,

and they can target, infer, understand

що можуть визначати, впливати, розуміти

and be deployed at individuals

та бути направленими на людину

one by one

один за одним

by figuring out your weaknesses,

з метою виявити ваші слабкості,

та можуть бути розіслані кожному на телефон,

and they can be sent to everyone's phone private screen,

so it's not visible to us.

чого ви навіть й не помітите.

And that's different.

Ось у чому різниця.

And that's just one of the basic things that artificial intelligence can do.

І це лише одна з речей, на яку здатний штучний інтелект.

Now, let's take an example.

Розгляньмо приклад.

Let's say you want to sell plane tickets to Vegas. Right?

Припустимо, що ви продаєте квитки на літак до Лас-Вегасу.

So in the old world, you could think of some demographics to target

Раніше ви б обирали цільову аудиторію

based on experience and what you can guess.

згідно з вашим досвідом та інтуіцією.

You might try to advertise to, oh,

Ви могли б націлити таку рекламу

men between the ages of 25 and 35,

на чоловіків віком від 25 до 35 років,

or people who have a high limit on their credit card,

людей з високим лімітом на кредитці

or retired couples. Right?

або літнім парам. Правильно?

That's what you would do in the past.

Так би ви робили раніше.

With big data and machine learning,

Зважаючи на великий об'єм даних та машине навчання,

that's not how it works anymore.

зараз все має інший вигляд.

So to imagine that,

Тільки уявіть,

think of all the data that Facebook has on you:

скільки інформації про вас має Facebook:

every status update you ever typed,

кожен оприлюднений статус,

every Messenger conversation,

кожне повідомлення у Messenger,

every place you logged in from,

кожне місце, звідки ви входили в систему,

all your photographs that you uploaded there.

всі ваші завантажені світлини.

If you start typing something and change your mind and delete it,

Якщо ви почали щось друкувати, а потім передумали і видалили запис,

Facebook keeps those and analyzes them, too.

Facebook зберігає і аналізує його.

Increasingly, it tries to match you with your offline data.

Він намагається систематизувати й ваші оффлайн-дані.

It also purchases a lot of data from data brokers.

Також він скуповує інформацію у спеціальних брокерів.

It could be everything from your financial records

Це може бути що завгодно — від фінансових звітів

to a good chunk of your browsing history.

до великої частини вашої історії переглядів.

Right? In the US, such data is routinely collected,

Уявляєте? У США постійно збирають, обробляють та продають

collated and sold.

подібні дані.

In Europe, they have tougher rules.

У Європі правила жорсткіші.

So what happens then is,

А ось що трапляється далі:

by churning through all that data, these machine-learning algorithms --

аналізуючи усю цю інформацію, алгоритми машинного навчання —

that's why they're called learning algorithms --

а називаються вони так, тому що

they learn to understand the characteristics of people

вони вчаться розпізнавати характеристики осіб,

who purchased tickets to Vegas before.

які раніше купили квитки до Лас-Вегасу.

When they learn this from existing data,

Після завершення навчання на базі зібраної інформації,

they also learn how to apply this to new people.

вони навчаться застосовувати її до нових осіб.

So if they're presented with a new person,

Тож коли машина зустрічається з новим користувачем,

they can classify whether that person is likely to buy a ticket to Vegas or not.

вона може визначити ймовірність того, купить він квиток чи ні.

Fine. You're thinking, an offer to buy tickets to Vegas.

Гаразд. Ви зараз думаєте — це ж лише пропозиція купити квиток до Лас-Вегасу.

I can ignore that.

Я її просто проігнорую.

But the problem isn't that.

Та проблема не у цьому.

The problem is,

А в тому,

we no longer really understand how these complex algorithms work.

що ми більше не розбираємося у складностях роботи цих алгоритмів.

We don't understand how they're doing this categorization.

Ми не розуміємо їх процесу категоризації.

It's giant matrices, thousands of rows and columns,

Вони складаються з величезних матриць, тисяч рядків та колонок,

maybe millions of rows and columns,

а може й мільйонів,

and not the programmers

і ні програмісти,

and not anybody who looks at it,

ні будь-хто з тих, хто їх розглядає,

even if you have all the data,

навіть якщо має всі дані,

understands anymore how exactly it's operating

більше не розуміє, як вони працюють,

any more than you'd know what I was thinking right now

маючи не більше знань, ніж, наприклад, ви про те, що я зараз думаю,

if you were shown a cross section of my brain.

якби дивилися на поперечний перетин мого мозку.

It's like we're not programming anymore,

Схоже на те, що ми більше не програмуємо,

we're growing intelligence that we don't truly understand.

а вирощуємо інтелект, який до кінця не розуміємо.

And these things only work if there's an enormous amount of data,

Вони працюють лише за наявності великих об'ємів даних,

so they also encourage deep surveillance on all of us

таким чином заохочуючи постійне спостереження за нами,

so that the machine learning algorithms can work.

для забезпечення роботи алгоритмів.

That's why Facebook wants to collect all the data it can about you.

Саме тому Facebook радий будь-якій інформації про нас.

The algorithms work better.

Так алгоритми краще працюють.

So let's push that Vegas example a bit.

Повернемося до прикладу з авіаквитком.

What if the system that we do not understand

Якби машина, принципів роботи якої ми не розуміємо,

was picking up that it's easier to sell Vegas tickets

розміркувала, що людей з біполярним розладом,

які стоять на порозі фази нападу, легше змусити купити квитки до Лас-Вегасу?

to people who are bipolar and about to enter the manic phase.

Such people tend to become overspenders, compulsive gamblers.

Такі люди схильні до надлишкових витрат і азартних ігор.

They could do this, and you'd have no clue that's what they were picking up on.

Машина могла б утнути таке, а ви б і гадки не мали, як вона до цього дійшла.

I gave this example to a bunch of computer scientists once

Колись я навела таку ситуацію як приклад декільком ІТ-спеціалістам,

and afterwards, one of them came up to me.

і опісля один з них підійшов до мене

He was troubled and he said, "That's why I couldn't publish it."

та схвильовано сказав: "Тому я й не зміг опублікуватися".

I was like, "Couldn't publish what?"

А я така: "Опублікувати що?"

He had tried to see whether you can indeed figure out the onset of mania

Він намагався довести, що за записами у соцмережах можна ідентифікувати

from social media posts before clinical symptoms,

розвиток маніакального синдрому до появи його клінічних симптомів,

and it had worked,

і його робота дала хороший результат,

and it had worked very well,

навіть занадто хороший,

and he had no idea how it worked or what it was picking up on.

а він і гадки не мав, як це спрацювало, та на які саме речі реагувала система.

Now, the problem isn't solved if he doesn't publish it,

Тож проблема не буде вирішена, доки його робота не буде опублікована,

because there are already companies

бо вже існують компанії,

that are developing this kind of technology,

що займаються розвитком таких технологій,

and a lot of the stuff is just off the shelf.

багато з яких уже працюють.

This is not very difficult anymore.

Це більше не становить труднощів.

Do you ever go on YouTube meaning to watch one video

Чи траплялося з вами таке, що ви заходите на YouTube

з наміром подивитися одне відео,

and an hour later you've watched 27?

а годиною пізніше ви переглянули 27?

You know how YouTube has this column on the right

Бачили на YouTube колонку справа,

that says, "Up next"

що озаглавлена "Наступне",

and it autoplays something?

а поряд "Автоматичне відтворення"?

It's an algorithm

Такий алгоритм

picking what it thinks that you might be interested in

підбирає те, у чому, на його думку, ви можете бути зацікавлені

and maybe not find on your own.

або власноруч не знайдете.

It's not a human editor.

Ця колонка редагується не людиною,

It's what algorithms do.

а алгоритмом.

It picks up on what you have watched and what people like you have watched,

Засновано на тому, що переглянули ви або схожі на вас користувачі,

and infers that that must be what you're interested in,

і робить висновок, що саме це має вас зацікавити,

саме таких відео ви б хотіли переглянути більше,

what you want more of,

and just shows you more.

і показує вам більше.

It sounds like a benign and useful feature,

Це здається корисною та безпечною функцією,

except when it isn't.

та насправді це не так.

So in 2016, I attended rallies of then-candidate Donald Trump

У 2016 році я відвідувала зустрічі у рамках

передвиборної кампанії Дональда Трампа

to study as a scholar the movement supporting him.

для дослідження масиву людей, які його підтримують.

I study social movements, so I was studying it, too.

Я вивчаю соціальні рухи, взялася і за цей.

And then I wanted to write something about one of his rallies,

А потім я хотіла написати про одну з цих зустрічей,

тому переглянула її декілька разів на YouTube.

so I watched it a few times on YouTube.

YouTube started recommending to me

YouTube почав надавати мені в рекомендації

and autoplaying to me white supremacist videos

і автопрогравати ролики про білий расизм

in increasing order of extremism.

із переходом до все більшого екстремізму.

If I watched one,

Якщо я дивилася одне,

it served up one even more extreme

то ресурс знаходив наступне — ще екстремальніше —

and autoplayed that one, too.

та автоматично відтворював і його.

If you watch Hillary Clinton or Bernie Sanders content,

Якщо ви переглядаєте відео про Гілларі Клінтон або Берні Сандерса,

YouTube recommends and autoplays conspiracy left,

вам рекомендують до перегляду відео про теорії змови лівих,

and it goes downhill from there.

і з кожним все гірше.

Well, you might be thinking, this is politics, but it's not.

Можна було б подумати, що справа у політиці.

This isn't about politics.

Та це не так.

This is just the algorithm figuring out human behavior.

Це лише алгоритм, що вираховує людську поведінку.

I once watched a video about vegetarianism on YouTube

Одного разу я переглянула ролик про вегетаріанство,

and YouTube recommended and autoplayed a video about being vegan.

а YouTube у свою чергу порекомендував

і автоматично відтворив відео про те, як стати веганом.

It's like you're never hardcore enough for YouTube.

Як ніби ви не дозволите собі переглянути якийсь треш.

(Laughter)

(Сміх)

So what's going on?

Що ж відбувається?

Now, YouTube's algorithm is proprietary,

Алгоритм YouTube запатентований,

but here's what I think is going on.

та ось що, на мою думку, відбувається.

The algorithm has figured out

Алгоритм усвідомив,

that if you can entice people

що якщо користувачів можна змусити вважати,

into thinking that you can show them something more hardcore,

що вони постійно отримуватимуть щось радикальніше,

they're more likely to stay on the site

зростає вірогідність того, що вони залишаться на сайті,

watching video after video going down that rabbit hole

переглядатимуть відео за відео,

що будуть супроводжуватися рекламою від Google,

while Google serves them ads.

провалюючись все глибше у кролячу нору.

Now, with nobody minding the ethics of the store,

Через відсутність комерційної етики

these sites can profile people

такі сайти можуть виявляти

who are Jew haters,

ненависників євреїв,

who think that Jews are parasites

людей, які вважають їх паразитами,

and who have such explicit anti-Semitic content,

дивляться відео з вираженою антисемітською позицією

and let you target them with ads.

і відкриті для впливу реклами.

They can also mobilize algorithms

Вони також можуть користуватися алгоритмами

to find for you look-alike audiences,

для пошуку користувачів зі схожими інтересами,

people who do not have such explicit anti-Semitic content on their profile

які хоч і не мають такого радикального та антисемітського контенту,

but who the algorithm detects may be susceptible to such messages,

але, за визначенням алгоритму,

можуть бути сприйнятливими до такого типу повідомлень,

and lets you target them with ads, too.

і направляти їм рекламу.

Now, this may sound like an implausible example,

Цей приклад може звучати неправдоподібно,

but this is real.

але це правда.

Результати дослідження, проведеного журналістською організацією ProPublica,

ProPublica investigated this

and found that you can indeed do this on Facebook,

виявили, що це працює на Facebook —

and Facebook helpfully offered up suggestions

він з радістю запропонував варіанти

on how to broaden that audience.

розширення аудиторії.

BuzzFeed tried it for Google, and very quickly they found,

Медіа-компанія BuzzFeed виявила,

yep, you can do it on Google, too.

що для може бути застосовано і для Google.

And it wasn't even expensive.

Це навіть недорого.

The ProPublica reporter spent about 30 dollars

Репортер ProPublica витратив близько 30 доларів

to target this category.

для визначення цієї категорії.

So last year, Donald Trump's social media manager disclosed

Минулого року радник Дональда Трампа з питань соцмедіа підтвердив

that they were using Facebook dark posts to demobilize people,

використання "темних постів" на Facebook

для того, щоб не просто відмовити людей від голосування,

not to persuade them,

but to convince them not to vote at all.

а переконати їх взагалі не йти на вибори.

And to do that, they targeted specifically,

З цією метою вони націлено обирали певну аудиторію,

for example, African-American men in key cities like Philadelphia,

наприклад, чоловіків-афроамериканців у великих містах, таких як Філадельфія.

Я поділюся з вами тим, що він написав.

and I'm going to read exactly what he said.

I'm quoting.

Цитую:

They were using "nonpublic posts

"Вони використовували приватні пости,

whose viewership the campaign controls

чий перегляд контролюється компанією

so that only the people we want to see it see it.

і обмежений лише тими, кому ми хочемо їх показати.

We modeled this.

Ми зробили модель.

It will dramatically affect her ability to turn these people out."

Це буде мати неабиякий вплив на явку виборців".

What's in those dark posts?

Що ж у цих "темних постах"?

We have no idea.

Ми й гадки не маємо.

Facebook won't tell us.

Facebook не розкриває це.

So Facebook also algorithmically arranges the posts

За допомогою алгоритмів Facebook також пропонує пости,

that your friends put on Facebook, or the pages you follow.

опубліковані вашими друзями або сторінками, на які ви підписані.

It doesn't show you everything chronologically.

Він розкладає їх не у хронологічному порядку,

It puts the order in the way that the algorithm thinks will entice you

а так, щоб зацікавити вас

to stay on the site longer.

довше лишатися на сайті.

Now, so this has a lot of consequences.

Це несе за собою багато наслідків.

You may be thinking somebody is snubbing you on Facebook.

Ви можете подумати, що хтось на Facebook вас ігнорує.

The algorithm may never be showing your post to them.

Алгоритм же може ніколи не показувати ваші пости цій людині.

The algorithm is prioritizing some of them and burying the others.

Він ставить у пріоритет одних і відкидає інших.

Experiments show

За даними експериментів

that what the algorithm picks to show you can affect your emotions.

підібраний алгоритмом контент може впливати на ваші емоції.

But that's not all.

Та це ще не все.

It also affects political behavior.

Він також впливає на вашу політичну поведінку.

So in 2010, in the midterm elections,

У 2010 році на проміжних виборах

Facebook did an experiment on 61 million people in the US

Facebook провів експеримент над 61 мільйоном американців,

that was disclosed after the fact.

що був розкритий опісля.

So some people were shown, "Today is election day,"

Одним просто показували

the simpler one,

"Сьогодні день виборів",

and some people were shown the one with that tiny tweak

а іншим трохи видозмінений запис —

with those little thumbnails

додали іконки їхніх друзів,

of your friends who clicked on "I voted."

які вподобали надпис і сказали "Я проголосував".

This simple tweak.

Просто невеличка зміна.

OK? So the pictures were the only change,

Змінилася лише картинка.

and that post shown just once

І останній пост, що був показаний лише один раз,

turned out an additional 340,000 voters

заохотив до голосування 340,000 додаткових виборців

in that election,

на тих виборах,

according to this research

що підтверджується цим дослідженням

as confirmed by the voter rolls.

і списками виборців.

A fluke? No.

Щасливий збіг? Ні.

Because in 2012, they repeated the same experiment.

Бо у 2012 цей експеримент повторили.

And that time,

На цей раз

that civic message shown just once

подібне одноразове повідомлення

turned out an additional 270,000 voters.

привернуло ще 270,000 виборців.

For reference, the 2016 US presidential election

До речі, результат президентських виборів 2016 року

was decided by about 100,000 votes.

був вирішений завдяки 100,000 голосів.

Now, Facebook can also very easily infer what your politics are,

Facebook може з легкістю визначити ваші політичні вподобання,

навіть якщо ви ніколи не виражали їх відкрито онлайн.

even if you've never disclosed them on the site.

Right? These algorithms can do that quite easily.

У цих алгоритмів такі речі багато зусиль не забирають.

What if a platform with that kind of power

Що станеться, коли передвиборча платформа, маючи такі можливості,

decides to turn out supporters of one candidate over the other?

вирішить впливати на виборчу активність на користь свого кандидата?

How would we even know about it?

Як би ми про це дізналися?

Now, we started from someplace seemingly innocuous --

Отож, ми почали з дуже нейтральної, безпечної території —

online adds following us around --

онлайн-реклами, що слідкує за нами повсюди, —

and we've landed someplace else.

а дійшли до абсолютно іншого.

As a public and as citizens,

Кожен з нас і суспільство в цілому

we no longer know if we're seeing the same information

вже не впевнені, що бачимо таку ж інформацію,

or what anybody else is seeing,

як і решта.

and without a common basis of information,

Без спільної інформаційної бази

little by little,

крок за кроком

public debate is becoming impossible,

ми унеможливлюємо публічні дебати,

and we're just at the beginning stages of this.

а зараз — лише початок.

These algorithms can quite easily infer

Ці алгоритми можуть реагувати

things like your people's ethnicity,

на такі речі, як етнічна приналежність,

religious and political views, personality traits,

релігійні або політичні вподобання, риси характеру,

intelligence, happiness, use of addictive substances,

розумові здібності, емоційний стан, вживання наркотичних речовин,

parental separation, age and genders,

вік та стать, сімейну історію

just from Facebook likes.

лише завдяки вподобанням у Facebook.

These algorithms can identify protesters

Ці алгоритми можуть ідентифікувати протестувальників,

even if their faces are partially concealed.

навіть якщо їх обличчя частково закриті.

These algorithms may be able to detect people's sexual orientation

Вони можуть бути здатні визначити сексуальну орієнтацію користувача,

just from their dating profile pictures.

судячи з їх фото на сайті знайомств.

Now, these are probabilistic guesses,

Так, це здогадки на основі ймовірних припущень,

so they're not going to be 100 percent right,

тому вони не є стовідсотково правильними,

but I don't see the powerful resisting the temptation to use these technologies

та я не бачу, щоб через певний відсоток неправдивих результатів

попит на використання цієї технології значно зменшився, —

just because there are some false positives,

which will of course create a whole other layer of problems.

це лише додає певні нові проблеми.

Imagine what a state can do

Уявіть, що здатна зробити держава,

with the immense amount of data it has on its citizens.

маючи на озброєнні такі об'єми інформації про своїх громадян.

China is already using face detection technology

В Китаї вже застосовується технологія розпізнавання обличчя

to identify and arrest people.

задля ідентифікації та арешту людей.

And here's the tragedy:

А ось у чому трагедія:

we're building this infrastructure of surveillance authoritarianism

ми будуємо інфраструктуру авторитаризму, озброєного спостереженням,

merely to get people to click on ads.

лише щоб змусити людей клікати на рекламу.

And this won't be Orwell's authoritarianism.

Це не буде схожим на авторитарний устрій, як у Орвелла.

This isn't "1984."

Це не "1984".

Now, if authoritarianism is using overt fear to terrorize us,

Якщо авторитаризм буде використовувати неприкритий страх для нашого залякування,

we'll all be scared, but we'll know it,

ми всі будемо налякані, та ми будемо це усвідомлювати,

we'll hate it and we'll resist it.

ненавидіти і опиратися.

But if the people in power are using these algorithms

А якщо можновладці використовують ці алгоритми

to quietly watch us,

для негласного спостереження за нами,

to judge us and to nudge us,

засудження та підштовхування до певних дій,

to predict and identify the troublemakers and the rebels,

для передбачення та ідентифікації незгодних та заколотників,

to deploy persuasion architectures at scale

розгортання масштабованих механізмів переконання

and to manipulate individuals one by one

і маніпуляції кожним індивідуально

using their personal, individual weaknesses and vulnerabilities,

за допомогою наших власних слабкостей та вразливих місць,

and if they're doing it at scale

а якщо це відбувається широкомасштабно

through our private screens

через екрани наших приватних девайсів,

so that we don't even know

так, що ми навіть не усвідомлюємо,

what our fellow citizens and neighbors are seeing,

що бачать наші співгромадяни та сусіди,

that authoritarianism will envelop us like a spider's web

тоді цей авторитарний устрій схопить нас, як павутина,

and we may not even know we're in it.

а ми цього навіть не підозрюватимемо.

So Facebook's market capitalization

Ринкова вартість Facebook

is approaching half a trillion dollars.

наближається до половини трильйона доларів.

It's because it works great as a persuasion architecture.

Завдяки тому, що він має досконалу систему переконань.

But the structure of that architecture

Та структура цієї системи не видозмінюється,

is the same whether you're selling shoes

коли ви перестаєте продавати взуття

or whether you're selling politics.

і починаєте продавати політику.

The algorithms do not know the difference.

Алгоритми не бачать різниці.

The same algorithms set loose upon us

Ці алгоритми безконтрольно атакують нас,

to make us more pliable for ads

змушуючи легше клікати на рекламу,

are also organizing our political, personal and social information flows,

а також організовуючи наші політичні, приватні та соціальні потоки інформації

and that's what's got to change.

— саме це потребує змін.

Now, don't get me wrong,

Не сприймайте мене неправильно.

we use digital platforms because they provide us with great value.

Ми користуємося цифровими платформами, бо вони грають для нас важливу роль.

I use Facebook to keep in touch with friends and family around the world.

Я користуюсь Facebook для спілкування з друзями та рідними по всьому світу.

I've written about how crucial social media is for social movements.

Я писала про життєву важливість соцмереж для суспільних рухів.

I have studied how these technologies can be used

Я вивчала шляхи застосування таких технологій

to circumvent censorship around the world.

для обходження цензури по всьому світу.

But it's not that the people who run, you know, Facebook or Google

Справа не у тому, що керівники Facebook чи Google

are maliciously and deliberately trying

намагаються зі зловісним наміром

to make the country or the world more polarized

розділити країну та світ

and encourage extremism.

та заохочують екстремізм.

I read the many well-intentioned statements

Я читаю багато заяв, зроблених цими людьми,

that these people put out.

що пояснюють деякі речі благими намірами.

But it's not the intent or the statements people in technology make that matter,

Та мають значення не їхні заяви або наміри,

it's the structures and business models they're building.

а структури та бізнес-моделі, які вони будують.

And that's the core of the problem.

Саме у цьому суть проблеми.

Either Facebook is a giant con of half a trillion dollars

Або Facebook є величезним шахраєм вартістю півтрильйона доларів

and ads don't work on the site,

і реклама на сайті не працює,

it doesn't work as a persuasion architecture,

і він не оперує як архітектура переконання,

or its power of influence is of great concern.

або сила його впливу є причиною для серйозного хвилювання.

It's either one or the other.

Або одне, або інше.

It's similar for Google, too.

З Google ситуація схожа.

So what can we do?

Що ми можемо зробити?

This needs to change.

Це потребує змін.

Now, I can't offer a simple recipe,

Ні, я не можу запропонувати простий рецепт,

because we need to restructure

тому що нам слід перебудувати

the whole way our digital technology operates.

структуру нашого світу цифрових технологій.

Everything from the way technology is developed

Весь шлях, починаючи з їх розробки

to the way the incentives, economic and otherwise,

до того, як стимули, економічні чи будь-які інші,

are built into the system.

вбудовуються в систему.

We have to face and try to deal with

Ми маємо усвідомити та почати боротися

the lack of transparency created by the proprietary algorithms,

з недостатньою прозорістю, що породжується запатентованими алгоритмами,

the structural challenge of machine learning's opacity,

зі структурними проблемами, що зумовлюються

неясністю принципів роботи машинного навчання,

all this indiscriminate data that's being collected about us.

з усією цією інформацією, що безладно збирається про нас.

We have a big task in front of us.

Перед нами стоїть серйозне завдання.

We have to mobilize our technology,

Нам треба мобілізувати наш технічний досвід,

our creativity

наші творчі здібності,

and yes, our politics

навіть наші політичні переконання,

so that we can build artificial intelligence

для побудови штучного інтелекту,

that supports us in our human goals

що буде супроводжувати здійснення наших людських цілей,

but that is also constrained by our human values.

але також буде стримуватися нашими людськими цінностями.

And I understand this won't be easy.

Я розумію, що це буде непросто.

We might not even easily agree on what those terms mean.

Ми навіть можемо мати різні погляди на значення цих речей.

But if we take seriously

Та якщо ми усвідомимо необхідність осмислення

how these systems that we depend on for so much operate,

принципів роботи цих життєво важливих для нас систем,

I don't see how we can postpone this conversation anymore.

ми не зможемо більше відкладати цей діалог.

These structures

Ці структури відповідають

are organizing how we function

за нашу діяльність,

and they're controlling

контролюючи те,

what we can and we cannot do.

що ми в змозі та не в змозі робити.

And many of these ad-financed platforms,

І багато з цих платформ, спонсованих рекламою,

they boast that they're free.

заявляють, що є безкоштовними.

In this context, it means that we are the product that's being sold.

З такої точки зору зрозуміло, що ми і є тим продуктом, що продається.

We need a digital economy

Нам потрібна цифрова економіка,

where our data and our attention

де наші дані та наша увага не стають об'єктом продажу

is not for sale to the highest-bidding authoritarian or demagogue.

для диктатора або демагога, який заплатить найбільшу суму.

(Applause)

(Оплески)

So to go back to that Hollywood paraphrase,

Повертаючись до перефразування голлівудського філософа,

we do want the prodigious potential

ми і справді хочемо розширення можливостей

of artificial intelligence and digital technology to blossom,

штучного інтелекту та цифрових технологій,

but for that, we must face this prodigious menace,

та при цьому ми також маємо бути готові до великої загрози,

open-eyed and now.

вже зараз, з широко відкритими очима.

Thank you.

Дякую.

(Applause)

(Оплески)