We're building a dystopia just to make people click on ads | Zeynep Tufekci

Tłumaczenie: Korekta: Agnieszka Fijałkowska

Gdy ludzie mówią o obawach związanych ze sztuczną inteligencją,

przywołują obrazy siejących spustoszenie humanoidalnych robotów.

Prawda? Terminator?

Warto o tym pomyśleć,

So when people voice fears of artificial intelligence,

ale to dość odległe zagrożenie.

Boimy się też cyfrowej inwigilacji

very often, they invoke images of humanoid robots run amok.

przywołując metafory z przeszłości.

"Rok 1984" Georga Orwella

You know? Terminator?

You know, that might be something to consider,

znowu trafił na listy bestsellerów.

but that's a distant threat.

To świetna książka,

Or, we fret about digital surveillance

ale nie opisuje prawdziwej dystopii XXI wieku.

with metaphors from the past.

"1984," George Orwell's "1984,"

Najbardziej musimy się obawiać nie tego,

it's hitting the bestseller lists again.

co sztuczna inteligencja zrobi nam sama z siebie,

It's a great book,

ale tego, w jaki sposób ludzie u władzy wykorzystają ją

but it's not the correct dystopia for the 21st century.

do kontrolowania nas i manipulowania

What we need to fear most

is not what artificial intelligence will do to us on its own,

w nowatorski, czasem ukryty,

subtelny i nieoczekiwany sposób.

but how the people in power will use artificial intelligence

Większość technologii,

która wkrótce może zagrozić naszej wolności i godności

to control us and to manipulate us

in novel, sometimes hidden,

rozwijają firmy

zajmujące się zdobywaniem i sprzedażą naszych danych i uwagi

subtle and unexpected ways.

Much of the technology

firmom reklamowym i innym:

that threatens our freedom and our dignity in the near-term future

Facebook, Google, Amazon,

is being developed by companies

Alibaba, Tencent.

in the business of capturing and selling our data and our attention

Sztuczna inteligencja to podstawa ich biznesu.

to advertisers and others:

Facebook, Google, Amazon,

Może się wydawać, że sztuczna inteligencja

jest tylko kolejnym krokiem po reklamach w sieci.

Alibaba, Tencent.

Nie jest.

To ogromny skok.

Now, artificial intelligence has started bolstering their business as well.

To zupełnie inny świat

z ogromnym potencjałem.

And it may seem like artificial intelligence

is just the next thing after online ads.

Może nam pomóc w zrozumieniu wielu dziedzin i badań naukowych.

It's not.

It's a jump in category.

It's a whole different world,

Jednak parafrazując znanego filozofa z Hollywood:

and it has great potential.

“Z ogromnym potencjałem idzie ogromne ryzyko.”

It could accelerate our understanding of many areas of study and research.

Przyjrzyjmy się podstawom naszego cyfrowego życia, reklamom.

But to paraphrase a famous Hollywood philosopher,

Prawda? Często je pomijamy.

Wydają się nachalne i nieskuteczne.

"With prodigious potential comes prodigious risk."

Każdy z nas kiedyś miał wrażenie, reklama związana z czymś,

Now let's look at a basic fact of our digital lives, online ads.

czego szukaliśmy lub o czym czytaliśmy nas śledzi.

Right? We kind of dismiss them.

Na przykład szukacie butów,

a one podążają za wami wszędzie przez cały tydzień.

They seem crude, ineffective.

We've all had the experience of being followed on the web

Nawet jeśli się poddacie i je kupicie, to one tam nadal są.

by an ad based on something we searched or read.

Przyzwyczailiśmy się do tej prostej, taniej manipulacji.

You know, you look up a pair of boots

Przewracamy oczami i myślimy: “Wiecie co? To przecież nie działa.”

and for a week, those boots are following you around everywhere you go.

Jednak w internecie

Even after you succumb and buy them, they're still following you around.

cyfrowe technologie to nie tylko reklamy.

We're kind of inured to that kind of basic, cheap manipulation.

Żeby lepiej to zrozumieć podam przykład z realnego świata.

We roll our eyes and we think, "You know what? These things don't work."

Wiecie, dlaczego przy kasach w dużych supermarketach

Except, online,

the digital technologies are not just ads.

są półki z cukierkami i gumami na poziomie oczu dzieci?

Now, to understand that, let's think of a physical world example.

Żeby zaczęły jęczeć rodzicom,

You know how, at the checkout counters at supermarkets, near the cashier,

którzy podchodzą do kasy żeby zapłacić.

there's candy and gum at the eye level of kids?

To architektura perswazji.

Niezbyt fajna, ale działa.

That's designed to make them whine at their parents

Dlatego jest w każdym supermarkecie.

just as the parents are about to sort of check out.

W realnym świecie

ta metoda ma ograniczenia,

Now, that's a persuasion architecture.

bo przy kasie nie ma dużo miejsca.

It's not nice, but it kind of works.

That's why you see it in every supermarket.

Poza tym cukierki i gumy mają działać na wszystkich,

Now, in the physical world,

such persuasion architectures are kind of limited,

ale mimo to działają najbardziej na ludzi,

because you can only put so many things by the cashier. Right?

którzy tam przychodzą, z małymi, jęczącymi ludźmi.

And the candy and gum, it's the same for everyone,

W realnym świecie mamy te ograniczenia.

even though it mostly works

Jednak w cyfrowym świecie

only for people who have whiny little humans beside them.

metody perswazji można budować w skali miliardowej.

In the physical world, we live with those limitations.

Mogą wyszukiwać, studiować, rozumieć ludzi

a następnie się do nich wysyłać,

In the digital world, though,

persuasion architectures can be built at the scale of billions

jedna po drugiej,

rozpoznając nasze słabości,

wyświetlając się bezpośrednio na ekranie telefonu,

and they can target, infer, understand

and be deployed at individuals

z ukrycia.

Na tym polega różnica.

one by one

by figuring out your weaknesses,

To tylko jedna z rzeczy, jakie potrafi sztuczna inteligencja.

and they can be sent to everyone's phone private screen,

Weźmy taki przykład.

Załóżmy, że chcecie sprzedać bilety lotnicze do Vegas.

Kiedyś zapewne szukalibyście jakiejś grupy demograficznej,

so it's not visible to us.

And that's different.

w oparciu o doświadczenie i domysły.

And that's just one of the basic things that artificial intelligence can do.

Próbowalibyście adresować reklamę

Now, let's take an example.

Let's say you want to sell plane tickets to Vegas. Right?

do mężczyzn między 25 a 35 rokiem życia,

So in the old world, you could think of some demographics to target

ludzi z dużym limitem na karcie,

based on experience and what you can guess.

lub par na emeryturze. Prawda?

Tak by to wyglądało w przeszłości.

You might try to advertise to, oh,

Przy ogromnej ilości danych i uczeniu maszynowym,

men between the ages of 25 and 35,

działa to zupełnie inaczej.

or people who have a high limit on their credit card,

Zastanówcie się,

pomyślcie, ile informacji ma o was Facebook:

or retired couples. Right?

That's what you would do in the past.

każdy wpis na tablicy,

With big data and machine learning,

każda rozmowa na Messengerze,

that's not how it works anymore.

każde miejsce, z którego się logujecie,

So to imagine that,

think of all the data that Facebook has on you:

każde przesłane tam zdjęcie.

every status update you ever typed,

Jeśli coś piszecie, ale się rozmyślacie i kasujecie,

every Messenger conversation,

Facebook to przechowuje i analizuje.

every place you logged in from,

Coraz częściej próbuje powiązać was z danymi offline.

all your photographs that you uploaded there.

If you start typing something and change your mind and delete it,

Kupuje wasze dane od brokerów.

To może być cokolwiek, od dokumentacji finansowej

Facebook keeps those and analyzes them, too.

do ogromnej części historii przeglądarek.

Increasingly, it tries to match you with your offline data.

W USA takie dane zbiera się regularnie,

It also purchases a lot of data from data brokers.

porównuje i sprzedaje.

It could be everything from your financial records

Przepisy w Europie są bardziej restrykcyjne.

to a good chunk of your browsing history.

Dzieje się to:

Right? In the US, such data is routinely collected,

analizując wszystkie dane, uczące się algorytmy,

collated and sold.

dlatego nazywają się uczącymi się,

In Europe, they have tougher rules.

uczą się rozpoznawać cechy ludzi,

So what happens then is,

którzy kupili tamten bilet do Vegas.

by churning through all that data, these machine-learning algorithms --

Kiedy uczą się z istniejących źródeł,

that's why they're called learning algorithms --

they learn to understand the characteristics of people

uczą się też, jak to stosować u innych.

Więc jeśli przedstawi im się nową osobę,

who purchased tickets to Vegas before.

mogą stwierdzić, czy byłaby skłonna kupić bilet do Vegas.

When they learn this from existing data,

they also learn how to apply this to new people.

Możecie pomyśleć, że w porządku, to tylko oferta zakupu biletu do Vegas.

So if they're presented with a new person,

Można to zignorować.

they can classify whether that person is likely to buy a ticket to Vegas or not.

Ale nie tu jest problem.

Rzecz w tym, że już nie rozumiemy,

Fine. You're thinking, an offer to buy tickets to Vegas.

w jaki sposób działają te skomplikowane algorytmy.

Nie rozumiemy, jakich kryteriów używają do kategoryzacji.

I can ignore that.

But the problem isn't that.

To gigantyczne macierze z tysiącami rzędów i kolumn,

The problem is,

we no longer really understand how these complex algorithms work.

może nawet milionami.

Nawet sami programiści,

We don't understand how they're doing this categorization.

czy ktokolwiek, kto na nie spojrzy,

It's giant matrices, thousands of rows and columns,

nawet jeśli ma wszystkie dane,

już nie rozumie, jak one działają.

maybe millions of rows and columns,

and not the programmers

Tak samo, jak nie wiedzielibyście o czym teraz myślę,

and not anybody who looks at it,

na podstawie przekroju mojego mózgu.

even if you have all the data,

understands anymore how exactly it's operating

To jest tak, jakbyśmy już nie programowali,

ale hodowali inteligencję, której sami nie rozumiemy.

any more than you'd know what I was thinking right now

if you were shown a cross section of my brain.

Te systemy działają wyłącznie na ogromnych ilościach danych,

It's like we're not programming anymore,

co zachęca do głębszej inwigilacji,

we're growing intelligence that we don't truly understand.

żeby algorytmy mogły pracować.

Właśnie dlatego Facebook chce wiedzieć o nas jak najwięcej.

And these things only work if there's an enormous amount of data,

Żeby algorytmy lepiej działały.

so they also encourage deep surveillance on all of us

Pójdźmy z Vegas o krok dalej.

Co jeśli system, którego nie rozumiemy

so that the machine learning algorithms can work.

That's why Facebook wants to collect all the data it can about you.

zauważy, że łatwiej sprzedać nasz bilet

The algorithms work better.

So let's push that Vegas example a bit.

ludziom z zaburzeniem dwubiegunowym, wchodzących w fazę maniakalną?

What if the system that we do not understand

Te osoby mogą być bardziej rozrzutne, stać się kompulsywnymi hazardzistami.

was picking up that it's easier to sell Vegas tickets

Algorytmy mogłyby to wyłapać, a wy nie mielibyście o tym pojęcia.

to people who are bipolar and about to enter the manic phase.

Podałam kiedyś ten przykład naukowcom z dziedziny informatyki,

Such people tend to become overspenders, compulsive gamblers.

jeden z nich później do mnie podszedł.

Wyglądał na zaniepokojonego i powiedział, “Dlatego nie mogłem tego opublikować.”

They could do this, and you'd have no clue that's what they were picking up on.

Zapytałam: "Czego opublikować?"

I gave this example to a bunch of computer scientists once

Chciał sprawdzić, czy faktycznie można zauważyć początki manii

and afterwards, one of them came up to me.

He was troubled and he said, "That's why I couldn't publish it."

z postów w mediach społecznościowych nim pojawią się symptomy kliniczne.

I was like, "Couldn't publish what?"

Udało się.

Mechanizm zadziałał całkiem nieźle,

He had tried to see whether you can indeed figure out the onset of mania

jednak nie miał pojęcia w jaki sposób, ani co było wskaźnikiem.

from social media posts before clinical symptoms,

Problemu nie rozwiąże publikacja tego badania,

and it had worked,

and it had worked very well,

bo już istnieją firmy,

and he had no idea how it worked or what it was picking up on.

które rozwijają podobne technologie,

z których wiele już tylko czeka na półce.

Now, the problem isn't solved if he doesn't publish it,

To już nie jest takie trudne.

Zdarza wam się wejść YouTube z zamiarem obejrzenia jednego filmu,

because there are already companies

that are developing this kind of technology,

a po godzinie zauważacie, że obejrzeliście 27?

and a lot of the stuff is just off the shelf.

Po prawej stronie YouTube jest kolumna

This is not very difficult anymore.

z napisem "Następny",

Do you ever go on YouTube meaning to watch one video

która samoczynnie odtwarza filmy.

To algorytm wybierający to,

and an hour later you've watched 27?

co może być dla was interesujące,

You know how YouTube has this column on the right

czego moglibyście sami nie znaleźć.

Nie wybiera tego człowiek,

that says, "Up next"

tylko algorytm.

Wybiera na podstawie tego, co oglądaliście wy lub podobni do was,

and it autoplays something?

It's an algorithm

picking what it thinks that you might be interested in

i stwierdza, że tym się interesujecie,

and maybe not find on your own.

It's not a human editor.

że chcecie tego więcej

i to wyświetla.

It's what algorithms do.

It picks up on what you have watched and what people like you have watched,

Brzmi jak fajna i użyteczna rzecz,

ale nią nie jest.

and infers that that must be what you're interested in,

W 2016 roku chodziłam na wiece Trumpa kandydującego na prezydenta,

what you want more of,

and just shows you more.

It sounds like a benign and useful feature,

i badałam naukowo ludzi go wspierających.

except when it isn't.

So in 2016, I attended rallies of then-candidate Donald Trump

Badałam ruchy społeczne, więc postanowiłam zbadać i to.

Później chciałam napisać coś o jednym z wieców,

więc obejrzałam na YouTube kilka filmów z niego.

to study as a scholar the movement supporting him.

Dalej serwis zaczął mi polecać

I study social movements, so I was studying it, too.

i autoodtwarzać filmy o białej supremacji

And then I wanted to write something about one of his rallies,

z rosnącym poziomem ekstremizmu.

so I watched it a few times on YouTube.

Gdy obejrzałam jeden,

YouTube started recommending to me

dostawałam kolejny, ostrzejszy,

and autoplaying to me white supremacist videos

który też był autoodtwarzany.

Gdy ogląda się coś o Hilary Clinton, czy Bernie Sandersie,

in increasing order of extremism.

YouTube rekomenduje i autoodtwarza lewicowe teorie spiskowe,

If I watched one,

it served up one even more extreme

a później jest już z górki.

and autoplayed that one, too.

If you watch Hillary Clinton or Bernie Sanders content,

Wydaje się, że chodzi o politykę, ale to nieprawda.

To nie polityka.

YouTube recommends and autoplays conspiracy left,

To algorytm rozpoznający schematy ludzkiego zachowania.

Kiedyś obejrzałam na YouTube film o wegetarianizmie,

and it goes downhill from there.

Well, you might be thinking, this is politics, but it's not.

a serwis zaproponował i autoodtworzył film o weganach.

This isn't about politics.

This is just the algorithm figuring out human behavior.

Dla YouTube nigdy nie jesteśmy wystarczająco ekstremalni.

I once watched a video about vegetarianism on YouTube

(Śmiech)

Więc o co tutaj chodzi?

and YouTube recommended and autoplayed a video about being vegan.

Algorytm YouTube jest zastrzeżony,

ale myślę, że sprawa wygląda tak.

It's like you're never hardcore enough for YouTube.

Algorytm stwierdził,

(Laughter)

że jeśli może zachęcić ludzi do myślenia,

So what's going on?

Now, YouTube's algorithm is proprietary,

że mogą zobaczyć coś ostrzejszego,

but here's what I think is going on.

to chętniej pozostaną na stronie

The algorithm has figured out

oglądając filmik za filmikiem idąc w dół króliczej nory,

that if you can entice people

oglądając po drodze reklamy od Google.

into thinking that you can show them something more hardcore,

Jeśli nikt tego nie kontroluje,

they're more likely to stay on the site

watching video after video going down that rabbit hole

serwisy mogą profilować ludzi,

while Google serves them ads.

przykładowo antysemitów,

Now, with nobody minding the ethics of the store,

ludzi uważających, że Żydzi są pasożytami,

these sites can profile people

mających na profilu silne antysemickie treści

who are Jew haters,

i kierować do nich reklamy.

who think that Jews are parasites

Można też tworzyć algorytmy

and who have such explicit anti-Semitic content,

do wyszukiwania podobnych osób,

które nie mają aż tak silnych antysemickich treści na profilu,

and let you target them with ads.

They can also mobilize algorithms

ale które według algorytmu mogą być podatne na podobną zawartość,

to find for you look-alike audiences,

people who do not have such explicit anti-Semitic content on their profile

i do nich też kierować reklamy.

Może to brzmi nierealnie,

but who the algorithm detects may be susceptible to such messages,

ale istnieje naprawdę.

Organizacja ProPublica to zbadała

i wyszło, że można tak robić na Facebooku,

and lets you target them with ads, too.

który pomocnie sugeruje,

Now, this may sound like an implausible example,

jak zwiększać ilość takich odbiorców.

but this is real.

BuzzFeed robił to samo dla Google, co pokazało,

ProPublica investigated this

and found that you can indeed do this on Facebook,

że też można to tam zrobić.

To nie było nawet drogie.

and Facebook helpfully offered up suggestions

Dziennikarz ProPublica wydał około 30 dolarów

on how to broaden that audience.

na przebadanie tej kategorii.

BuzzFeed tried it for Google, and very quickly they found,

yep, you can do it on Google, too.

W zeszłym roku specjalista do spraw mediów społecznościowych

And it wasn't even expensive.

The ProPublica reporter spent about 30 dollars

Donalda Trumpa wyznał,

że używano ukrytych treści na Facebooku, aby zniechęcać ludzi,

to target this category.

nie wyperswadować im,

So last year, Donald Trump's social media manager disclosed

ale przekonać, żeby wcale nie głosowali.

Żeby to zrobić wzięli na cel

that they were using Facebook dark posts to demobilize people,

przykładowo afro-amerykanów w kluczowych miastach, jak Filadelfia,

not to persuade them,

but to convince them not to vote at all.

przytoczę teraz jego wypowiedź.

Cytuję.

Używali "niepublicznych treści

And to do that, they targeted specifically,

kontrolowanych przez działaczy kampanii,

for example, African-American men in key cities like Philadelphia,

przez co były dostępne wyłącznie dla wybranych ludzi.

and I'm going to read exactly what he said.

Sprawdziliśmy to.

I'm quoting.

Miało to znaczący wpływ na możliwość zdobycia głosów przez partię.”

They were using "nonpublic posts

whose viewership the campaign controls

Co było w tych treściach?

so that only the people we want to see it see it.

Nie mamy pojęcia.

We modeled this.

Fecebook tego nie wyjawi.

It will dramatically affect her ability to turn these people out."

Facebook też używa algorytmów przy ustalaniu kolejności postów,

jakie wasi znajomi umieszczają w serwisie, lub na śledzonych przez was stronach.

What's in those dark posts?

We have no idea.

Nie wyświetla ich chronologicznie.

Facebook won't tell us.

Algorytm tak ustala kolejność, żeby zachęcić nas

So Facebook also algorithmically arranges the posts

do jak najdłuższego pozostania na stronie.

that your friends put on Facebook, or the pages you follow.

To niesie ze sobą wiele konsekwencji.

It doesn't show you everything chronologically.

It puts the order in the way that the algorithm thinks will entice you

Można pomyśleć, że ktoś ze znajomych na Facebooku was lekceważy.

Ale algorytm może im wcale nie pokazywać waszych postów.

to stay on the site longer.

Algorytm daje pierwszeństwo jednym, a innych ukrywa.

Now, so this has a lot of consequences.

You may be thinking somebody is snubbing you on Facebook.

Eksperymenty wykazały,

The algorithm may never be showing your post to them.

że treści wybierane przez algorytm mogą wpływać na emocje.

The algorithm is prioritizing some of them and burying the others.

To jednak nie wszystko.

Ma też wpływ na zachowania polityczne.

Experiments show

Podczas śródkadencyjnych wyborów w 2010 roku

that what the algorithm picks to show you can affect your emotions.

Fecbook przeprowadził eksperyment na 61 milionach obywateli USA,

But that's not all.

It also affects political behavior.

który został ujawniony po fakcie.

So in 2010, in the midterm elections,

Część osób zobaczyło informację, “Dzisiaj są wybory”,

jej prostszą wersję,

Facebook did an experiment on 61 million people in the US

a inni zobaczyli wersję z niewielką modyfikacją

w formie miniatur znajomych

that was disclosed after the fact.

którzy zaznaczyli "Zagłosowałem".

So some people were shown, "Today is election day,"

Niewielka zmiana.

the simpler one,

and some people were shown the one with that tiny tweak

Miniatury były jedyną modyfikacją,

with those little thumbnails

a post pokazany tylko raz

of your friends who clicked on "I voted."

zaowocował dodatkowymi 340 tysiącami głosujących

This simple tweak.

OK? So the pictures were the only change,

w tych wyborach,

według tego badania,

and that post shown just once

co zostało potwierdzone ewidencją głosujących.

turned out an additional 340,000 voters

Szczęśliwy traf? Nie.

Ponieważ w 2012 roku badanie powtórzono.

in that election,

according to this research

as confirmed by the voter rolls.

Tym razem

wiadomość pokazana tylko raz,

A fluke? No.

dała w efekcie 270 tysięcy głosujących.

Because in 2012, they repeated the same experiment.

Dla porównania, wybory prezydenckie w 2016 roku

And that time,

that civic message shown just once

rozstrzygnęło około sto tysięcy głosów.

turned out an additional 270,000 voters.

Facebook może łatwo rozpoznać wasze preferencje polityczne,

For reference, the 2016 US presidential election

nawet jeśli ich tam nie wyjawiliście.

was decided by about 100,000 votes.

Algorytmy mają na to łatwy sposób.

Co jeśli narzędzie o takich możliwościach

Now, Facebook can also very easily infer what your politics are,

postanowi skupić się na jednych wyborcach, a innych odrzucić?

even if you've never disclosed them on the site.

Right? These algorithms can do that quite easily.

Jak to w ogóle rozpoznać?

What if a platform with that kind of power

Zaczęliśmy od czegoś nieszkodliwego na pierwszy rzut oka,

decides to turn out supporters of one candidate over the other?

podążających za nami reklam online,

a dotarliśmy w zupełnie inne miejsce.

How would we even know about it?

Jako społeczeństwo i obywatele,

Now, we started from someplace seemingly innocuous --

nie możemy być pewni, czy dostajemy te same informacje,

online adds following us around --

albo co widzą inni,

and we've landed someplace else.

a przy braku jednej platformy informacyjnej,

powoli,

As a public and as citizens,

debata publiczna staje się niemożliwa.

we no longer know if we're seeing the same information

A to dopiero początek.

or what anybody else is seeing,

Algorytmy w bardzo prosty sposób dedukują

and without a common basis of information,

takie rzeczy, jak przynależność etniczna,

little by little,

public debate is becoming impossible,

poglądy religijne, polityczne, cechy osobowości,

and we're just at the beginning stages of this.

inteligencja, szczęście, uzależnienia,

These algorithms can quite easily infer

separacja od rodziców, wiek i płeć,

things like your people's ethnicity,

na podstawie facebookowych lajków.

religious and political views, personality traits,

Te algorytmy potrafią rozpoznać demonstrantów

intelligence, happiness, use of addictive substances,

nawet jeśli mają częściowo zakryte twarze.

parental separation, age and genders,

just from Facebook likes.

Mogą wykryć orientację seksualną

These algorithms can identify protesters

na podstawie zdjęć w profilach randkowych.

even if their faces are partially concealed.

These algorithms may be able to detect people's sexual orientation

To założenia o pewnym poziomie prawdopodobieństwa,

więc nigdy nie będą dokładne w 100%,

ale wątpię żeby ludzie u władzy oparli się pokusie użycia tych technologii

just from their dating profile pictures.

tylko dlatego, że niektóre wyniki są fałszywie pozytywne,

Now, these are probabilistic guesses,

co tylko doprowadzi do nowych problemów.

so they're not going to be 100 percent right,

Pomyślcie, co może zrobić państwo,

but I don't see the powerful resisting the temptation to use these technologies

mając tak ogromną ilość danych o swoich obywatelach.

just because there are some false positives,

Chiny już używają technologii rozpoznawania twarzy,

which will of course create a whole other layer of problems.

Imagine what a state can do

do identyfikowania i aresztowania ludzi.

with the immense amount of data it has on its citizens.

Najgorsze jest to,

że budujemy machinę autorytarnego nadzoru

China is already using face detection technology

po to, żeby ludzie klikali reklamy.

to identify and arrest people.

And here's the tragedy:

To nie autorytaryzm Orwella.

we're building this infrastructure of surveillance authoritarianism

To nie "Rok 1984".

Jeśli rząd autorytarny użyje strachu by nas terroryzować,

merely to get people to click on ads.

będziemy przerażeni, ale będziemy o tym wiedzieć,

And this won't be Orwell's authoritarianism.

będziemy tego nienawidzić i sprzeciwiać się.

This isn't "1984."

Ale jeśli ludzie u władzy użyją algorytmów

Now, if authoritarianism is using overt fear to terrorize us,

by po cichu nas podglądać,

we'll all be scared, but we'll know it,

oceniać i poszturchiwać,

we'll hate it and we'll resist it.

aby przewidzieć i zidentyfikować potencjalnych buntowników

But if the people in power are using these algorithms

używając architektury perswazji na szeroką skalę,

to quietly watch us,

manipulując jednostkami,

to judge us and to nudge us,

to predict and identify the troublemakers and the rebels,

używając do tego ich wad i słabości,

to deploy persuasion architectures at scale

jeśli będą to robić na szeroką skalę

and to manipulate individuals one by one

przez ekrany naszych telefonów,

że nawet nie będziemy wiedzieli,

using their personal, individual weaknesses and vulnerabilities,

co widzą nasi współobywatele i sąsiedzi.

Autorytaryzm otoczy nas niczym sieć pająka,

and if they're doing it at scale

through our private screens

a my nawet nie będziemy o tym wiedzieć.

so that we don't even know

what our fellow citizens and neighbors are seeing,

Wartość rynkowa Facebooka

that authoritarianism will envelop us like a spider's web

dochodzi do pół biliona dolarów.

To dlatego, że świetnie sprawdza się jako narzędzie perswazji.

and we may not even know we're in it.

Jednak jego struktura jest taka sama,

So Facebook's market capitalization

is approaching half a trillion dollars.

niezależnie czy sprzedajemy buty,

czy politykę.

It's because it works great as a persuasion architecture.

Dla algorytmu to bez różnicy.

But the structure of that architecture

Te same rozhamowane algorytmy,

is the same whether you're selling shoes

stworzone żebyśmy klikali w reklamy,

or whether you're selling politics.

ustalają przepływ naszych politycznych, osobistych i społecznych informacji,

The algorithms do not know the difference.

The same algorithms set loose upon us

i to musi się zmienić.

to make us more pliable for ads

Nie zrozumcie mnie źle,

are also organizing our political, personal and social information flows,

używamy platform cyfrowych, bo oferują dużo możliwości.

Używam Facebooka, żeby być w kontakcie z przyjaciółmi i rodziną na całym świecie.

and that's what's got to change.

Pisałam o znaczeniu mediów społecznościowych

Now, don't get me wrong,

we use digital platforms because they provide us with great value.

w ruchach społecznych.

Badałam, jak można użyć tych technologii

I use Facebook to keep in touch with friends and family around the world.

do ominięcia cenzury na całym świecie.

I've written about how crucial social media is for social movements.

To nie jest tak, że ludzie zarządzający Facebookiem, czy Google

I have studied how these technologies can be used

celowo i na złość starają się

to circumvent censorship around the world.

podzielić kraj, albo świat

But it's not that the people who run, you know, Facebook or Google

czy zachęcić do ekstremizmu.

Czytałam wiele oświadczeń dobrej woli

are maliciously and deliberately trying

wygłaszanych przez tych ludzi.

to make the country or the world more polarized

Ale w przypadku technologii, intencje i oświadczenia są bez znaczenia,

and encourage extremism.

I read the many well-intentioned statements

istotne są budowane struktury i modele biznesowe.

that these people put out.

To jest sedno problemu.

But it's not the intent or the statements people in technology make that matter,

Albo Facebook jest gigantycznym oszustem za pół biliona dolarów,

it's the structures and business models they're building.

a reklamy są nieskuteczne,

i całe narzędzie perswazji nie działa,

And that's the core of the problem.

albo jego ogromna siła wpływu jest niepokojąca.

Either Facebook is a giant con of half a trillion dollars

Jedno albo drugie.

and ads don't work on the site,

Tak samo jest z Google.

it doesn't work as a persuasion architecture,

Co możemy zrobić?

or its power of influence is of great concern.

To musi się zmienić.

Nie mam prostego sposobu,

bo należy zmienić sposób,

It's either one or the other.

It's similar for Google, too.

w jaki działają cyfrowe technologie.

So what can we do?

Od ich rozwoju,

This needs to change.

Now, I can't offer a simple recipe,

do tego jak bodźce, ekonomiczne i inne,

because we need to restructure

wbudowuje się w system.

the whole way our digital technology operates.

Musimy stawić czoła i próbować radzić sobie

Everything from the way technology is developed

z brakiem przejrzystości stworzonym przez prywatne algorytmy.

to the way the incentives, economic and otherwise,

Ze strukturalnym wyzwaniem nieprzejrzystości uczących się maszyn,

are built into the system.

We have to face and try to deal with

bezkrytycznie zbieranymi o nas danymi.

the lack of transparency created by the proprietary algorithms,

Przed nami stoi duże wyzwanie.

Musimy zmobilizować nasze technologie,

the structural challenge of machine learning's opacity,

kreatywność

all this indiscriminate data that's being collected about us.

i tak, politykę,

żebyśmy mogli stworzyć sztuczną inteligencję,

We have a big task in front of us.

wspierającą nas w ludzkich dążeniach,

We have to mobilize our technology,

ale też ograniczoną naszymi ludzkimi wartościami.

our creativity

and yes, our politics

Wiem, że nie będzie to proste,

so that we can build artificial intelligence

that supports us in our human goals

Możemy się nawet nie zgadzać, co to oznacza.

but that is also constrained by our human values.

Jednak jeśli traktujemy poważnie

sposób, w jaki działają systemy na których się tak bardzo opieramy,

And I understand this won't be easy.

We might not even easily agree on what those terms mean.

nie możemy odkładać tego na później.

But if we take seriously

Te algorytmy

how these systems that we depend on for so much operate,

organizują sposób, w jaki funkcjonujemy

i kontrolują co możemy, a czego nie możemy zrobić.

I don't see how we can postpone this conversation anymore.

Wiele platform finansowanych z reklam

These structures

are organizing how we function

chwali się, że są darmowe.

W tym kontekście, że to my jesteśmy obiektem handlu.

and they're controlling

what we can and we cannot do.

Potrzebujemy cyfrowej ekonomii,

And many of these ad-financed platforms,

gdzie nasze dane i uwaga

they boast that they're free.

In this context, it means that we are the product that's being sold.

nie będą sprzedawane dającemu więcej despocie, czy demagogowi.

We need a digital economy

(Brawa)

where our data and our attention

is not for sale to the highest-bidding authoritarian or demagogue.

Wracając do Hollywoodzkiej parafrazy,

chcemy ogromnego potencjału sztucznej inteligencji,

(Applause)

oraz żeby technologie cyfrowe kwitły,

dlatego musimy zmierzyć się z ogromnym zagrożeniem,

So to go back to that Hollywood paraphrase,

we do want the prodigious potential

trzeźwym okiem, teraz.

Dziękuję.

of artificial intelligence and digital technology to blossom,

(Brawa)

but for that, we must face this prodigious menace,

open-eyed and now.

Thank you.

(Applause)