We're building a dystopia just to make people click on ads | Zeynep Tufekci

Fordító: Bálint Laza Lektor: Andi Vida

So when people voice fears of artificial intelligence,

Amikor az emberek aggódnak a mesterséges intelligencia miatt,

very often, they invoke images of humanoid robots run amok.

nagyon gyakran ámokfutó robotokra gondolnak.

You know? Terminator?

Ugye? A Terminátor?

You know, that might be something to consider,

Ez tényleg megfontolandó lehet,

but that's a distant threat.

de távoli fenyegetés.

Or, we fret about digital surveillance

Vagy múltból szedett metaforákkal idegeskedünk

with metaphors from the past.

a digitális megfigyelés miatt.

"1984," George Orwell's "1984,"

1984. George Orwell 1984-e

it's hitting the bestseller lists again.

újra bestseller.

It's a great book,

Remek könyv,

but it's not the correct dystopia for the 21st century.

de nem a 21. századról szóló disztópia.

Amitől sokkal jobban kell félnünk,

What we need to fear most

is not what artificial intelligence will do to us on its own,

nem az, hogy a mesterséges intelligencia mit fog tenni magától,

but how the people in power will use artificial intelligence

hanem hogy a hatalomban lévők mire fogják használni ezt,

to control us and to manipulate us

hogy szokatlan, néha rejtett,

in novel, sometimes hidden,

kifinomult és váratlan módokon

subtle and unexpected ways.

ellenőrizzenek és manipuláljanak minket.

Much of the technology

A technológia nagy részét,

that threatens our freedom and our dignity in the near-term future

ami szabadságunkat és méltóságunkat veszélyezteti a közeljövőben,

is being developed by companies

olyan cégek fejlesztik,

in the business of capturing and selling our data and our attention

akiknek üzleti érdekében áll megszerezni és eladni adatainkat, érdeklődési körünket

to advertisers and others:

hirdetőknek és másoknak:

Facebook, Google, Amazon,

Facebook, Google, Amazon

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

A mesterséges intelligencia már az ő üzleteiket is erősíti.

And it may seem like artificial intelligence

És úgy tűnhet, a mesterséges intelligencia

is just the next thing after online ads.

csak egy újabb lépés az online reklámok után.

It's not.

De nem az.

It's a jump in category.

Kategóriaugrás.

It's a whole different world,

Teljesen más világ,

and it has great potential.

és nagy lehetőségek vannak benne.

It could accelerate our understanding of many areas of study and research.

Segíthet megérteni sok terület tanulmányait és kutatásait.

But to paraphrase a famous Hollywood philosopher,

Egy híres hollywoodi filozófust idézve:

"With prodigious potential comes prodigious risk."

„A hatalmas lehetőségek hatalmas kockázattal járnak”

Now let's look at a basic fact of our digital lives, online ads.

Most nézzük meg digitális életünk alapvetését, az online hirdetéseket.

Right? We kind of dismiss them.

Észre sem vesszük őket, nem?

They seem crude, ineffective.

Erőszakosnak, hatástalannak tűnnek.

We've all had the experience of being followed on the web

Mindegyikünk megtapasztalta már, hogy olyan reklám követ minket a weben,

by an ad based on something we searched or read.

ami a kereséseink, olvasmányaink témájához kötődik.

You know, you look up a pair of boots

Rákeresünk például egy pár csizmára,

and for a week, those boots are following you around everywhere you go.

ami aztán hetekig a nyomunkban jár, bármerre járunk.

Even after you succumb and buy them, they're still following you around.

Még azután is, hogy megadjuk magunkat, és megvesszük.

We're kind of inured to that kind of basic, cheap manipulation.

Hozzászokhattunk már ehhez az egyszerű, olcsó manipulációhoz.

We roll our eyes and we think, "You know what? These things don't work."

Forgatjuk a szemünk, és azt gondoljuk, „Eh, ez nem működik.”

Except, online,

A digitális technológiák nemcsak reklámok,

the digital technologies are not just ads.

eltekintve online felületüktől.

Now, to understand that, let's think of a physical world example.

Ennek megértéséhez nézzünk egy példát a fizikai világból.

You know how, at the checkout counters at supermarkets, near the cashier,

Tudják, hogy a szupermarketekben a pénztár közelében

there's candy and gum at the eye level of kids?

nyalókák és rágógumik vannak a gyerekek szemmagasságában?

That's designed to make them whine at their parents

Ezt úgy tervezték, hogy sírjanak a szüleiknek,

just as the parents are about to sort of check out.

amikor épp sorban állnak a fizetéshez.

Now, that's a persuasion architecture.

Ez a meggyőzés architektúrája.

It's not nice, but it kind of works.

Nem szép, de láthatóan működik.

That's why you see it in every supermarket.

Ezért látjuk ezt minden szupermarketben.

Now, in the physical world,

Na most, a fizikai világban

such persuasion architectures are kind of limited,

ez az architektúra viszonylag korlátozott,

because you can only put so many things by the cashier. Right?

mert nem lehet mindent a pénztárhoz rakni, ugye?

And the candy and gum, it's the same for everyone,

A nyalóka meg a rágógumi mindenkinek ugyanolyan,

even though it mostly works

bár általában jobban működik

only for people who have whiny little humans beside them.

azoknál az embereknél, akik mellett kicsi síró alakok állnak.

In the physical world, we live with those limitations.

A fizikai világban együtt élünk ezekkel a korlátokkal.

In the digital world, though,

A digitális világban viszont

persuasion architectures can be built at the scale of billions

a meggyőzési architektúrák milliárdos nagyságrendűek lehetnek,

and they can target, infer, understand

és megcélozhatnak, felbecsülhetnek, kiismerhetnek egyéneket,

and be deployed at individuals

majd egyesével

one by one

bevethetők ellenük,

by figuring out your weaknesses,

rátapintva gyengeségeikre,

and they can be sent to everyone's phone private screen,

és bárki privát telefon-képernyőjére elküldhetők,

so it's not visible to us.

így a többiek nem látják.

And that's different.

És ettől más.

And that's just one of the basic things that artificial intelligence can do.

Ez csak egyetlen egyszerű dolog, amire a mesterséges intelligencia képes.

Now, let's take an example.

Nézzünk egy példát.

Let's say you want to sell plane tickets to Vegas. Right?

Mondjuk, repülőjegyeket akarunk eladni Las Vegasba. Jó?

So in the old world, you could think of some demographics to target

A régi világban tapasztalat és feltételezések alapján

based on experience and what you can guess.

némi demográfiai célt is tippelhetnénk.

You might try to advertise to, oh,

Tegyük fel, hogy mondjuk,

men between the ages of 25 and 35,

25 és 35 közötti férfiaknak hirdetjük meg,

or people who have a high limit on their credit card,

vagy olyanoknak, akiknek magas hitelkeret van a kártyájukon,

or retired couples. Right?

vagy nyugdíjas pároknak. Nem?

That's what you would do in the past.

Ezt tennénk a múltban.

With big data and machine learning,

Nagy adatmennyiséggel és gépi tanulással

that's not how it works anymore.

ez többé már nem így működik.

So to imagine that,

Úgyhogy képzeljék el,

think of all the data that Facebook has on you:

gondoljanak az összes adatra, amit a Facebook őriz önökről:

every status update you ever typed,

minden állapotfrissítés, amit valaha begépeltek,

every Messenger conversation,

minden Messenger-beszélgetés,

every place you logged in from,

minden hely, ahonnan bejelentkeztek,

all your photographs that you uploaded there.

minden fotó, amit feltöltöttek oda.

If you start typing something and change your mind and delete it,

Ha elkezdenek begépelni valamit, aztán meggondolják magukat, és törlik,

Facebook keeps those and analyzes them, too.

a Facebook azt is megtartja, és elemzi.

Increasingly, it tries to match you with your offline data.

Sőt, megpróbálja összekötni önöket offline adataikkal.

It also purchases a lot of data from data brokers.

Sok adatot vásárol adatkereskedőktől is.

It could be everything from your financial records

Ez bármi lehet: a pénzügyi nyilvántartásuktól kezdve

to a good chunk of your browsing history.

a böngészési előzményeik jó részéig.

Right? In the US, such data is routinely collected,

Értik? Az Államokban ezeket az adatokat rutinszerűen gyűjtik,

collated and sold.

elemzik és eladják.

In Europe, they have tougher rules.

Európában ezt szigorúbban szabályozzák.

So what happens then is,

Így az történik, hogy amint

by churning through all that data, these machine-learning algorithms --

ezek a gépi tanulásos algoritmusok végigfutnak az adatokon –

that's why they're called learning algorithms --

ezért hívjuk tanuló algoritmusoknak –,

they learn to understand the characteristics of people

megtanulják megérteni azok jellemzőit,

who purchased tickets to Vegas before.

akik korábban jegyet vettek Las Vegasba.

When they learn this from existing data,

Amikor meglévő adatból tanulnak,

they also learn how to apply this to new people.

megtanulják azt is, hogyan alkalmazzák új emberekre.

So if they're presented with a new person,

Így ha új személlyel találkoznak,

they can classify whether that person is likely to buy a ticket to Vegas or not.

be tudják sorolni hogy ő valószínűleg vesz-e jegyet Vegasba, vagy nem.

Fine. You're thinking, an offer to buy tickets to Vegas.

Rendben. Önök azt hiszik, ez egy ajánlat Vegasba.

I can ignore that.

Ezt figyelmen kívül hagyhatom.

But the problem isn't that.

A probléma azonban nem ez.

The problem is,

Hanem az, hogy többé

we no longer really understand how these complex algorithms work.

nem igazán értjük, hogyan működnek ezek az összetett algoritmusok.

We don't understand how they're doing this categorization.

Nem értjük, hogyan csoportosítanak.

It's giant matrices, thousands of rows and columns,

Hatalmas mátrixok, több ezernyi sor és oszlop,

maybe millions of rows and columns,

talán milliónyi sor vagy oszlop,

and not the programmers

és sem a programozók,

and not anybody who looks at it,

sem senki, aki ránéz,

even if you have all the data,

nem érti már a pontos működését,

understands anymore how exactly it's operating

még akkor sem, ha megvan az összes adat,

any more than you'd know what I was thinking right now

mint ahogy azt sem tudnák, mit gondolok éppen,

if you were shown a cross section of my brain.

még akkor sem, ha megmutatnám az agyam keresztmetszetét.

It's like we're not programming anymore,

Mintha többé nem programoznánk,

we're growing intelligence that we don't truly understand.

olyan intelligenciát fejlesztünk, amit nem értünk teljesen.

And these things only work if there's an enormous amount of data,

És mindezek csak akkor működnek, ha rengeteg adatunk van,

so they also encourage deep surveillance on all of us

így arra is ösztönöznek, hogy alaposan megfigyeljenek mindannyiunkat,

so that the machine learning algorithms can work.

hogy működhessenek a gépi tanulásos algoritmusok.

That's why Facebook wants to collect all the data it can about you.

Ezért gyűjt össze a Facebook minden adatot rólunk, amit csak tud.

The algorithms work better.

Az algoritmusok jobban működnek.

So let's push that Vegas example a bit.

Nézzük még kicsit a vegasi példát.

What if the system that we do not understand

Mi van, ha a rendszer, amit nem értünk,

was picking up that it's easier to sell Vegas tickets

rájött, hogy egyszerűbb vegasi jegyeket eladni azoknak,

to people who are bipolar and about to enter the manic phase.

akiknek bipoláris zavara éppen a mániákus szakaszba lép?

Such people tend to become overspenders, compulsive gamblers.

Ők gyakran lesznek túlköltekezők, kényszeres szerencsejátékosok.

They could do this, and you'd have no clue that's what they were picking up on.

Kiválaszthatja őket ennek alapján, és mi még csak nem is sejtjük.

I gave this example to a bunch of computer scientists once

Egyszer informatikusok körében mondtam el ezt a példát,

and afterwards, one of them came up to me.

utána egyikük odajött hozzám.

He was troubled and he said, "That's why I couldn't publish it."

Zavart volt, és azt mondta: „Ezért nem tudom kiadni.”

I was like, "Couldn't publish what?"

Mondom: „Mit nem tud kiadni?”

He had tried to see whether you can indeed figure out the onset of mania

Olyan szoftvert írt, ami azt vizsgálja: megállapítható-e a mánia megjelenése

from social media posts before clinical symptoms,

közösségi médiás bejegyzésekből a klinikai tünetek megjelenése előtt,

and it had worked,

és kiderült, hogy igen,

and it had worked very well,

a programja nagyon is jól működött,

and he had no idea how it worked or what it was picking up on.

ő pedig nem tudta, hogyan működik, vagy hogy milyen fogásra akadt.

Now, the problem isn't solved if he doesn't publish it,

A probléma nem oldódik meg, ha nem adja ki a szoftvert,

because there are already companies

mert már vannak cégek,

that are developing this kind of technology,

akik fejlesztenek ilyen technológiát,

and a lot of the stuff is just off the shelf.

és már sok minden elérhető.

This is not very difficult anymore.

Ez ma már nem túl bonyolult.

Do you ever go on YouTube meaning to watch one video

Mentek-e már úgy a Youtube-ra, hogy csak egy videót néznek meg,

and an hour later you've watched 27?

és egy óra múlva már a huszonhetediknél tartottak?

You know how YouTube has this column on the right

Ismerik-e a Youtube-on a jobb oldali oszlopot,

that says, "Up next"

ahol ez áll: „Következő”,

and it autoplays something?

és automatikusan lejátszik valamit?

It's an algorithm

Az egy algoritmus,

picking what it thinks that you might be interested in

ami kiválasztja, hogy feltehetően mi érdekli a látogatót,

és nem biztos, hogy magunktól rátalálnánk.

and maybe not find on your own.

It's not a human editor.

Ezt nem ember szerkeszti.

It's what algorithms do.

Így működnek az algoritmusok.

It picks up on what you have watched and what people like you have watched,

Annak alapján, amit mi és a hozzánk hasonló látogatók megnézünk,

and infers that that must be what you're interested in,

kiválasztja és kikövetkezteti, mi az, ami még érdekelhet minket,

what you want more of,

miből szeretnénk még,

and just shows you more.

és ezekből többet mutat.

It sounds like a benign and useful feature,

Jószándékú és hasznos funkciónak hangzik,

except when it isn't.

de nem mindig az.

So in 2016, I attended rallies of then-candidate Donald Trump

2016-ban részt vettem az akkor jelölt Donald Trump gyűlésein,

to study as a scholar the movement supporting him.

hogy kutatóként tanulmányozzam az őt támogató mozgalmat.

I study social movements, so I was studying it, too.

Társadalmi mozgalmakat kutatok, ezért ezt is tanulmányoztam.

And then I wanted to write something about one of his rallies,

Aztán írni akartam valamit az egyik gyűléséről,

so I watched it a few times on YouTube.

ezért megnéztem párszor a Youtube-on.

A Youtube fehér felsőbbrendűségről szóló videókat kezdett ajánlgatni

YouTube started recommending to me

and autoplaying to me white supremacist videos

és automatikusan lejátszani nekem,

in increasing order of extremism.

egyre szélsőségesebbeket.

If I watched one,

Ha megnéztem egyet,

it served up one even more extreme

még szélsőségesebbet kaptam,

and autoplayed that one, too.

és azt is magától lejátszotta.

If you watch Hillary Clinton or Bernie Sanders content,

Ha Hillary Clintonról vagy Bernie Sandersről nézünk tartalmakat,

YouTube recommends and autoplays conspiracy left,

a Youtube automatikusan összeesküvés-elméleteket kezd lejátszani,

and it goes downhill from there.

innentől már csak lejjebb van.

Well, you might be thinking, this is politics, but it's not.

Önök azt gondolhatják: ez politika, de nem az.

This isn't about politics.

Ez nem a politikáról szól.

This is just the algorithm figuring out human behavior.

Ez csak egy algoritmus, ami kitalálja az emberi viselkedést.

I once watched a video about vegetarianism on YouTube

Egyszer megnéztem egy videót a vegetarianizmusról a Youtube-on,

and YouTube recommended and autoplayed a video about being vegan.

a Youtube ajánlott és el is indított egy videót a vegán életmódról.

It's like you're never hardcore enough for YouTube.

Olyan, mintha sosem lennénk elég kemények a Youtube-nak.

(Laughter)

(Nevetés)

So what's going on?

Szóval, mi folyik itt?

Now, YouTube's algorithm is proprietary,

A Youtube algoritmusa szabadalommal védett,

but here's what I think is going on.

de elmondom, mit gondolok.

The algorithm has figured out

Az algoritmus rájött,

that if you can entice people

ha rá tudjuk venni az embereket, hogy azt gondolják:

into thinking that you can show them something more hardcore,

valami keményebbet tudunk nekik mutatni,

they're more likely to stay on the site

akkor nagyobb valószínűséggel maradnak az oldalon,

watching video after video going down that rabbit hole

és nézik egyik videót a másik után, egyre mélyebbre merülve,

while Google serves them ads.

míg a Google hirdetéseket mutat nekik.

Now, with nobody minding the ethics of the store,

Most, hogy senkit nem érdekel a boltok etikája,

these sites can profile people

ezek az oldalak pontosan meg tudják találni

who are Jew haters,

a zsidógyűlölőket,

who think that Jews are parasites

azokat, akik szerint a zsidók paraziták,

and who have such explicit anti-Semitic content,

azokat, akik kifejezetten antiszemita tartalmakat tesznek fel,

and let you target them with ads.

és célzott reklámokat küld nekik.

They can also mobilize algorithms

Arra is használhatják az algoritmusokat,

to find for you look-alike audiences,

hogy megtalálják a hasonló közönséget,

people who do not have such explicit anti-Semitic content on their profile

azokat, akiknek nincs ilyen határozott antiszemita tartalom a profilján,

but who the algorithm detects may be susceptible to such messages,

de az algoritmus felismeri, hogy fogékonyak lehetnek ilyen üzenetekre,

and lets you target them with ads, too.

és nekik is küldi a célzott hirdetéseket.

Now, this may sound like an implausible example,

Ez valószínűtlen példának tűnhet,

but this is real.

pedig valódi.

ProPublica investigated this

A ProPublica nyomozott az ügyben,

and found that you can indeed do this on Facebook,

és rájöttek, hogy ez tényleg megtehető a Facebookon,

and Facebook helpfully offered up suggestions

a Facebook még segítőkészen javaslatokat is tesz,

on how to broaden that audience.

hogyan bővítsük ezt a közönséget.

BuzzFeed tried it for Google, and very quickly they found,

A BuzzFeed tesztelte a Google-t, és nagyon gyorsan rájöttek,

yep, you can do it on Google, too.

hogy bizony rá is ugyanez vonatkozik.

And it wasn't even expensive.

És még csak drága sem volt.

The ProPublica reporter spent about 30 dollars

A ProPublica riportere 30 dollárt költött

to target this category.

ennek a kategóriának a bemérésére.

So last year, Donald Trump's social media manager disclosed

Tavaly tehát Donald Trump közösségimédia-menedzsere elmondta,

that they were using Facebook dark posts to demobilize people,

hogy úgynevezett "dark postokkal" igyekeznek otthon tartani az embereket,

not to persuade them,

nem azért, hogy meggyőzzék őket,

but to convince them not to vote at all.

hanem hogy egyáltalán ne szavazzanak.

And to do that, they targeted specifically,

És ehhez kifinomult módon állítottak be célcsoportokat,

for example, African-American men in key cities like Philadelphia,

például kulcsvárosokban, például Philadelphiában élő afro-amerikaiakat,

and I'm going to read exactly what he said.

és mindjárt felolvasom, mit mondott pontosan.

I'm quoting.

Idézem.

They were using "nonpublic posts

"Nem nyilvános posztokat" használtak,

whose viewership the campaign controls

"ezek olvasóit a kampány szabályozta,

so that only the people we want to see it see it.

hogy csak azok lássák, akiket erre célzottan kiválasztunk.

We modeled this.

Modelleztük ezt.

It will dramatically affect her ability to turn these people out."

Drasztikusan befolyásolja az embereket a szavazásból való kimaradásra."

What's in those dark posts?

Mi volt ezekben a "sötét bejegyzésekben"?

We have no idea.

Ötletünk sincs.

Facebook won't tell us.

A Facebook nem árulja el.

So Facebook also algorithmically arranges the posts

A Facebook tehát algoritmus szerint rendezi a bejegyzéseket,

that your friends put on Facebook, or the pages you follow.

amiket a barátaink kitesznek, vagy az oldalakat, amiket követünk.

It doesn't show you everything chronologically.

Nem időrend szerint jeleníti meg ezeket.

It puts the order in the way that the algorithm thinks will entice you

Az algoritmus elgondolása szerint olyan sorrendbe rendezi,

to stay on the site longer.

hogy minél több időt töltsünk ott.

Ez pedig rengeteg következményt von maga után.

Now, so this has a lot of consequences.

You may be thinking somebody is snubbing you on Facebook.

Azt gondolhatjuk, hogy valaki mellőz minket a Facebookon.

The algorithm may never be showing your post to them.

Pedig lehet, hogy az algoritmus elrejti előle a bejegyzéseinket.

The algorithm is prioritizing some of them and burying the others.

Az algoritmus egy részüket kiemeli, a többit eltemeti.

Experiments show

A kísérletek szerint

that what the algorithm picks to show you can affect your emotions.

az algoritmus választásai befolyásolhatják az érzelmeinket.

But that's not all.

De ez még nem minden.

It also affects political behavior.

A politikai viselkedést is befolyásolja.

So in 2010, in the midterm elections,

2010-ben a félidős választásokon

Facebook did an experiment on 61 million people in the US

a Facebook 61 millió amerikat tesztelt,

that was disclosed after the fact.

és ezt csak utólag mondták el.

So some people were shown, "Today is election day,"

Néhány embernek azt mutatták: "Ma vannak a választások",

the simpler one,

ez volt az egyszerűbb,

and some people were shown the one with that tiny tweak

másoknak bonyolultabbat,

with those little thumbnails

azokkal a kis bélyegképekkel

of your friends who clicked on "I voted."

a barátainkról, akik rákattintottak arra, hogy "Szavaztam".

This simple tweak.

Ez egyszerű különbség.

OK? So the pictures were the only change,

Értik? Csak a képek jelentették az egyetlen eltérést,

and that post shown just once

és a bejegyzést csak egyszer mutatták,

turned out an additional 340,000 voters

ez a kutatás szerint

in that election,

340 ezer plusz szavazót jelentett

according to this research

azon a választáson,

as confirmed by the voter rolls.

ezt a szavazólisták megerősítették.

A fluke? No.

Mázli? Nem.

Because in 2012, they repeated the same experiment.

Mert 2012-ben megismételték ugyanezt a kísérletet.

And that time,

Ekkor

that civic message shown just once

ez az egyszer megjelenített állampolgári üzenet

turned out an additional 270,000 voters.

270 ezer további szavazót hozott.

For reference, the 2016 US presidential election

Referenciaként, a 2016-os amerikai elnökválasztást

was decided by about 100,000 votes.

százezer szavazó döntötte el.

Now, Facebook can also very easily infer what your politics are,

A Facebook könnyedén kikövetkezteti politikai vonzódásunkat,

even if you've never disclosed them on the site.

akkor is, ha ezt soha nem tárjuk nyilvánosság elé.

Right? These algorithms can do that quite easily.

Ezeknek az algoritmusoknak ez nem kihívás.

What if a platform with that kind of power

Mi van, ha egy platform ezzel a típusú hatalommal

decides to turn out supporters of one candidate over the other?

úgy dönt, hogy egy jelöltet támogat egy másikkal szemben?

How would we even know about it?

Honnan fogunk egyáltalán tudni róla?

Now, we started from someplace seemingly innocuous --

Valami látszólag ártalmatlan dologgal kezdtünk –

online adds following us around --

minket követő online hirdetések –,

and we've landed someplace else.

és máshová lyukadtunk ki.

As a public and as citizens,

Közösségként és állampolgárokként

we no longer know if we're seeing the same information

többé nem tudjuk, hogy ugyanazt az információt látjuk,

or what anybody else is seeing,

vagy azt, amit bárki más lát,

and without a common basis of information,

és közös információs alapok nélkül,

little by little,

lépésről lépésre

public debate is becoming impossible,

lehetetlenné válnak a nyilvános viták,

and we're just at the beginning stages of this.

és ennek még csak az elején tartunk.

These algorithms can quite easily infer

Ezek az algoritmusok csak Facebook like-okból

things like your people's ethnicity,

képesek kikövetkeztetni olyan jellemzőket,

religious and political views, personality traits,

mint az emberek etnikuma, vallási és politikai nézetei,

intelligence, happiness, use of addictive substances,

személyiségjegyei, intelligenciája, boldogsága,

parental separation, age and genders,

függőséget okozó szerek használata,

just from Facebook likes.

válása, életkora, neme.

Ezek az algoritmusok képesek tüntetőket azonosítani

These algorithms can identify protesters

even if their faces are partially concealed.

akkor is, ha az arcuk részben el van takarva.

These algorithms may be able to detect people's sexual orientation

Ezek az algoritmusok képesek emberek szexuális orientációját behatárolni,

just from their dating profile pictures.

csak randiprofiljuk fotójából.

Now, these are probabilistic guesses,

Persze, ezek valószínűségi találgatások,

so they're not going to be 100 percent right,

ezért nem lesznek 100 százalékosan pontosak,

but I don't see the powerful resisting the temptation to use these technologies

de túl erősnek látom a technológia felhasználására irányuló kísértést,

just because there are some false positives,

és nem győz meg néhány hamis eredmény,

which will of course create a whole other layer of problems.

ami persze teljesen új problémahegyeket hoz létre.

Imagine what a state can do

Képzeljük el, mit kezdhet egy állam

with the immense amount of data it has on its citizens.

ezzel a rengeteg adattal saját állampolgárairól.

China is already using face detection technology

Kína már használja az arcfelismerés technológiáját,

to identify and arrest people.

hogy azonosítson és lecsukjon embereket.

And here's the tragedy:

És itt a tragédia:

we're building this infrastructure of surveillance authoritarianism

az önkényuralmi megfigyelés infrastruktúráját építjük

merely to get people to click on ads.

csak azért, hogy az emberek hirdetésekre kattintsanak.

And this won't be Orwell's authoritarianism.

És ez nem Orwell önkényuralma lesz.

This isn't "1984."

Ez nem az "1984".

Now, if authoritarianism is using overt fear to terrorize us,

Ha ez az önkényuralom nyílt fenyegetéssel félemlít meg minket,

we'll all be scared, but we'll know it,

mind rettegni fogunk, de tisztában leszünk vele,

we'll hate it and we'll resist it.

gyűlölni fogjuk, és ellenállunk.

But if the people in power are using these algorithms

De ha a hatalomban lévők ezeket az algoritmusokat arra használják,

to quietly watch us,

hogy csendben megfigyeljenek,

to judge us and to nudge us,

hogy ítélkezzenek,

to predict and identify the troublemakers and the rebels,

hogy előre lássák és azonosítsák a bajkeverőket és a lázadókat,

to deploy persuasion architectures at scale

hogy a meggyőzés szerkezetét széles körben alkalmazzák,

and to manipulate individuals one by one

hogy személyes, egyéni gyengeségeik és sebezhetőségeik felhasználásával

using their personal, individual weaknesses and vulnerabilities,

egyenként manipuláljanak egyéneket,

and if they're doing it at scale

és ha ezt nagy léptékben végzik

through our private screens

privát képernyőinken

so that we don't even know

úgy, hogy még azt sem tudjuk,

what our fellow citizens and neighbors are seeing,

mit lát a többi állampolgár és a szomszédaink,

that authoritarianism will envelop us like a spider's web

ez az önkényuralom behálóz minket, mint egy pók hálója,

and we may not even know we're in it.

és talán észre sem vesszük majd, hogy benne vagyunk.

So Facebook's market capitalization

A Facebook piaci értéke

is approaching half a trillion dollars.

megközelíti a fél billió dollárt.

It's because it works great as a persuasion architecture.

Mert jól működik mint meggyőzési technika.

But the structure of that architecture

De ennek az architektúrának a szerkezete

is the same whether you're selling shoes

ugyanaz akkor is, ha cipőket adunk el,

or whether you're selling politics.

és akkor is, ha politikát adunk el.

The algorithms do not know the difference.

Az algoritmusok nem tesznek különbséget.

The same algorithms set loose upon us

Ugyanazok az algoritmusok, amelyek

to make us more pliable for ads

befolyásolhatóbbá tesznek minket a hirdetésekkel szemben,

are also organizing our political, personal and social information flows,

ugyanazok szervezik politikai személyes és társadalmi információnk áramlását,

and that's what's got to change.

és ezen változtatnunk kell.

Now, don't get me wrong,

Kérem, ne értsenek félre,

we use digital platforms because they provide us with great value.

azért használjuk a digitális platformokat, mert értékesek számunkra.

I use Facebook to keep in touch with friends and family around the world.

Facebookozom, hogy tartsam a kapcsolatot barátaimmal és családommal.

I've written about how crucial social media is for social movements.

Írtam arról, milyen fontos a közösségi média társadalmi mozgalmainkhoz.

I have studied how these technologies can be used

Azt kutattam, hogyan használhatjuk ezeket a technológiákat arra,

to circumvent censorship around the world.

hogy világszerte megkerüljük a cenzúrát.

But it's not that the people who run, you know, Facebook or Google

De nem azért, hogy azok, akik a Facebookot vagy a Google-t irányítják,

are maliciously and deliberately trying

rosszindulatúan és szándékosan megpróbálják

to make the country or the world more polarized

egyre jobban megosztani az országot vagy a világot,

and encourage extremism.

és ösztönözni a szélsőségeket.

I read the many well-intentioned statements

Olvastam a sok jó szándékú kijelentést

that these people put out.

ezektől az emberektől.

But it's not the intent or the statements people in technology make that matter,

De nem a szándék, és nem a technológián dolgozók kijelentései számítanak,

it's the structures and business models they're building.

hanem azok a szerkezetek, üzleti modellek, amiket építenek.

And that's the core of the problem.

És ez a probléma lényege.

Either Facebook is a giant con of half a trillion dollars

A Facebook vagy egy hatalmas, félbillió dolláros cég,

and ads don't work on the site,

és nem működnek hirdetések a felületén,

it doesn't work as a persuasion architecture,

nem meggyőzési architektúraként működik,

or its power of influence is of great concern.

vagy pedig befolyásoló hatalma aggodalomra ad okot.

It's either one or the other.

Vagy az egyik, vagy a másik.

It's similar for Google, too.

Ugyanez igaz a Google-ra.

So what can we do?

Mit tehetünk tehát?

This needs to change.

Ez nem maradhat így.

Now, I can't offer a simple recipe,

Sajnos, nem tudok egyszerű receptet ajánlani,

because we need to restructure

mert át kell alakítanunk

the whole way our digital technology operates.

a digitális technológia egész működését.

Everything from the way technology is developed

A technológia fejlesztésétől kezdve addig,

to the way the incentives, economic and otherwise,

ahol a gazdasági és egyéb ösztönzők

are built into the system.

beépülnek a rendszerbe.

We have to face and try to deal with

Szembe kell néznünk és foglalkoznunk kell

the lack of transparency created by the proprietary algorithms,

a védett algoritmusok átláthatóságának hiányával,

the structural challenge of machine learning's opacity,

a gépi tanulás homályosságának szerkezeti kihívásaival,

all this indiscriminate data that's being collected about us.

a rólunk válogatás nélkül gyűjtött összes adattal.

We have a big task in front of us.

Nagy feladat áll előttünk.

We have to mobilize our technology,

Mozgósítanunk kell a technológiánkat,

our creativity

kreativitásunkat,

and yes, our politics

és igen, a politikánkat,

so that we can build artificial intelligence

hogy olyan mesterséges intelligenciát építsünk,

that supports us in our human goals

ami támogatja emberi céljainkat,

but that is also constrained by our human values.

de amit emberi értékeink korlátoznak is.

And I understand this won't be easy.

Értem én, hogy ez nem lesz egyszerű.

We might not even easily agree on what those terms mean.

Talán abban sem értünk teljesen egyet, hogy mit jelentenek ezek a feltételek.

But if we take seriously

De ha komolyan vesszük,

how these systems that we depend on for so much operate,

hogy ezek a rendszerek, amelyek működésétől annyira függünk,

I don't see how we can postpone this conversation anymore.

nem látom be, hogy elhalaszthatnánk ezt a megbeszélést.

These structures

Ezek a szerkezetek

are organizing how we function

megszervezik, hogyan működünk,

and they're controlling

és irányítják,

what we can and we cannot do.

mit tehetünk, és mit nem.

And many of these ad-financed platforms,

Sok, reklámokkal finanszírozott platform

they boast that they're free.

büszkén hirdeti, hogy ingyenes.

In this context, it means that we are the product that's being sold.

Ami ebben a környezetben azt jelenti, hogy mi vagyunk az eladott termék.

We need a digital economy

Olyan digitális gazdaságra van szükségünk,

where our data and our attention

ahol az adataink és az érdeklődési körünk

is not for sale to the highest-bidding authoritarian or demagogue.

nem eladó a legnagyobb ajánlatot tevő önkényúrnak vagy demagógnak.

(Applause)

(Taps)

So to go back to that Hollywood paraphrase,

Szóval, vissza a hollywoodi idézethez:

we do want the prodigious potential

a mesterséges intelligencia és a digitális technológia virágzásának

of artificial intelligence and digital technology to blossom,

hatalmas lehetőségei tényleg kellenek,

but for that, we must face this prodigious menace,

de ehhez szembe kell néznünk az óriási fenyegetéssel,

open-eyed and now.

nyitott szemmel, és most azonnal.

Thank you.

Köszönöm.

(Applause)

(Taps)