We're building a dystopia just to make people click on ads | Zeynep Tufekci

Vertaald door: Axel Saffran Nagekeken door: Peter van de Ven

So when people voice fears of artificial intelligence,

Mensen die hun bezorgdheid uiten over kunstmatige intelligentie,

very often, they invoke images of humanoid robots run amok.

gebruiken daarvoor vaak het schrikbeeld van op hol geslagen, mensachtige robots.

You know? Terminator?

Terminator en zo.

You know, that might be something to consider,

Nou slaat dat de plank niet helemaal mis,

but that's a distant threat.

maar het blijft nogal vergezocht.

Or, we fret about digital surveillance

Of we vrezen digitale datavergaring

aan de hand van oude metaforen.

with metaphors from the past.

"1984," George Orwell's "1984,"

'1984', van George Orwell.

it's hitting the bestseller lists again.

Het staat weer in de bestsellerlijsten.

It's a great book,

Het is een geweldig boek,

but it's not the correct dystopia for the 21st century.

maar niet de juiste dystopie voor de 21ste eeuw.

What we need to fear most

Wat wij het meest moeten vrezen,

is not what artificial intelligence will do to us on its own,

is niet wat kunstmatige intelligentie op zich ons zal aandoen,

but how the people in power will use artificial intelligence

maar hoe de mensen met macht

ons middels kunstmatige intelligentie gaan beheersen en manipuleren

to control us and to manipulate us

in novel, sometimes hidden,

op ongekende, soms verborgen, subtiele en onverwachte manieren.

subtle and unexpected ways.

Much of the technology

Veel van de technologie

that threatens our freedom and our dignity in the near-term future

die onze vrijheid en waardigheid bedreigt in de nabije toekomst,

is being developed by companies

wordt ontwikkeld door bedrijven

in the business of capturing and selling our data and our attention

die zich bezighouden met het verzamelen en verkopen van onze data en onze aandacht

to advertisers and others:

aan adverteerders en zo.

Facebook, Google, Amazon,

Facebook, Google, Amazon,

Alibaba, Tencent.

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

Kunstmatige intelligentie begint nu ook hun activiteiten te versterken.

And it may seem like artificial intelligence

En het lijkt misschien

alsof kunstmatige intelligentie de volgende stap is na internetreclame.

is just the next thing after online ads.

It's not.

Dat is niet zo.

It's a jump in category.

Het is een nieuwe categorie.

It's a whole different world,

Een volledig nieuwe wereld,

and it has great potential.

met een enorm potentieel.

It could accelerate our understanding of many areas of study and research.

Het zou ons veel kunnen leren in een hoop onderzoeksgebieden.

But to paraphrase a famous Hollywood philosopher,

Maar zoals een bekende Hollywood-filosoof al zei:

"With prodigious potential comes prodigious risk."

"Ongekend potentieel brengt ongekende risico's met zich mee."

Now let's look at a basic fact of our digital lives, online ads.

Kijk even naar dat basisfenomeen van ons digitale leven:

online advertenties.

Right? We kind of dismiss them.

We nemen ze niet helemaal serieus.

They seem crude, ineffective.

Ze lijken dom, ineffectief.

We've all had the experience of being followed on the web

We zijn allemaal wel eens achtervolgd door een advertentie

by an ad based on something we searched or read.

voor iets wat we eerder zochten of lazen.

Je weet wel, je bekijkt een stel schoenen,

You know, you look up a pair of boots

and for a week, those boots are following you around everywhere you go.

en die blijven je dan een hele week achtervolgen.

Even after you succumb and buy them, they're still following you around.

Zelfs nadat je bezweken bent en ze kocht, zie je ze overal terug.

We're kind of inured to that kind of basic, cheap manipulation.

Dit soort goedkope manipulatie doet ons al niet zoveel meer.

We roll our eyes and we think, "You know what? These things don't work."

Je rolt met je ogen en denkt: "Zoiets werkt dus niet."

Except, online,

Maar de digitale technologieën online bestaan niet alleen uit advertenties.

the digital technologies are not just ads.

Now, to understand that, let's think of a physical world example.

Een voorbeeld uit de fysieke wereld kan dat helpen verduidelijken.

You know how, at the checkout counters at supermarkets, near the cashier,

Bij de kassa in de supermarkt

there's candy and gum at the eye level of kids?

liggen altijd kauwgum en snoep op de ooghoogte van kinderen.

That's designed to make them whine at their parents

Dat is bedoeld om hen bij hun ouders te doen zeuren

just as the parents are about to sort of check out.

wanneer die klaar staan om te betalen.

Now, that's a persuasion architecture.

Dat is beïnvloedingstechniek.

It's not nice, but it kind of works.

Niet aardig, maar het werkt redelijk.

That's why you see it in every supermarket.

Daarom heeft iedere supermarkt het.

Now, in the physical world,

In de fysieke wereld zijn er grenzen aan zulke beïnvloedingstechniek,

such persuasion architectures are kind of limited,

because you can only put so many things by the cashier. Right?

want je kan immers niet alles bij de kassa neerleggen.

And the candy and gum, it's the same for everyone,

En iedereen ziet dezelfde kauwgum en snoep,

even though it mostly works

ook al werkt het voornamelijk bij mensen met zeurende schepseltjes aan hun zijde.

only for people who have whiny little humans beside them.

In the physical world, we live with those limitations.

In de fysieke wereld leven we met die beperkingen.

In the digital world, though,

Maar in de digitale wereld

persuasion architectures can be built at the scale of billions

kan zulke beïnvloedingsmachinerie gebouwd worden op miljardenschaal,

and they can target, infer, understand

zich richten op individuen, en deze duiden en begrijpen.

and be deployed at individuals

Ze wordt losgelaten op afzonderlijke individuen

one by one

by figuring out your weaknesses,

door je zwakheden te leren kennen,

and they can be sent to everyone's phone private screen,

en ze kan gestuurd worden naar ieders persoonlijke telefoonscherm,

so it's not visible to us.

onzichtbaar voor anderen.

And that's different.

En dat is anders.

And that's just one of the basic things that artificial intelligence can do.

Dat is slechts een van de dingen die kunstmatige intelligentie kan doen.

Now, let's take an example.

Nu een voorbeeld.

Let's say you want to sell plane tickets to Vegas. Right?

Stel je wilt vliegtuigtickets naar Las Vegas verkopen.

So in the old world, you could think of some demographics to target

Voorheen ging je dan denken hoe je doelgroep er uit zou zien,

based on experience and what you can guess.

op basis van ervaring en wat je gokte.

You might try to advertise to, oh,

Je zou je kunnen richten op mannen tussen de 25 en 35,

men between the ages of 25 and 35,

or people who have a high limit on their credit card,

of mensen met een hoge limiet op hun credit card,

or retired couples. Right?

of gepensioneerde echtparen.

That's what you would do in the past.

Zo ging dat in het verleden.

With big data and machine learning,

Met big data en zelflerende systemen

gaat dat anders in z'n werk.

that's not how it works anymore.

So to imagine that,

Om je dat voor te stellen,

think of all the data that Facebook has on you:

kun je denken aan alle data die Facebook van je heeft:

every status update you ever typed,

elke status update die je ooit intoetste,

every Messenger conversation,

elke Messenger-conversatie,

every place you logged in from,

elke plek vanwaar je inlogde,

all your photographs that you uploaded there.

al je foto's die je daarheen uploadde.

If you start typing something and change your mind and delete it,

Als je iets begint te typen maar je bedenkt je en verwijdert het,

Facebook keeps those and analyzes them, too.

wordt ook dat door Facebook bewaard en geanalyseerd.

Increasingly, it tries to match you with your offline data.

Stukje bij beetje proberen ze je offline data te achterhalen.

It also purchases a lot of data from data brokers.

Ook kopen ze veel data van datahandelaren.

It could be everything from your financial records

Dat kan alles zijn, van je financiële gegevens

to a good chunk of your browsing history.

tot een flink stuk van je zoekgeschiedenis.

Right? In the US, such data is routinely collected,

In de Verenigde Staten

worden zulke data standaard vergaard, geordend en verkocht.

collated and sold.

In Europe, they have tougher rules.

In Europa hebben ze strengere regels.

So what happens then is,

Door zich vervolgens door al die data heen te worstelen,

by churning through all that data, these machine-learning algorithms --

leren deze zelflerende algoritmen --

that's why they're called learning algorithms --

de naam is niet toevallig --

they learn to understand the characteristics of people

aan welke karakteristieken mensen voldoen

die eerder tickets kochten naar Las Vegas.

who purchased tickets to Vegas before.

When they learn this from existing data,

Wat ze opsteken uit bestaande data

they also learn how to apply this to new people.

kunnen ze dan toepassen op nieuwe mensen.

So if they're presented with a new person,

Als ze een nieuwe persoon voorgeschoteld krijgen,

they can classify whether that person is likely to buy a ticket to Vegas or not.

kunnen ze bepalen of die al dan niet een ticket zal kopen naar Las Vegas.

Fine. You're thinking, an offer to buy tickets to Vegas.

Goed. Nu denk je: een ticket naar Las Vegas...

dat geeft toch niet.

I can ignore that.

But the problem isn't that.

Maar dat is het probleem niet.

The problem is,

Het probleem is

we no longer really understand how these complex algorithms work.

dat we niet langer echt begrijpen hoe deze complexe algoritmen werken.

We don't understand how they're doing this categorization.

We begrijpen niet hoe deze categorisering in z'n werk gaat.

It's giant matrices, thousands of rows and columns,

Het zijn gigantische matrices, duizenden regels en kolommen,

maybe millions of rows and columns,

wellicht miljoenen regels en kolommen,

and not the programmers

en noch de programmeurs,

and not anybody who looks at it,

noch wie er ook naar kijkt,

even if you have all the data,

ook al heb je alle data,

understands anymore how exactly it's operating

begrijpt nog hoe het precies functioneert.

any more than you'd know what I was thinking right now

Net zo min als dat je zou weten wat ik momenteel denk,

if you were shown a cross section of my brain.

wanneer je een doorsnede van mijn brein zou zien.

It's like we're not programming anymore,

We programmeren als het ware niet meer,

we're growing intelligence that we don't truly understand.

maar we 'telen' intelligentie die we niet echt begrijpen.

And these things only work if there's an enormous amount of data,

En deze dingen werken alleen met enorme hoeveelheden data,

so they also encourage deep surveillance on all of us

dus ze stimuleren intensieve datavergaring over ons allemaal,

opdat de zelflerende algoritmen hun werk kunnen doen.

so that the machine learning algorithms can work.

That's why Facebook wants to collect all the data it can about you.

Daarom vergaart Facebook alle mogelijke data over jou.

The algorithms work better.

Dan werken de algoritmen beter.

So let's push that Vegas example a bit.

Nog even terug naar dat voorbeeld over Las Vegas.

What if the system that we do not understand

Stel nou dat het systeem dat we niet begrijpen,

was picking up that it's easier to sell Vegas tickets

doorkreeg dat het makkelijker is om tickets naar Las Vegas te verkopen

to people who are bipolar and about to enter the manic phase.

aan bipolaire mensen vlak voor ze de manische fase ingaan.

Such people tend to become overspenders, compulsive gamblers.

Vaak gaan zulke mensen geld over de balk smijten

en dwangmatig gokken.

They could do this, and you'd have no clue that's what they were picking up on.

Dat zouden ze kunnen, zonder dat je een clou had wat ze oppikten.

I gave this example to a bunch of computer scientists once

Ik gaf dit voorbeeld eens aan een stel computerwetenschappers

and afterwards, one of them came up to me.

en achteraf benaderde een van hen me.

He was troubled and he said, "That's why I couldn't publish it."

Hij keek bedrukt en zei: "Daarom kon ik het niet publiceren."

I was like, "Couldn't publish what?"

Ik vroeg: "Wat publiceren?"

He had tried to see whether you can indeed figure out the onset of mania

Hij had onderzocht of je een manie kon zien aankomen

aan de hand van sociale media-posts, voordat er klinische symptomen waren.

from social media posts before clinical symptoms,

and it had worked,

Met succes.

and it had worked very well,

Het werkte heel goed,

and he had no idea how it worked or what it was picking up on.

zonder dat hij een idee had hoe, of wat er opgepikt werd.

Now, the problem isn't solved if he doesn't publish it,

Het probleem is niet opgelost wanneer hij niet publiceert,

because there are already companies

want er zijn reeds bedrijven die dergelijke technologie ontwikkelen,

that are developing this kind of technology,

and a lot of the stuff is just off the shelf.

met makkelijk verkrijgbare middelen.

This is not very difficult anymore.

Dit is niet zo moeilijk meer.

Do you ever go on YouTube meaning to watch one video

Zit je wel eens op YouTube om één video te kijken,

and an hour later you've watched 27?

en een uur later heb er 27 gekeken?

You know how YouTube has this column on the right

Je kent die rechterkolom op YouTube wel

that says, "Up next"

waar staat: "Up next"

and it autoplays something?

en het volgende begint automatisch?

It's an algorithm

Dat is een algoritme

picking what it thinks that you might be interested in

dat kiest wat het denkt dat jou interesseert

and maybe not find on your own.

en dat je zelf niet zou vinden.

It's not a human editor.

Daar zit geen mens achter.

It's what algorithms do.

Dat doen algoritmen.

It picks up on what you have watched and what people like you have watched,

Die letten op waar jij naar gekeken hebt en waarnaar anderen zoals jij naar keken,

and infers that that must be what you're interested in,

en concludeert dat dat moet zijn wat jou interesseert,

what you want more of,

waar je meer van wilt,

and just shows you more.

en dat schotelt het je voor.

It sounds like a benign and useful feature,

Het klinkt als een goedaardige nuttige functie,

maar dat is het soms niet.

except when it isn't.

So in 2016, I attended rallies of then-candidate Donald Trump

In 2016 woonde ik bijeenkomsten bij van toenmalig kandidaat Donald Trump

to study as a scholar the movement supporting him.

om als onderzoeker zijn beweging te bestuderen.

I study social movements, so I was studying it, too.

Ik bestudeer sociale bewegingen, en daarom ook deze.

And then I wanted to write something about one of his rallies,

Toen wilde ik iets schrijven over een van zijn bijeenkomsten,

dus bekeek ik die een paar maal op YouTube.

so I watched it a few times on YouTube.

YouTube started recommending to me

YouTube begon me toen ultrarechtse video's aan te raden

and autoplaying to me white supremacist videos

en deze automatisch af te spelen.

in increasing order of extremism.

Steeds een graadje extremer.

If I watched one,

Als ik er eentje keek,

it served up one even more extreme

kreeg ik er daarna een die nog wat extremer was

and autoplayed that one, too.

en die begon ook automatisch.

If you watch Hillary Clinton or Bernie Sanders content,

Als je content bekijkt over Hillary Clinton of Bernie Sanders,

YouTube recommends and autoplays conspiracy left,

schotelt YouTube je linkse complotvideo's voor

and it goes downhill from there.

en van daar gaat het bergafwaarts.

Well, you might be thinking, this is politics, but it's not.

Nou denk je misschien, dat is politiek, maar dat is niet zo.

This isn't about politics.

Dit gaat niet over politiek.

This is just the algorithm figuring out human behavior.

Het is slechts een algoritme dat menselijk gedrag doorgrondt.

I once watched a video about vegetarianism on YouTube

Ik keek eens een filmpje over vegetarisme op YouTube

and YouTube recommended and autoplayed a video about being vegan.

en vervolgens kreeg ik een filmpje over veganisme te zien.

It's like you're never hardcore enough for YouTube.

Voor YouTube ben je nooit hardcore genoeg.

(Laughter)

(Gelach)

So what's going on?

Waarom is dat toch?

Now, YouTube's algorithm is proprietary,

Nu is YouTubes algoritme niet openbaar,

maar ik denk dat het als volgt zit.

but here's what I think is going on.

The algorithm has figured out

Het algoritme heeft uitgedokterd

that if you can entice people

dat als je mensen kan laten geloven

dat je hen iets kan laten zien dat meer hardcore is,

into thinking that you can show them something more hardcore,

they're more likely to stay on the site

zij geneigd zijn om op de site te blijven

watching video after video going down that rabbit hole

om video na video te kijken, vallend door dat konijnenhol,

while Google serves them ads.

terwijl Google hen advertenties kan tonen.

Now, with nobody minding the ethics of the store,

Als er niemand is die op de ethische code let,

these sites can profile people

kunnen deze sites mensen profileren

who are Jew haters,

die Joden haten,

who think that Jews are parasites

die vinden dat Joden parasieten zijn

and who have such explicit anti-Semitic content,

en die zulke expliciete antisemitische content tonen,

en jou daar gericht laten adverteren.

and let you target them with ads.

They can also mobilize algorithms

Ook kunnen ze algoritmen mobiliseren

to find for you look-alike audiences,

om soortgelijk publiek voor je te vinden.

people who do not have such explicit anti-Semitic content on their profile

Mensen zonder zulke expliciete antisemitische content op hun profiel,

but who the algorithm detects may be susceptible to such messages,

maar die volgens het algoritme

mogelijk ontvankelijk zijn voor zulke boodschappen,

and lets you target them with ads, too.

en daar mag je dan ook adverteren.

Now, this may sound like an implausible example,

Dat klinkt misschien als een onwaarschijnlijk voorbeeld,

but this is real.

maar dit is echt.

ProPublica investigated this

ProPublica onderzocht dit

and found that you can indeed do this on Facebook,

en ontdekte dat je dit daadwerkelijk kan doen op Facebook,

and Facebook helpfully offered up suggestions

waarbij Facebook behulpzaam suggereert hoe je dat publiek kan verbreden.

on how to broaden that audience.

BuzzFeed tried it for Google, and very quickly they found,

BuzzFeed probeerde het bij Google

en merkte al snel dat het daar ook kan.

yep, you can do it on Google, too.

And it wasn't even expensive.

Het was niet eens duur.

The ProPublica reporter spent about 30 dollars

De journalist van ProPublica gaf zo'n 30 dollar uit

to target this category.

om deze doelgroep aan te spreken.

So last year, Donald Trump's social media manager disclosed

Verleden jaar onthulde Donald Trumps sociale media-manager

that they were using Facebook dark posts to demobilize people,

dat ze met 'dark posts' op Facebook mensen demobiliseerden,

not to persuade them,

niet om ze over te halen,

but to convince them not to vote at all.

maar om ze te ontmoedigen te gaan stemmen.

And to do that, they targeted specifically,

Om dat te doen, richtten ze zich specifiek op bijvoorbeeld zwarte Amerikaanse mannen

for example, African-American men in key cities like Philadelphia,

in belangrijke steden als Philadelphia.

and I'm going to read exactly what he said.

Ik zal voorlezen wat hij zei.

I'm quoting.

Ik citeer.

They were using "nonpublic posts

Ze gebruikten "niet-openbare posts,

whose viewership the campaign controls

gericht op een doelgroep die de campagne bepaalt,

so that only the people we want to see it see it.

dus enkel zichtbaar voor wie wij willen dat het ziet.

We modeled this.

Wij gaven dit vorm.

It will dramatically affect her ability to turn these people out."

Ze zal hierdoor veel moeite hebben deze mensen voor haar te laten stemmen."

What's in those dark posts?

Wat staat er in deze 'dark posts'?

We have no idea.

We hebben geen idee.

Facebook won't tell us.

Dat houdt Facebook geheim.

So Facebook also algorithmically arranges the posts

Facebook gebruikt ook een algoritme

voor de ordening van vriendenposts of de pagina's die je volgt.

that your friends put on Facebook, or the pages you follow.

It doesn't show you everything chronologically.

Ze tonen je niet alles chronologisch.

It puts the order in the way that the algorithm thinks will entice you

Het algoritme kiest de volgorde

die jou naar verwachting het langst op de site zal houden.

to stay on the site longer.

Now, so this has a lot of consequences.

Dit heeft zo zijn consequenties.

You may be thinking somebody is snubbing you on Facebook.

Je denkt misschien dat iemand je negeert op Facebook.

The algorithm may never be showing your post to them.

Maar misschien toont het algoritme die persoon nooit jouw posts.

The algorithm is prioritizing some of them and burying the others.

Het geeft voorrang aan de een en begraaft de ander.

Experiments show

Experimenten laten zien

that what the algorithm picks to show you can affect your emotions.

dat wat het algoritme toont, invloed kan hebben op je emoties.

But that's not all.

Maar niet alleen dat.

It also affects political behavior.

Het beïnvloedt ook politiek gedrag.

So in 2010, in the midterm elections,

In 2010, in de verkiezingen voor het Amerikaanse congres,

Facebook did an experiment on 61 million people in the US

deed Facebook een experiment met 61 miljoen Amerikanen

that was disclosed after the fact.

dat ze achteraf openbaar maakten.

So some people were shown, "Today is election day,"

Sommige mensen kregen te zien: 'Vandaag is verkiezingsdag',

the simpler one,

de eenvoudige versie,

and some people were shown the one with that tiny tweak

en anderen zagen de versie met die kleine aanpassing,

with those little thumbnails

met thumbnails van je vrienden die hadden geklikt op 'Ik heb gestemd'.

of your friends who clicked on "I voted."

This simple tweak.

Een kleine aanpassing.

OK? So the pictures were the only change,

Die foto's waren het enige verschil,

and that post shown just once

maar door één enkele vertoning daarvan

turned out an additional 340,000 voters

gingen 340.000 mensen méér hun stem uitbrengen

in that election,

tijdens die verkiezingen,

according to this research

volgens dit onderzoek,

as confirmed by the voter rolls.

en bevestigd door de opkomstcijfers.

A fluke? No.

Toeval? Nee.

Because in 2012, they repeated the same experiment.

Want in 2012 herhaalden ze dit experiment

And that time,

en deze keer

that civic message shown just once

zorgde één enkele vertoning van die boodschap

turned out an additional 270,000 voters.

voor 270.000 extra stembusgangers.

For reference, the 2016 US presidential election

Ter vergelijk: in de presidentsverkiezingen van 2016

was decided by about 100,000 votes.

gaven zo'n 100.000 stemmen de doorslag.

Now, Facebook can also very easily infer what your politics are,

Facebook kan met gemak jouw politieke gezindheid achterhalen,

even if you've never disclosed them on the site.

al heb je die nooit geuit op de site.

Right? These algorithms can do that quite easily.

Geen enkel probleem voor die algoritmen.

What if a platform with that kind of power

Stel nou dat een platform met zulke macht

decides to turn out supporters of one candidate over the other?

besluit om de opkomst te stimuleren voor een bepaalde kandidaat?

How would we even know about it?

Hoe zouden we dat ook maar te weten komen?

Now, we started from someplace seemingly innocuous --

We zijn begonnen bij iets dat onschuldig lijkt --

online adds following us around --

online advertenties die ons achtervolgen --

and we've landed someplace else.

en zijn ergens anders aanbeland.

As a public and as citizens,

Als publiek en als burgers

we no longer know if we're seeing the same information

weten we niet meer of we allemaal dezelfde informatie zien,

or what anybody else is seeing,

of wat anderen te zien krijgen.

and without a common basis of information,

Zonder een gedeelde informatievoorziening

little by little,

wordt openbaar debat geleidelijk aan onmogelijk.

public debate is becoming impossible,

and we're just at the beginning stages of this.

En dit is nog maar net begonnen.

These algorithms can quite easily infer

Deze algoritmen achterhalen met gemak

things like your people's ethnicity,

dingen als je etnische afkomst,

religious and political views, personality traits,

religieuze en politieke gezindheid,

intelligence, happiness, use of addictive substances,

intelligentie, welzijn, gebruik van verslavende middelen,

parental separation, age and genders,

gescheiden ouders, leeftijd en geslacht,

just from Facebook likes.

puur op basis van Facebook-likes.

These algorithms can identify protesters

Deze algoritmen kunnen demonstranten identificeren

even if their faces are partially concealed.

wier gezichten gedeeltelijk bedekt zijn.

These algorithms may be able to detect people's sexual orientation

Deze algoritmen zijn mogelijk in staat iemands seksuele voorkeur te achterhalen

just from their dating profile pictures.

op basis van profielfoto's op datingsites.

Now, these are probabilistic guesses,

Weliswaar op basis van waarschijnlijkheid,

so they're not going to be 100 percent right,

dus ze hebben het ook wel eens bij het verkeerde eind,

but I don't see the powerful resisting the temptation to use these technologies

maar ik zie de machtigen der aarde deze technologieën nog niet schuwen

just because there are some false positives,

enkel vanwege wat valse positieven.

which will of course create a whole other layer of problems.

Dit creëert uiteraard een geheel nieuwe laag problemen.

Imagine what a state can do

Stel je voor wat een staat kan doen

with the immense amount of data it has on its citizens.

met de immense hoeveelheid data die hij bezit van zijn burgers.

China is already using face detection technology

China gebruikt nu al gezichtsherkenningssoftware

to identify and arrest people.

om mensen te identificeren en arresteren.

And here's the tragedy:

En het treurige is dit:

we're building this infrastructure of surveillance authoritarianism

we bouwen de infrastructuur van een politiestaat

enkel om mensen op advertenties te laten klikken.

merely to get people to click on ads.

And this won't be Orwell's authoritarianism.

Dit zal geen Orwelliaanse politiestaat zijn.

This isn't "1984."

Het is niet '1984'.

Now, if authoritarianism is using overt fear to terrorize us,

Als een autoritair regime openlijk angst gebruikt als machtsmiddel,

we'll all be scared, but we'll know it,

zijn we allemaal bang, maar we weten het.

we'll hate it and we'll resist it.

We haten het en verzetten ons ertegen.

But if the people in power are using these algorithms

Maar als de machthebbers deze algoritmen gebruiken

to quietly watch us,

om ons stiekem te bespieden,

to judge us and to nudge us,

te beoordelen en te sturen ...

to predict and identify the troublemakers and the rebels,

te voorspellen wie de dwarsliggers en rebellen zijn,

to deploy persuasion architectures at scale

om op grote schaal die beïnvloedingsmachine in te zetten

and to manipulate individuals one by one

en mensen individueel te manipuleren,

using their personal, individual weaknesses and vulnerabilities,

gebruik makend van ieders persoonlijke zwakheden,

and if they're doing it at scale

en ze doen dat op grote schaal

through our private screens

via onze persoonlijke schermen,

so that we don't even know

zodat we niet eens weten

what our fellow citizens and neighbors are seeing,

wat onze medeburger of onze buurman ziet ...

that authoritarianism will envelop us like a spider's web

... dat autoritarisme zal ons omsluiten als een spinnenweb,

and we may not even know we're in it.

waarvan we mogelijk niet eens weten dat we erin zitten.

So Facebook's market capitalization

Facebooks marktkapitalisatie nadert nu 420 miljard euro.

is approaching half a trillion dollars.

It's because it works great as a persuasion architecture.

Dat komt omdat het geweldig werkt als beïnvloedingsmachine.

But the structure of that architecture

Maar die machinerie werkt hetzelfde

is the same whether you're selling shoes

of je nu schoenen verkoopt of een politieke mening.

or whether you're selling politics.

The algorithms do not know the difference.

De algoritmen kennen het verschil niet.

The same algorithms set loose upon us

Dezelfde algoritmen die op je losgelaten worden

to make us more pliable for ads

om ons dingen aan te smeren,

are also organizing our political, personal and social information flows,

bepalen tevens je politieke, persoonlijke en sociale informatiestromen

and that's what's got to change.

en dát moet veranderen.

Now, don't get me wrong,

Begrijp me niet verkeerd,

we use digital platforms because they provide us with great value.

we gebruiken digitale platformen omdat die van grote waarde zijn voor ons.

I use Facebook to keep in touch with friends and family around the world.

Ik gebruik Facebook voor contact met vrienden en familie elders ter wereld.

I've written about how crucial social media is for social movements.

Ik heb geschreven over het enorme belang van sociale media voor sociale bewegingen.

I have studied how these technologies can be used

Ik heb bestudeerd hoe deze technologieën gebruikt kunnen worden

to circumvent censorship around the world.

om wereldwijd censuur te omzeilen.

But it's not that the people who run, you know, Facebook or Google

Maar het is niet dat de mensen die Facebook en Google en zo runnen

are maliciously and deliberately trying

kwaadaardig en bewust proberen

to make the country or the world more polarized

om het land of de wereld meer gepolariseerd te maken

and encourage extremism.

en extremisme aan te wakkeren.

I read the many well-intentioned statements

Ik heb vele welbedoelde statements gelezen

that these people put out.

van de hand van deze mensen.

But it's not the intent or the statements people in technology make that matter,

Het zijn niet de intentie of de statements van mensen in de technologiesector

die ertoe doen,

it's the structures and business models they're building.

maar de structuren en de bedrijfsmodellen die ze bouwen.

And that's the core of the problem.

Dat is de kern van het probleem.

Either Facebook is a giant con of half a trillion dollars

Ofwel Facebook zijn oplichters van bijna een half biljoen

and ads don't work on the site,

met advertenties die niet werken,

it doesn't work as a persuasion architecture,

die niet werken als beïnvloedingsmachine,

or its power of influence is of great concern.

óf hun beïnvloedingsmacht is reden tot grote zorg.

It's either one or the other.

Het is het een of het ander.

It's similar for Google, too.

Google is een soortgelijk verhaal.

So what can we do?

Wat kunnen we eraan doen?

This needs to change.

Dit moet veranderen.

Now, I can't offer a simple recipe,

Ik kan geen simpel recept geven,

because we need to restructure

want wij moeten de functioneringswijze

the whole way our digital technology operates.

van onze hele digitale technologie herinrichten.

Everything from the way technology is developed

Alles, van hoe de technologie ontwikkeld wordt,

to the way the incentives, economic and otherwise,

tot hoe de stimuli, zowel economisch als anderszins,

are built into the system.

in het systeem ingebouwd zijn.

We have to face and try to deal with

We zullen een antwoord moeten vinden

the lack of transparency created by the proprietary algorithms,

op het gebrek aan transparantie veroorzaakt door gesloten algoritmen,

the structural challenge of machine learning's opacity,

de ondoorzichtigheid van kunstmatige intelligentie,

all this indiscriminate data that's being collected about us.

en die massa's data die over ons verzameld worden.

We have a big task in front of us.

Er staat ons veel te doen.

We have to mobilize our technology,

We moeten onze technologie mobiliseren,

our creativity

onze creativiteit

and yes, our politics

en ook onze politiek,

so that we can build artificial intelligence

zodat we kunstmatige intelligentie kunnen bouwen

that supports us in our human goals

die ons ondersteunt in onze menselijke doelen,

but that is also constrained by our human values.

maar die ook beteugeld wordt door onze menselijke waarden.

And I understand this won't be easy.

Ik begrijp dat dit niet makkelijk wordt.

We might not even easily agree on what those terms mean.

Misschien is zelfs al consensus over de betekenis van die termen moeilijk.

But if we take seriously

Maar als we serieus nemen

hoe deze systemen opereren waarvan we zo sterk afhankelijk zijn,

how these systems that we depend on for so much operate,

zie ik niet hoe we deze conversatie nog langer kunnen uitstellen.

I don't see how we can postpone this conversation anymore.

These structures

Deze structuren

are organizing how we function

regelen ons functioneren

and they're controlling

en ze bepalen wat we wel en niet kunnen doen.

what we can and we cannot do.

And many of these ad-financed platforms,

Veel van deze advertentie-gedreven platformen

they boast that they're free.

pochen dat ze gratis zijn.

In this context, it means that we are the product that's being sold.

In deze context betekent dat dat wijzelf de koopwaar zijn.

We need a digital economy

We hebben een digitale economie nodig

where our data and our attention

waar onze data en onze aandacht

is not for sale to the highest-bidding authoritarian or demagogue.

niet te koop zijn voor de hoogstbiedende machthebber.

(Applause)

(Applaus)

So to go back to that Hollywood paraphrase,

Om terug te gaan naar dat citaat uit Hollywood:

we do want the prodigious potential

we willen dat het ongekende potentieel

of artificial intelligence and digital technology to blossom,

van kunstmatige intelligentie en digitale technologie tot wasdom komt,

but for that, we must face this prodigious menace,

maar daarvoor

zullen we dit ongekende monster onder ogen moeten zien, en wel nu.

open-eyed and now.

Thank you.

Dank je wel.

(Applause)

(Applaus)