We're building a dystopia just to make people click on ads | Zeynep Tufekci

Μετάφραση: Thanasis Zadrimas Επιμέλεια: Vasiliki Soultani

So when people voice fears of artificial intelligence,

Όταν οι άνθρωποι εκφράζουν φόβους για την τεχνητή νοημοσύνη,

very often, they invoke images of humanoid robots run amok.

πολύ συχνά, ανασύρουν εικόνες ανεξέλεγκτων ανθρωποειδών ρομπότ.

You know? Terminator?

Ξέρετε; Τον Εξολοθρευτή;

You know, that might be something to consider,

Αυτό είναι κάτι που πρέπει να σκεφτούμε,

but that's a distant threat.

αλλά είναι μια μακρινή απειλή.

Or, we fret about digital surveillance

Ή ανησυχούμε για την ψηφιακή παρακολούθηση

with metaphors from the past.

με παρελθοντικές μεταφορές.

"1984," George Orwell's "1984,"

Το «1984» του Τζορτζ Όργουελ

it's hitting the bestseller lists again.

χτυπάει ξανά τις λίστες των μπεστ σέλερ.

It's a great book,

Είναι ένα σπουδαίο βιβλίο,

but it's not the correct dystopia for the 21st century.

αλλά δεν είναι η σωστή δυστοπία για τον 21ο αιώνα.

What we need to fear most

Αυτό που πρέπει να φοβόμαστε

is not what artificial intelligence will do to us on its own,

δεν είναι αυτό που μπορεί να μας κάνει από μόνη της η τεχνητή νοημοσύνη,

but how the people in power will use artificial intelligence

αλλά πώς τα άτομα στην εξουσία θα χρησιμοποιήσουν την τεχνητή νοημοσύνη

to control us and to manipulate us

για να μας ελέγχουν και να μας χειραγωγούν

in novel, sometimes hidden,

με νέους, ενίοτε κρυφούς,

subtle and unexpected ways.

επιδέξιους και απροσδόκητους τρόπους.

Much of the technology

Μεγάλο μέρος της τεχνολογίας

that threatens our freedom and our dignity in the near-term future

που απειλεί την ελευθερία μας και την αξιοπρέπειά μας στο εγγύς μέλλον

is being developed by companies

αναπτύσσεται από εταιρείες

in the business of capturing and selling our data and our attention

στην υπηρεσία της αποθήκευσης και πώλησης των δεδομένων και της προσοχής μας

to advertisers and others:

προς διαφημιστές κι άλλους:

Facebook, Google, Amazon,

η Facebook, η Google, η Amazon,

Alibaba, Tencent.

η Alibaba, η Tencent.

Now, artificial intelligence has started bolstering their business as well.

Τώρα, η τεχνητή νοημοσύνη έχει αρχίσει να ενισχύει και τις επιχειρήσεις τους.

And it may seem like artificial intelligence

Και μπορεί να φαίνεται ότι η τεχνητή νοημοσύνη

is just the next thing after online ads.

είναι απλά το επόμενο πράγμα μετά τις διαφημίσεις.

It's not.

Δεν είναι.

It's a jump in category.

Είναι ένα άλμα σε μια κατηγορία.

It's a whole different world,

Είναι ένας εντελώς διαφορετικός κόσμος,

and it has great potential.

κι έχει φοβερές δυνατότητες.

It could accelerate our understanding of many areas of study and research.

Μπορεί να επιταχύνει την κατανόησή μας σε πολλά πεδία μελέτης και έρευνας.

But to paraphrase a famous Hollywood philosopher,

Αλλά για να παραφράσω έναν διάσημο φιλόσοφο του Χόλιγουντ,

"With prodigious potential comes prodigious risk."

«Με τεράστιες δυνατότητες έρχεται κι ένας τεράστιος κίνδυνος».

Now let's look at a basic fact of our digital lives, online ads.

Ας δούμε ένα βασικό γεγονός της ψηφιακή μας ζωής:

τις διαδικτυακές διαφημίσεις.

Right? We kind of dismiss them.

Σωστά; Τις αγνοούμε κατά κάποιο τρόπο.

They seem crude, ineffective.

Φαίνονται πρόχειρες, αναποτελεσματικές.

We've all had the experience of being followed on the web

Όλοι μας βιώσαμε την παρακολούθησή μας στο διαδίκτυο

by an ad based on something we searched or read.

από μια διαφήμιση βασισμένη σε κάτι που ψάξαμε ή διαβάσαμε.

You know, you look up a pair of boots

Βλέπετε ένα ζευγάρι μπότες

and for a week, those boots are following you around everywhere you go.

και για μια εβδομάδα, αυτές οι μπότες σας ακολουθούν όπου πάτε.

Even after you succumb and buy them, they're still following you around.

Ακόμα κι όταν υποκύψετε και τις αγοράσετε, και πάλι σας ακολουθούν.

We're kind of inured to that kind of basic, cheap manipulation.

Είμαστε κάπως εξοικειωμένοι σε αυτή τη βασική, φτηνή χειραγώγηση.

We roll our eyes and we think, "You know what? These things don't work."

Αδιαφορούμε και σκεφτόμαστε, «Ξέρεις κάτι; Αυτά δεν πιάνουν».

Except, online,

Μόνο που διαδικτυακά,

the digital technologies are not just ads.

οι ψηφιακές τεχνολογίες δεν είναι απλώς διαφημίσεις.

Now, to understand that, let's think of a physical world example.

Για να το καταλάβουμε, ας σκεφτούμε ένα παράδειγμα του φυσικού κόσμου.

You know how, at the checkout counters at supermarkets, near the cashier,

Γνωρίζετε πως στα ταμεία των σουπερμάρκετ, κοντά στα ταμεία,

there's candy and gum at the eye level of kids?

υπάρχουν ζαχαρωτά και τσίχλες στο ύψος των ματιών των παιδιών;

That's designed to make them whine at their parents

Αυτό είναι σχεδιασμένο να τα κάνουν να κλαίνε στους γονείς τους

just as the parents are about to sort of check out.

μόλις οι γονείς είναι έτοιμοι να φύγουν.

Now, that's a persuasion architecture.

Αυτή τώρα είναι μια αρχιτεκτονική πειθούς.

It's not nice, but it kind of works.

Δεν είναι σωστή, αλλά κάπως δουλεύει.

That's why you see it in every supermarket.

Γι' αυτό το βλέπετε σε κάθε σουπερμάρκετ.

Now, in the physical world,

Τώρα, στον φυσικό κόσμο,

such persuasion architectures are kind of limited,

τέτοιες αρχιτεκτονικές πειθούς είναι περιορισμένες,

because you can only put so many things by the cashier. Right?

επειδή μπορείς να βάλεις ένα σωρό πράγματα δίπλα στο ταμείο, έτσι;

And the candy and gum, it's the same for everyone,

Και οι τσίχλες και τα ζαχαρωτά είναι τα ίδια για όλους,

even though it mostly works

παρόλο που αυτό δουλεύει κυρίως

only for people who have whiny little humans beside them.

μόνο για τον κόσμο που έχει κλαψιάρικα ανθρωπάκια δίπλα του.

In the physical world, we live with those limitations.

Στον φυσικό κόσμο, ζούμε με αυτούς τους περιορισμούς.

In the digital world, though,

Στον ψηφιακό κόσμο, όμως,

persuasion architectures can be built at the scale of billions

οι αρχιτεκτονικές πειθούς δημιουργούνται στην κλίμακα των δισεκατομμυρίων

and they can target, infer, understand

και μπορούν να στοχεύσουν, να συνάγουν, να καταλάβουν

and be deployed at individuals

και να αξιοποιηθούν από άτομα

one by one

μία προς μία

by figuring out your weaknesses,

ανακαλύπτοντας τις αδυναμίες σας,

and they can be sent to everyone's phone private screen,

και να μπορούν να αποστέλλονται στην οθόνη του κινητού του καθενός,

so it's not visible to us.

γι' αυτό δεν είναι ορατές σε εμάς.

And that's different.

Κι αυτό είναι διαφορετικό.

And that's just one of the basic things that artificial intelligence can do.

Και είναι μόνο ένα από τα βασικά που μπορεί να κάνει η τεχνητή νοημοσύνη.

Now, let's take an example.

Ας πάρουμε ένα παράδειγμα.

Πείτε ότι θέλετε να πουλήσετε αεροπορικά εισιτήρια για Λας Βέγκας.

Let's say you want to sell plane tickets to Vegas. Right?

So in the old world, you could think of some demographics to target

Παλιά θα σκεφτόσασταν να στοχεύσετε κάποια πληθυσμιακή ομάδα

based on experience and what you can guess.

βάσει της εμπειρίας και αυτά που μπορείτε να υποθέσετε.

You might try to advertise to, oh,

Μπορεί να δοκιμάσετε να διαφημίσετε σε άντρες ηλικιών μεταξύ 25 και 35

men between the ages of 25 and 35,

or people who have a high limit on their credit card,

ή σε ανθρώπους που έχουν ένα υψηλό όριο στην πιστωτική τους κάρτα,

or retired couples. Right?

ή σε συνταξιοδοτημένα ζευγάρια. Σωστά;

That's what you would do in the past.

Αυτό θα κάνατε στο παρελθόν.

With big data and machine learning,

Με τα μαζικά δεδομένα και τη μηχανική μάθηση,

that's not how it works anymore.

δεν δουλεύει έτσι πια.

So to imagine that,

Για να το φανταστείτε αυτό,

think of all the data that Facebook has on you:

σκεφτείτε όλα τα δεδομένα που έχει το Facebook για εσάς:

every status update you ever typed,

κάθε κατάσταση ενημέρωσης που πληκτρολογήσατε ποτέ,

every Messenger conversation,

κάθε συζήτηση στο Messenger,

every place you logged in from,

κάθε μέρος στο οποίο συνδεθήκατε,

all your photographs that you uploaded there.

όλες τις φωτογραφίες σας που έχετε ανεβάσει εκεί.

If you start typing something and change your mind and delete it,

Αν αρχίσετε να πληκτρολογείτε κάτι και αλλάξετε γνώμη και το διαγράψετε,

Facebook keeps those and analyzes them, too.

το Facebook τα διατηρεί και τα αναλύει.

Increasingly, it tries to match you with your offline data.

Όλο και πιο συχνά, προσπαθεί να ταιριάξει εσάς με τα δεδομένα εκτός γραμμής.

It also purchases a lot of data from data brokers.

Αγοράζει επίσης πολλά δεδομένα από μεσίτες δεδομένων.

It could be everything from your financial records

Μπορεί να είναι οτιδήποτε από τα χρηματοπιστωτικά σας αρχεία

to a good chunk of your browsing history.

μέχρι έναν καλό όγκο του ιστορικού της πλοήγησης σας, σωστά;

Right? In the US, such data is routinely collected,

Στις Ηνωμένες Πολιτείες, τέτοια δεδομένα συλλέγονται συστηματικά,

collated and sold.

διαταξινομούνται και πωλούνται.

In Europe, they have tougher rules.

Στην Ευρώπη, έχουν πιο σκληρούς κανόνες.

So what happens then is,

Αυτό λοιπόν που συμβαίνει μετά

by churning through all that data, these machine-learning algorithms --

μέσω της επεξεργασίας όλων των δεδομένων, αυτοί οι αλγόριθμοι μηχανικής μάθησης --

that's why they're called learning algorithms --

γι' αυτό αποκαλούνται αλγόριθμοι μάθησης --

they learn to understand the characteristics of people

μαθαίνουν να κατανοούν τα χαρακτηριστικά των ανθρώπων

who purchased tickets to Vegas before.

που αγόρασαν εισιτήρια για το Λας Βέγκας προηγουμένως.

When they learn this from existing data,

Όταν το μαθαίνουν αυτό από τα υπάρχοντα δεδομένα,

they also learn how to apply this to new people.

μαθαίνουν επίσης πώς να το εφαρμόζουν αυτό σε νέους ανθρώπους.

So if they're presented with a new person,

Αν παρουσιάζονται με έναν νέο άνθρωπο,

they can classify whether that person is likely to buy a ticket to Vegas or not.

ταξινομούν εάν αυτό το άτομο μπορεί να αγοράσει

ένα εισιτήριο για το Λας Βέγκας ή όχι.

Fine. You're thinking, an offer to buy tickets to Vegas.

Εντάξει. Σκέφτεσαι μια προσφορά να αγοράσω εισιτήρια για το Λας Βέγκας.

I can ignore that.

Μπορώ να το αγνοήσω αυτό.

But the problem isn't that.

Αλλά το πρόβλημα δεν είναι αυτό.

The problem is,

Το πρόβλημα είναι

we no longer really understand how these complex algorithms work.

πως δεν κατανοούμε πλέον τη λειτουργία αυτών των περίπλοκων αλγορίθμων.

We don't understand how they're doing this categorization.

Δεν καταλαβαίνουμε πώς κάνουν αυτή την κατηγοριοποίηση.

It's giant matrices, thousands of rows and columns,

Τους γιγάντιες πίνακές του, τις χιλιάδες γραμμές και στήλες,

maybe millions of rows and columns,

ίσως εκατομμύρια από γραμμές και στήλες,

and not the programmers

και ούτε οι προγραμματιστές

and not anybody who looks at it,

ούτε ο κάθε ένας που τα κοιτάει,

even if you have all the data,

ακόμα κι αν έχετε όλα τα δεδομένα,

understands anymore how exactly it's operating

κατανοεί πώς ακριβώς λειτουργεί πια

any more than you'd know what I was thinking right now

πολύ περισσότερο από ότι θα γνωρίζατε τι σκέφτομαι αυτή τη στιγμή

if you were shown a cross section of my brain.

αν βλέπατε μια εγκάρσια τομή του εγκεφάλου μου.

It's like we're not programming anymore,

Είναι σαν να μην προγραμματίζουμε πλέον,

we're growing intelligence that we don't truly understand.

αναπτύσσουμε νοημοσύνη την οποία δεν κατανοούμε πλήρως.

And these things only work if there's an enormous amount of data,

Κι αυτά τα πράγματα λειτουργούν μόνο αν υπάρχει ένας μεγάλος όγκος δεδομένων,

so they also encourage deep surveillance on all of us

έτσι προτρέπουν επιπλέον μια βαθιά παρακολούθηση όλων μας,

so that the machine learning algorithms can work.

ώστε να δουλεύουν οι αλγόριθμοι μηχανικής μάθησης.

That's why Facebook wants to collect all the data it can about you.

Γι' αυτό το Facebook θέλει να συλλέγει όλα τα δεδομένα για εσάς.

The algorithms work better.

Οι αλγόριθμοι δουλεύουν καλύτερα.

So let's push that Vegas example a bit.

Ας επιμείνουμε για λίγο στο παράδειγμα του Λας Βέγκας.

What if the system that we do not understand

Τι κι αν το σύστημα που δεν καταλαβαίνουμε

was picking up that it's easier to sell Vegas tickets

ανίχνευε ότι είναι πιο εύκολο να πουλήσει εισιτήρια του Λας Βέγκας

to people who are bipolar and about to enter the manic phase.

σε ανθρώπους που είναι διπολικοί και μπαίνουν σε μανιακό επειδόδιο.

Such people tend to become overspenders, compulsive gamblers.

Τέτοιοι άνθρωποι τείνουν να ξοδεύουν πολύ, να είναι εθισμένοι στον τζόγο.

They could do this, and you'd have no clue that's what they were picking up on.

Μπορούν να το κάνουν, και δεν θα είχατε καμιά ένδειξη ότι συνέλεξαν κάτι τέτοιο.

I gave this example to a bunch of computer scientists once

Έδωσα αυτό το παράδειγμα κάποτε σε μια ομάδα επιστημόνων της πληροφορικής

and afterwards, one of them came up to me.

και μετά, ένας από αυτούς με πλησίασε.

He was troubled and he said, "That's why I couldn't publish it."

Ήταν προβληματισμένος και είπε, «Γι' αυτό δεν μπόρεσα να το δημοσιεύσω».

I was like, "Couldn't publish what?"

«Τι δεν μπόρεσες να δημοσιεύσεις;» είπα.

He had tried to see whether you can indeed figure out the onset of mania

Προσπαθούσε να δει εάν μπορείς πράγματι να καταλάβεις την έναρξη της μανίας

from social media posts before clinical symptoms,

από τις αναρτήσεις στα κοινωνικά δίκτυα πριν τα κλινικά συμπτώματα,

and it had worked,

και πέτυχε,

and it had worked very well,

και πάρα πολύ καλά,

and he had no idea how it worked or what it was picking up on.

και δεν είχε ιδέα πώς λειτούργησε ή τι συνέλεγε.

Now, the problem isn't solved if he doesn't publish it,

Τώρα, το πρόβλημα δεν λύνεται αν δεν το εκδώσει,

because there are already companies

επειδή υπάρχουν ήδη εταιρείες

that are developing this kind of technology,

που αναπτύσσουν αυτού του είδους την τεχνολογία,

and a lot of the stuff is just off the shelf.

και πολλά από τα πράγματα είναι απλά ετοιμοπαράδοτα.

This is not very difficult anymore.

Αυτό δεν είναι δύσκολο πια.

Do you ever go on YouTube meaning to watch one video

Έχετε μπει ποτέ στο YouTube να δείτε ένα βίντεο

and an hour later you've watched 27?

και μία ώρα αργότερα να έχετε δει άλλα 27;

You know how YouTube has this column on the right

Ξέρετε ότι το YouTube έχει αυτή την στήλη στα δεξιά

that says, "Up next"

που λέει, «Επόμενο»

and it autoplays something?

και παίζει αυτόματα κάτι;

It's an algorithm

Είναι ένας αλγόριθμος

picking what it thinks that you might be interested in

που συλλέγει αυτά που νομίζει ότι πιθανόν να ενδιαφέρεστε

and maybe not find on your own.

και μπορεί να μην βρείτε μόνοι σας.

It's not a human editor.

Δεν είναι ανθρώπινος παραγωγός. Αυτό κάνουν οι αλγόριθμοι.

It's what algorithms do.

It picks up on what you have watched and what people like you have watched,

Συλλέγει αυτά που έχετε παρακολουθήσει άνθρωποι όπως εσείς,

and infers that that must be what you're interested in,

και συμπεραίνει ότι αυτό είναι που πρέπει να σας ενδιαφέρει,

what you want more of,

ότι θέλετε κι άλλο από αυτό, και σας δείχνει κι άλλο.

and just shows you more.

It sounds like a benign and useful feature,

Ακούγεται σαν μια άκακη και χρήσιμη λειτουργία,

except when it isn't.

μόνο που δεν είναι.

So in 2016, I attended rallies of then-candidate Donald Trump

Το 2016 παραρεύθηκα σε συγκεντρώσεις του τότε υποψηφίου Ντόναλντ Τραμπ

to study as a scholar the movement supporting him.

για να μελετήσω ως ακαδημαϊκός το κίνημα που τον υποστήριζε.

I study social movements, so I was studying it, too.

Μελετώ τα κοινωνικά κινήματα, έτσι μελετούσα κι αυτό.

And then I wanted to write something about one of his rallies,

Και τότε ήθελα να γράψω κάτι σχετικά με μία από τις συγκεντρώσεις του,

so I watched it a few times on YouTube.

γι' αυτό το είδα κάμποσες φορές στο YouTube.

YouTube started recommending to me

Το YouTube άρχισε να μου προτείνει

and autoplaying to me white supremacist videos

και να παίζει αυτόματα ακραία ρατσιστικά βίντεο

in increasing order of extremism.

κατά αύξουσα σειρά του εξτρεμισμού.

If I watched one,

Αν έβλεπα ένα,

it served up one even more extreme

παρέθετε ένα ακόμα πιο ακραίο

and autoplayed that one, too.

κι έπαιζε αυτόματα και αυτό.

If you watch Hillary Clinton or Bernie Sanders content,

Αν δείτε περιεχόμενο της Χίλαρι Κλίντον ή του Μπέρνι Σάντερς,

YouTube recommends and autoplays conspiracy left,

το YouTube προτείνει και παίζει αυτόματα της αριστερής συνομωσίας,

and it goes downhill from there.

και παίρνει την κατιούσα από εκεί.

Well, you might be thinking, this is politics, but it's not.

Μπορεί να σκέφτεστε ότι αυτή είναι η πολιτική, αλλά δεν είναι.

This isn't about politics.

Δεν έχει να κάνει με πολιτική.

This is just the algorithm figuring out human behavior.

Είναι ο αλγόριθμος που αποκρυπτογραφεί την ανθρώπινη συμπεριφορά.

I once watched a video about vegetarianism on YouTube

Κάποτε είδα ένα βίντεο για τη χορτοφαγία στο YouTube

and YouTube recommended and autoplayed a video about being vegan.

και το YouTube πρότεινε κι έπαιξε αυτόματα ένα βίντεο για το πώς να γίνω βίγκαν.

It's like you're never hardcore enough for YouTube.

Είναι λες και δεν είσαι αρκετά σκληροπυρηνικός για το YouTube.

(Laughter)

(Γέλια)

So what's going on?

Τι συμβαίνει λοιπόν;

Now, YouTube's algorithm is proprietary,

Τώρα, ο αλγόριθμος του YouTube είναι ιδιοταγής,

but here's what I think is going on.

αλλά αυτό είναι που νομίζω ότι συμβαίνει.

The algorithm has figured out

Ο αλγόριθμος έχει ανακαλύψει

that if you can entice people

ότι αν μπορείς να δελεάζεις τους ανθρώπους

into thinking that you can show them something more hardcore,

με το να πιστεύουν ότι μπορείς να τους δείχνεις κάτι πιο σκληροπυρηνικό,

they're more likely to stay on the site

είναι πιο πιθανό να παραμείνουν στην ιστοσελίδα

watching video after video going down that rabbit hole

βλέποντας το ένα βίντεο μετά το άλλο μπαίνοντας σε βαθιά νερά

while Google serves them ads.

ενώ η Google τους διανέμει διαφημίσεις.

Now, with nobody minding the ethics of the store,

Τώρα, χωρίς να τον πειράζει κανέναν η δεοντολογία του καταστήματος,

these sites can profile people

αυτές οι ιστοσελίδες μπορούν να σκιαγραφήσουν ανθρώπους

who are Jew haters,

οι οποίοι μισούν τους Εβραίους,

who think that Jews are parasites

που νομίζουν ότι οι Εβραίοι είναι παράσιτα

and who have such explicit anti-Semitic content,

και που έχουν τόσο χυδαίο αντισημιτικό περιεχόμενο,

και σε αφήνουν να τους στοχεύεις με διαφημίσεις.

and let you target them with ads.

They can also mobilize algorithms

Μπορούν επίσης να ενεργοποιήσουν αλγόριθμους

to find for you look-alike audiences,

για να σου βρουν πανομοιότυπα ακροατήρια,

people who do not have such explicit anti-Semitic content on their profile

άτομα τα οποία δεν έχουν τόσο χυδαίο αντισημιτικό περιεχόμενο στο προφίλ τους,

but who the algorithm detects may be susceptible to such messages,

αλλά όσους ανιχνεύει ο αλγόριθμος μπορεί να είναι επιρρεπείς σε τέτοια μηνύματα,

and lets you target them with ads, too.

και σε αφήνουν να τους στοχεύεις και αυτούς με διαφημίσεις.

Now, this may sound like an implausible example,

Τώρα, αυτό μπορεί να ακουστεί σαν ένα απίθανο παράδειγμα,

but this is real.

αλλά είναι αληθινό.

ProPublica investigated this

Η ProPublica το ερεύνησε αυτό

and found that you can indeed do this on Facebook,

και βρήκε ότι μπορείς πράγματι να το κάνεις αυτό στο Facebook,

and Facebook helpfully offered up suggestions

και το Facebook πρόθυμα προσέφερε προτάσεις

on how to broaden that audience.

ή στο πώς να διευρύνεις αυτό το κοινό.

BuzzFeed tried it for Google, and very quickly they found,

Το BuzzFeed το δοκίμασε για την Google, και πολύ γρήγορα έμαθαν,

yep, you can do it on Google, too.

ότι μπορείς και στο Google.

And it wasn't even expensive.

Και δεν ήταν καν ακριβό.

The ProPublica reporter spent about 30 dollars

ο δημοσιογράφος της ProPublica ξόδεψε γύρω στα 30 δολάρια

to target this category.

για να στοχεύσει αυτή την κατηγορία.

So last year, Donald Trump's social media manager disclosed

Πέρυσι, ο διαχειριστής των κοινωνικών μέσων του Ντόναλντ Τραμπ αποκάλυψε

that they were using Facebook dark posts to demobilize people,

ότι χρησιμοποιούσαν αόρατες αναρτήσεις στο Facebook

για να μην κινητοποιήσουν ανθρώπους,

not to persuade them,

όχι να τους επηρεάσουν,

but to convince them not to vote at all.

αλλά να τους μεταπείσουν να μην ψηφίσουν καθόλου.

And to do that, they targeted specifically,

Και για να το κάνουν αυτό, στόχευσαν συγκεκριμένα, για παράδειγμα,

for example, African-American men in key cities like Philadelphia,

αφροαμερικανούς άντρες σε κομβικές πόλεις, όπως τη Φιλαδέλφεια,

and I'm going to read exactly what he said.

και θα σας διαβάσω ακριβώς ό,τι είπε.

I'm quoting.

Παραθέτω.

They were using "nonpublic posts

Χρησιμοποιούσαν «μη δημόσιες αναρτήσεις

whose viewership the campaign controls

των οποίων η εκστρατεία ελέγχει τη θεαματικότητα,

so that only the people we want to see it see it.

για να το δουν μόνο οι άνθρωποι που θέλουμε εμείς.

We modeled this.

Εμείς το σχεδιάσαμε αυτό.

It will dramatically affect her ability to turn these people out."

Θα επηρεάσει δραματικά την ικανότητά της να μεταστρέψει αυτούς τους ανθρώπους».

What's in those dark posts?

Τι περιέχουν αυτές οι αόρατες αναρτήσεις;

We have no idea.

Δεν έχουμε ιδέα.

Facebook won't tell us.

Το Facebook δεν θα μας πει.

So Facebook also algorithmically arranges the posts

Το Facebook λοιπόν ρυθμίζει αλγοριθμικά τις αναρτήσεις

that your friends put on Facebook, or the pages you follow.

που ανεβάζουν οι φίλοι σας στο Facebook στις σελίδες που ακολουθείτε.

It doesn't show you everything chronologically.

Δεν σας δείχνει τα πάντα χρονολογικά.

It puts the order in the way that the algorithm thinks will entice you

Βάζει τη σειρά με έναν τρόπο όπου ο αλγόριθμος

πιστεύει ότι θα σας δελεάσει για να μείνετε κι άλλο στην ιστοσελίδα.

to stay on the site longer.

Now, so this has a lot of consequences.

Τώρα, αυτό έχει πολλές συνέπειες.

You may be thinking somebody is snubbing you on Facebook.

Μπορεί να σκέφτεστε ότι κάποιος σας σνομπάρει στο Facebook.

The algorithm may never be showing your post to them.

Ο αλγόριθμος μπορεί να μην δείχνει καν την ανάρτησή σας σε αυτούς.

The algorithm is prioritizing some of them and burying the others.

Ο αλγόριθμος θέτει σε προτεραιότητα κάποιες από αυτές και θάβει τι άλλες.

Experiments show

Πειράματα δείχνουν πως ό,τι επιλέγει να σας δείξει ο αλγόριθμος

that what the algorithm picks to show you can affect your emotions.

επηρεάζει τα συναισθήματά σας.

But that's not all.

Δεν είναι μόνο αυτό.

It also affects political behavior.

Επηρεάζει επίσης την πολιτική στάση.

So in 2010, in the midterm elections,

Το 2010 λοιπόν, στις ενδιάμεσες εκλογές,

Facebook did an experiment on 61 million people in the US

το Facebook έκανε ένα πείραμα σε 61 εκατομμύρια ανθρώπους στις ΗΠΑ

that was disclosed after the fact.

το οποίο αποκαλύφθηκε μετά το γεγονός.

So some people were shown, "Today is election day,"

Σε κάποιους ανθρώπους έδειξε το «Σήμερα είναι η μέρα των εκλογών»,

the simpler one,

το πιο απλό,

and some people were shown the one with that tiny tweak

και σε κάποιους ανθρώπους έδειξε αυτό με τη μικροδιόρθωση

with those little thumbnails

με εκείνες τις μικρογραφίες

of your friends who clicked on "I voted."

των φίλων σου που κλίκαραν «Ψήφισα».

This simple tweak.

Αυτή η απλή μικροδιόρθωση.

OK? So the pictures were the only change,

Οι φωτογραφίες ήταν η μόνη αλλαγή,

and that post shown just once

κι αυτή η ανάρτηση που προβλήθηκε μόνο μια φορά

turned out an additional 340,000 voters

προσέλκυσε επιπλέον 340.000 ψηφοφόρους

in that election,

σε εκείνες τις εκλογές,

according to this research

σύμφωνα με αυτή την έρευνα

as confirmed by the voter rolls.

όπως επιβεβαιώθηκε από τους εκλογικούς καταλόγους.

A fluke? No.

Σύμπτωση; Όχι.

Because in 2012, they repeated the same experiment.

Επειδή το 2012, επανέλαβαν το ίδιο πείραμα.

And that time,

Και εκείνη την περίοδο,

that civic message shown just once

αυτό το πολιτικό μήνυμα προβλήθηκε μόνο μία φορά

turned out an additional 270,000 voters.

προσελκύοντας επιπλέον 270.000 ψηφοφόρους.

For reference, the 2016 US presidential election

Προς πληροφόρησή σας, οι αμερικανικές προεδρικές εκλογές το 2016

was decided by about 100,000 votes.

κρίθηκαν από 100.000 ψήφους περίπου.

Now, Facebook can also very easily infer what your politics are,

Τώρα, το Facebook μπορεί επίσης να εξάγει πολύ εύκολα ποιες είναι οι πολιτικές σας,

even if you've never disclosed them on the site.

ακόμα κι αν δεν τις αποκαλύψατε ποτέ στην ιστοσελίδα.

Right? These algorithms can do that quite easily.

Αυτοί οι αλγόριθμοι μπορούν να το κάνουν πανεύκολα.

What if a platform with that kind of power

Tι κι αν μια πλατφόρμα με αυτού του είδους τη δύναμη

decides to turn out supporters of one candidate over the other?

αποφασίσει να μεταστρέψει υποστηρικτές του ενός υποψηφίου στον άλλο;

How would we even know about it?

Πώς θα το ξέραμε αυτό;

Now, we started from someplace seemingly innocuous --

Τώρα, ξεκινήσαμε από ένα μέρος, φαινομενικά, αβλαβές --

online adds following us around --

διαφημίσεις στο διαδίκτυο που μας ακολουθούν --

and we've landed someplace else.

και βρεθήκαμε κάπου αλλού.

As a public and as citizens,

Ως κοινό και ως πολίτες,

we no longer know if we're seeing the same information

δεν γνωρίζουμε πλέον αν βλέπουμε τις ίδιες πληροφορίες

or what anybody else is seeing,

ή οτιδήποτε βλέπει ο καθένας,

and without a common basis of information,

και χωρίς μια κοινή βάση πληροφορίας,

little by little,

σιγά σιγά,

public debate is becoming impossible,

ο δημόσιος διάλογος γίνεται ανέφικτος,

and we're just at the beginning stages of this.

και βρισκόμαστε στο αρχικό στάδιο αυτού.

These algorithms can quite easily infer

Αυτοί οι αλγόριθμοι μπορούν να εξάγουν πανεύκολα

things like your people's ethnicity,

πράγματα όπως την εθνικότητά σας, θρησκευτικές και πολιτικές απόψεις,

religious and political views, personality traits,

στοιχεία του χαρακτήρα,

intelligence, happiness, use of addictive substances,

ευφυΐα, ευτυχία, χρήση εθιστικών ουσιών,

parental separation, age and genders,

χωρισμός των γονέων, ηλικία και φύλο,

just from Facebook likes.

απλώς από τα like του Facebook.

These algorithms can identify protesters

Αυτοί οι αλγόριθμοι μπορούν να ταυτοποιήσουν διαδηλωτές

even if their faces are partially concealed.

ακόμα κι αν τα πρόσωπά τους είναι μερικώς κρυμμένα.

These algorithms may be able to detect people's sexual orientation

Αυτοί οι αλγόριθμοι μπορούν να ανιχνεύσουν τον σεξουαλικό προσανατολισμό των ανθρώπων

just from their dating profile pictures.

μόνο από φωτογραφίες σε πλατφόρμες γνωριμιών.

Now, these are probabilistic guesses,

Τώρα, αυτές είναι πιθανολογικές εικασίες,

so they're not going to be 100 percent right,

οπότε δεν θα είναι εκατό τοις εκατό σωστές,

but I don't see the powerful resisting the temptation to use these technologies

αλλά δεν βλέπω οι ισχυροί να ενδίδουν στον πειρασμό να χρησιμοποιήσουν

αυτές τις τεχνολογίες

just because there are some false positives,

απλά επειδή υπάρχουν κάποια ψευδή προτερήματα,

which will of course create a whole other layer of problems.

τα οποία θα δημιουργήσουν φυσικά ένα άλλο σωρό προβλήματα.

Imagine what a state can do

Φανταστείτε τι μπορεί να κάνει ένα κράτος

with the immense amount of data it has on its citizens.

με τον αχανή όγκο δεδομένων που έχει στους πολίτες του.

China is already using face detection technology

Η Κίνα ήδη χρησιμοποιεί τεχνολογία ανίχνευσης προσώπου

to identify and arrest people.

για να ταυτοποιήσει και να συλλάβει ανθρώπους.

And here's the tragedy:

Και να η τραγωδία:

we're building this infrastructure of surveillance authoritarianism

φτιάχνουμε αυτή την υποδομή της απολυταρχικής παρακολούθησης

merely to get people to click on ads.

απλά για να βάζουμε τους ανθρώπους να κλικάρουν σε διαφημίσεις.

And this won't be Orwell's authoritarianism.

Κι αυτός δεν θα είναι ο απολυταρχισμός του Όργουελ.

This isn't "1984."

Αυτό δεν είναι το «1984».

Now, if authoritarianism is using overt fear to terrorize us,

Τώρα, αν ο απολυταρχισμός χρησιμοποιεί φανερό φόβο για να μας τρομοκρατήσει,

we'll all be scared, but we'll know it,

όλοι μας θα φοβόμασταν, αλλά θα το ξέρουμε,

we'll hate it and we'll resist it.

θα το μισήσουμε και θα του αντισταθούμε.

But if the people in power are using these algorithms

Αλλά αν οι άνθρωποι της εξουσίας χρησιμοποιούν αυτούς τους αλγόριθμους

to quietly watch us,

για να μας παρακολουθούν σιωπηρά,

to judge us and to nudge us,

για να μας κρίνουν και να μας τσιγκλούν,

to predict and identify the troublemakers and the rebels,

για να προβλέπουν και να ταυτοποιούν τους ταραξίες και τους επαναστάτες,

to deploy persuasion architectures at scale

για να αξιοποιήσουν σε μεγάλο βαθμό αρχιτεκτονικές πειθούς

and to manipulate individuals one by one

και να χειραγωγούν άτομα μεμονωμένα,

using their personal, individual weaknesses and vulnerabilities,

χρησιμοποιώντας τις προσωπικές, ατομικές αδυναμίες και ευαισθησίες μας,

and if they're doing it at scale

κι αν το κάνουν σε μεγάλο βαθμό

through our private screens

μέσω της ιδιωτικής μας οθόνης

so that we don't even know

για να μην ξέρουμε καν

what our fellow citizens and neighbors are seeing,

τι βλέπουν οι γείτονές μας και οι συμπολίτες μας,

that authoritarianism will envelop us like a spider's web

αυτός ο απολυταρχισμός θα μας τυλίξει σαν τον ιστό μιας αράχνης

and we may not even know we're in it.

και πιθανόν να μην ξέρουμε καν πως είμαστε μέσα του.

So Facebook's market capitalization

Η χρηματιστηριακή αξία του Facebook

is approaching half a trillion dollars.

πλησιάζει τα μισό τρισεκατομμύριο δολάρια.

It's because it works great as a persuasion architecture.

Οφείλεται στο ότι λειτουργεί υπέροχα ως μια αρχιτεκτοντική πειθούς.

But the structure of that architecture

Αλλά η δομή αυτής της αρχιτεκτονικής

is the same whether you're selling shoes

είναι η ίδια είτε πουλάτε παπούτσια

or whether you're selling politics.

είτε πουλάτε πολιτική.

The algorithms do not know the difference.

Οι αλγόριθμοι δεν ξέρουν τη διαφορά.

The same algorithms set loose upon us

Οι ίδιοι αλγόριθμοι που εξαπολύθηκαν πάνω μας

to make us more pliable for ads

για να μας κάνουν πιο προσαρμόσιμους στις διαφημίσεις

are also organizing our political, personal and social information flows,

οργανώνουν επίσης τις πολιτικές, προσωπικές

και τις κοινωνικές ρόες των πληροφοριών μας.

and that's what's got to change.

και αυτό είναι που πρέπει να αλλάξει.

Now, don't get me wrong,

Τώρα, μην με παρεξηγήσετε,

we use digital platforms because they provide us with great value.

χρησιμοποιούμε ψηφιακές πλατφόρμες επειδή μας παρέχουν μεγάλη αξία.

I use Facebook to keep in touch with friends and family around the world.

Χρησιμοποιώ το Facebook για να κρατώ επαφή με οικογένεια και φίλους σε όλο τον κόσμο.

I've written about how crucial social media is for social movements.

Έχω γράψει για τη σημασία των κοινωνικών δικτύων στα κοινωνικά κινήματα.

I have studied how these technologies can be used

Μελέτησα πώς μπορούν να χρησιμοποιηθούν αυτές οι τεχνολογίες

to circumvent censorship around the world.

για να ξεπερνούν τη λογοκρισία σε όλο τον κόσμο.

But it's not that the people who run, you know, Facebook or Google

Αλλά δεν είναι τα άτομα που διαχειρίζονται το Facebook ή την Google

are maliciously and deliberately trying

που προσπαθούν μοχθηρά και σκόπιμα

to make the country or the world more polarized

να πολώσουν πιο πολύ τη χώρα ή τον κόσμο

and encourage extremism.

και να ενθαρρύνουν τον εξτρεμισμό.

I read the many well-intentioned statements

Διαβάζω πολλές δηλώσεις καλής πρόθεσης

that these people put out.

στις οποίες προβαίνουν αυτοί οι άνθρωποι.

But it's not the intent or the statements people in technology make that matter,

Δεν είναι, όμως, ο σκοπός ή οι δηλώσεις

που καθιστούν σαφείς οι άνθρωποι της τεχνολογίας,

it's the structures and business models they're building.

είναι οι δομές και τα επιχειρηματικά μοντέλα που οικοδομούν.

And that's the core of the problem.

Κι αυτή είναι η ουσία του προβλήματος.

Either Facebook is a giant con of half a trillion dollars

Είτε το Facebook είναι ένας μεγάλος απατεώνας 500 δισεκατομμυρίων δολαρίων

and ads don't work on the site,

και οι διαφημίσεις δεν πιάνουν στη σελίδα,

it doesn't work as a persuasion architecture,

δεν δουλεύει ως μια αρχιτεκτονική πειθούς,

or its power of influence is of great concern.

ή η δυνατότητα της επιρροής του είναι αρκετά ανησυχητική.

It's either one or the other.

Είτε το ένα είναι, είτε το άλλο.

It's similar for Google, too.

Το ίδιο είναι και για την Google.

So what can we do?

Τι μπορούμε να κάνουμε λοιπόν;

This needs to change.

Αυτό πρέπει να αλλάξει.

Now, I can't offer a simple recipe,

Τώρα, δεν μπορώ να προσφέρω μια απλή συνταγή,

because we need to restructure

διότι χρειάζεται να αναδομήσουμε

the whole way our digital technology operates.

όλο τον τρόπο λειτουργίας της ψηφιακής μας τεχνολογίας.

Everything from the way technology is developed

Τα πάντα από τον τρόπο ανάπτυξης της τεχνολογίας

to the way the incentives, economic and otherwise,

μέχρι τον τρόπο όπου τα κίνητρα, οικονομικά ή μη,

are built into the system.

οικοδομούνται στο σύστημα.

We have to face and try to deal with

Πρέπει να προσπαθήσουμε να αντιμετωπίσουμε

the lack of transparency created by the proprietary algorithms,

την έλλειψη διαφάνειας που δημιουργείται από ιδιοταγείς αλγόριθμους,

the structural challenge of machine learning's opacity,

τη δομική πρόκληση για την αδιαφάνεια της μηχανικής μάθησης,

all this indiscriminate data that's being collected about us.

όλα αυτά τα αδιάκριτα δεδομένα που συλλέγονται για εμάς.

We have a big task in front of us.

Έχουμε ένα μεγάλο καθήκον μπροστά μας.

We have to mobilize our technology,

Πρέπει να κινητοποιήσουμε την τεχνολογία μας,

our creativity

τη δημιουργικότητά μας

and yes, our politics

και ναι, την πολιτική μας

so that we can build artificial intelligence

για να να δημιουργήσουμε τεχνητή νοημοσύνη

that supports us in our human goals

που να μας στηρίζει στους ανθρώπινους στόχους μας

but that is also constrained by our human values.

αλλά η οποία να δεσμεύεται από τις ανθρώπινες αξίες μας.

And I understand this won't be easy.

Και καταλαβαίνω πως αυτό δεν θα είναι εύκολο.

We might not even easily agree on what those terms mean.

Ενδεχομένως να μην συμφωνούμε εύκολα ούτε στην έννοια αυτών των όρων.

But if we take seriously

Αλλά αν λάβουμε σοβαρά υπόψη

how these systems that we depend on for so much operate,

πώς λειτουργούν τα συστήματα από τα οποία είμαστε τόσο εξαρτημένοι,

I don't see how we can postpone this conversation anymore.

δεν βλέπω πώς μπορούμε να αναβάλλουμε άλλο αυτή τη συζήτηση.

These structures

Αυτές οι δομές

are organizing how we function

οργανώνουν τον τρόπο λειτουργίας μας

and they're controlling

και ελέγχουν τι μπορούμε να κάνουμε και τι όχι.

what we can and we cannot do.

And many of these ad-financed platforms,

Και πολλές τέτοιες διαφημιστικά χρηματοδοτούμενες πλατφόρμες,

they boast that they're free.

υπερηφανεύονται ότι είναι δωρεάν.

In this context, it means that we are the product that's being sold.

Σε αυτό το πλαίσιο, αυτό σημαίνει ότι εμείς είμαστε το προϊόν προς πώληση.

We need a digital economy

Χρειαζόμαστε μια ψηφιακή οικονομία

where our data and our attention

όπου τα δεδομένα μας και η προσοχή μας

is not for sale to the highest-bidding authoritarian or demagogue.

δεν πωλούνται με την υψηλότερη προσφορά σε έναν δικτάτορα ή δημαγωγό.

(Applause)

(Χειροκρότημα)

So to go back to that Hollywood paraphrase,

Ας επιστρέψουμε λοιπόν σε αυτή την παράφραση του Χόλιγουντ,

we do want the prodigious potential

θέλουμε πράγματι τις τεράστιες δυνατότητες

of artificial intelligence and digital technology to blossom,

της τεχνητής νοημοσύνης και της ψηφιακής τεχνολογίας να ανθίσουν,

but for that, we must face this prodigious menace,

αλλά για αυτό πρέπει να αντιμετωπίσουμε αυτή την τεράστια απειλή,

open-eyed and now.

με καθαρό βλέμμα και τώρα.

Thank you.

Σας ευχαριστώ.

(Applause)

(Χειροκρότημα)