We're building a dystopia just to make people click on ads | Zeynep Tufekci

מתרגם: Shlomo Adam מבקר: Ido Dekkers

So when people voice fears of artificial intelligence,

כשאנשים מבטאים פחדים מפני תבונה המלאכותית,

very often, they invoke images of humanoid robots run amok.

הם מרבים להעלות דימויים של רובוטים דמויי-אדם שיוצאים משליטה.

You know? Terminator?

כמו ב"שליחות קטלנית".

You know, that might be something to consider,

אולי צריך לתת על זה את הדעת,

but that's a distant threat.

אבל זהו איום רחוק.

Or, we fret about digital surveillance

או שהם מתרגזים על המעקב הדיגיטלי

ומביאים דימויים מהעבר.

with metaphors from the past.

"1984," George Orwell's "1984,"

"1984" של ג'ורג' אורוול

it's hitting the bestseller lists again.

מטפס שוב ברשימת רבי המכר.

It's a great book,

זהו ספר נהדר,

but it's not the correct dystopia for the 21st century.

אבל זה איננו התיאור הנכון של הדיסטופיה במאה ה-21.

What we need to fear most

עלינו לחשוש יותר מכל

is not what artificial intelligence will do to us on its own,

לא ממה שהתבונה המלאכותית תעולל לנו בעצמה,

but how the people in power will use artificial intelligence

אלא מהאופן שבו אנשים בעמדות כוח ינצלו את התבונה המלאכותית

כדי לשלוט בנו ולנהל אותנו

to control us and to manipulate us

in novel, sometimes hidden,

בדרכים חדשניות, סמויות לעתים, ערמומיות ולא-צפויות.

subtle and unexpected ways.

Much of the technology

הרבה מהטכנולוגיה

שמאיימת על חירותנו וכבודנו בעתיד הקרוב

that threatens our freedom and our dignity in the near-term future

is being developed by companies

מפותחת בידי חברות

in the business of capturing and selling our data and our attention

שעוסקות בלכידת ומכירת הנתונים ומוקדי תשומת ליבנו

to advertisers and others:

למפרסמים ועוד:

Facebook, Google, Amazon,

"פייסבוק", "גוגל", "אמזון", "עליבאבה", "טנסט".

Alibaba, Tencent.

Now, artificial intelligence has started bolstering their business as well.

גם עסקי התבונה המלאכותית החלו להתעצם.

And it may seem like artificial intelligence

ואולי נראה שהתבונה המלאכותית היא פשוט הלהיט הבא, אחרי פרסומות מקוונות.

is just the next thing after online ads.

It's not.

היא לא.

It's a jump in category.

זאת עליית קטגוריה.

It's a whole different world,

זהו עולם אחר לגמרי,

and it has great potential.

וטמון בה פוטנציאל גדול;

It could accelerate our understanding of many areas of study and research.

היא יכולה להאיץ את הבנתנו בתחומי לימוד ומחקר רבים.

אבל כפרפראזה על דבריו של פילוסוף הוליוודי ידוע,

But to paraphrase a famous Hollywood philosopher,

"With prodigious potential comes prodigious risk."

"פוטנציאל עצום מביא עימו סכנות עצומות."

Now let's look at a basic fact of our digital lives, online ads.

הבה נבחן עובדה בסיסית מחיינו הדיגיטליים: פרסומות מקוונות.

בסדר? אנו פוטרים אותן כלאחר-יד.

Right? We kind of dismiss them.

הן נראות גולמיות, לא-אפקטיביות.

They seem crude, ineffective.

כולנו רגילים שעוקבים אחרינו ברשת

We've all had the experience of being followed on the web

by an ad based on something we searched or read.

בפרסומות שמבוססות על משהו שחיפשנו או קראנו.

למשל, את מחפשת זוג מגפיים,

You know, you look up a pair of boots

and for a week, those boots are following you around everywhere you go.

ובמשך שבוע המגפיים האלה עוקבים אחרייך לכל מקום.

Even after you succumb and buy them, they're still following you around.

גם אחרי שאת נכנעת וקונה אותם, הם עדיין מסתובבים אחרייך.

אנו די מחוסנים למניפולציה בסיסית וזולה כזאת.

We're kind of inured to that kind of basic, cheap manipulation.

אנו מגלגלים את עינינו ואומרים, "הדברים האלה לא עובדים."

We roll our eyes and we think, "You know what? These things don't work."

Except, online,

אבל באינטרנט

the digital technologies are not just ads.

הטכנולוגיות הדיגיטליות אינן רק פרסומות.

Now, to understand that, let's think of a physical world example.

כדי להבין זאת, הבה ניקח דוגמה מהעולם הממשי.

You know how, at the checkout counters at supermarkets, near the cashier,

מכירים את זה שבקופות במרכול, ליד הקופות,

there's candy and gum at the eye level of kids?

יש תמיד סוכריות ומסטיקים בגובה עיני הילדים?

That's designed to make them whine at their parents

זה מתוכנן כדי לגרום להם ליילל להוריהם

just as the parents are about to sort of check out.

בדיוק כשההורים עומדים לשלם.

זאת ארכיטקטורה של שכנוע.

Now, that's a persuasion architecture.

It's not nice, but it kind of works.

היא לא נחמדה, אבל היא איכשהו עובדת

That's why you see it in every supermarket.

ולכן רואים אותה בכל מרכול.

Now, in the physical world,

בעולם הממשי,

such persuasion architectures are kind of limited,

ארכיטקטורות שכנוע כאלה הן מוגבלות למדי,

because you can only put so many things by the cashier. Right?

כי יש גבול לכמות הדברים שאפשר למקם ליד הקופה, נכון?

And the candy and gum, it's the same for everyone,

וכולם רואים את אותם ממתקים ומסטיקים,

גם אם זה בעיקר עובד

even though it mostly works

only for people who have whiny little humans beside them.

על אנשים שבני-אדם קטנים מייללים לצידם.

בעולם הממשי אנו חיים עם המגבלות האלה.

In the physical world, we live with those limitations.

In the digital world, though,

אבל בעולם הדיגיטלי

persuasion architectures can be built at the scale of billions

אפשר לבנות ארכיטקטורות שכנוע בהיקף של מיליארדים

and they can target, infer, understand

והן יודעות לקלוע, להסיק, להבין

and be deployed at individuals

ולהיות מופנות לבני-אדם בודדים,

one by one

אחד-אחד,

by figuring out your weaknesses,

בכך שהן מגלות את החולשות שלכם,

וניתן לשגר אותן למסך הטלפון הפרטי,

and they can be sent to everyone's phone private screen,

so it's not visible to us.

כך שזה לא גלוי לכולנו.

And that's different.

וזה שונה.

And that's just one of the basic things that artificial intelligence can do.

וזה רק אחד הדברים הפשוטים שהתבונה המלאכותית מסוגלת לעשות.

Now, let's take an example.

ניקח דוגמה.

נניח שאתם רוצים למכור כרטיסי טיסה לווגאס, בסדר?

Let's say you want to sell plane tickets to Vegas. Right?

So in the old world, you could think of some demographics to target

בעולם הישן הייתם עושים מיקוד לפי פילוח דמוגרפי

based on experience and what you can guess.

על סמך נסיון וניחושים.

You might try to advertise to, oh,

הייתם אולי פונים בפרסומת, למשל,

men between the ages of 25 and 35,

לגברים בגילאי 25 עד 35,

or people who have a high limit on their credit card,

או אנשים עם אשראי גבוה,

or retired couples. Right?

או זוגות בגמלאות, נכון?

That's what you would do in the past.

זה מה שהייתם עושים פעם.

עם נתוני עתק ולמידת מכונה,

With big data and machine learning,

זה כבר לא עובד ככה.

that's not how it works anymore.

So to imagine that,

כדי לדמיין את זה,

think of all the data that Facebook has on you:

חישבו על כל הנתונים שיש ל"פייסבוק" עליכם:

every status update you ever typed,

כל עדכון סטטוס שהקלדתם,

every Messenger conversation,

כל שיחה ב"מסנג'ר",

כל מקום ממנו נכנסתם לחשבונכם,

every place you logged in from,

all your photographs that you uploaded there.

כל הצילומים שהעליתם לשם,

If you start typing something and change your mind and delete it,

אם התחלתם להקליד משהו, שיניתם את דעתכם ומחקתם אותו,

Facebook keeps those and analyzes them, too.

"פייסבוק" שומרת ומנתחת גם את זה.

Increasingly, it tries to match you with your offline data.

היא תנסה יותר ויותר להתאים ביניכם לבין נתוניכם הבלתי-מקוונים.

היא גם רוכשת הרבה נתונים מסחרני מידע.

It also purchases a lot of data from data brokers.

It could be everything from your financial records

זה יכול להיות הכל, החל מהרשומות הפיננסיות שלכם

to a good chunk of your browsing history.

ועד לנתח רציני מהיסטוריית הגלישה שלכם.

Right? In the US, such data is routinely collected,

בארה"ב, נתונים כאלה נאספים, מושווים ונמכרים דרך שגרה,

collated and sold.

In Europe, they have tougher rules.

באירופה, החוקים נוקשים יותר.

So what happens then is,

וכעת מה שקורה הוא,

by churning through all that data, these machine-learning algorithms --

האלגוריתמים של למידת המכונה האלה חופרים בכל הנתונים הללו --

that's why they're called learning algorithms --

בגלל זה קוראים להם "אלגוריתמים של למידת מכונה" --

they learn to understand the characteristics of people

והם לומדים להבין את המאפיינים של אנשים

שרכשו בעבר כרטיסים לווגאס.

who purchased tickets to Vegas before.

When they learn this from existing data,

כשהם לומדים זאת מנתונים קיימים,

they also learn how to apply this to new people.

הם גם לומדים ליישם זאת לאנשים חדשים.

אז כשמציגים להם מישהו חדש,

So if they're presented with a new person,

they can classify whether that person is likely to buy a ticket to Vegas or not.

הם יודעים לסווג אותו, כמי שסביר שיקנה כרטיס לווגאס או לא.

Fine. You're thinking, an offer to buy tickets to Vegas.

יופי. אתם חושבים, "הצעה לרכוש כרטיסים לווגאס?

"אני יכול להתעלם ממנה."

I can ignore that.

But the problem isn't that.

אבל לא זאת הבעיה.

The problem is,

הבעיה היא,

we no longer really understand how these complex algorithms work.

שכבר איננו מבינים באמת איך האלגוריתמים המסובכים האלה עובדים.

We don't understand how they're doing this categorization.

איננו מבינים איך הם מסווגים.

It's giant matrices, thousands of rows and columns,

מדובר במטריצות ענק, אלפי שורות ועמודות,

maybe millions of rows and columns,

אולי מיליוני שורות ועמודות,

and not the programmers

ולא המתכנתים

and not anybody who looks at it,

ולא מי שבוחן אותן,

even if you have all the data,

גם אם יש לו כל הנתונים,

understands anymore how exactly it's operating

כבר מבין באיזו רמת דיוק הם פועלים,

any more than you'd know what I was thinking right now

כפי שאינכם יודעים מה אני חושבת כרגע

if you were shown a cross section of my brain.

אילו הראו לכם חתך-רוחב של המוח שלי.

It's like we're not programming anymore,

זה כאילו שאיננו מתכנתים יותר,

we're growing intelligence that we don't truly understand.

אנו מגדלים תבונה

שאיננו באמת מבינים.

And these things only work if there's an enormous amount of data,

והדברים האלה עובדים רק אם כמות הנתונים עצומה,

so they also encourage deep surveillance on all of us

ולכן הם גם מעודדים מעקב מעמיק אחרי כולנו

so that the machine learning algorithms can work.

כדי שהאלגוריתמים של למידת המכונה יוכלו לפעול כהלכה.

זו הסיבה ש"פייסבוק" רוצה לאסוף עליכם נתונים רבים ככל שתוכל:

That's why Facebook wants to collect all the data it can about you.

The algorithms work better.

האלגוריתמים יעבדו טוב יותר.

So let's push that Vegas example a bit.

בואו נעלה מדרגה בדוגמה של ווגאס.

What if the system that we do not understand

מה אם המערכת שאיננו מבינים

was picking up that it's easier to sell Vegas tickets

החליטה שקל יותר למכור כרטיסים לווגאס

to people who are bipolar and about to enter the manic phase.

לאנשים דו-קוטביים שעומדים לעבור למאניה.

Such people tend to become overspenders, compulsive gamblers.

אנשים כאלה נוטים להיות בזבזנים מדי, מהמרים כפייתיים.

They could do this, and you'd have no clue that's what they were picking up on.

היא תוכל לעשות זאת, ולא יהיה לכם מושג שכך היא החליטה.

I gave this example to a bunch of computer scientists once

פעם נתתי את הדוגמה הזאת לקבוצת מדעני מחשבים

and afterwards, one of them came up to me.

ואחר-כך אחד מהם ניגש אלי.

He was troubled and he said, "That's why I couldn't publish it."

הוא היה נסער, ואמר, "בגלל זה לא יכולתי לפרסם את זה."

I was like, "Couldn't publish what?"

שאלתי, "לפרסם את מה?"

He had tried to see whether you can indeed figure out the onset of mania

הוא ניסה לראות אם אכן אפשר לזהות את תחילת השלב המאני

from social media posts before clinical symptoms,

מפוסטים במדיה החברתית עוד לפני התסמינים הרפואיים,

and it had worked,

וזה הצליח לו,

and it had worked very well,

זה הצליח לו ממש טוב.

and he had no idea how it worked or what it was picking up on.

ולא היה לו מושג איך זה עבד או לפי מה.

Now, the problem isn't solved if he doesn't publish it,

הבעיה אינה פתורה רק כי הוא לא פירסם את זה,

because there are already companies

כי כבר יש חברות שמפתחות טכנולוגיה כזאת,

that are developing this kind of technology,

and a lot of the stuff is just off the shelf.

והרבה מהמוצרים שלהן נחטפים מהמדפים.

This is not very difficult anymore.

זה כבר לא קשה במיוחד.

Do you ever go on YouTube meaning to watch one video

יוצא לכם להיכנס ל"יו-טיוב" כדי לראות סרטון אחד

and an hour later you've watched 27?

ואחרי שעה צפיתם כבר ב-27 כאלה?

You know how YouTube has this column on the right

מכירים את זה שב"יו-טיוב" יש בצד ימין עמודה

that says, "Up next"

שכתוב בה: "הסרטון הבא"

and it autoplays something?

והוא מוקרן באופן אוטומטי?

It's an algorithm

זהו אלגוריתם

picking what it thinks that you might be interested in

שבוחר מה שלדעתו עשוי לעניין אתכם

and maybe not find on your own.

ושאולי לא תחפשו בעצמכם.

It's not a human editor.

אין שם עורך אנושי.

זה מה שאלגוריתמים עושים.

It's what algorithms do.

It picks up on what you have watched and what people like you have watched,

הם בוחרים לפי מה שראיתם ומה שראו אנשים כמוכם,

and infers that that must be what you're interested in,

ומסיקים שזה בוודאי מה שיעניין אתכם,

what you want more of,

ושאתם רוצים ממנו עוד,

and just shows you more.

והם פשוט מציגים לכם עוד.

זה נשמע כמו תכונה נחמדה ושימושית,

It sounds like a benign and useful feature,

except when it isn't.

אלא כשהיא לא.

So in 2016, I attended rallies of then-candidate Donald Trump

ב-2016 השתתפתי בעצרות של המועמד דאז, דונלד טראמפ

to study as a scholar the movement supporting him.

כדי לחקור, כמלומדת, את התנועה שתומכת בו.

I study social movements, so I was studying it, too.

חקרתי אז תנועות חברתיות, וחקרתי גם את זאת.

And then I wanted to write something about one of his rallies,

ואז רציתי לכתוב משהו על אחת העצרות שלו,

אז צפיתי בה כמה פעמים ב"יו-טיוב".

so I watched it a few times on YouTube.

YouTube started recommending to me

"יו-טיוב" החל להמליץ לי

and autoplaying to me white supremacist videos

ולהקרין לי אוטומטית סרטוני עליונות לבנה

in increasing order of extremism.

בקיצוניות הולכת וגוברת.

If I watched one,

אם צפיתי באחד מהם,

הערוץ הביא לי סרטון קיצוני עוד יותר

it served up one even more extreme

והקרין לי גם אותו אוטומטית.

and autoplayed that one, too.

If you watch Hillary Clinton or Bernie Sanders content,

אם צפיתם בתוכן של הילרי קלינטון או ברני סנדרס,

YouTube recommends and autoplays conspiracy left,

"יו-טיוב" ימליץ ויקרין לכם אוטומטית מזימות שמאלניות,

and it goes downhill from there.

ומשם זה רק יילך ויידרדר.

Well, you might be thinking, this is politics, but it's not.

אולי אתם חושבים, "ככה זה בפוליטיקה." אבל לא.

This isn't about politics.

לא מדובר כאן בפוליטיקה.

This is just the algorithm figuring out human behavior.

זהו פשוט אלגוריתם שלומד התנהגות אנושית.

I once watched a video about vegetarianism on YouTube

ראיתי פעם סרטון ב"יו-טיוב" על צמחונות

and YouTube recommended and autoplayed a video about being vegan.

ו"יו-טיוב" המליץ לי, והקרין אוטומטית סרטון על טבעונות.

It's like you're never hardcore enough for YouTube.

ההרגשה היא שאתה אף פעם לא מספיק קיצוני בשביל "יו-טיוב".

(Laughter)

(צחוק)

So what's going on?

אז מה קורה?

Now, YouTube's algorithm is proprietary,

האלגוריתם של "יו-טיוב" הוא קנייני,

אבל הנה מה שאני חושבת שקורה.

but here's what I think is going on.

The algorithm has figured out

האלגוריתם חישב ומצא

that if you can entice people

שאם אפשר לפתות אנשים לחשוב

into thinking that you can show them something more hardcore,

שהם יוכלו לראות משהו קיצוני יותר,

they're more likely to stay on the site

סביר יותר שהם יישארו באתר

watching video after video going down that rabbit hole

ויצפו בסרטון אחרי סרטון תוך נפילה למאורת הארנב

while Google serves them ads.

בעוד "גוגל" מגיש להם פרסומות.

Now, with nobody minding the ethics of the store,

כשאיש איננו משגיח על האתיקה בחנות,

these sites can profile people

האתרים האלה יכולים לאפיין אנשים

who are Jew haters,

שהם שונאי יהודים,

who think that Jews are parasites

שחושבים שהיהודים הם טפילים

and who have such explicit anti-Semitic content,

והם יקבלו תוכן אנטישמי מפורש

ואפשר למקד אליהם פרסומות.

and let you target them with ads.

הם יכולים גם לגייס אלגוריתמים

They can also mobilize algorithms

to find for you look-alike audiences,

שימצאו עבורכם קהלים דומים,

people who do not have such explicit anti-Semitic content on their profile

אנשים שהאיפיון שלהם אינו כולל תוכן אנטישמי מפורש כזה,

but who the algorithm detects may be susceptible to such messages,

אבל שהאלגוריתם זיהה שהם יהיו פתוחים למסרים כאלה,

and lets you target them with ads, too.

והוא יאפשר למקד גם אליהם פרסומות.

Now, this may sound like an implausible example,

זה אולי נשמע כמו דוגמה בלתי-סבירה,

but this is real.

אבל זה אמיתי.

ProPublica investigated this

"פרופבליקה" חקרו את זה,

and found that you can indeed do this on Facebook,

ומצאו שאכן אפשר לעשות זאת ב"פייסבוק",

and Facebook helpfully offered up suggestions

ו"פייסבוק" נעתרה ברצון והציעה הצעות

on how to broaden that audience.

איך להרחיב את הקהל הזה.

BuzzFeed tried it for Google, and very quickly they found,

"באזפיד" ניסו זאת על "גוגל", והם גילו מהר מאד

yep, you can do it on Google, too.

שכן, אפשר לעשות זאת גם ב"גוגל".

And it wasn't even expensive.

וזה לא היה אפילו יקר.

The ProPublica reporter spent about 30 dollars

הכתב של "פרופבליקה" הוציא כ-30 דולר

to target this category.

כדי למקד פרסום לקטגוריה הזאת.

So last year, Donald Trump's social media manager disclosed

בשנה שעברה, מנהל המדיה החברתית של דולנד טראמפ גילה

that they were using Facebook dark posts to demobilize people,

שהם העלו פוסטים אפלים ל"פייסבוק" כדי להניא אנשים מלהצביע;

not to persuade them,

לא כדי לשכנע אותם,

but to convince them not to vote at all.

אלא כדי לשכנע אותם שלא להצביע כלל.

And to do that, they targeted specifically,

ולשם כך הם ביצעו מיקוד ספציפי,

למשל, גברים אפרו-אמריקנים בערים מרכזיות כמו פילדלפיה,

for example, African-American men in key cities like Philadelphia,

ואני אקריא בדיוק את מה שהוא אמר.

and I'm going to read exactly what he said.

I'm quoting.

אני מצטטת.

They were using "nonpublic posts

הם השתמשו ב"פוסטים לא-ציבוריים

whose viewership the campaign controls

"שמידרוג הצפיה שלהם במסע הבחירות קבע

so that only the people we want to see it see it.

"שרק אנשים שרוצים לראות זאת יראו זאת.

We modeled this.

"מידלנו את זה.

"זה ישפיע באופן דרמטי על יכולתה לשנות את דעותיהם."

It will dramatically affect her ability to turn these people out."

What's in those dark posts?

מה יש בפוסטים האפלים האלה?

We have no idea.

אין לנו מושג.

Facebook won't tell us.

"פייסבוק" לא מגלה לנו.

So Facebook also algorithmically arranges the posts

אז גם "פייסבוק" מארגנת בעזרת אלגוריתמים

את הפוסטים שחבריכם מעלים ל"פייסבוק", או את הדפים שאחריהם אתם עוקבים.

that your friends put on Facebook, or the pages you follow.

It doesn't show you everything chronologically.

היא לא מציגה הכל בסדר הכרונולוגי.

It puts the order in the way that the algorithm thinks will entice you

אלא את הסדר שהאלגוריתם חושב שיפתה אתכם

to stay on the site longer.

להישאר יותר באתר.

Now, so this has a lot of consequences.

לכך יש המון השלכות.

You may be thinking somebody is snubbing you on Facebook.

אולי נראה לכם שמישהו ב"פייסבוק" מזלזל בכם.

The algorithm may never be showing your post to them.

האלגוריתם אולי לעולם לא יראה להם את הפוסט שלכם.

האלגוריתם מתעדף פוסטים מסוימים וקובר את היתר.

The algorithm is prioritizing some of them and burying the others.

Experiments show

ניסויים הוכיחו

that what the algorithm picks to show you can affect your emotions.

שמה שהאלגוריתם בוחר להראות לכם עשוי להשפיע על רגשותיכם.

But that's not all.

אבל זה לא הכל.

It also affects political behavior.

זה גם משפיע על ההתנהגות הפוליטית.

So in 2010, in the midterm elections,

ב-2010, בבחירות אמצע הכהונה,

"פייסבוק" ערכה ניסוי על 61 מיליון בני-אדם בארה"ב

Facebook did an experiment on 61 million people in the US

that was disclosed after the fact.

שפורסם רק מאוחר יותר.

So some people were shown, "Today is election day,"

הם הציגו לאנשים מסוימים את "היום יום הבחירות,"

the simpler one,

הפשוט יותר,

and some people were shown the one with that tiny tweak

ואחרים ראו אותו עם שינוי זעיר:

with those little thumbnails

עם תמונות ממוזערות

of your friends who clicked on "I voted."

של חבריהם שהקליקו "הצבעתי".

שינוי פשוט.

This simple tweak.

OK? So the pictures were the only change,

בסדר? התמונות היו השינוי היחיד.

and that post shown just once

והפוסט הזה, שהוצג פעם אחת בלבד,

הוסיף עוד 340,000 מצביעים באותן בחירות

turned out an additional 340,000 voters

in that election,

according to this research

לפי המחקר הזה, כפי שרשימות המצביעים אישרו.

as confirmed by the voter rolls.

A fluke? No.

עניין של מזל? לא.

Because in 2012, they repeated the same experiment.

כי ב-2012 הם חזרו על הניסוי הזה.

And that time,

והפעם,

that civic message shown just once

המסר האזרחי הזה, שהוצג רק פעם אחת,

turned out an additional 270,000 voters.

הוסיף 270,000 מצביעים.

For reference, the 2016 US presidential election

לצורך ייחוס, הבחירות לנשיאות ב-2016

was decided by about 100,000 votes.

הוכרעו ע"י כ-100,000 קולות.

Now, Facebook can also very easily infer what your politics are,

"פייסבוק" גם יכולה בקלות רבה להסיק מהן דעותיכם הפוליטיות,

גם אם מעולם לא ציינתם אותן באתר.

even if you've never disclosed them on the site.

Right? These algorithms can do that quite easily.

נכון? האלגוריתמים האלה מסוגלים לכך די בקלות.

What if a platform with that kind of power

מה אם איזו פלטפורמה עם כוח כזה

decides to turn out supporters of one candidate over the other?

תחליט להטות תומכי מועמד מסוים לצדד בשני?

How would we even know about it?

איך בכלל נדע על זה?

Now, we started from someplace seemingly innocuous --

התחלנו ממשהו לכאורה תמים למדי --

online adds following us around --

הפרסומות המקוונות שעוקבות אחרינו --

and we've landed someplace else.

והגענו למקום אחר לגמרי.

As a public and as citizens,

כציבור וכאזרחים,

we no longer know if we're seeing the same information

כבר איננו יודעים אם כולנו צופים באותו המידע

or what anybody else is seeing,

או במה צופים כל האחרים,

and without a common basis of information,

וללא בסיס משותף של מידע,

little by little,

לאט לאט,

public debate is becoming impossible,

הדיון הציבורי הופך בלתי-אפשרי,

and we're just at the beginning stages of this.

ואנו רק בשלבים הראשונים של זה.

האלגוריתמים האלה יודעים להסיק בקלות רבה

These algorithms can quite easily infer

things like your people's ethnicity,

דברים כמו אתניות,

religious and political views, personality traits,

השקפות דתיות ופוליטיות, תכונות אישיות,

intelligence, happiness, use of addictive substances,

אינטליגנציה, רמת אושר, שימוש בחומרים ממכרים,

parental separation, age and genders,

מצב הזוגיות, גיל ומגדר,

just from Facebook likes.

רק מ"פייסבוק" ודומיה.

These algorithms can identify protesters

האלגוריתמים האלה יודעים לזהות מפגינים

even if their faces are partially concealed.

גם אם פניהם מוסתרים חלקית.

These algorithms may be able to detect people's sexual orientation

האלגוריתמים האלה אולי יודעים לזהות נטיות מיניות

just from their dating profile pictures.

רק מתוך תמונות בפרופיל ההיכרויות.

Now, these are probabilistic guesses,

נכון, מדובר בניחושים הסתברותיים,

והם לא יהיו נכונים ב-100%,

so they're not going to be 100 percent right,

אבל אני לא צופה שבעלי הכוח יעמדו בפיתוי לנצל טכנולוגיות אלה

but I don't see the powerful resisting the temptation to use these technologies

רק בגלל כמה זיהויים שגויים,

just because there are some false positives,

which will of course create a whole other layer of problems.

וזה כמובן ייצור רובד חדש לגמרי של בעיות .

Imagine what a state can do

תארו לעצמכם מה מדינה יכולה לעשות

with the immense amount of data it has on its citizens.

עם כמות הנתונים העצומה שיש לה על אזרחיה.

China is already using face detection technology

סין כבר משתמשת בטכנולוגיית זיהוי פנים

to identify and arrest people.

כדי לזהות ולעצור אנשים.

And here's the tragedy:

והנה הטרגדיה:

we're building this infrastructure of surveillance authoritarianism

אנו בונים תשתית זו של עריצות מעקב

רק כדי לגרום לאנשים להקליק על פרסומות.

merely to get people to click on ads.

וזו לא תהיה העריצות לפי אורוול;

And this won't be Orwell's authoritarianism.

This isn't "1984."

זה לא "1984".

Now, if authoritarianism is using overt fear to terrorize us,

אם העריצות תפעיל הפחדה גלויה כדי להשליט טרור,

we'll all be scared, but we'll know it,

כולנו נהיה מבוהלים, אבל נדע מה קורה.

we'll hate it and we'll resist it.

נשנא את זה ונתנגד לזה.

But if the people in power are using these algorithms

אבל אם בעלי השררה משתמשים באלגוריתמים האלה

to quietly watch us,

כדי לצפות בנו בחשאי,

to judge us and to nudge us,

כדי לשפוט אותנו ולהטות אותנו,

to predict and identify the troublemakers and the rebels,

כדי לנבא ולזהות מי יהיו עושי הצרות והמורדים,

to deploy persuasion architectures at scale

כדי לפרוש ארכיטקטורות ענק של שכנוע

and to manipulate individuals one by one

ולהפעיל בני-אדם, אחד-אחד,

ע"י ניצול החולשות והפגיעוּת האישית של כל אחד ואחת,

using their personal, individual weaknesses and vulnerabilities,

and if they're doing it at scale

אם הם עושים זאת בהיקף גדול

דרך המסכים הפרטיים שלנו

through our private screens

so that we don't even know

ואפילו איננו יודעים

what our fellow citizens and neighbors are seeing,

במה צופים שכנינו ואחינו האזרחים,

that authoritarianism will envelop us like a spider's web

כי אז העריצות תעטוף אותנו כמו קורי עכביש

and we may not even know we're in it.

ואולי אפילו לא נדע שאנו לכודים בה.

So Facebook's market capitalization

שווי השוק של "פייסבוק"

is approaching half a trillion dollars.

מתקרב לחצי טריליון דולר.

It's because it works great as a persuasion architecture.

וזה משום שהיא מוצלחת מאד בתור ארכיטקטורת שכנוע.

But the structure of that architecture

אבל מבנה הארכיטקטורה הזאת

is the same whether you're selling shoes

זהה, בין אם מוכרים נעליים

or whether you're selling politics.

ובין אם מוכרים פוליטיקה.

The algorithms do not know the difference.

האלגוריתמים לא מכירים את ההבדל.

The same algorithms set loose upon us

אותם האלגוריתמים שמשסים בנו

to make us more pliable for ads

כדי לגרום לנו להיות קלים יותר להשפעת הפרסומות

are also organizing our political, personal and social information flows,

מארגנים גם את זרם המידע הפוליטי, האישי והחברתי שלנו,

and that's what's got to change.

וזה מה שצריך להשתנות.

Now, don't get me wrong,

אל תבינו אותי לא-נכון,

we use digital platforms because they provide us with great value.

אנו משתמשים בפלטפורמות דיגיטליות כי יש בהן המון ערך עבורנו.

I use Facebook to keep in touch with friends and family around the world.

אני משתמשת ב"פייסבוק" כדי לשמור על קשר עם חברים וקרובים בכל העולם.

I've written about how crucial social media is for social movements.

כתבתי בעבר על תפקידה המכריע של המדיה החברתית בתנועות החברתיות.

I have studied how these technologies can be used

חקרתי איך ניתן להשתמש בטכנולוגיות האלה

to circumvent censorship around the world.

כדי לעקוף צנזורות ברחבי העולם.

But it's not that the people who run, you know, Facebook or Google

העניין הוא, שהאנשים שמנהלים את "פייסבוק" או "גוגל"

are maliciously and deliberately trying

אינם מנסים בזדון ובמכוון להגדיל את הקיטוב בארץ או בעולם

to make the country or the world more polarized

and encourage extremism.

ולעודד קיצוניות.

I read the many well-intentioned statements

אני קוראת את ההצהרות הרבות, המלאות בכוונות טובות

that these people put out.

שהאנשים האלה משחררים.

But it's not the intent or the statements people in technology make that matter,

אבל לא הכוונות או ההצהרות של אנשי הטכנולוגיה הן שמשנות,

it's the structures and business models they're building.

אלא המבנים והמודלים העסקיים שהם מקימים.

And that's the core of the problem.

וכאן לב הבעיה.

Either Facebook is a giant con of half a trillion dollars

או ש"פייסבוק" היא נוכלת ענק בשווי חצי טריליון דולר

and ads don't work on the site,

שהפרסומות לא עובדות באתר שלה,

ולא מוצלחות כארכיטקטורת שכנוע,

it doesn't work as a persuasion architecture,

or its power of influence is of great concern.

או שכוח ההשפעה שלה הוא מקור לדאגה רבה.

It's either one or the other.

או זה, או זה.

It's similar for Google, too.

כך גם לגבי "גוגל".

So what can we do?

אז מה נוכל לעשות?

This needs to change.

זה חייב להשתנות.

Now, I can't offer a simple recipe,

אינני יכולה להציע מתכון פשוט,

because we need to restructure

כי עלינו לשנות מן היסוד

the whole way our digital technology operates.

את כל אופן פעולתן של הטכנולוגיות הדיגיטליות שלנו.

Everything from the way technology is developed

הכל, החל מאופן פיתוח הטכנולוגיה

to the way the incentives, economic and otherwise,

ועד לדרכים בהן התמריצים, הכלכליים והאחרים,

are built into the system.

משולבים במערכת.

We have to face and try to deal with

עלינו להתעמת ולהתמודד

the lack of transparency created by the proprietary algorithms,

עם העדר השקיפות שיוצרים האלגוריתמים הקנייניים,

the structural challenge of machine learning's opacity,

עם האתגר המבני שבעמימותה של למידת המכונה,

all this indiscriminate data that's being collected about us.

עם האיסוף חסר-האבחנה של הנתונים שלנו.

מוטלת עלינו משימה ענקית.

We have a big task in front of us.

We have to mobilize our technology,

עלינו לגייס את הטכנולוגיה שלנו,

our creativity

את היצירתיות שלנו

and yes, our politics

וכן, גם את הפוליטיקה שלנו

so that we can build artificial intelligence

כדי שנוכל לבנות תבונה מלאכותית

that supports us in our human goals

שתומכת במטרותינו האנושיות

but that is also constrained by our human values.

אבל גם מוגבלת ע"י ערכינו האנושיים.

And I understand this won't be easy.

ואני מבינה שזה לא יהיה קל.

We might not even easily agree on what those terms mean.

אולי אפילו לא נסכים בקלות מה פירוש התנאים הללו.

But if we take seriously

אבל אם נתייחס ברצינות

how these systems that we depend on for so much operate,

לדרכי פעולת המערכות האלה, שאנו כה תלויים בהן,

אינני רואה כיצד נוכל לדחות עוד את הדיון הזה.

I don't see how we can postpone this conversation anymore.

These structures

המבנים האלה

are organizing how we function

מארגנים את התפקוד שלנו

and they're controlling

והם שולטים

במה שנוכל ובמה שלא נוכל לעשות.

what we can and we cannot do.

And many of these ad-financed platforms,

ורבות מהפלטפורמות האלה, שהפרסומות מממנות,

they boast that they're free.

מתגאות בכך שהן חינמיות.

In this context, it means that we are the product that's being sold.

בהקשר הזה, זה אומר שאנו המוצר שנמכר.

We need a digital economy

נחוצה לנו כלכלה דיגיטלית

where our data and our attention

שבה הנתונים ומוקדי תשומת הלב שלנו

is not for sale to the highest-bidding authoritarian or demagogue.

לא יוצעו למכירה לעריץ או לדמגוג המרבה במחיר.

(Applause)

(מחיאות כפיים)

So to go back to that Hollywood paraphrase,

אז אם נחזור לפרפראזה ההוליוודית,

we do want the prodigious potential

אנו בהחלט רוצים בשגשוג הפוטנציאל העצום

of artificial intelligence and digital technology to blossom,

של התבונה המלאכותית והטכנולוגיה הדיגיטלית,

but for that, we must face this prodigious menace,

אבל לשם כך עלינו להתמודד עם הסכנה העצומה הטמונה בהן

open-eyed and now.

בעיניים פקוחות ועכשיו.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)