How AI Could Hack Democracy | Lawrence Lessig | TED

תרגום: aknv tso עריכה: zeeva livshitz

So on January 6, 2021

ב-6 לינואר, 2021

my nation suffered a little bit of a democracy heart attack.

המדינה שלי סבלה מהתקף-לב דמוקרטי קל.

Thousands of Americans had been told that the election had been stolen,

לאלפי אמריקנים נאמר שהבחירות נגנבו,

and tens of thousands of them showed up

והגיעו עשרות אלפים מהם,

because they believed the election had been stolen.

משום שהם האמינו שהבחירות נגנבו.

And indeed, in polling immediately after January 6,

ואמנם, בסקרים שנערכו מיד לאחר ה-6 לינואר,

“The Washington Post” found 70 percent of Republicans believed

ה“וושינגטון פוסט” מצא ש-70% מהרפובליקנים

the election had been stolen,

מאמינים שהבחירות נגנבו,

and a majority of college-educated Republicans believed

ושרוב הרפובליקנים בוגרי קולג′ מאמינים שהבחירות נגנבו.

the election had been stolen.

That was their perception.

כך הם הבינו.

And I don't know what the right way to act on that perception is.

ואין לי מושג כיצד ראוי לנהוג בקשר להבנה הזאת,

They thought the right way was to defend

אם הם חשבו שהמעשה הנכון הוא להגן על הדמוקרטיה שנגנבה, לדעתם.

what they thought was a democracy stolen.

Now, these numbers were astonishing:

המספרים האלה היו מדהימים:

30 percent or two thirds of Republicans believing the election was stolen.

30% או שני שליש מהרפובליקנים מאמינים שהבחירות נגנבו.

But even more extraordinary are these numbers.

אבל המספרים האלה עוד יותר מדהימים.

The fact that in the three years since that astonishing event,

העובדה שבשלוש השנים שחלפו מאז אותו אירוע מדהים,

the numbers have not changed.

לא חל שינוי במספרים.

The same number believe today that the election was stolen

האנשים שמאמינים שהבחירות נגנבו הם בדיוק אותם אנשים מלפני 3 שנים.

as believed it was stolen three years ago,

despite the fact that we've had investigations

חרף העובדה שנערכו בדיקות

and overwhelming evidence that there was no fraud

ובידינו הוכחות מכריעות לכך שלא היה שום זיוף

sufficient to ever change even a single state.

שדי בו לשנות את התוצאה ולו במדינה אחת.

This is something new.

זה משהו חדש.

When Richard Nixon went through the Watergate scandal,

כשריצ’רד ניקסון היה מעורב בשערוריית ווטרגייט,

as the news was being reported,

וזה היה בחדשות,

Nixon's popularity collapsed not just among Democrats,

הפופולריות של ניקסון קרסה לא רק בקרב הדמוקרטים,

but among independents and Republicans.

אלא גם בקרב המפלגות העצמאיות והרפובליקנים.

But we're at a stage where it doesn't matter what happens.

אבל עכשיו אנו בשלב שבו כבר לא משנה מה קורה.

This is Donald Trump's popularity over the course of his administration.

הנה הפופולריות של דונלד טראמפ במהלך כהונתו.

Nothing changes.

אין שום שינוי.

אין חשיבות לעובדות.

The facts don't matter.

Now I think this truth should bother us a lot.

לדעתי, האמת הזאת צריכה להטריד אותנו. מאוד.

I think we need to develop a kind of paranoia

לדעתי, עלינו לפתח מעין פרנויה

about what produces this reality.

בנוגע למה שיוצר את המציאות הזאת.

A particular paranoia, the paranoia of the hunted.

פרנויה מסוימת מאוד. הפרנויה של הניצוד.

Think of the kids in "The Birds"

חישבו על הילדים האלה, בסרט “הציפורים“,

first realizing that those crows were attacking them,

כשהם קולטים לראשונה שהעורבים האלה תוקפים אותם,

or "Black Mirror's" Metalheads,

או חובבי מוזיקת “הבי מטאל” ו“מראה שחורה“,

when you see these creatures chasing and surrounding you.

כשרואים את היצורים האלה רודפים אחריך ומקיפים אותך.

The point is, we need to recognize

הנקודה היא שעלינו להכיר בכך

that there is an intelligence out there to get us.

שקיימת בינה מסוימת שיצאה לצוד אותנו.

Because our perceptions,

כי התפישות שלנו,

our collective perceptions,

התפישות הקיבוציות שלנו,

our collective misimpressions

הרשמים המוטעים הקיבוציים שלנו,

are not accidental.

אינם מקריים.

They are expected, they are intended,

הם צפויים, יש מאחוריהם כוונה,

they are the product of the thing.

הם התוצר של “הדבר“.

(Laughter)

(צחוק)

OK, I want to be careful introducing the thing.

טוב, אני רוצה להיזהר כשאני מציג את הדבר.

I'm going to talk a little bit about AI, but I'm not going to slag on AI.

אדבר מעט על הבינה המלאכותית, אבל אינני מתכוון לרדת עליה.

I think AI is the most extraordinary technology

אני חושב שהבינה המלאכותית היא הטכנולוגיה המדהימה ביותר

humanity has ever even conceived of.

שהאנושות חשבה עליה אי-פעם.

But I also think it has the potential to end humanity.

אבל אני גם חושב שבכוחה לשים קץ לאנושות.

But I'm not going to slag on AI,

אבל לא ארד על הבינה המלאכותית,

because I'm pretty sure that our robot overlord

כי אני די בטוח שאדוננו הרובוט

is going to be listening to these TED talks someday,

יאזין מתישהו להרצאות TED אלה,

and I don't want to be on the wrong side of the overlord.

ואני לא רוצה שהוא יסתכל עלי בעין עקומה.

So AI is just fine.

אז הבינה המלאכותית ממש בסדר.

I'm not going to talk about this AI first.

לא אדבר תחילה על הבינה המלאכותית הזאת.

I want to instead put AI in a little bit of a perspective,

במקום זה אני רוצה להעמיד את הבינה המלאכותית בפרספקטיבה,

because I think that we're too obsessed with the new,

כי נראה לי שאנו יותר מדי אובססיביים עם הבינה המלאכותית החדשה,

and we fail to recognize the significance of AI in the old.

ולא מצליחים להכיר בחשיבותה של הבינה המלאכותית הישנה.

We think about intelligence,

כשאנו חושבים על בינה,

and we're distinguishing between artificial and natural intelligence.

אנו מבחינים בין בינה מלאכותית לבין בינה טבעית.

And we, of course, as humans,

וכבני אדם, אנו כמובן

claim pride of kingdom in the world of natural intelligence.

טוענים בגאווה לכתר כאדוני העולם בבינה טבעית.

And then we build artificial intelligence.

ואז אנו בונים בינה מלאכותית.

It's intelligence that we make.

הבינה הזו שאנו יוצרים.

But here's the critical point.

אבל הנה הנקודה המכרעת.

We have already, for a long time,

מזה זמן רב שאנו חיים עם מערכות של בינה מלאכותית.

lived with systems of artificial intelligence.

I don't mean digital AI,

אני לא מתכוון לבינה מלאותית דיגיטלית,

I mean analog AI.

אלא לבינה מלאכותית אנלוגית.

Any entity or institution that we build with a purpose

כל גוף או מוסד שאנו מקימים לצורך כלשהו

that acts instrumentally in the world is in this sense an AI.

שמשמש אותנו בעולם הזה הוא במובן זה בינה מלאכותית.

It is an instrumentally rational entity that's mapping how it should behave,

מדובר בגוף רציונלי ושימושי שממפה את התנהגותנו הראויה,

given the way the world evolves and responds to it.

לפי כיוון התפתחותו של העולם, ובתגובה לכך.

So think about democracy as an AI.

חישבו על הדמוקרטיה כעל בינה מלאכותית.

It has institutions, elections, parliaments, constitutions

יש לה מוסדות, בחירות, בתי נבחרים, חוקות

for the purpose of some collective ends.

שיש להם מטרות קיבוציות מסוימות.

Our Constitution says it's for the common good.

לפי החוקה שלנו, מדובר בטובת הכלל.

So the democracy in our Constitution is an analog artificial intelligence

כך שהדמוקרטיה שבחוקה שלנו היא בינה מלאכותית אנלוגית

devoted to the common good.

המוקדשת לטובת הכלל.

Or think about corporations as an AI.

חישבו על התאגידים שלנו כעל בינה מלאכותית.

They have institutions, boards, management, finance,

יש בהם מוסדות, חברי מנהלים, הנהלות, פיננסים,

for the purpose of making money, or at least conceived of narrowly,

לתכלית עשיית כסף, או כך הם נתפשים באופן שטחי,

today, that’s the way it is.

זה המצב היום.

There corporation is an analog intelligence devoted to maximizing

התאגידים הם בינה מלאכותית אנלוגית המוקדשת למירוב ערך בעלי המניות.

shareholder value.

These are AIs.

הם בינות מלאכותיות.

They have purposes and objectives sometimes complementing each other.

יש להם מטרות ויעדים משלימים, לפעמים.

So the purpose of a school bus company

למשל, מטרתה של חברת הסעות התלמידים משלימה את מטרת הנהלת בית הספר

complements the purpose of a school board

to produce school bus transportation in a district.

לכונן הסעות תלמידים אל בתי הספר במחוז.

That's just beautiful.

יפה מאוד.

But sometimes they're competing.

אבל לפעמים המטרות סותרות.

The purpose of a government and having a clean environment

את מטרות הממשלה והדרישה לסביבה נקיה

conflicts with the purpose of a coal company

מתנגשות עם מטרותיה של חברת פחם שתוכננה לייצר חשמל

designing to produce electricity

by spewing carbon and soot into the environment.

ע“י פליטת פחמן ואפר אל תוך הסביבה.

And when they conflict, we tell ourselves this happy story.

וכשמטרות אלה סותרות, אנו מספרים לעצמנו סיפור נחמד.

We tell ourselves the story that democracy is going to stand up

לפי הסיפור שאנו מספרים לעצמנו, הדמוקרטיה תעמוד על שלה,

and discipline that evil corporation.

ותטיל את מרותה על התאגיד המרושע.

To get the corporation to do the right thing,

כדי שהתאגיד ינהג נכון, ויעשה את מה שחשוב לכולנו.

to do the thing that's in the interest of all of us.

That's our happy story.

זהו הסיפור הנחמד שלנו, וזאת גם פנטזיה,

It's also a fantasy.

Because at least in my country,

כי במדינה שלי, לפחות,

corporations are more effective AIs than democracy.

התאגידים הם בינות מלאכותיות אפקטיביות בהרבה מהדמוקרטיה.

Think about it a little bit like this.

נסו לחשוב על זה ככה.

If we think about instrumental rationality along one axis of this graph

אם הרציונליות השימושית נמצאת על ציר אחד של הגרף הזה,

and time across the other,

והזמן על הציר השני,

humans, of course, are the first instrumentally rational entity

בני אדם הם כמובן

הישות הרציונלית השימושית הראשונה שחשובה לנו.

we care about, we're better than cows.

אנו טובים מפרות. אולי לא טובים כמו הנמלים,

Maybe not as good as ants, but the point is,

we're pretty good as individuals

אבל הנקודה היא, שכל אדם כשלעצמו די טוב

figuring out how to do things strategically.

בלמצוא איך לעשות דברים בצורה אסטרטגית.

And then we built democracy to do that a little bit better,

ואז אנו בונים דמוקרטיה שתעשה את זה קצת יותר טוב,

to act collectively for all of us.

שתפעל באופן קיבוצי לטובת כולנו.

And that's a more instrumentally rational entity

וזאת ישות עוד יותר רציונלית ושימושית

than we, individual humans, can be.

מכפי שנוכל להיות כיחידים,

Then we created corporations.

ואז אנו יוצרים תאגידים.

And it turns out, they have become, at least in corrupted political regimes —

ומסתבר שאלה נעשו, לפחות במשטרים מושחתים --

which, I’ll just submit, my political regime is —

וכזה הוא, רק אומר, הוא המשטר שלי --

better than democracy

טובים יותר מהדמוקרטיה בהשגת יעדיהם.

in bringing about their objective ends.

Now, of course, in this system,

במערכת כזאת, כמובן,

each of these layers has an aspiration to control the higher layer.

כל שכבה כזאת שואפת לשלוט בשכבה שמעליה.

So humans try to control democracy through elections.

בני האדם מנסים לשלוט בדמוקרטיה באמצעות בחירות.

Democracy tries to control corporations through regulation.

הדמוקרטיה מנסה לשלוט בתאגידים באמצעות חקיקה.

But the reality of control is, of course, a little bit different.

אבל במציאות, כמובן, סדר השליטה שונה מעט.

In the United States, corporations control democracy

בארצות הברית, התאגידים שולטים בדמוקרטיה

through the extraordinary amount of money they pour into elections,

בעזרת כמויות כסף דמיוניות שהם שופכים על הבחירות,

making our representatives dependent not on us, but on them.

ובכך גורמים לנציגינו להיות תלויים לא בנו, אלא בהם.

And democracy then controls the humans

ואז הדמוקרטיה שולטת בבני האדם באמצעות הנציגים,

by making representation,

not actually representation, corrupting representation.

לא בדיוק נציגים אלא נציגים מושחתים.

Now, this structure, this layer of higher order intelligence

מן המבנה הזה, השכבה הזאת של בינה מסדר גבוה יותר,

or instrumental rationality might evoke,

או הרציונליות השימושית הזאת, ניתן לגזור --

for those of you who think about AI,

לאלה מכם שחושבים על בינה מלאכותית --

a statement by the godfather of AI, Geoffrey Hinton.

אמירה מפי סנדק הבינה המלאכותית, ג’פרי הינטון.

Hinton warns us,

הינטון מזהיר אותנו :

"There are a few examples of a more intelligent thing

“מעטות מאוד הן הדוגמאות של משהו נבון יותר

being controlled by a less intelligent thing."

“שנשלט בידי משהו נבון פחות.”

Or we could say,

ובניסוח אחר - “משהו רציונלי ושימושי יותר

a more instrumentally rational thing

being controlled by a less instrumentally rational thing.

“שנשלט בידי משהו רציונלי ושימושי פחות.”

And that is consistent with this picture of AIs.

וזה תואם את התמונה הזאת של בינות מלאכותיות.

And then we add digital AI into this mix.

ואז אנו באים ומוסיפים לתערובת הזאת בינה דיגיטלית.

And here too, once again,

וגם כאן, שוב,

we have corporations attempting to control their digital AI.

יש לנו תאגידים שמנסים לשלוט בבינה הדיגיטלית שלהם.

But the reality of that control is not quite perfect.

אבל במציאות, השליטה אינה מושלמת.

Facebook, in September of 2017,

בספטמבר 2017 נחשף

was revealed to have a term in their ad system

שבמערכת הפרסום של “פייסבוק“ קיים המונח:

called "Jew Haters."

“שונאי יהודים”.

You could buy ads targeting Jew haters.

אפשר לקנות מודעות שמתמקדות בשונאי יהודים.

Now, nobody in Facebook created that category.

אבל איש בפייסבוק לא יצר את הקטגוריה הזאת.

There was not a human in Facebook who decided

לא היה בפייסבוק יצור אנושי אחד שהחליט:

"We're going to start targeting Jew haters."

“מעכשיו נתחיל להתמקד בשונאי יהודים,”

Its AI created that category

הבינה המלאכותית שלה היא שיצרה קטגוריה זו

because its AI figured Jew haters would be a profitable category

כי הבינה המלאכותית שלה הסיקה ששונאי יהודים יהוו קטגוריה רווחית

for them to begin to sell ads to,

כדי למכור להם פרסומות,

and the company was, of course, embarrassed

והחברה, כמובן, באה במבוכה

that it turned out they didn't actually have control

מכך שהתברר שאין לה שום שליטה

over the machine that ran their machines that run our lives.

על המכונה שלה, שמנהלת את המכונות שלה שמנהלות את חיינו.

The real difference in this story, though,

אבל מה שמיוחד בסיפור הזה,

is the extraordinary potential

הוא הפוטנציאל העצום הטמון בישות הרציונלית השימושית הזאת

of this instrumentally rational entity

versus us.

נגדנו.

This massively better instrumentally rational entity

הישות הרציונלית השימושית הזו, שעדיפה מעל ומעבר

versus even corporations and certainly democracies,

אפילו יותר מתאגידים ומדמוקרטיות מסוימות,

because it's going to be more efficient at achieving its objective than we are.

משום שהיא תיעשה עוד יותר יעילה מאיתנו בהשגת מטרותיה.

And here's where we cue the paranoia I began to seed

וכאן ניתן האות לפרנויה שאת זרעיה התחלתי לזרוע,

because our collective perceptions, our collective misperceptions

כי התפישות הקיבוציות שלנו, התפישות השגויות הקיבוציות שלנו,

are not accidental.

אינן עניין מקרי.

They are expected, intended, the product of this AI.

מדובר במוצר צפוי ומכוון של בינה מלאכותית זו.

We could think of it as the AI perception machine.

אפשר לראות בה “מחולל תפישות מבוסס בינה מלאכותית“.

We are its targets.

אנו המטרות שלו.

Now, the first contact we had with this AI,

המגע הראשון שהיה לנו עם הבינה המלאכותית הזאת,

as Tristan Harris described it,

בתיאורו של טריסטן האריס,

came from social media.

הגיע מהמדיה החברתית.

Tristan Harris, who started the Center for Humane Technology,

טריסטן האריס, שייסד את המרכז לטכנולוגיה אנושית,

cofounded it, famous in this extraordinary documentary,

הוא אחד המייסדים, שנודע בסרט התיעודי הנפלא,

"The Social Dilemma,"

“הדילמה החברתית“,

before he was famous, he was just an engineer at Google.

לפני שהתפרסם, הוא היה עוד מהנדס ב“גוגל“.

And at Google, he was focused on the science of attention

כשהיה בגוגל הוא התמקד במדע תשומת הלב,

using AI to engineer attention,

והשימוש בבינה מלאכותית כדי להנדס תשומת לב,

to overcome resistance,

במגמה להתגבר על התנגדות,

to increase human engagement with the platform

וכדי להגביר את המעורבות האנושית בפלטפורמה,

because engagement is the business model.

משום שהמעורבות היא המודל העסקי.

Compare this to, think of it as brain hacking.

השוו את זה למשל... ראו בזה פיצוח של המוח.

We could compare it to what we could call body hacking.

אפשר להשוות את זה ל“פיצוח של הגוף“,

This is the exploiting of food science.

כלומר, ניצול מדע המזון.

Scientists engineer food to exploit our evolution,

מדענים מהנדסים מזון כדי לנצל את האבולוציה שלנו,

our mix of salt, fat and sugar,

את תערובת המלח, השומן והסוכר שלנו,

to overcome the natural resistance

כדי להתגבר על התנגדותנו הטבעית

so you can't stop eating food.

עד שאי-אפשר להפסיק לאכול.

So that they can sell food or sell, "food" more profitably.

כדי שהם יוכלו למכור מזון, או “מזון“, ביתר רווחיות.

Brain hacking is the same, but focused on attention.

כך גם בפיצוח המוח, כשהמיקוד הוא בתשומת הלב.

It's exploiting evolution.

זהו ניצול של האבולוציה.

The fact that we have an irrational response to random rewards,

העובדה שיש לנו תגובה אי-רציונלית לאפשרות לגמול אקראי,

or can't stop consuming bottomless pits of content

או זה שאיננו יכולים להפסיק לצרוך תוכן מבורות חסרי-תחתית

with the aim to increase engagement,

כשמטרה היא להגביר את המעורבות, כדי למכור יותר פרסומות.

to sell more ads.

And it just so happens, too bad for us,

רצה המקרה, לדאבוננו,

that we engage more

שאנו נעשים יותר מעורבים

the more extreme, the more polarizing,

ככל שהתוכן הוא יותר קיצוני, מקטב, נוטף שנאה.

the more hate-filled this content is.

So that is what we're fed by these AIs.

אלה הדברים שהבינה המלאכותית מאכילה אותנו בהם.

With the consequence

והתוצאה היא

that we produce a people more polarized and ignorant and angry

שאנו מייצרים עַם יותר מקוטב, נבער וזועם

than at any time in democracy's history in America

מכל תקופה אחרת בתולדות הדמוקרטיה של אמריקה

since the Civil War

מאז מלחמת האזרחים,

and democracy is thereby weakened.

וכך הולכת הדמוקרטיה ונחלשת.

They give us what we want.

נותנים לנו את מה שאנו רוצים.

What we want makes us into this.

מה שאנו רוצים הופך אותנו לדבר הזה.

OK, but recognize something really critically important.

אבל עליכם להכיר במשהו חשוב במידה מכרעת.

This is not because AI is so strong.

זה לא משום שהבינה המלאכותית חזקה כל-כך.

It's because we are so weak.

זה בגלל שאנחנו חלשים כל-כך.

Here's Tristan Harris describing this.

וכך מתאר זאת טריסטן האריס.

(Video) "We're all looking out for the moment

(סרטון) “כולנו מצפים לרגע

when technology would overwhelm human strengths and intelligence.

“שבו הטכנולוגיה תתגבר על חוזקותיו ובינתו של האדם,

When is it going to cross the singularity,

מתי היא תחצה את סף הסינגולריות,

replace our jobs,

תחליף אותנו במקום העבודה, ותהיה חכמה יותר מהאדם?

be smarter than humans?

But there's this much earlier moment

אבל ישנו רגע מוקדם בהרבה,

when technology exceeds and overwhelms human weaknesses.

שבו הטכנולוגיה עולה ומתגברת על החולשות האנושיות.

- מתוך “הדילמה החברתית” -

This point being crossed is at the root of addiction, polarization,

“חציית השלב הזה עומדת ביסוד ההתמכרות, הקיטוב,

radicalization, outrage-ification, vanity-ification, the entire thing.

ההקצנה, הזעם הצדקני, השחצנות הצדקנית, כל הדבר הזה.

This is overpowering human nature.

זהו הנצחון על טבע האדם.

And this is checkmate on humanity."

וזהו מהלך השח-מט נגד האדם.”

Lawrence Lessig: So Tristan’s point is we’re always focused

כלומר, טריסטן טוען שאנו תמיד מתמקדים בפינה הזאת,

on this corner, when AGI comes,

ברגע הגעתה של הבינה המלאכותית הכללית,

when it's super intelligent,

הרגע שבו היא תהיה סופר-נבונה,

when it's more intelligent than any of us.

נבונה הרבה יותר מכל אחד ואחת מאיתנו.

And that's what we now fear.

ומכך אנו חוששים עכשיו.

Whether we will get there in three years or 20 years,

בין אם נגיע לשם עוד 3 שנים או 20 שנה,

what will happen then?

מה יקרה אז?

But his point is, it's actually this place

אבל הוא מנסה לומר לנו שהנקודה הזאת היא המקום

that we must begin to worry,

שלגביו עלינו להתחיל לדאוג,

because at this place, it can overcome our weaknesses.

כי זהו המקום שבו היא מסוגלת להתגבר על חולשותינו.

"The Social Dilemma"

“הדילמה החברתית” עסק בחולשות של כל אחד ואחת מאיתנו,

was about the individual weaknesses we have,

not to be able to turn away from our phones,

כשאיננו מסוגלים להתרחק מהטלפונים שלנו,

or to convince our children to turn away from their phones.

או לשכנע את ילדינו להתרחק מהטלפונים שלהם.

But I want you to see that there's also a collective human weakness.

אבל אני רוצה שתבינו שיש גם חולשה אנושית קיבוצית,

That this technology drives us to disable our capacity to act collectively

שהטכנולוגיה הזו דוחפת אותנו לסכל את יכולתנו לפעול יחד

in ways that any of us would want.

בדרכים רצויות לכל אחד ואחת מאיתנו.

So we are surrounded individually by these metalheads,

וכך, גופי המתכת האלה מקיפים את כולנו אישית,

and we are also surrounded as a people

וגם כעם,

by these metalheads

long before AGI is anywhere on the horizon.

הרבה לפני שהבינה המלאכותית הכללית תפציע באופק.

It overwhelms us.

היא מכניעה אותנו.

AI gets us to do what it seeks,

הבינה המלאכותית גורמת לנו לעשות את מה שרצוי לה,

which is engagement,

דהיינו, מעורבות,

and we get democracy hacked in return.

ובתמורה, אנו סופגים את פיצוח הדמוקרטיה.

Now, if the first contact that we had gave us that,

ואם המגע הראשון שלנו זיכה אותנו בדברים האלה,

if social media circa 2020 gave us that,

אם המדיה החברתית של סביבות 2020 נתנה לנו אותם,

what's this second contact with AI going to produce?

מה יוליד המגע השני עם הבינה המלאכותית?

When AI is capable, not just in figuring out how to target you

כשהבינה המלאכותית תוכל לא רק להבין איך לקלוע אליכם

with the content it knows will elicit the most reaction

עם התוכן שידוע לה שיפיק מכם

את מירב התגובה והמעורבות,

and engagement from you,

but can create content

אלא גם תוכל ליצור תוכן

that it knows will react or get you to engage more directly,

שהיא יודעת שיפיק מכם תגובה או מעורבות באופן ישיר יותר,

whether true or false,

בין אם תוכן נכון או שקרי,

whether slanderous or not.

משמיץ או לא.

What does that contact do?

מה יעולל המגע הזה?

I so hate the writers of "Game of Thrones"

אני שונא כל-כך את כותבי “משחקי הכס“,

because their last season,

כי בעונה האחרונה הם הרסו לגמרי את הסדרה כולה...

they so completely ruined the whole series.

(Laughter and applause)

(צחוק ומחיאות כפיים)

We can't use memes from "Game of Thrones" anymore.

עד שכבר איננו יכולים להשתמש בממים מתוך “משחקי הכס“.

But if we could, I would say winter is coming, friends,

אבל אילו יכולנו, הייתי אומר, “החורף מתקרב, חברים“.

I'm just going to say it anyway.

אומר את זה בכל זאת: החורף מתקרב, חברים.

Winter is coming, friends.

And these AIs are the source that we have to worry about.

והבינה המלאכותית לסוגיה היא הבעיה שצריכה להדאיג אותנו.

So then, what is to be done?

אם כך, מה אפשר לעשות?

Well, you know, if there's a flood, what you do is you turn around and run.

אז כידוע לכם, כשיש שטפון, צריך להסתובב ולברוח.

You move.

להתחיל לזוז.

You move to higher ground or protected ground.

לעבור לאיזור גבוה או מוגן.

You find a way to insulate democracy

צריך למצוא דרך לבודד את הדמוקרטיה

or to shelter democracy from AI's force

או להגן על הדמוקרטיה מכוחות הבינה המלאכותית

or from AI's harmful force.

או מכוחה המזיק של הבינה המלאכותית.

And, you know, the law does this in America with juries.

וכידוע לכם, החוק באמריקה עושה זאת בעזרת חבר המושבעים.

We have juries.

יש לנו חברי מושבעים.

They deliberate,

הם דנים ביניהם,

but they are protected in the types of information

אבל הם מוגנים מבחינת סוגי המידע

that they're allowed to hear or talk about or deliberate upon,

שמותר להם לשמוע, או לדבר ולדון עליהם,

because we know we need to protect them

כי ברור לנו שעלינו לגונן עליהם

if they're to reach a judgment that is just.

אם ברצוננו שהם יגיעו לשיפוט צודק.

And democracy reformers, especially across Europe,

ומתַקני הדמוקרטיה, במיוחד באירופה,

are trying to do this right now.

מנסים כעת לעשות בדיוק את זה.

Reformers building citizen assemblies,

מתַקנים שמקימים מועצות אזרחיות,

across Europe mainly, in Japan as well.

בעיקר באירופה, וגם ביפן.

And the citizen assemblies are these random, representative,

ומועצות אזרחיות אלה

הן גופים אקראיים, מייצגים, משכילים שמנהלים דיונים

informed and deliberative bodies

that take on particular democratic questions

ומתמודדים עם סוגיות דמוקרטיות ייחודיות

and address them in a way that could be protected

ומתייחסים אליהן בדרך שניתן להגן עליה

from this corruption of the AI.

מההשחתה של הבינה המלאכותית.

So Iceland was able to craft a constitution out of a process like this.

איסלנד הצליחה לנסח חוקה מתוך תהליך כזה.

Ireland was able to approve gay marriage and deregulation of abortion

אירלנד הצליחה לאשר נישואין חד-מיניים ולשנות את החקיקה לגבי הפלות

through a process like this.

באמצעות תהליך כזה.

France has addressed climate change

צרפת מתייחסת לשינויי האקלים

and also end-of-life decisions.

וגם להחלטות סיום החיים.

And across Germany there are many of these entities

ובכל גרמניה יש גופים רבים כאלה

that are boiling up to find ways for a different democratic voice,

שבתמצית, מוצאים דרכים להשמיע קול דמוקרטי שונה --

to find voice.

למצוא בכלל קול.

But here's the point.

אבל הנקודה היא זו.

These are extraordinarily hopeful and exciting, no doubt.

אלה דברים מלאי תקווה ומלהיבים ביותר, ללא ספק.

But they are not just a good idea.

אבל הם אינם סתם רעיון טוב.

They are existential for democracy.

אלה דברים קיומיים מבחינת הדמוקרטיה.

They are security for democracy.

הם מבטיחים את הדמוקרטיה.

They are a way to protect us from this AI hacking

הם מהווים דרך להגן על עצמנו מפני פיצוח מצד הבינה המלאכותית

that steers against a public will.

שפונה נגד רצון הציבור.

This is change not just to make democracy better,

זה איננו שינוי שרק משפר את הדמוקרטיה,

a tweak to just make it a little bit more democratic.

שיפוץ קל שרק עושה אותה לקצת יותר דמוקרטית.

It's a change to let democracy survive,

זהו שינוי שנועד לאפשר לדמוקרטיה לשרוד,

given what we know technology will become.

לאור מה שידוע לנו על דמותה העתידה של הטכנולוגיה.

This is a terrifying moment.

זהו רגע מפחיד.

It's an exhilarating moment.

זהו רגע מלהיב.

Long before superintelligence, long before AGI threatens us,

הרבה לפני בינת העל, הרבה לפני איום הבינה המלאכותית הכללית,

a different AI threatens us.

יש בינה מלאכותית אחרת שמאיימת עלינו.

But there is something to do while we still can do something.

אבל יש מה לעשות, כל עוד ביכולתנו לעשות משהו.

We should know enough now

עכשיו אנו אמורים לדעת מספיק

to know we can't trust democracy just now.

כדי לדעת שכרגע איננו יכולים לסמוך על הדמוקרטיה.

We should see that we still have time to build something different.

עלינו להבין שיש לנו עדיין זמן כדי לבנות משהו שונה.

We should act with the love that makes anything possible,

עלינו לפעול מתוך האהבה שמאפשרת הכל,

not because we know we will succeed.

לא משום שברור לנו שנצליח.

I'm pretty sure we won't.

אני די בטוח שלא.

But because this is what love means.

אלא משום שזו משמעותה של אהבה.

You do whatever you can,

אתה עושה ככל יכולתך,

whatever the odds, for your children,

ולא משנה מהם הסיכויים, למען ילדיך,

for your family, for your country, for humanity

למען משפחתך, למען ארצך, למען האנושות

while there is still time,

כל עוד יש זמן,

while our robot overlord is still just a sci-fi fantasy.

כל עוד אדוננו הרובוט הוא רק פנטזיית מד“ב.

Thank you very much.

תודה רבה לכם.

(מחיאות כפיים)

(Applause)