Your Right to Repair AI Systems | Rumman Chowdhury | TED

תרגום: zeeva livshitz עריכה: aknv tso

I want to tell you a story

אני רוצה לספר לכם סיפור

about artificial intelligence and farmers.

על בינה מלאכותית וחקלאים.

Now, what a strange combination, right?

שילוב מוזר, נכון?

Two topics could not sound more different from each other.

שני נושאים שלא יכלו להישמע שונים יותר זה מזה.

But did you know that modern farming actually involves a lot of technology?

אבל האם ידעתם שהחקלאות המודרנית כרוכה למעשה בהרבה טכנולוגיה?

So computer vision is used to predict crop yields.

ראיית מחשב משמשת לחיזוי גודל היבולים,

And artificial intelligence is used to find,

והבינה המלאכותית משמשת לאיתור, זיהוי וחיסול חרקים.

identify and get rid of insects.

Predictive analytics helps figure out extreme weather conditions

ניתוח חיזוי עוזר להבין תנאי מזג אוויר קיצוניים

like drought or hurricanes.

כמו בצורות או הוריקנים.

But this technology is also alienating to farmers.

אבל הטכנולוגיה הזו גם מדירה חקלאים,

And this all came to a head in 2017

וכל זה הגיע לשיא בשנת 2017

with the tractor company John Deere when they introduced smart tractors.

כשחברת הטרקטורים “ג’ון דיר” הציגה טרקטורים חכמים.

So before then, if a farmer's tractor broke,

לפני כן, אם הטרקטור של החקלאי התקלקל,

they could just repair it themselves or take it to a mechanic.

הוא יכול היה פשוט לתקן אותו בעצמו או לקחת אותו למכונאי.

Well, the company actually made it illegal

ובכן, החברה קבעה שזה בלתי-חוקי

for farmers to fix their own equipment.

שחקלאים יוכלו לתקן את הציוד שלהם.

You had to use a licensed technician

עליהם להיעזר בטכנאי מורשה

and farmers would have to wait for weeks

והחקלאים ייאלצו לחכות שבועות

while their crops rot and pests took over.

ובינתיים, יבוליהם יירקבו והמזיקים ישתלטו.

So they took matters into their own hands.

אז הם לקחו את העניינים לידיהם.

Some of them learned to program,

חלקם למדו לתכנת,

והם עבדו עם פצחנים ויצרו טלאים כדי לתקן את המערכות שלהם.

and they worked with hackers to create patches to repair their own systems.

In 2022,

בשנת 2022,

at one of the largest hacker conferences in the world, DEFCON,

באחד מכנסי הפצחנים הגדולים בעולם, “דפקון“,

a hacker named Sick Codes and his team

פצחן בשם “סיק קודס” והצוות שלו

showed everybody how to break into a John Deere tractor,

הראה לכולם כיצד לפרוץ לטרקטור של ג’ון דיר,

showing that, first of all, the technology was vulnerable,

ובכך הראה שקודם כל, הטכנולוגיה פגיעה,

but also that you can and should own your own equipment.

אבל גם שאדם יכול וצריך להיות אחראי לציוד שלו.

To be clear, this is illegal,

שיהיה ברור, זה לא חוקי,

but there are people trying to change that.

אבל יש אנשים שמנסים לשנות את זה.

Now that movement is called the “right to repair.”

התנועה הזו נקראת היום “זכות לתיקון“.

The right to repair goes something like this.

זכות לתיקון אומרת בערך ככה:

If you own a piece of technology,

אם אתם בעלים של משהו טכנולוגי --

it could be a tractor, a smart toothbrush,

טרקטור, מברשת שיניים חכמה,

a washing machine,

מכונת כביסה,

you should have the right to repair it if it breaks.

אמורה להיות לכם הזכות לתקן אותם אם הם מתקלקלים.

So why am I telling you this story?

למה אני מספרת לכם את הסיפור הזה?

The right to repair needs to extend to artificial intelligence.

את הזכות לתיקון יש להחיל גם על הבינה המלאכותית.

Now it seems like every week

נראה שבכל שבוע ושבוע

there is a new and mind-blowing innovation in AI.

מופיע בבינה המלאכותית איזה חידוש חדש ומרתק.

But did you know that public confidence is actually declining?

אבל האם ידעתם שאמון הציבור דווקא יורד?

A recent Pew poll showed that more Americans are concerned

סקר “פיו” שנערך לאחרונה הראה

שהאמריקנים מודאגים יותר מאשר נלהבים מהטכנולוגיה.

than they are excited about the technology.

This is echoed throughout the world.

זה הדהד בעולם כולו.

The World Risk Poll shows

“סקר הסיכון העולמי” מראה

that respondents from Central and South America and Africa

שהעונים עליו ממרכז ודרום אמריקה ומאפריקה

all said that they felt AI would lead to more harm than good for their people.

אמרו כולם שלדעתם הבינה המלאכותית תביא לאנשים יותר נזק מאשר תועלת.

As a social scientist and an AI developer,

כמדענית חברתית וכמפתחת בינה מלאכותית,

this frustrates me.

זה מתסכל אותי.

I'm a tech optimist

אני אופטימיסטית טכנולוגית

because I truly believe this technology can lead to good.

כי אני באמת מאמינה שהטכנולוגיה הזו יכולה להוביל לטוב.

So what's the disconnect?

אז איפה הנתק?

Well, I've talked to hundreds of people over the last few years.

ובכן, שוחחתי בשנים האחרונות עם מאות אנשים.

Architects and scientists, journalists and photographers,

אדריכלים ומדענים, עיתונאים וצלמים,

ride-share drivers and doctors,

נהגי שיתוף-נסיעות ורופאים,

and they all say the same thing.

וכולם אומרים את אותו הדבר:

People feel like an afterthought.

אנשים מרגישים שלא לקחו אותם בחשבון.

They all know that their data is harvested often without their permission

כולם יודעים שהנתונים שלהם נאספים לעתים קרובות ללא רשותם

to create these sophisticated systems.

כדי ליצור מערכות מתוחכמות אלה.

They know that these systems are determining their life opportunities.

הם יודעים שמערכות אלה קובעות את ההזדמנויות שלהם בחיים שלהם.

They also know that nobody ever bothered to ask them

הם גם יודעים שאיש מעולם לא טרח לשאול אותם

how the system should be built,

איך יש לבנות את המערכת,

and they certainly have no idea where to go if something goes wrong.

ובוודאי שאין להם מושג לאן לפנות אם משהו משתבש.

We may not own AI systems,

אנו אולי לא הבעלים של מערכות הבינה המלאכותית,

but they are slowly dominating our lives.

אבל הן משתלטות אט-אט על חיינו.

We need a better feedback loop

אנו זקוקים ללולאת משוב טובה יותר

between the people who are making these systems,

בין האנשים שמייצרים את המערכות הללו,

and the people who are best determined to tell us

לבין האנשים שיכולים הכי טוב לספר לנו

how these AI systems should interact in their world.

איך מערכות הבינה המלאכותית האלה אמורות לנהל יחסי-גומלין עם עולמם.

One step towards this is a process called red teaming.

צעד אחד בכיוון זה הוא תהליך בשם “צוות אדום“.

Now, red teaming is a practice that was started in the military,

“צוות אדום” הוא תרגולת שמקורה בצבא,

and it's used in cybersecurity.

והוא משמש באבטחת סייבר.

In a traditional red-teaming exercise,

בתרגיל מסורתי של צוות אדום,

external experts are brought in to break into a system,

מובאים מומחים חיצוניים כדי שיפרצו למערכת,

sort of like what Sick Codes did with tractors, but legal.

בערך כמו מה ש“סיק קודס” עשה עם טרקטורים, אבל באופן חוקי.

So red teaming acts as a way of testing your defenses

אז צוות אדום משמש כאמצעי לבחון את ההגנות שלכם

and when you can figure out where something will go wrong,

וכשאתם יכולים לגלות איפה משהו ישתבש,

you can figure out how to fix it.

תוכלו למצוא איך לתקן את זה.

But when AI systems go rogue,

אבל כשמערכות בינה מלאכותית יוצאות משליטה,

it's more than just a hacker breaking in.

זה יותר מסתם פריצה של פצחן.

The model could malfunction or misrepresent reality.

המודל עלול להתקלקל או לייצג באופן שגוי את המציאות.

So, for example, not too long ago,

כך, למשל, לפני זמן לא רב,

we saw an AI system attempting diversity

ראינו מערכת בינה מלאכותית שמנסה ליצור מגוון

by showing historically inaccurate photos.

על ידי הצגת תמונות לא-מדויקות מבחינה היסטורית.

Anybody with a basic understanding of Western history

כל אדם בעל הבנה בסיסית בהיסטוריה המערבית

יכול היה לומר לכם שלא האבות המייסדים

could have told you that neither the Founding Fathers

nor Nazi-era soldiers would have been Black.

ולא החיילים הנאציים היו שחורים.

In that case, who qualifies as an expert?

במקרה כזה, מיהו המומחה המוסמך?

You.

אתם.

I'm working with thousands of people all around the world

אני עובדת עם אלפי אנשים ברחבי העולם

on large and small red-teaming exercises,

בתרגילי צוות אדום גדולים וקטנים,

and through them we found and fixed mistakes in AI models.

והודות להם מצאנו ותיקנו טעויות במודלים של בינה מלאכותית.

We also work with some of the biggest tech companies in the world:

אנו עובדים גם עם כמה מחברות הטכנולוגיה הגדולות בעולם:

OpenAI, Meta, Anthropic, Google.

“אופן איי-איי“, “מטא“, “אנטרופיק“, “גוגל“.

And through this, we've made models work better for more people.

וכך גרמנו למודלים לעבוד טוב יותר למען רבים יותר.

Here's a bit of what we've learned.

הנה קצת ממה שלמדנו.

We partnered with the Royal Society in London to do a scientific,

שיתפנו פעולה עם “החברה המלכותית” בלונדון

בעריכת אירוע סביב מידע שגוי ומסולף יחד עם מדעני מחלות.

mis- and disinformation event with disease scientists.

What these scientists found

מדענים אלה מצאו

is that AI models actually had a lot of protections

שלמודלים של בינה מלאכותית יש למעשה הגנות רבות

against COVID misinformation.

מפני מידע שגוי על הקורונה.

But for other diseases like measles, mumps and the flu,

אבל לגבי מחלות אחרות כמו חצבת, חזרת ושפעת,

the same protections didn't apply.

לא חלו אותן הגנות.

We reported these changes,

דיווחנו על השינויים האלה,

they’re fixed and now we are all better protected

הם תוקנו ועכשיו כולנו מוגנים טוב יותר

against scientific mis- and disinformation.

מפני מידע מדעי שגוי ומסולף.

We did a really similar exercise with architects at Autodesk University,

עשינו תרגיל ממש דומה עם אדריכלים באוניברסיטת “אוטודסק“,

and we asked them a simple question:

ושאלנו אותם שאלה פשוטה:

Will AI put them out of a job?

האם הבינה המלאכותית תהפוך אותם למובטלים?

Or more specifically,

או ליתר דיוק,

could they imagine a modern AI system

האם הם יכולים לדמיין מערכת בינה מלאכותית מודרנית

that would be able to design the specs of a modern art museum?

שתוכל לעצב בפרוטרוט מוזיאון לאמנות מודרנית?

The answer, resoundingly, was no.

התשובה, פה אחד, היתה “לא“.

Here's why, architects do more than just draw buildings.

כי אדריכלים עושים יותר מאשר סתם לצייר בניינים.

They have to understand physics and material science.

עליהם להבין בפיזיקה ובמדעי החומר.

They have to know building codes,

עליהם להכיר את חוקי הבנייה,

and they have to do that

ועליהם לעשות זאת

while making something that evokes emotion.

בעודם יוצרים משהו שמעורר רגש.

What the architects wanted was an AI system

האדריכלים רצו במערכת בינה מלאכותית

that interacted with them, that would give them feedback,

שתעבוד יחד איתם, שתתן להם משוב,

maybe proactively offer design recommendations.

שאולי תיזום המלצות עיצוב.

And today's AI systems, not quite there yet.

ומערכות הבינה המלאכותית של ימינו עדיין לא לגמרי שם.

But those are technical problems.

אבל אלה בעיות טכניות.

People building AI are incredibly smart,

האנשים שבונים בינה מלאכותית הם חכמים להפליא,

and maybe they could solve all that in a few years.

ואולי הם יוכלו לפתור את כל זה בעוד כמה שנים.

But that wasn't their biggest concern.

אבל זו לא היתה הדאגה הכי גדולה שלהם.

Their biggest concern was trust.

הדאגה הכי גדולה שלהם היתה אמון.

Now architects are liable if something goes wrong with their buildings.

האדריכלים אחראים לכך שמשהו משתבש בבניינים שלהם.

They could lose their license,

הם עלולים לאבד את הרישיון שלהם,

they could be fined, they could even go to prison.

הם עלולים להיקנס, הם עלולים אפילו להיכנס לכלא.

And failures can happen in a million different ways.

וכשלים עלולים לקרות במיליון דרכים שונות.

For example, exit doors that open the wrong way,

לדוגמה, דלתות יציאה שנפתחות בכיוון הלא-נכון,

leading to people being crushed in an evacuation crisis,

ואז אנשים יימחצו בעת פינוי חירום,

or broken glass raining down onto pedestrians in the street

או שברי זכוכית שייפולו על הולכי הרגל ברחוב

because the wind blows too hard and shatters windows.

כי הרוח נושבת חזק מדי ומנפצת חלונות.

So why would an architect trust an AI system with their job,

אז למה שאדריכל יאציל את עבודתו למערכת בינה מלאכותית,

with their literal freedom,

לחופש שיש לה, פשוטו כמשמעו,

if they couldn't go in and fix a mistake if they found it?

אם הוא לא יכול להתערב ולתקן טעות אם ימצא כזאת?

So we need to figure out these problems today, and I'll tell you why.

עלינו להבין את הבעיות האלה היום, ואגיד לכם למה.

The next wave of artificial intelligence systems, called agentic AI,

הגל הבא של מערכות בינה מלאכותית, “אג’נטיק איי-איי“,

is a true tipping point

הוא נקודת מפנה אמיתית

between whether or not we retain human agency,

בין זה שנקפיד על נוכחות אנושית ובין אם לא,

or whether or not AI systems make our decisions for us.

או בין זה שמערכות בינה מלאכותית יחליטו במקומנו או לא.

Imagine an AI agent as kind of like a personal assistant.

דמיינו גורם בינה מלאכותית כלשהו כמו עוזר אישי.

So, for example, a medical agent might determine

כך, למשל, גורם רפואי עשוי לקבוע

אם המשפחה שלכם זקוקה צריכה להיפגש עם רופא או לא,

whether or not your family needs doctor's appointments,

it might refill prescription medications, or in case of an emergency,

גורם כזה אולי ידאג למלאי תרופות המרשם, או במקרה חירום,

send medical records to the hospital.

ישלח לבית החולים את התיק הרפואי.

But AI agents can't and won't exist

אבל גורמי בינה מלאכותית לא יכלו להתקיים ולא יתקיימו

unless we have a true right to repair.

אלא אם תהיה לנו זכות אמיתית לתקן.

What parent would trust their child's health to an AI system

איזה הורה יפקיד את בריאות ילדיו בידי מערכת בינה מלאכותית

unless you could run some basic diagnostics?

בלי שיוכל להריץ איזה אבחון בסיסי?

What professional would trust an AI system with job decisions,

איזה איש מקצוע יפקיד איוש משרות בידי מערכת בינה מלאכותית,

unless you could retrain it the way you might a junior employee?

אלא אם כן יוכל להכשיר אותה מחדש כמו שעושים עם עובד זוטר?

Now, a right to repair might look something like this.

הזכות לתקן עשויה להיראות בערך כך.

You could have a diagnostics board

יכול להיות לכם לוח אבחון

where you run basic tests that you design,

שבו תבצעו בדיקות בסיסיות לפי תכנון שלכם,

and if something's wrong, you could report it to the company

ואם משהו לא בסדר, תוכלו לדווח על כך לחברה

ולקבל תשובה כשזה מתוקן.

and hear back when it's fixed.

Or you could work with third parties like ethical hackers

או שתוכלו לעבוד עם צד שלישי כמו פצחנים אתיים

who make patches for systems like we do today.

שמכינים טלאים למערכות כמו שאנו עושים היום.

You can download them and use them to improve your system

תוכלו להוריד אותם ולשפר בעזרתם את המערכת שלכם

כפי שאתם רוצים שהיא תשתפר.

the way you want it to be improved.

Or you could be like these intrepid farmers and learn to program

או שתוכלו להיות כמו החקלאים האמיצים האלה,

וללמוד לתכנת ולכייל את המערכות שלכם.

and fine-tune your own systems.

We won't achieve the promised benefits of artificial intelligence

לא נשיג את היתרונות המובטחים של הבינה המלאכותית

unless we figure out how to bring people into the development process.

אם לא נבין כיצד לשלב אנשים בתהליך הפיתוח.

I've dedicated my career to responsible AI,

הקדשתי את הקריירה שלי לבינה מלאכותית אחראית,

and in that field we ask the question,

ובתחום זה אנו שואלים את השאלה,

what can companies build to ensure that people trust AI?

מה החברות יכולות לבנות כדי להבטיח שאנשים יסמכו על הבינה המלאכותית?

Now, through these red-teaming exercises, and by talking to you,

בעזרת תרגילי צוות אדום אלה, והשיחות איתכם,

I've come to realize that we've been asking the wrong question all along.

הבנתי ששאלנו כל הזמן את השאלה הלא-נכונה.

What we should have been asking is what tools can we build

מה שהיינו צריכים לשאול הוא אילו כלים נוכל לבנות

so people can make AI beneficial for them?

כדי שאנשים יוכלו להפוך את הבינה המלאכותית למועילה עבורם?

Technologists can't do it alone.

אנשי הטכנולוגיה לא יכולים לעשות את זה בעצמם.

We can only do it with you.

נוכל לעשות את זה אך ורק יחד איתכם.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)