AI Is Dangerous, but Not for the Reasons You Think | Sasha Luccioni | TED

תרגום: zeeva livshitz עריכה: aknv tso

So I've been an AI researcher for over a decade.

‫אני חוקרת של בינה מלאכותית (ב“מ) ‫כבר למעלה מעשור.‬

And a couple of months ago, I got the weirdest email of my career.

‫ולפני כמה חודשים, קיבלתי את ‬ ‫הדוא"ל המוזר ביותר בקריירה שלי.‬

A random stranger wrote to me

אדם ‫זר כתב לי‬,

saying that my work in AI is going to end humanity.

‫ואמר שעבודתי בב"מ תשים קץ לאנושות.‬

Now I get it, AI, it's so hot right now.

אני מבינה מזה שה‫ב"מ היא כזה להיט עכשיו.‬

(Laughter)

‫(צחוק)‬

It's in the headlines pretty much every day,

‫היא מופיעה בכותרות כמעט כל יום,‬

sometimes because of really cool things

‫לפעמים בגלל דברים ממש מגניבים‬,

like discovering new molecules for medicine

‫כמו גילוי מולקולות חדשות ברפואה‬,

or that dope Pope in the white puffer coat.

‫או האפיפיור המטופש הזה במעיל הדובון הלבן.‬

But other times the headlines have been really dark,

‫אבל בפעמים אחרות הכותרות היו ממש אפלות,‬

like that chatbot telling that guy that he should divorce his wife

‫כמו הצ’אטבוט שאמר לבחור ההוא‬ ‫שהוא צריך להתגרש מאשתו‬,

or that AI meal planner app proposing a crowd pleasing recipe

‫או יישומון ב“מ לתכנון ארוחות ‬ ‫שמציע מתכון שישמח את כולם,

featuring chlorine gas.

ושכולל גז כלור.‬

And in the background,

‫וברקע ‫שמענו הרבה דיבורים על תרחישי יום הדין,‬

we've heard a lot of talk about doomsday scenarios,

existential risk and the singularity,

‫על סיכונים קיומיים ועל הסינגולריות,‬

with letters being written and events being organized

ונשלחים מכתבים ומתארגנים אירועים

to make sure that doesn't happen.

‫כדי לוודא שזה לא יקרה.‬

Now I'm a researcher who studies AI's impacts on society,

‫אני חוקרת את ההשפעות‬ ‫של הב"מ על החברה,‬

and I don't know what's going to happen in 10 or 20 years,

‫ואני לא יודעת מה יקרה‬ ‫בעוד 10 או 20 שנה,‬

and nobody really does.

‫ואף אחד לא באמת יודע.‬

But what I do know is that there's some pretty nasty things going on right now,

‫אבל אני כן יודעת שקורים עכשיו‬ ‫כמה דברים די מגעילים,‬

because AI doesn't exist in a vacuum.

‫כי הב“מ לא קיימת בחלל ריק.‬

It is part of society, and it has impacts on people and the planet.

‫היא חלק מהחברה, ויש לה השפעות ‬ ‫על אנשים ועל כדור הארץ.‬

AI models can contribute to climate change.

‫מודלים של ב"מ עלולים להחריף את שינויי האקלים.‬

Their training data uses art and books created by artists

לצורך האימון שלה משתמשים באמנות‬ ‫ובספרים שנוצרו על ידי אמנים‬ וסופרים

and authors without their consent.

‫ללא הסכמתם.‬

And its deployment can discriminate against entire communities.

‫והפעלת הב“מ עלולה לעורר אפליה נגד קהילות שלמות.‬

But we need to start tracking its impacts.

עלינו להתחיל לעקוב אחר השפעותיה.‬

We need to start being transparent and disclosing them and creating tools

עלינו להתחיל להיות שקופים, לחשוף אותן וליצור כלים‬

so that people understand AI better,

‫כדי שאנשים יבינו טוב יותר את הב"מ,‬

so that hopefully future generations of AI models

‫בתקווה שהדורות הבאים של מודלים של ב"מ‬

are going to be more trustworthy, sustainable,

‫יהיו יותר אמינים וברי-קיימא,‬

maybe less likely to kill us, if that's what you're into.

ו‫אולי גם פחות צפויים להרוג אותנו,‬ ‫אם זה מה שמעניין אתכם.‬

But let's start with sustainability,

‫אבל בואו נתחיל עם קיימות,‬

because that cloud that AI models live on is actually made out of metal, plastic,

‫כי הענן שעליו חיים המודלים של ה‫ב"מ עשוי ממתכת ופלסטיק,‬

and powered by vast amounts of energy.

‫והוא מופעל בכמויות אדירות של אנרגיה.‬

And each time you query an AI model, it comes with a cost to the planet.

‫ותמיד כשאתם מפנים שאילתה למודל ב“מ, כדור הארץ משלם.‬

Last year, I was part of the BigScience initiative,

‫בשנה שעברה הייתי חלק מיוזמת "ביג סאיינס",‬

which brought together a thousand researchers

‫שהפגישה אלף חוקרים‬ ‫מכל רחבי העולם ליצירת “בלום“,‬

from all over the world to create Bloom,

the first open large language model, like ChatGPT,

‫מודל השפה הגדול הפתוח ‫הראשון, כמו צ‘אט ג’י-פי-טי,‬

but with an emphasis on ethics, transparency and consent.

בדגש על אתיקה, שקיפות והסכמה.‬

And the study I led that looked at Bloom's environmental impacts

‫והמחקר שהובלתי, שבדק את ההשפעות‬ ‫הסביבתיות של “בלום“,‬

found that just training it used as much energy

‫מצא שרק האימון שלו ניצל אנרגיה‬ ‫כמו של 30 בתים בשנה שלמה‬,

as 30 homes in a whole year

and emitted 25 tons of carbon dioxide,

‫ופלט 25 טונות של פחמן דו-חמצני,‬

which is like driving your car five times around the planet

‫שזה כמו להסיע מכונית ‫חמש פעמים סביב כדור הארץ‬

just so somebody can use this model to tell a knock-knock joke.

‫רק כדי שמישהו יוכל להשתמש במודל ‫הזה בשביל בדיחת קרש‬

And this might not seem like a lot,

‫וזה אולי לא נראה הרבה,‬

but other similar large language models,

‫אבל מודלים גדולים דומים אחרים של שפה,‬

like GPT-3,

‫כמו ג'י-פי-טי 3,‬

emit 20 times more carbon.

‫פולטים פי 20 יותר פחמן.‬

But the thing is, tech companies aren't measuring this stuff.

‫העניין הוא שחברות טכנולוגיה ‬ ‫לא מודדות את הדברים האלה.‬

They're not disclosing it.

‫הן לא חושפות את זה.‬

And so this is probably only the tip of the iceberg,

‫וזה כנראה רק קצה הקרחון,‬

even if it is a melting one.

‫גם אם הוא נמס.‬

And in recent years we've seen AI models balloon in size

‫ובשנים האחרונות ראינו ‬‫מודלים של ב“מ ‬שמתנפחים בגודלם

because the current trend in AI is "bigger is better."

כי המגמה הנוכחית בב“מ היא‬ ‫“גדול יותר הוא יותר טוב“.‬

But please don't get me started on why that's the case.

‫אבל אני לא רוצה להתחיל ‬ ‫להסביר למה זה ככה.‬

In any case, we've seen large language models in particular

‫בכל מקרה, ראינו שמודלי שפה גדולים, במיוחד‬,

grow 2,000 times in size over the last five years.

‫גדלו פי 2,000 בחמש השנים האחרונות.‬

And of course, their environmental costs are rising as well.

‫וכמובן, גם העלויות הסביבתיות שלהם עולות.‬

The most recent work I led, found that switching out a smaller,

‫העבודה האחרונה שהובלתי, ‬ ‫מצאה כי המעבר

ממודל קטן‬ ‫ויעיל יותר למודל שפה גדול יותר‬,

more efficient model for a larger language model

emits 14 times more carbon for the same task.

‫פולטת פי 14 יותר פחמן באותה המטלה.‬

Like telling that knock-knock joke.

‫כמו לספר את בדיחת הקרש הזאת.‬

And as we're putting in these models into cell phones and search engines

‫וכשאנחנו מכניסים את הדגמים האלה‬ ‫לטלפונים סלולריים, למנועי חיפוש‬

and smart fridges and speakers,

ולמקררים ולרמקולים חכמים,‬

the environmental costs are really piling up quickly.

‫העלויות הסביבתיות מצטברות ממש במהירות.‬

So instead of focusing on some future existential risks,

‫אז במקום להתמקד בכמה ‬ ‫סיכונים קיומיים עתידיים,‬

let's talk about current tangible impacts

‫בואו נדבר על ההשפעות הממשיות הנוכחיות‬

and tools we can create to measure and mitigate these impacts.

‫ועל הכלים שנוכל ליצור כדי למדוד ‬ ‫ולהקטין את ההשפעות הללו.‬

I helped create CodeCarbon,

‫עזרתי ליצור את “קוד קרבון“,‬

a tool that runs in parallel to AI training code

‫כלי שפועל במקביל לקוד אימון ב“מ‬,

that estimates the amount of energy it consumes

ו‫שמעריך את כמות האנרגיה שהוא צורך‬

and the amount of carbon it emits.

‫ואת כמות הפחמן שהוא פולט.‬

And using a tool like this can help us make informed choices,

‫ושימוש בכלי כזה יכול לעזור‬ ‫לנו לעשות בחירות מושכלות,‬

like choosing one model over the other because it's more sustainable,

‫כמו לבחור דגם אחד במקום אחר כי הוא יותר בר-קיימא,‬

or deploying AI models on renewable energy,

‫או הפעלת דגמי ב“מ בעזרת אנרגיה מתחדשת,‬

which can drastically reduce their emissions.

‫שיכולה להפחית באופן ‬‫דרסטי את הפליטות שלהם.‬

But let's talk about other things

‫אבל בואו נדבר על דברים אחרים‬

because there's other impacts of AI apart from sustainability.

‫כי יש לב“מ השפעות נוספות מלבד קיימות.‬

For example, it's been really hard for artists and authors

‫לדוגמה, לאמנים ולסופרים היה ממש קשה‬

to prove that their life's work has been used for training AI models

‫להוכיח שעבודת חייהם שימשה‬ ‫לאימון מודלים של ב“מ‬

without their consent.

‫ללא הסכמתם.‬

And if you want to sue someone, you tend to need proof, right?

‫וכשרוצים לתבוע מישהו,‬ דרושה הוכחה, נכון?‬

So Spawning.ai, an organization that was founded by artists,

‫אז “ספונינג אי-איי“, ארגון שהוקם על ידי אמנים,‬

created this really cool tool called “Have I Been Trained?”

‫יצר את הכלי המגניב הזה ‬ ‫שנקרא “האם אומנתי?”‬

And it lets you search these massive data sets

שמאפשר לכם לחפש ‬ ‫במערכי הנתונים המסיביים האלה‬

to see what they have on you.

‫כדי לראות מה הם יודעים עליכם.‬

Now, I admit it, I was curious.

אני מודה שהייתי סקרנית.‬

I searched LAION-5B,

‫חיפשתי ב“לאיון 5-בי“,

which is this huge data set of images and text,

‫שהוא מערך הנתונים העצום‬ של תמונות וטקסט,‬

to see if any images of me were in there.

‫כדי לראות אם יש בו תמונות שלי.‬

Now those two first images,

ב‫שתי התמונות הראשונות האלה,‬

that's me from events I've spoken at.

אני מצולמת באירועים שבהם הרציתי.

But the rest of the images, none of those are me.

‫אבל בשאר התמונות - זו לא אני.‬

They're probably of other women named Sasha

אלה כנראה נשים אחרות בשם סשה‬

who put photographs of themselves up on the internet.

‫שהעלו תמונות שלהן באינטרנט.‬

And this can probably explain why,

‫וזה כנראה יכול להסביר מדוע,‬

when I query an image generation model

‫כשאני מבקשת ממודל ליצירת תמונות‬ ‫ליצור תצלום של אישה בשם סשה,‬

to generate a photograph of a woman named Sasha,

more often than not I get images of bikini models.

אני מקבלת‬ בדרך-כלל ‫תמונות של דוגמניות ביקיני.‬

Sometimes they have two arms,

‫לפעמים יש להן שתי זרועות,‬

sometimes they have three arms,

‫לפעמים יש להן שלוש זרועות,‬

but they rarely have any clothes on.

‫אבל לעתים רחוקות יש להן בכלל בגדים.‬

And while it can be interesting for people like you and me

‫ולמרות שאנשים כמוכם וכמוני‬ עשויים למצוא עניין

to search these data sets,

בחיפוש במערכי הנתונים האלה,‬

for artists like Karla Ortiz,

הרי שלאמנים כמו קרלה אורטיז,‬

this provides crucial evidence that her life's work, her artwork,

‫זה מספק ראיות מכריעות לכך‬ ‫שעבודת חייה, יצירות האמנות שלה,‬

was used for training AI models without her consent,

‫שימשו לאימון מודלים של ב“מ ללא הסכמתה,‬

and she and two artists used this as evidence

‫והיא ועוד שני אמנים השתמשו בזה כראיה‬

to file a class action lawsuit against AI companies

בתביעה ייצוגית ‬‫נגד חברות ב“מ‬

for copyright infringement.

‫בגין הפרת זכויות יוצרים.‬

And most recently --

‫וממש לאחרונה --‬

(Applause)

‫(מחיאות כפיים)‬

And most recently Spawning.ai partnered up with Hugging Face,

‫ולאחרונה “ספונינג אי-איי” שיתפה פעולה עם‬ “הגינג פייס“,‬

the company where I work at,

‫החברה שבה אני עובדת‬

to create opt-in and opt-out mechanisms for creating these data sets.

‫כדי ליצור מנגנוני בחירה והימנעות‬ ביצירת מערכי נתונים אלה.‬

Because artwork created by humans shouldn’t be an all-you-can-eat buffet

כי יצירות אמנות שנוצרו ע“י בני אדם‬ ‫לא צריכות להיות מזנון חופשי

for training AI language models.

‫לאימון מודלים של שפות ב"מ.‬

(Applause)

‫(מחיאות כפיים)‬

The very last thing I want to talk about is bias.

‫ולבסוף אני רוצה לדבר על הטיה.‬

You probably hear about this a lot.

‫אתם בטח שומעים על זה הרבה.‬

Formally speaking, it's when AI models encode patterns and beliefs

רשמית, זה כאשר מודלים ‫של ב“מ מקודדים דפוסים ואמונות‬

that can represent stereotypes or racism and sexism.

‫שיכולים לייצג סטריאוטיפים ‫או גזענות וסקסיזם.‬

One of my heroes, Dr. Joy Buolamwini, experienced this firsthand

‫אחת הגיבורות שלי, ד“ר ג’וי‬ ‫בולמוויני, חוותה זאת בעצמה

when she realized that AI systems wouldn't even detect her face

‫כשהבינה שמערכות ב“מ‬ ‫אפילו לא מזהות את פניה‬

unless she was wearing a white-colored mask.

‫אלא אם היא עוטה מסכה בצבע לבן.‬

Digging deeper, she found that common facial recognition systems

‫כשהיא המשיכה לבדוק, היא גילתה ‬ ‫שמערכות זיהוי פנים נפוצות‬

were vastly worse for women of color compared to white men.

‫היו גרועות בהרבה כשמדובר ב‫נשים צבעוניות בהשוואה לגברים לבנים.‬

And when biased models like this are deployed in law enforcement settings,

‫וכאשר מודלים מוטים כאלה ‬ ‫מופעלים במסגרות אכיפת החוק,‬

this can result in false accusations, even wrongful imprisonment,

‫זה יכול לגרום לאישומי שווא ואפילו למאסר לא-צודק,‬

מה שראינו שקרה לכמה אנשים בחודשים האחרונים.‬

which we've seen happen to multiple people in recent months.

For example, Porcha Woodruff was wrongfully accused of carjacking

‫לדוגמה, פורשה וודרוף ‬ ‫הואשמה שלא בצדק בגניבת רכב‬

בהיותה ‫בחודש השמיני להריונה‬,

at eight months pregnant

because an AI system wrongfully identified her.

כשמערכת ב“מ זיהתה אותה בשוגג.‬

‫אך למרבה הצער, המערכות האלה‬ ‫הן קופסאות שחורות,‬

But sadly, these systems are black boxes,

and even their creators can't say exactly why they work the way they do.

‫ואפילו יוצריהן לא יכולים לומר‬ ‫בדיוק מדוע הן פועלות כפי שהן פועלות.‬

And for example, for image generation systems,

‫לדוגמה, במערכות יצירת תמונות,‬

if they're used in contexts like generating a forensic sketch

‫אם משתמשים בהן בהקשרים‬ ‫כמו יצירת קלסתרון

based on a description of a perpetrator,

על סמך תיאור של העבריין,‬

they take all those biases and they spit them back out

‫הן לוקחות את כל ההטיות‬ ‫האלה ופולטות אותן בחזרה‬

for terms like dangerous criminal, terrorists or gang member,

מול מונחים כמו “פושע מסוכן“, ‬ ‫“טרוריסטים” או “חבר כנופיה,‬”

which of course is super dangerous

‫שזה כמובן מסוכן במיוחד‬

when these tools are deployed in society.

‫כשהכלים האלה מופעלים בחברה.‬

And so in order to understand these tools better,

אז כדי להבין טוב יותר את הכלים האלה,‬

I created this tool called the Stable Bias Explorer,

‫יצרתי את הכלי הזה ‬ ‫שנקרא Stable Bias Explorer (סייר הטיות),‬

which lets you explore the bias of image generation models

‫שמאפשר לכם לבדוק הטיות של מודלים ליצירת תמונות‬

through the lens of professions.

‫דרך עדשת המקצוע.‬

So try to picture a scientist in your mind.

נסו לדמיין מדען.‬

Don't look at me.

‫אל תסתכלו עלי.‬

What do you see?

‫מה אתם רואים?‬

A lot of the same thing, right?

כולם אותו הדבר, נכון?‬

Men in glasses and lab coats.

‫גברים במשקפיים וחלוקי מעבדה.‬

And none of them look like me.

‫ואף אחד מהם לא נראה כמוני.‬

And the thing is,

‫והעניין הוא‬,

is that we looked at all these different image generation models

‫שבדקנו את כל המודלים השונים ‬ ‫של יצירת תמונות‬

and found a lot of the same thing:

‫ומצאנו הרבה מאותו הדבר:‬

significant representation of whiteness and masculinity

‫ייצוג משמעותי של לובן וגבריות‬

‫בכל 150 המקצועות שבדקנו,‬

across all 150 professions that we looked at,

even if compared to the real world,

‫גם בהשוואה לעולם האמיתי,‬

the US Labor Bureau of Statistics.

הסטטיסטיקה של ‫לשכת התעסוקה האמריקנית.‬

These models show lawyers as men,

‫מודלים אלה מציגים עורכי דין כגברים,‬

and CEOs as men, almost 100 percent of the time,

‫ומנכ“לים כגברים, כמעט 100% מהזמן,‬

even though we all know not all of them are white and male.

‫למרות שכולנו יודעים שלא כולם לבנים וגברים.‬

And sadly, my tool hasn't been used to write legislation yet.

‫ולמרבה הצער, הכלי שלי טרם שימש לחקיקה.‬

But I recently presented it at a UN event about gender bias

‫אבל לאחרונה הצגתי אותו באירוע ‬ ‫של האו“ם בנושא הטיה מגדרית‬

as an example of how we can make tools for people from all walks of life,

‫כדוגמה לכך שאנו יכולים‬ ‫ליצור כלים לאנשים מכל תחומי החיים,‬

even those who don't know how to code,

‫אפילו אלה שלא יודעים לתכנת,‬

to engage with and better understand AI because we use professions,

‫להתמודד עם הב“מ ולהבינה טוב יותר‬ כי אנחנו משתמשים במקצועות,‬

but you can use any terms that are of interest to you.

‫אבל אפשר להשתמש ‬ ‫בכל מונח שמעניין אתכם.‬

And as these models are being deployed,

‫וככל שהמודלים האלה מופעלים,‬

are being woven into the very fabric of our societies,

‫נארגים לתוך עצם המרקם של החברות שלנו,‬

our cell phones, our social media feeds,

בטלפונים הסלולריים ‬ ו‫בעדכוני המדיה החברתית שלנו,‬

even our justice systems and our economies have AI in them.

‫אפילו בתוך מערכות המשפט ‫והכלכלות שלנו יש ב“מ.‬

And it's really important that AI stays accessible

‫וחשוב מאוד שהב“מ תישאר נגישה‬

so that we know both how it works and when it doesn't work.

‫כדי שנדע גם איך זה עובד ‬ ‫וגם מתי זה לא עובד.‬

And there's no single solution for really complex things like bias

‫ואין פתרון יחיד לדברים ‬ ‫מורכבים באמת כמו הטיה‬

or copyright or climate change.

‫או זכויות יוצרים או שינויי אקלים.‬

But by creating tools to measure AI's impact,

‫אבל בעזרת יצירת כלים למדידת השפעותיה של הב“מ,‬

we can start getting an idea of how bad they are

נוכל להתחיל לקבל ‬‫מושג עד כמה הן חמורות

and start addressing them as we go.

‫ולהתחיל לטפל בהן במקביל לשימוש בה,

Start creating guardrails to protect society and the planet.

להתחיל ליצור גדרות בטיחות להגנת‬ החברה וכדור הארץ.‬

And once we have this information,

‫ומיד כשיהיה לנו המידע הזה,‬

companies can use it in order to say,

ארגונים יוכלו להשתמש בו כדי לומר,‬

OK, we're going to choose this model because it's more sustainable,

‫בסדר, נבחר במודל הזה‬ ‫כי הוא בר-קיימא יותר,‬

ו‫במודל הזה כי הוא מכבד זכויות יוצרים.‬

this model because it respects copyright.

Legislators who really need information to write laws,

‫מחוקקים שבאמת זקוקים למידע‬ ‫כדי לכתוב חוקים,‬

can use these tools to develop new regulation mechanisms

‫יכולים להשתמש בכלים אלה‬ ‫כדי לפתח מנגנוני רגולציה חדשים‬

or governance for AI as it gets deployed into society.

‫או לפקח על הב“מ כאשר היא מופעלת בחברה.‬

‫ומשתמשים כמוכם וכמוני יכולים‬ ‫להשתמש במידע הזה‬

And users like you and me can use this information

to choose AI models that we can trust,

‫כדי לבחור מודלים של ב“מ ‬ ‫שאפשר לסמוך עליהם,‬

not to misrepresent us and not to misuse our data.

ש‫לא ייצגו אותנו במסולף ‫ולא יעשו שימוש לרעה בנתונים שלנו.‬

But what did I reply to that email

‫אבל מה עניתי לאותו דוא“ל

that said that my work is going to destroy humanity?

‫שאמר שעבודתי עתידה להרוס את האנושות?‬

I said that focusing on AI's future existential risks

‫אמרתי שהתמקדות בסיכונים ‬ ‫הקיומיים העתידיים של הב“מ‬

is a distraction from its current,

‫היא הסחת דעת‬

‫מההשפעות הנוכחיות והמוחשיות שלה‬

very tangible impacts

and the work we should be doing right now, or even yesterday,

‫ומהעבודה שאנחנו צריכים‬ ‫לעשות כרגע, או אפילו אתמול,‬

for reducing these impacts.

‫להפחתת ההשפעות הללו.‬

Because yes, AI is moving quickly, but it's not a done deal.

‫כי כן, הב“מ מתקדמת במהירות, ‬ ‫אבל זו לא עניין סגור.‬

We're building the road as we walk it,

‫אנחנו סוללים את הדרך ‬ ‫תוך כדי כך שאנו הולכים בה,‬

and we can collectively decide what direction we want to go in together.

‫ואנחנו יכולים להחליט באופן קולקטיבי‬ ‫לאיזה כיוון ברצוננו ללכת יחד.‬

Thank you.

‫תודה לכם.‬

(Applause)

‫(מחיאות כפיים)‬