The danger of AI is weirder than you think | Janelle Shane

תרגום: Shlomo Adam עריכה: Sigal Tifferet

So, artificial intelligence

הבינה המלאכותית, ב"מ,

is known for disrupting all kinds of industries.

ידועה בכך שהיא משבשת תעשיות שונות.

What about ice cream?

מה עם גלידה?

What kind of mind-blowing new flavors could we generate

מהם הטעמים החדשים והמדהימים שנוכל להמציא

with the power of an advanced artificial intelligence?

אם ניעזר בכוחה של ב"מ מתקדמת?

So I teamed up with a group of coders from Kealing Middle School

איחדתי כוחות עם קבוצת מתכנתים מחטיבת הביניים של ביה"ס קילינג

to find out the answer to this question.

כדי למצוא את התשובה לשאלה זו.

They collected over 1,600 existing ice cream flavors,

הם אספו מעל 1,600 טעמים קיימים של גלידה

and together, we fed them to an algorithm to see what it would generate.

וביחד הזנו אותם לאלגוריתם כדי לראות מה הוא יצליח ליצור.

And here are some of the flavors that the AI came up with.

הנה כמה מהטעמים שהב"מ המציאה.

[Pumpkin Trash Break]

[הפסקת זבל דלעת]

(Laughter)

(צחוק)

[Peanut Butter Slime]

[סליים חמאת בוטנים]

[Strawberry Cream Disease]

[מחלת קצפת תות]

(Laughter)

(צחוק)

These flavors are not delicious, as we might have hoped they would be.

אלה אינם טעמים טעימים, כפי שקיווינו שיהיו.

So the question is: What happened?

אז השאלה היא: מה קרה? מה השתבש?

What went wrong?

Is the AI trying to kill us?

האם הב"מ מנסה להרוג אותנו?

Or is it trying to do what we asked, and there was a problem?

ואולי היא מנסה לעשות מה שביקשנו, והיתה כאן בעיה?

In movies, when something goes wrong with AI,

בסרטים, כשמשהו משתבש עם ב"מ,

it's usually because the AI has decided

זה בדרך כלל כי הב"מ החליטה

that it doesn't want to obey the humans anymore,

שהיא כבר לא רוצה לציית לבני האדם

ויש לה מטרות משלה, תודה רבה לכם.

and it's got its own goals, thank you very much.

In real life, though, the AI that we actually have

אבל במציאות, הב"מ שיש לנו

is not nearly smart enough for that.

ממש לא כל-כך חכמה.

It has the approximate computing power

יש לה כוח מיחשוב בערך כמו של שלשול,

of an earthworm,

ולכל היותר - של דבורת דבש יחידה,

or maybe at most a single honeybee,

and actually, probably maybe less.

וכנראה פחות מכך.

Like, we're constantly learning new things about brains

הרי אנו כל הזמן לומדים דברים חדשים אודות המוח

that make it clear how much our AIs don't measure up to real brains.

שמבהירים עד כמה הב"מ אינה בת-השוואה עם מוח אמיתי.

So today's AI can do a task like identify a pedestrian in a picture,

הב"מ של היום מסוגלת לעשות לזהות בתמונה הולך-רגל,

but it doesn't have a concept of what the pedestrian is

אבל אין לה מושג מהו הולך-רגל

beyond that it's a collection of lines and textures and things.

מעבר להיותו אוסף קווים, מרקמים וכדומה.

It doesn't know what a human actually is.

היא בכלל לא יודעת מהו אדם.

So will today's AI do what we ask it to do?

האם הב"מ של ימינו תעשה מה שנבקש ממנה?

It will if it can,

כן, אם היא תוכל,

but it might not do what we actually want.

אבל אולי לא בדיוק מה שנרצה.

So let's say that you were trying to get an AI

נניח שאתם רוצים שהב"מ

to take this collection of robot parts

תיקח את אוסף חלקי הרובוט הזה

and assemble them into some kind of robot to get from Point A to Point B.

ותרכיב מהן רובוט שיגיע מנקודה א' לב'.

Now, if you were going to try and solve this problem

אילו ניסיתם לפתור בעיה זו ע"י כתיבת תוכנת מחשב רגילה,

by writing a traditional-style computer program,

you would give the program step-by-step instructions

הייתם נותנים לתוכנה הוראות מפורטות

on how to take these parts,

איך לקחת את החלקים האלה,

how to assemble them into a robot with legs

להרכיב מהם רובוט עם רגליים

and then how to use those legs to walk to Point B.

ולהשתמש ברגליים האלה כדי ללכת עד נקודה ב'.

But when you're using AI to solve the problem,

אבל כשמשתמשים בב"מ כדי לפתור בעיה זו,

it goes differently.

זה שונה.

אינכם אומרים לה איך לפתור את הבעיה,

You don't tell it how to solve the problem,

you just give it the goal,

אלא רק אומרים לה מהי המטרה,

and it has to figure out for itself via trial and error

והיא צריכה להבין לבד דרך ניסוי וטעייה

how to reach that goal.

איך להגיע למטרה זו.

And it turns out that the way AI tends to solve this particular problem

ומסתבר שהב"מ נוטה לפתור בעיה מסוימת זו באופן הבא:

is by doing this:

it assembles itself into a tower and then falls over

היא מרכיבה מהחלקים מגדל שנופל ונוחת על נקודה ב'.

and lands at Point B.

וטכנית, זה פותר את הבעיה.

And technically, this solves the problem.

Technically, it got to Point B.

טכנית, היא הגיעה לנקודה ב'.

The danger of AI is not that it's going to rebel against us,

הסכנה איננה שהב"מ תתמרד נגדנו,

it's that it's going to do exactly what we ask it to do.

אלא שתעשה בדיוק מה שאנו דורשים ממנה.

So then the trick of working with AI becomes:

לכן, החוכמה בעבודה עם ב"מ היא,

How do we set up the problem so that it actually does what we want?

איך להגדיר את הבעיה כך שהיא תעשה בדיוק את מה שביקשנו?

So this little robot here is being controlled by an AI.

הרובוט הקטן הזה נשלט ע"י ב"מ.

הב"מ עיצבה את רגלי הרובוט

The AI came up with a design for the robot legs

and then figured out how to use them to get past all these obstacles.

ומצאה דרך להשתמש בהן כדי לעבור את כל המכשולים האלה.

But when David Ha set up this experiment,

אבל כשדייויד הא ערך את הניסוי הזה,

he had to set it up with very, very strict limits

היה עליו להגדיר מגבלות נוקשות ביותר

on how big the AI was allowed to make the legs,

לגבי גודל הרגליים שהב"מ רשאית לקבוע,

because otherwise ...

כי אחרת...

(Laughter)

(צחוק)

And technically, it got to the end of that obstacle course.

וטכנית, היא עברה את מסלול המכשולים.

So you see how hard it is to get AI to do something as simple as just walk.

אז אתם מבינים כמה קשה לגרום לב"מ לעשות משהו פשוט כמו הליכה.

So seeing the AI do this, you may say, OK, no fair,

אז כשאתם רואים את הב"מ עושה כך, ודאי תגידו: "זה לא הוגן,

you can't just be a tall tower and fall over,

"אסור לך לבנות סתם מגדל שנופל.

you have to actually, like, use legs to walk.

"עלייך להשתמש ברגליים כדי ללכת."

And it turns out, that doesn't always work, either.

ומסתבר שגם זה לא תמיד עובד.

This AI's job was to move fast.

המטלה של הב"מ הזאת היתה לנוע מהר.

They didn't tell it that it had to run facing forward

לא נאמר לה שצריך לנוע קדימה

or that it couldn't use its arms.

או שאסור לה להשתמש בזרועות.

So this is what you get when you train AI to move fast,

זה מה שמקבלים כשמאמנים את הב"מ לתנועה מהירה:

you get things like somersaulting and silly walks.

סלטות והליכה משונה.

It's really common.

זה נפוץ מאד.

So is twitching along the floor in a heap.

כך גם התקדמות של ערימה בעוויתות.

(Laughter)

(צחוק)

So in my opinion, you know what should have been a whole lot weirder

אז לדעתי, מה שהיה צריך להיות הרבה יותר מוזר

is the "Terminator" robots.

הם הרובוטים של "שליחות קטלנית".

Hacking "The Matrix" is another thing that AI will do if you give it a chance.

גם פיצוח ה"מטריקס" הוא משהו שב"מ תוכל לעשות אם יתנו לה הזדמנות.

So if you train an AI in a simulation,

אז אם תאמנו ב"מ בהדמייה,

it will learn how to do things like hack into the simulation's math errors

היא תלמד למשל לפצח את השגיאות המתמטיות של ההדמייה

and harvest them for energy.

ולהפיק מהן אנרגיה.

Or it will figure out how to move faster by glitching repeatedly into the floor.

או תמצא איך לנוע מהר יותר ע"י גלישה מתמדת על הרצפה.

When you're working with AI,

כשעובדים עם ב"מ,

it's less like working with another human

זה דומה פחות לעבודה עם יצור אנושי אחר,

and a lot more like working with some kind of weird force of nature.

ודומה יותר לעבודה עם איזה כוח-טבע מוזר.

And it's really easy to accidentally give AI the wrong problem to solve,

ולמעשה, קל מאד לתת לב"מ בטעות את הבעיה הלא-נכונה,

and often we don't realize that until something has actually gone wrong.

ועל פי רוב איננו מבינים זאת עד שמשהו משתבש.

So here's an experiment I did,

הנה ניסוי שערכתי,

where I wanted the AI to copy paint colors,

ובו רציתי שהב"מ תעתיק גווני צבע

to invent new paint colors,

כדי להמציא גוונים חדשים,

given the list like the ones here on the left.

בהינתן רשימה כמו זו שמשמאל.

And here's what the AI actually came up with.

והנה הרשימה שהפיקה הב"מ.

[Sindis Poop, Turdly, Suffer, Gray Pubic]

[קקי סינדיס, גוון גלל, סבל, אפור ערווה]

(Laughter)

(צחוק)

So technically,

אז טכנית,

it did what I asked it to.

הב"מ עשתה מה שביקשתי.

I thought I was asking it for, like, nice paint color names,

חשבתי שאני מבקשת ממנה שמות חדשים ונחמדים של גוונים,

but what I was actually asking it to do

אבל מה שביקשתי ממנה בפועל

was just imitate the kinds of letter combinations

היה רק לחקות את צירופי האותיות

that it had seen in the original.

שהיא ראתה במקור.

And I didn't tell it anything about what words mean,

ולא אמרתי לה דבר על משמעות המילים,

or that there are maybe some words

או שאולי יש מילים

that it should avoid using in these paint colors.

שכדאי להימנע מהן בשמות של גווני צבע.

So its entire world is the data that I gave it.

כל עולמה היה הנתונים שנתתי לה.

Like with the ice cream flavors, it doesn't know about anything else.

כמו עם טעמי הגלידה, היא לא מכירה שום דבר נוסף.

So it is through the data

משמע שדרך הנתונים

that we often accidentally tell AI to do the wrong thing.

אנו מרבים לטעות ולומר לב"מ לעשות את הדבר הלא-נכון.

This is a fish called a tench.

זהו דג בשם טינקה.

And there was a group of researchers

והיתה קבוצת חוקרים

who trained an AI to identify this tench in pictures.

שאימנה ב"מ לזהות טינקה בתמונות.

But then when they asked it

אבל כשהם שאלו את הב"מ

what part of the picture it was actually using to identify the fish,

באיזה חלק מהתמונה היא השתמשה כדי לזהות את הדג,

here's what it highlighted.

זה מה שהיא הדגישה.

Yes, those are human fingers.

נכון, אצבעות אנושיות.

Why would it be looking for human fingers

מדוע היא מחפשת אצבעות אנושיות כשהיא מנסה לזהות דג?

if it's trying to identify a fish?

Well, it turns out that the tench is a trophy fish,

מסתבר שאת הטינקה דגים בעיקר כשלל ציד,

and so in a lot of pictures that the AI had seen of this fish

ולכן בתמונות רבות של הדג הזה שהב"מ ראתה באימון שלה,

during training,

the fish looked like this.

הדג נראה ככה.

(Laughter)

(צחוק)

And it didn't know that the fingers aren't part of the fish.

היא לא ידעה שהאצבעות אינן איברים של הדג.

So you see why it is so hard to design an AI

אז אתם מבינים למה קשה כל-כך לתכנן ב"מ

that actually can understand what it's looking at.

שתוכל להבין מה היא רואה.

And this is why designing the image recognition

ולכן קשה כך-כך לתכנן זיהוי תמונה

in self-driving cars is so hard,

במכוניות אוטונומיות,

and why so many self-driving car failures

ומדוע כשלים רבים כל-כך במכוניות אוטונומיות

are because the AI got confused.

נובעים מבלבול של הב"מ.

I want to talk about an example from 2016.

אני רוצה לדבר על דוגמה מ-2016.

There was a fatal accident when somebody was using Tesla's autopilot AI,

היתה תאונה קטלנית כשמישהו השתמש בב"מ של רכב אוטונומי של "טסלה",

but instead of using it on the highway like it was designed for,

אבל במקום להשתמש בה בכביש המהיר, כפי שתוכננה,

they used it on city streets.

הוא השתמש בה ברחובות העיר.

And what happened was,

ומה שקרה הוא,

a truck drove out in front of the car and the car failed to brake.

שמשאית חצתה לפני הרכב והרכב לא בלם.

Now, the AI definitely was trained to recognize trucks in pictures.

הב"מ הוכשרה בהחלט לזהות משאיות בתמונות.

But what it looks like happened is

אבל מה שכנראה קרה הוא,

the AI was trained to recognize trucks on highway driving,

שהב"מ אומנה לזהות משאיות בכביש המהיר,

where you would expect to see trucks from behind.

ושם הציפיה היא לראות משאיות מאחור.

Trucks on the side is not supposed to happen on a highway,

משאיות במבט צידי לא אמורות להיראות בכביש מהיר,

and so when the AI saw this truck,

אז כשב"מ ראתה את המשאית,

it looks like the AI recognized it as most likely to be a road sign

היא כנראה זיהתה אותה כשלט דרכים,

and therefore, safe to drive underneath.

כזה שבטוח לעבור מתחתיו.

Here's an AI misstep from a different field.

הנה טעות של ב"מ מתחום שונה.

Amazon recently had to give up on a résumé-sorting algorithm

לאחרונה "אמזון" נאלצה לנטוש אלגוריתם למיון קורות-חיים

that they were working on

שעליו הם עבדו,

when they discovered that the algorithm had learned to discriminate against women.

כשגילו שהאלגוריתם למד להפלות נגד נשים.

What happened is they had trained it on example résumés

מה שקרה הוא שהם אימנו אותו עם דגימות של קורות-חיים

of people who they had hired in the past.

של אנשים שהם העסיקו בעבר.

And from these examples, the AI learned to avoid the résumés of people

ומהדוגמאות, הב"מ למדה להימנע מקורות-חיים של אנשים

who had gone to women's colleges

שהלכו למכללות של נשים

or who had the word "women" somewhere in their resume,

או שהמילה "נשים" הופיעה בקורות החיים,

as in, "women's soccer team" or "Society of Women Engineers."

כמו "נבחרת כדורגל נשים" או "אגודת הנשים המהנדסות".

The AI didn't know that it wasn't supposed to copy this particular thing

הב"מ לא ידעה שהיא לא אמורה להעתיק את הדבר המסוים הזה

that it had seen the humans do.

מבני האדם.

And technically, it did what they asked it to do.

וטכנית, היא עשתה כפי שהתבקשה.

They just accidentally asked it to do the wrong thing.

אלא שביקשו ממנה בטעות לעשות את הדבר הלא-נכון.

And this happens all the time with AI.

וזה קורה כל הזמן עם ב"מ.

AI can be really destructive and not know it.

ב"מ יכולה להיות הרסנית מאד מבלי לדעת זאת.

So the AIs that recommend new content in Facebook, in YouTube,

אז הב"מ שממליצות על תכנים ב"פייסבוק" ו"יו-טיוב",

they're optimized to increase the number of clicks and views.

ממוטבות להגדיל את מספר הקליקים והצפיות.

And unfortunately, one way that they have found of doing this

למרבה הצער, אחת הדרכים שהן מצאו לעשות זאת

is to recommend the content of conspiracy theories or bigotry.

היא להמליץ על תכני תיאוריות-קשר או גזענות.

The AIs themselves don't have any concept of what this content actually is,

לב"מ עצמן אין שום מושג מהם בעצם התכנים האלה,

and they don't have any concept of what the consequences might be

וגם לא מה עלולות להיות התוצאות

of recommending this content.

של ההמלצה על תכנים כאלה.

So, when we're working with AI,

אז כשאנו עובדים עם ב"מ,

it's up to us to avoid problems.

באחריותנו למנוע בעיות.

And avoiding things going wrong,

ומניעה מדברים להשתבש

that may come down to the age-old problem of communication,

יכולה להסתכם בבעייה עתיקת היומין של קצרים בתקשורת.

where we as humans have to learn how to communicate with AI.

כשאנו, בני האדם, צריכים ללמוד איך לתקשר עם ב"מ,

We have to learn what AI is capable of doing and what it's not,

עלינו ללמוד מה הב"מ מסוגלת לעשות ומה לא,

and to understand that, with its tiny little worm brain,

ולהבין שעם מוח השלשול הזעיר שלה,

AI doesn't really understand what we're trying to ask it to do.

הב"מ לא ממש מבינה מה אנו מנסים לבקש ממנה לעשות.

So in other words, we have to be prepared to work with AI

במלים אחרות, עלינו להיות מוכנים לעבוד עם ב"מ

that's not the super-competent, all-knowing AI of science fiction.

שאיננה כל-יכולה ויודעת-כל כמו במדע הבדיוני:

We have to be prepared to work with an AI

עלינו להיות מוכנים לעבוד עם הב"מ שיש לנו בהווה.

that's the one that we actually have in the present day.

And present-day AI is plenty weird enough.

והב"מ בהווה היא מספיק מוזרה.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)