3 principles for creating safer AI | Stuart Russell

מתרגם: Igal Opendik מבקר: Ido Dekkers

This is Lee Sedol.

זהו לי סידול.

Lee Sedol is one of the world's greatest Go players,

הוא אחד מגדולי שחקני גו בעולם.

and he's having what my friends in Silicon Valley call

כאן הוא חווה את הרגע שחבריי מעמק הסיליקון מכנים

a "Holy Cow" moment --

"זה הזוי!" -

(Laughter)

(צחוק)

a moment where we realize

הרגע בו אנו מבינים

that AI is actually progressing a lot faster than we expected.

שהתפתחותה של הב''מ (בינה מלאכתית) מתקדמת הרבה יותר מהר משציפינו.

So humans have lost on the Go board. What about the real world?

אז בני האנוש הפסידו במשחק גו. אבל מה עם העולם האמיתי?

Well, the real world is much bigger,

ובכן, העולם האמיתי הרבה יותר גדול,

much more complicated than the Go board.

הרבה יותר מורכב ממשחק גו.

It's a lot less visible,

זה פחות נגלה לעין,

but it's still a decision problem.

אבל זו עדיין בעיית קבלת החלטות.

And if we think about some of the technologies

ואם חושבים על כמה טכנולוגיות

that are coming down the pike ...

שמתממשות כנגד עיניינו...

Noriko [Arai] mentioned that reading is not yet happening in machines,

נוריקו [אראי] הזכירה שמכונות עדיין לא יודעות לקרוא,

at least with understanding.

לפחות לקרוא ולהבין.

But that will happen,

אבל, זה יקרה.

and when that happens,

וכאשר זה כן יקרה,

very soon afterwards,

עד מהרה

machines will have read everything that the human race has ever written.

הן תקראנה את כל מה שהאנושות כתבה אי פעם.

And that will enable machines,

זה יקנה למכונות יכולת חדשה,

along with the ability to look further ahead than humans can,

לצד יכולת החיזוי מעבר למה שבני האנוש מסוגלים לחזות,

as we've already seen in Go,

כפי שנוכחנו לדעת במשחק גו,

if they also have access to more information,

אם תקבלנה גישה ליותר מידע,

they'll be able to make better decisions in the real world than we can.

הן תוכלנה לקבל החלטות טובות יותר מאיתנו בעולם האמיתי.

So is that a good thing?

האם זה טוב לנו?

Well, I hope so.

ובכן, אני מקווה שכן.

Our entire civilization, everything that we value,

הציביליזציה שלנו על כל ערכיה,

is based on our intelligence.

מבוססת על התבונה שלנו.

And if we had access to a lot more intelligence,

ולו היתה לנו גישה לתבונה רבה יותר,

then there's really no limit to what the human race can do.

אזי לא יהיה גבול למה שהאנושות תוכל לעשות.

And I think this could be, as some people have described it,

ואני סבור כי זה היה יכול להיות, כפי שאנשים מסוימים תיארו זאת,

the biggest event in human history.

הארוע הגדול בתולדות האנושות.

So why are people saying things like this,

אז מדוע אנשים אומרים דברים כגון,

that AI might spell the end of the human race?

ב''מ עלולה לגרום לסוף האנושות?

Is this a new thing?

האם זה חדש לנו?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

האם אלה רק אלון מאסק, ביל גייטס וסטיבן הוקינג?

Actually, no. This idea has been around for a while.

לא. רעיון זה כבר קיים זמן מה.

Here's a quotation:

הרי הציטוט:

"Even if we could keep the machines in a subservient position,

"אפילו אם היינו מסוגלים לשלוט במכונות כבמשרתים בלבד,

for instance, by turning off the power at strategic moments" --

למשל על ידי כיבוי אספקת חשמל ברגעים קריטיים" --

and I'll come back to that "turning off the power" idea later on --

אחזור לנושא "כיבוי החשמל" בהמשך --

"we should, as a species, feel greatly humbled."

"אנחנו כמין צריכים להרגיש ענווה גדולה."

So who said this? This is Alan Turing in 1951.

מי אמר זאת? אלן טורינג ב-1951.

Alan Turing, as you know, is the father of computer science

כידוע לכם, אלן טיורינג הוא אבי מדע המחשב

and in many ways, the father of AI as well.

ובמובנים רבים, גם אבי הב''מ.

So if we think about this problem,

אם חושבים על הבעייתיות שביצירת

the problem of creating something more intelligent than your own species,

משהו שחכם יותר ממינך שלך,

we might call this "the gorilla problem,"

ניתן לכנות זאת "בעיית הגורילה",

because gorillas' ancestors did this a few million years ago,

היות ואבות אבותיהן של הגורילות עשו זאת לפני מיליוני שנה,

and now we can ask the gorillas:

וכיום נוכל לשאול את הגורילות:

Was this a good idea?

האם זה היה רעיון טוב?

So here they are having a meeting to discuss whether it was a good idea,

הינה הם עורכים דיון על טיב הדבר

and after a little while, they conclude, no,

ואחרי זמן מה הם קובעים שזה- לא!

this was a terrible idea.

זה היה רעיון נוראי.

Our species is in dire straits.

מין הגורילות במצוקה קשה.

In fact, you can see the existential sadness in their eyes.

למעשה, אתם יכולים לראות את העצב הקיומי בעיניהן.

(Laughter)

(צחוק)

So this queasy feeling that making something smarter than your own species

לגבי ההרגשה המבחילה הזאת שיצירת משהו שעולה עליך בחוכמתו

is maybe not a good idea --

איננו רעיון טוב --

what can we do about that?

מה עושים איתה?

Well, really nothing, except stop doing AI,

האמת היא שכלום, חוץ מעצירת פיתוח ב''מ.

and because of all the benefits that I mentioned

בגלל כל היתרונות שהזכרתי

and because I'm an AI researcher,

ובגלל שאני חוקר ב''מ,

I'm not having that.

אני לא מקבל את אפשרות העצירה.

I actually want to be able to keep doing AI.

אני כן מעוניין להמשיך בפיתוח ב''מ.

So we actually need to nail down the problem a bit more.

לכן, אנחנו חייבים להגדיר את הבעיה טוב יותר.

What exactly is the problem?

מהי מהות הבעיה בדיוק?

Why is better AI possibly a catastrophe?

למה ב''מ טובה יותר עלולה להוות אסון?

So here's another quotation:

אז הינה לכם עוד ציטוט:

"We had better be quite sure that the purpose put into the machine

"עדיף שנהיה בטוחים שהיעוד שאנחנו מטמיעים במכונה

is the purpose which we really desire."

זה אותו היעוד שאנחנו חפצים בו באמת ".

This was said by Norbert Wiener in 1960,

זה נאמר על ידי נורברט וויינר ב-1960

shortly after he watched one of the very early learning systems

זמן קצר אחרי שצפה באחת ממערכות הלמידה המוקדמות

learn to play checkers better than its creator.

לומדת לשחק דמקה טוב מיוצרה.

But this could equally have been said

אימרה זו היתה גם יכולה להיאמר

by King Midas.

על ידי המלך מידאס.

King Midas said, "I want everything I touch to turn to gold,"

המלך מידאס אמר, "אני רוצה שכל דבר שאגע בו יהפוך לזהב".

and he got exactly what he asked for.

והוא קיבל את מבוקשו בדיוק.

That was the purpose that he put into the machine,

זה היעוד אותו הוא הטמיע במכונה,

so to speak,

כביכול,

and then his food and his drink and his relatives turned to gold

וכל המזון והמשקה שלו וכל קרוביו הפכו לזהב

and he died in misery and starvation.

והוא מת אומלל ומורעב.

So we'll call this "the King Midas problem"

נקרא לכך "בעית מלך מידאס".

of stating an objective which is not, in fact,

מתן משימה אשר לא עולה

truly aligned with what we want.

בקנה אחד עם מה שאנו רוצים.

In modern terms, we call this "the value alignment problem."

במושגים מודרניים אנו קוראים לזה "בעיית תאום ערכים".

Putting in the wrong objective is not the only part of the problem.

מתן מטרה שגויה אינה המרכיב היחיד של הבעיה.

There's another part.

יש מרכיב נוסף.

If you put an objective into a machine,

אם אתם מטמיעים משימה במכונה

even something as simple as, "Fetch the coffee,"

אפילו משהו פשוט כמו "תביאי לי קפה",

the machine says to itself,

המכונה אומרת לעצמה,

"Well, how might I fail to fetch the coffee?

"מה עלול למנוע ממני להביא את הקפה?

Someone might switch me off.

מישהו עלול לנתק אותי מהחשמל.

OK, I have to take steps to prevent that.

לכן אני חייבת לנקוט בצעדים שימנעו זאת.

I will disable my 'off' switch.

אנטרל את מתג הכיבוי שלי.

I will do anything to defend myself against interference

אעשה הכל כדי להגן על עצמי כנגד מה שימנע ממני

with this objective that I have been given."

לבצע את המשימה שניתנה לי".

So this single-minded pursuit

לכן, חתירה חד-כיוונית למשימה

in a very defensive mode of an objective that is, in fact,

בתצורה הגנתית המבטיחה את ביצוע המשימה, אשר

not aligned with the true objectives of the human race --

איננה תואמת משימות אמיתיות של האנושות --

that's the problem that we face.

זו הבעיה אתה אנו מתמודדים.

And in fact, that's the high-value takeaway from this talk.

זו התובנה בעלת ערך אותה אנו נקח מהרצאה זו.

If you want to remember one thing,

אם תרצו לזכור דבר אחד --

it's that you can't fetch the coffee if you're dead.

-- לא ניתן להביא את הקפה אם אתה מת.

(Laughter)

(צחוק)

It's very simple. Just remember that. Repeat it to yourself three times a day.

זה פשוט מאוד. רק תזכרו את זה. שננו זאת לעצמכם שלוש פעמים ביום.

(Laughter)

(צחוק)

And in fact, this is exactly the plot

זוהי העלילה המדויקת של

of "2001: [A Space Odyssey]"

"2001: אודיסאה בחלל"

HAL has an objective, a mission,

ל-HAL יש משימה,

which is not aligned with the objectives of the humans,

אשר איננה מתואמת עם משימות של בני האנוש,

and that leads to this conflict.

וזה מוביל לקונפליקט.

Now fortunately, HAL is not superintelligent.

למרבה המזל HAL איננו בעל תבונת-על.

He's pretty smart, but eventually Dave outwits him

הוא די חכם, אבל לבסוף דייב מצליח להערים עליו

and manages to switch him off.

ומצליח לכבות אותו.

But we might not be so lucky.

אבל אנחנו עלולים לא להיות ברי מזל באותה מידה.

So what are we going to do?

אז מה נעשה?

I'm trying to redefine AI

אני מנסה להגדיר את הב''מ במושגים אחרים

to get away from this classical notion

כדי להתנתק מן ההעקרון הקלאסי

of machines that intelligently pursue objectives.

לפיו מכונות שואפות לבצע משימות בצורה תבונתית.

There are three principles involved.

ישנם שלושה עקרונות בבסיס העניין.

The first one is a principle of altruism, if you like,

הראשון הוא, אם תרצו, עקרון האלטרויזם --

that the robot's only objective

-- המשימה היחידה של הרובוטים היא

is to maximize the realization of human objectives,

מיקסום הגשמתן של המטרות של בני אנוש,

of human values.

של ערכי בני אנוש.

And by values here I don't mean touchy-feely, goody-goody values.

באומרי "ערכים" אינני מתכוון כאן לערכים נשגבים של יפי נפש.

I just mean whatever it is that the human would prefer

אני פשוט מתכוון לכל מה שבני אנוש

their life to be like.

מעדיפים בחייהם.

And so this actually violates Asimov's law

זה למעשה נוגד לחוק אסימוב

that the robot has to protect its own existence.

לפיו רובוט חייב להגן על קיומו.

It has no interest in preserving its existence whatsoever.

אין לו עניין בשימור קיומו בכלל.

The second law is a law of humility, if you like.

העקרון השני, אם תרצו, הוא עקרון הענווה.

And this turns out to be really important to make robots safe.

מתברר שהוא חשוב מאוד ליצירת רובוטים בטוחים.

It says that the robot does not know

לפיו רובוט איננו יודע

what those human values are,

מהם ערכי בני האנוש.

so it has to maximize them, but it doesn't know what they are.

הוא חייב לממש אותם על הצד הטוב ביותר, אבל הוא לא יודע מה הם.

And that avoids this problem of single-minded pursuit

זה עוקף את בעיית חתירה חד-כיוונית

of an objective.

למשימה.

This uncertainty turns out to be crucial.

אי הוודאות הזאת הופכת לעניין מכריע.

Now, in order to be useful to us,

בכדי שרובוט יהיה מועיל לנו

it has to have some idea of what we want.

עליו לדעת מה אנו רוצים, ברמה כלשהי.

It obtains that information primarily by observation of human choices,

הוא מקבל מידע זה בעיקר מצפיה בבחירות אנושיות,

so our own choices reveal information

כך שהבחירות שלנו מלמדות מידע

about what it is that we prefer our lives to be like.

על כיצד אנו מעדיפים שחיינו יהיו.

So those are the three principles.

אלה הם שלושת העקרונות.

Let's see how that applies to this question of:

הבה נראה כיצד הם מיושמים בבעיה של:

"Can you switch the machine off?" as Turing suggested.

"האם אתה יכול לכבות את המכונה?" כפי שהציע טיורינג.

So here's a PR2 robot.

הינה רובוט מדגם PR2 --

This is one that we have in our lab,

-- אחד מאלה שיש לנו במעבדה

and it has a big red "off" switch right on the back.

ויש לו על הגב כפתור כיבוי גדול ואדום.

The question is: Is it going to let you switch it off?

השאלה היא: האם הוא ירשה לך לכבות אותו?

If we do it the classical way,

אם נלך לפי המודל הקלאסי,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

כך הוא יבצע את משימת "תביא את הקפה": "אני חייב להביא את הקפה,

I can't fetch the coffee if I'm dead,"

אני לא יכול להביא את הקפה אם אני מת",

so obviously the PR2 has been listening to my talk,

והיות ו - PR2 כמובן הקשיב להרצאתי

and so it says, therefore, "I must disable my 'off' switch,

הוא אומר איפוא, "אני חייב לנטרל את מתג הכיבוי שלי

and probably taser all the other people in Starbucks

ואולי גם לחשמל את כל האנשים בסטארבקס

who might interfere with me."

אשר עלולים להפריע לי".

(Laughter)

(צחוק)

So this seems to be inevitable, right?

נראה בלתי נמנע, נכון?

This kind of failure mode seems to be inevitable,

אופן פעולה זה נראה בלתי נמנע

and it follows from having a concrete, definite objective.

בגלל שהוא נובע ממתן משימה מוגדרת וסופית.

So what happens if the machine is uncertain about the objective?

אבל מה יקרה אם המכונה לא בטוחה לגבי המשימה?

Well, it reasons in a different way.

במקרה זה היא חושבת בצורה שונה.

It says, "OK, the human might switch me off,

היא אומרת. "טוב, בן אנוש עלול לכבות אותי,

but only if I'm doing something wrong.

אבל זה רק אם אעשה משהו לא נכון.

Well, I don't really know what wrong is,

אינני יודעת מהו לא נכון,

but I know that I don't want to do it."

אבל אני יודעת שאינני רוצה לעשות אותו."

So that's the first and second principles right there.

כך, יש לנו פה העקרון הראשון והשני גם יחד.

"So I should let the human switch me off."

"לכן, אני צריכה לאפשר לבני אנוש לכבות אותי".

And in fact you can calculate the incentive that the robot has

ניתן להטמיע את שיקול הרווח שיהיה לרובוט

to allow the human to switch it off,

כדי שיאפשר לנו לכבות אותו.

and it's directly tied to the degree

זה ישירות קשור ברמת

of uncertainty about the underlying objective.

אי-הוודאות לגבי מהות המשימה.

And then when the machine is switched off,

וכאשר המכונה כבר מכובה,

that third principle comes into play.

העקרון השלישי נכנס למשחק.

It learns something about the objectives it should be pursuing,

המכונה לומדת משהו אודות המשימות שעליה לבצע,

because it learns that what it did wasn't right.

כי היא לומדת שמה שעשתה היה לא נכון.

In fact, we can, with suitable use of Greek symbols,

באמצעות שימוש ראוי באותיות יווניות,

as mathematicians usually do,

כפי שנהוג אצל המתמטיקאים,

we can actually prove a theorem

ניתן להוכיח ההנחה

that says that such a robot is provably beneficial to the human.

שאומרת שרובוט כזה הינו בהחלט מועיל לאנושות.

You are provably better off with a machine that's designed in this way

עדיף לכם שהמכונה תהיה כזאת

than without it.

ולא אחרת.

So this is a very simple example, but this is the first step

זוהי דוגמא מאוד פשוטה, אבל זה הצעד הראשון

in what we're trying to do with human-compatible AI.

לקראת מה שאנו מנסים לעשות עם ב''מ מותאמת אנושות.

Now, this third principle,

העקרון השלישי הוא זה

I think is the one that you're probably scratching your head over.

שלגביו אתם מהרהרים לדעתי.

You're probably thinking, "Well, you know, I behave badly.

אתם בוודאי חושבים, "אני מתנהג לא כראוי.

I don't want my robot to behave like me.

ואינני רוצה שהרובוט שלי יתנהג כמוני.

I sneak down in the middle of the night and take stuff from the fridge.

אני מתגנב באמצע הלילה ולוקח דברים מן המקרר.

I do this and that."

אני עושה את זה ואת זה."

There's all kinds of things you don't want the robot doing.

יש כל מיני דברים שלא תרצו שהרובוט שלכם יעשה.

But in fact, it doesn't quite work that way.

אבל, הדברים לא בדיוק עובדים ככה.

Just because you behave badly

רק בגלל שאתם מתנהגים לא כראוי

doesn't mean the robot is going to copy your behavior.

הרובוט שלכם לא בהכרח יעתיק את התנהגותכם.

It's going to understand your motivations and maybe help you resist them,

הוא יבין את המניעים שלכם ואולי יעזור לכם להתנגד להם,

if appropriate.

במידה וזה יהיה ראוי.

But it's still difficult.

אבל עדיין, העניין מסובך.

What we're trying to do, in fact,

מה שאנו מנסים לעשות,

is to allow machines to predict for any person and for any possible life

זה לאפשר למכונות לחזות בעבור כל אדם ועבור כל מסלולי החיים

that they could live,

שהוא עשוי לחיות,

and the lives of everybody else:

וכן חייהם של כל השאר:

Which would they prefer?

מה יעדיפו?

And there are many, many difficulties involved in doing this;

וישנם הרבה מאוד קשיים בדרך לביצוע,

I don't expect that this is going to get solved very quickly.

אינני מצפה שהעניין ייפתר במהרה.

The real difficulties, in fact, are us.

הקשיים האמיתיים הם למעשה אנחנו.

As I have already mentioned, we behave badly.

כפי שכבר ציינתי, אנחנו מתנהגים לא כראוי.

In fact, some of us are downright nasty.

למעשה, חלק מאיתנו פשוט נוראים.

Now the robot, as I said, doesn't have to copy the behavior.

כפי שאמרתי הרובוט לא חייב להעתיק את התנהגותינו.

The robot does not have any objective of its own.

לרובוט אין כל משימה משלו.

It's purely altruistic.

הוא אלטרויסט טהור.

And it's not designed just to satisfy the desires of one person, the user,

והוא לא עוצב לשם מימוש רצונות של אדם אחד בלבד,המשתמש,

but in fact it has to respect the preferences of everybody.

אלא לקחת בחשבון את העדפות של כולם.

So it can deal with a certain amount of nastiness,

כך, הוא יכול להתמודד עם רמה מסוימת של רוע,

and it can even understand that your nastiness, for example,

והוא אפילו יכול להבין את ההתנהגות הרעה שלך.

you may take bribes as a passport official

למשל, אתה אולי לוקח שוחד בתור פקיד דרכונים,

because you need to feed your family and send your kids to school.

בגלל שאתה צריך להאכיל את משפחתך ולשלוח את ילדיך לביה''ס.

It can understand that; it doesn't mean it's going to steal.

הוא יכול להבין זאת. אין זה אומר שהוא בעצמו יגנוב.

In fact, it'll just help you send your kids to school.

ההבנה שלו רק תעזור לך לשלוח את הילדים לב''ס.

We are also computationally limited.

אנחנו גם מוגבלים בתחום החישובים.

Lee Sedol is a brilliant Go player,

לי סדול הוא שחקן גו מבריק,

but he still lost.

אבל הוא עדיין הפסיד.

So if we look at his actions, he took an action that lost the game.

אז אם נתבונן בצעדיו, הוא עשה צעד שהוביל להפסד.

That doesn't mean he wanted to lose.

זה לא אומר שהוא רצה להפסיד.

So to understand his behavior,

לכן, על מנת להבין את התנהגותו,

we actually have to invert through a model of human cognition

עלינו לרדת לפרטי המודל הקוגניטיבי האנושי

that includes our computational limitations -- a very complicated model.

שכולל את המגבלות החישוביות שלנו - וזה מודל מסובך מאוד.

But it's still something that we can work on understanding.

אבל, זה עדיין משהו שאנחנו יכולים לנסות להבין.

Probably the most difficult part, from my point of view as an AI researcher,

אולי החלק הקשה ביותר עבורי כחוקר ב''מ

is the fact that there are lots of us,

הוא העובדה שאנחנו רבים,

and so the machine has to somehow trade off, weigh up the preferences

ולכן המכונה חייבת איכשהו לנתב ולקחת בחשבון את העדפות

of many different people,

של המון אנשים שונים.

and there are different ways to do that.

וישנן דרכים שונות לעשות זאת.

Economists, sociologists, moral philosophers have understood that,

כלכלנים, סוציולוגים, פילוסופים חוקרי מוסר הבינו זאת

and we are actively looking for collaboration.

ואנחנו מחפשים את שיתוף הפעולה באופן פעיל.

Let's have a look and see what happens when you get that wrong.

בוא נראה מה קורה כאשר לא מבינים את זה נכונה.

So you can have a conversation, for example,

נגיד שאתם מנהלים שיחה

with your intelligent personal assistant

עם העוזר האישי התבוני שלכם,

that might be available in a few years' time.

אשר יכול להיות זמין בעוד כמה שנים.

Think of a Siri on steroids.

תחשבו על סירי על סטרואידים.

So Siri says, "Your wife called to remind you about dinner tonight."

אז סירי אומרת, "אישתך התקשרה להזכיר על ארוחת הערב".

And of course, you've forgotten. "What? What dinner?

וכמובן אתם שכחתם. "מה? איזה ארוחה?

What are you talking about?"

על מה אתה מדבר?"

"Uh, your 20th anniversary at 7pm."

"אה, יום הנישואין ה-20 שלכם ב- 19:00"

"I can't do that. I'm meeting with the secretary-general at 7:30.

"אני לא יכול. יש לי פגישה עם המנכ''ל ב- 19:30.

How could this have happened?"

איך זה היה יכול לקרות?"

"Well, I did warn you, but you overrode my recommendation."

"הזכרתי לך, אבל אתה התעלמת מההמלצה שלי".

"Well, what am I going to do? I can't just tell him I'm too busy."

"טוב, אזה מה אני אעשה? אני לא יכול פשוט לומר לו שאני עסוק."

"Don't worry. I arranged for his plane to be delayed."

"אל תדאג. דאגתי שיהיה לו עיכוב בטיסה".

(Laughter)

(צחוק)

"Some kind of computer malfunction."

"סוג של תקלת מחשב".

(Laughter)

(צחוק)

"Really? You can do that?"

"באמת? אתה יכול לעשות את זה?"

"He sends his profound apologies

"הוא שולח את התנצלותו העמוקה

and looks forward to meeting you for lunch tomorrow."

ומצפה לפגוש אותך מחר לארוחת הצהרים".

(Laughter)

(צחוק)

So the values here -- there's a slight mistake going on.

אז מבחינת הערכים פה -- ישנו שיבוש קל.

This is clearly following my wife's values

זה בבירור תואם לערכיה של אישתי -

which is "Happy wife, happy life."

"אישה מאושרת- חיים מאושרים".

(Laughter)

(צחוק)

It could go the other way.

זה היה יכול ללכת גם לכיוון אחר.

You could come home after a hard day's work,

נניח שחזרתם הביתה אחרי יום עבודה קשה

and the computer says, "Long day?"

והמחשב שואל "יום ארוך?"

"Yes, I didn't even have time for lunch."

"כן, אפילו לא היה לי זמן לאכול צהרים".

"You must be very hungry."

"אתה בטח מאוד רעב".

"Starving, yeah. Could you make some dinner?"

כן, גווע מרעב. תוכל לבשל ארוחת ערב?"

"There's something I need to tell you."

"יש משהו שאני חייב לספר לך"

(Laughter)

(צחוק)

"There are humans in South Sudan who are in more urgent need than you."

"יש בני אנוש בדרום סודן שנזקקים הרבה יותר ממך."

(Laughter)

(צחוק)

"So I'm leaving. Make your own dinner."

"אז אני עוזב. תכין לך אוכל בעצמך."

(Laughter)

(צחוק)

So we have to solve these problems,

אז עלינו לפתור את הבעיות הללו

and I'm looking forward to working on them.

ואני מאוד רוצה לעבוד על זה.

There are reasons for optimism.

יש סיבות לאופטימיות.

One reason is,

סיבה ראשונה היא

there is a massive amount of data.

שקיימת כמות אדירה של מידע.

Because remember -- I said they're going to read everything

זוכרים -- אמרתי שהם יקראו את כל

the human race has ever written.

מה שהאנושות כתבה אי פעם?

Most of what we write about is human beings doing things

לרוב אנחנו כותבים אודות מעשי אנשים

and other people getting upset about it.

ואודות אנשים אחרים שמתוסכלים מכך.

So there's a massive amount of data to learn from.

לכן, ישנו נפח ענק של מידע שאפשר ללמוד ממנו.

There's also a very strong economic incentive

ישנו גם מניע כלכלי חזק מאוד

to get this right.

לעשות זאת נכון.

So imagine your domestic robot's at home.

דמיינו את הרובוט הביתי שלכם.

You're late from work again and the robot has to feed the kids,

שוב חזרתם מאוחר מהעבודה והרובוט חייב להאכיל את ילדיכם

and the kids are hungry and there's nothing in the fridge.

הילדים רעבים ואין כלום במקרר.

And the robot sees the cat.

ואז הרובוט מבחין בחתול.

(Laughter)

(צחוק)

And the robot hasn't quite learned the human value function properly,

הרובוט עדיין לא לגמרי למד כיצד הערכים האנושיים עובדים,

so it doesn't understand

לכן איננו מבין

the sentimental value of the cat outweighs the nutritional value of the cat.

שהערך הרגשי של החתול רב על ערכו התזונתי.

(Laughter)

(צחוק)

So then what happens?

אז מה קורה אחרי זה?

Well, it happens like this:

מה שקורה זה ככה:

"Deranged robot cooks kitty for family dinner."

"הרובוט המטורף מבשל את החתול לארוחת ערב משפחתית".

That one incident would be the end of the domestic robot industry.

ארוע אחד שכזה יהיה סופה של תעשיית רובוטים ביתיים.

So there's a huge incentive to get this right

לכן, ישנה סיבה ממש טובה לעשות הכל נכון.

long before we reach superintelligent machines.

הרבה לפני שנגיע לשלב מכונות עם תבונת-על.

So to summarize:

לסיכום:

I'm actually trying to change the definition of AI

אני מנסה לשנות את הגדרת ב''מ,

so that we have provably beneficial machines.

כך שנייצר מכונות שתהיינה בהחלט טובות לנו.

And the principles are:

והרי העקרונות:

machines that are altruistic,

מכונות שהן אלטרויסטיות,

that want to achieve only our objectives,

שרוצות לממש את המשימות שלנו בלבד,

but that are uncertain about what those objectives are,

אבל אינן בטוחות מה הן המשימות הללו

and will watch all of us

ושתתבוננה בכולנו

to learn more about what it is that we really want.

כדי ללמוד יותר על מה שאנחנו רוצים באמת.

And hopefully in the process, we will learn to be better people.

נקווה שתוך כדי כך נלמד להיות אנשים טובים יותר.

Thank you very much.

תודה רבה.

(Applause)

(מחיאות כפיים)

Chris Anderson: So interesting, Stuart.

כריס אנדרסון (כ.א.): זה כל כך מעניין, סטוארט.

We're going to stand here a bit because I think they're setting up

בוא רגע נעמוד פה כי אני חושב שהמארגנים מתכוננים

for our next speaker.

לדובר הבא.

A couple of questions.

מספר שאלות.

So the idea of programming in ignorance seems intuitively really powerful.

רעיון הטמעת בורות מרגיש ממש עוצמתי.

As you get to superintelligence,

אבל, כאשר נגיע לשלב תבונת-על

what's going to stop a robot

מה ימנע מרובוט

reading literature and discovering this idea that knowledge

לעיין בספרות ולגלות את הרעיון שידע

is actually better than ignorance

עדיף על בורות,

and still just shifting its own goals and rewriting that programming?

לשנות את מטרותיו ולשכתב את התוכנה בהתאם?

Stuart Russell: Yes, so we want it to learn more, as I said,

ס.ר.: כן. אנחנו רוצים שילמד יותר, כפי שאמרתי,

about our objectives.

אודות מטרותינו.

It'll only become more certain as it becomes more correct,

זה יתבהר יותר רק כשזה יהיה נכון יותר

so the evidence is there

אז העובדות נמצאות בפניו

and it's going to be designed to interpret it correctly.

והרובוט יעוצב כך שיוכל לפרש אותן נכון.

It will understand, for example, that books are very biased

למשל, הוא יבין שספרים מוטים מאוד

in the evidence they contain.

בעובדות שהם מכילים.

They only talk about kings and princes

הם מדברים רק על המלכים והנסיכות

and elite white male people doing stuff.

ואליטות של גברים לבנים שעושים כל מיני דברים.

So it's a complicated problem,

לכן, זוהי בעיה מורכבת.

but as it learns more about our objectives

אבל, ככל שהרובוט ילמד את מטרותינו

it will become more and more useful to us.

הוא יילך וייעשה מועיל יותר עבורנו.

CA: And you couldn't just boil it down to one law,

כ.א.: אי אפשר לסכם את זה לכדי חוק אחד,

you know, hardwired in:

אתה יודע, משהו חצוב בסלע:

"if any human ever tries to switch me off,

" אם בן אנוש ינסה אי פעם לכבות אותי,

I comply. I comply."

אני מציית. אני מציית."

SR: Absolutely not.

ס.ר.: לגמרי לא.

That would be a terrible idea.

זה יהיה רעיון נוראי.

So imagine that you have a self-driving car

דמיינו שיש לכם רכב אוטומטי

and you want to send your five-year-old

ואתם רוצים לשלוח את ילדיכם בן החמש

off to preschool.

לגן ילדים.

Do you want your five-year-old to be able to switch off the car

הייתם רוצים שהילד יוכל לכבות את הרכב

while it's driving along?

תוך כדי הנסיעה?

Probably not.

כנראה שלא.

So it needs to understand how rational and sensible the person is.

יוצא שהמכונית חייבת להחליט עד כמה הנוסע נבון והגיוני.

The more rational the person,

ככל שהנוסע הגיוני יותר,

the more willing you are to be switched off.

כך המכונית תהיה מוכנה יותר שיכבו אותה.

If the person is completely random or even malicious,

אם הנוסע פזיז וחסר הגיון לחלוטין או אפילו זדוני,

then you're less willing to be switched off.

אז המכונית פחות תרצה שיכבו אותה.

CA: All right. Stuart, can I just say,

ק.א.: בסדר גמור. תרשה לי רק לומר

I really, really hope you figure this out for us.

שאני ממש מקווה שתפתור את זה עבורינו.

Thank you so much for that talk. That was amazing.

תודה רבה על ההרצאה הזאת. זה היה מדהים.

SR: Thank you.

ס.ר: תודה.

(Applause)

(מחיאות כפיים)