What happens when our computers get smarter than we are? | Nick Bostrom

מתרגם: Ido Dekkers מבקר: Tal Dekkers

I work with a bunch of mathematicians, philosophers and computer scientists,

אני עובד עם חבורה של מתמטיקאים, פילוסופים ומדעני מחשב.

and we sit around and think about the future of machine intelligence,

ואנחנו יושבים וחושבים על העתיד של אינטיליגנצית מכונות,

among other things.

בין דברים אחרים.

Some people think that some of these things are sort of science fiction-y,

כמה אנשים חושבים שכמה מהדברים האלה הם סוג של מדע בדיוני,

far out there, crazy.

רחוקים מאוד, משוגעים.

But I like to say,

אבל אני אוהב לומר,

okay, let's look at the modern human condition.

אוקיי, בואו נביט במצב האנושי המודרני.

(Laughter)

(צחוק)

This is the normal way for things to be.

זאת הדרך הנורמלית של הדברים.

But if we think about it,

אבל אם נחשוב על זה,

we are actually recently arrived guests on this planet,

אנחנו למעשה אורחים שהגיעו לאחרונה לפלנטה הזו,

the human species.

המין האנושי.

Think about if Earth was created one year ago,

חשבו על אם כדור הארץ היה נוצר לפני שנה,

the human species, then, would be 10 minutes old.

המין האנושי, אז, היה בן 10 דקות.

The industrial era started two seconds ago.

המהפכה התעשייתית התחילה לפני שתי שניות.

Another way to look at this is to think of world GDP over the last 10,000 years,

דרך נוספת להביט בזה היא לחשוב על התוצר הלאומי הגולמי ב 10,000 השנים האחרונות,

I've actually taken the trouble to plot this for you in a graph.

אני למעשה טרחתי לצייר את זה על גרף בשבילכם.

It looks like this.

זה נראה כך.

(Laughter)

(צחוק)

It's a curious shape for a normal condition.

זו צורה מוזרה למצב נורמלי.

I sure wouldn't want to sit on it.

אני מאוד לא הייתי רוצה לשבת על זה.

(Laughter)

(צחוק)

Let's ask ourselves, what is the cause of this current anomaly?

בואו נשאל את עצמנו, מהי הסיבה לאנומליה הנוכחית?

Some people would say it's technology.

כמה אנשים היו אומרים שזו טכנולוגיה.

Now it's true, technology has accumulated through human history,

עכשיו זה נכון, הטכנולוגיה הצטברה במהלך ההסטוריה האנושית,

and right now, technology advances extremely rapidly --

וממש עכשיו, ההתקדמות הטכנולוגית היא ממש מהירה --

that is the proximate cause,

זו הסיבה המשוערת,

that's why we are currently so very productive.

לכן אנחנו כל כך פרודוקטיביים עכשיו.

But I like to think back further to the ultimate cause.

אבל אני רוצה לחשוב אחורה יותר לסיבה האולטימטיבית.

Look at these two highly distinguished gentlemen:

הביטו בשני האדונים המאוד נבדלים האלה:

We have Kanzi --

יש לנו את קנזי --

he's mastered 200 lexical tokens, an incredible feat.

הוא שולט ב 200 מונחים לשוניים, מטלה מדהימה.

And Ed Witten unleashed the second superstring revolution.

ואד וויטן שיחרר את מהפכת מיתרי העל השניה.

If we look under the hood, this is what we find:

אם נביט מתחת למכסה המנוע, זה מה שנמצא:

basically the same thing.

בעיקרון אותו הדבר.

One is a little larger,

אחד גדול מעט יותר,

it maybe also has a few tricks in the exact way it's wired.

אולי יש לו גם כמה טריקים בצורה בה הוא מחווט.

These invisible differences cannot be too complicated, however,

ההבדלים הבלתי נראים לא יכולים להיות כל כך מסובכים, עם זאת,

because there have only been 250,000 generations

מפני שיש הבדל של 250,000 דורות בלבד

since our last common ancestor.

מאז האב המשותף שלנו.

We know that complicated mechanisms take a long time to evolve.

אנחנו יודעים שלמנגנונים מורכבים לוקח זמן רב להתפתח.

So a bunch of relatively minor changes

אז כמה שינויים יחסית קטנים

take us from Kanzi to Witten,

לוקחים אותנו מקנזי לוויטן,

from broken-off tree branches to intercontinental ballistic missiles.

מענפים שבורים לטילים בין יבשתיים.

So this then seems pretty obvious that everything we've achieved,

אז זה נראה די ברור שכל מה שהשגנו,

and everything we care about,

וכל מה שחשוב לנו,

depends crucially on some relatively minor changes that made the human mind.

תלוי קריטית בשינויים יחסית מינוריים שיצרו את המוח האנושי.

And the corollary, of course, is that any further changes

והמקביל לזה, כמובן, זה שכל שינוים עתידיים

that could significantly change the substrate of thinking

שיכולים להשפיע משמעותית על התשתית של החשיבה

could have potentially enormous consequences.

יכולים פוטנציאלית להיות בעלי תוצאות עצומות.

Some of my colleagues think we're on the verge

כמה מעמיתי חושבים שאנחנו על סף

of something that could cause a profound change in that substrate,

משהו שיוכל לגרום לשינוי משמעותי בתשתית,

and that is machine superintelligence.

ושהדבר זה הוא בינת על של מכונות.

Artificial intelligence used to be about putting commands in a box.

בינה מלאכותית היתה לשים פקודות במכונה.

You would have human programmers

הייתם צריכים מתכנתים אנושיים

that would painstakingly handcraft knowledge items.

שיבנו בעבודה קשה את פריטי הידע.

You build up these expert systems,

אתם בונים את המערכות המתמחות האלו,

and they were kind of useful for some purposes,

והן סוג של יעילות למטרות מסויימות,

but they were very brittle, you couldn't scale them.

אבל הן היו מאוד שבירות, לא יכולתם להגדיל אותן.

Basically, you got out only what you put in.

בעיקרון, קיבלתם רק מה שהכנסתם.

But since then,

אבל מאז,

a paradigm shift has taken place in the field of artificial intelligence.

היה שינוי פרדיגמה שהתרחש בשדה של בינה מלאכותית.

Today, the action is really around machine learning.

היום, הפעילות סובבת סביב לימוד מכונה.

So rather than handcrafting knowledge representations and features,

אז במקום לייצר יצוג ותכונות של ידע,

we create algorithms that learn, often from raw perceptual data.

יצרנו אלגוריתמים שלומדים, הרבה פעמים ממידע תפישתי גולמי.

Basically the same thing that the human infant does.

בעיקרון אותו הדבר שתינוקות אנושיים עושים.

The result is A.I. that is not limited to one domain --

התוצאה היא ב"מ שלא מוגבלת לתחום אחד --

the same system can learn to translate between any pairs of languages,

אותה מערכת יכולה ללמוד לתרגם בין כל זוג שפות,

or learn to play any computer game on the Atari console.

או ללמוד לשחק כל משחק מחשב על קונסולת האטארי.

Now of course,

עכשיו כמובן,

A.I. is still nowhere near having the same powerful, cross-domain

ב"מ עדיין לא קרובה ליכולות חוצות התחומים והעוצמה

ability to learn and plan as a human being has.

והיכולת ללמוד ולתכנן כמו בני אדם.

The cortex still has some algorithmic tricks

לקורטקס עדיין יש כמה טריקים אלגוריתמיים

that we don't yet know how to match in machines.

שאנחנו עדיין לא יודעים איך לדמות במכונות.

So the question is,

אז השאלה היא,

how far are we from being able to match those tricks?

כמה רחקו אנחנו מלהיות מסוגלים להשתוות לטריקים האלה?

A couple of years ago,

לפני כמה שנים,

we did a survey of some of the world's leading A.I. experts,

עשינו סקר של כמה ממומחי הב"מ המובילים בעולם,

to see what they think, and one of the questions we asked was,

כדי לראות מה הם חושבים, ואחת השאלות ששאלנו היתה,

"By which year do you think there is a 50 percent probability

"באיזו שנה אתם חושבים שיש הסתברות של 50 אחוז

that we will have achieved human-level machine intelligence?"

שנגיע לרמת בינה אנושית במכונות?"

We defined human-level here as the ability to perform

הגדרנו רמת בינה אנושית פה כיכולת לבצע

almost any job at least as well as an adult human,

כמעט כל עבודה בצורה טובה לפחות כמו אדם בוגר,

so real human-level, not just within some limited domain.

אז רמה אנושית אמיתית, לא רק בתוך תחום מסויים.

And the median answer was 2040 or 2050,

והתוצאה החציונית היתה בין 2040 ל 2050,

depending on precisely which group of experts we asked.

תלוי בדיוק באיזו קבוצת מומחים שאלנו.

Now, it could happen much, much later, or sooner,

עכשיו, זה יכול לקרות הרבה הרבה יותר מאוחר, או מוקדם,

the truth is nobody really knows.

האמת היא שאף אחד לא באמת יודע.

What we do know is that the ultimate limit to information processing

מה שאנחנו כן יודעים זה שהסף האולטימטיבי לעיבוד מידע

in a machine substrate lies far outside the limits in biological tissue.

בתשתית המכונה נמצא מחוץ למגבלות ברקמה ביולוגית.

This comes down to physics.

זה בסופו של דבר עניין של פיזיקה.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

ניורון ביולוגי יורה, אולי, ב 200 הרץ, 200 פעמים בשניה.

But even a present-day transistor operates at the Gigahertz.

אבל אפילו טרנזיסטור היום פועל בגיגה הרצים.

Neurons propagate slowly in axons, 100 meters per second, tops.

הניורונים מתפשטים לאט באקסונים 100 מטר בשניה מקסימום.

But in computers, signals can travel at the speed of light.

אבל במחשבים, האות יכול לנוע במהירות האור.

There are also size limitations,

יש גם מגבלות גודל,

like a human brain has to fit inside a cranium,

כמו שמוח אנושי חייב להתאים לתוך הגולגולת,

but a computer can be the size of a warehouse or larger.

אבל מחשב יכול להיות בגודל של מחסן או גדול יותר.

So the potential for superintelligence lies dormant in matter,

אז הפוטנציאל לבינת על נמצא רדום בתוך החומר,

much like the power of the atom lay dormant throughout human history,

בדומה לכוח האטום שנמצא רדום במהלך ההסטוריה האנושית,

patiently waiting there until 1945.

בסבלנות עד 1945,

In this century,

במאה הזו,

scientists may learn to awaken the power of artificial intelligence.

מדענים אולי ילמדו להעיר את הכוח של בינה מלאכותית.

And I think we might then see an intelligence explosion.

ואני חושב שאולי נראה התפוצצות בינה.

Now most people, when they think about what is smart and what is dumb,

עכשיו רוב האנשים, כשהם חושבים על מה זה חכם ומה טיפש,

I think have in mind a picture roughly like this.

אני חושב שיש בראשם תמונה בערך כזו.

So at one end we have the village idiot,

אז בצד אחד יש לנו את טיפש הכפר,

and then far over at the other side

ואז הרחק בצד השני

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

יש לנו את אד וויטן, או אלברט איינשטיין, או מי שהגורו החביב עליכם.

But I think that from the point of view of artificial intelligence,

אבל אני חושב שמנקודת המבט של בינה מלאכותית,

the true picture is actually probably more like this:

התמונה האמיתית היא למעשה יותר דומה לזה:

AI starts out at this point here, at zero intelligence,

ב"מ מתחילה בנקודה הזו פה, באפס בינה,

and then, after many, many years of really hard work,

ואז, אחרי הרבה, הרבה, שנים של עבודה קשה,

maybe eventually we get to mouse-level artificial intelligence,

אולי לבסוף נגיע לרמת בינה של עכבר,

something that can navigate cluttered environments

משהו שיכול לנווט בסביבות מורכבות

as well as a mouse can.

כמו שעכבר יכול.

And then, after many, many more years of really hard work, lots of investment,

ואז, אחרי עוד הרבה הרבה שנים של עבודה ממש קשה, הרבה השקעות,

maybe eventually we get to chimpanzee-level artificial intelligence.

אולי לבסוף נגיע לרמת בינה של שימפנזה.

And then, after even more years of really, really hard work,

ואז, אחרי אפילו יותר שנים של עבודה ממש ממש קשה,

we get to village idiot artificial intelligence.

נגיע לרמה של אידיוט הכפר.

And a few moments later, we are beyond Ed Witten.

וכמה רגעים אחר כך, אנחנו מעבר לאד וויטן.

The train doesn't stop at Humanville Station.

הרכבת לא עוצרת בעיר בני האדם,

It's likely, rather, to swoosh right by.

רוב הסיכוים שהיא תחלוף ביעף.

Now this has profound implications,

עכשיו יש לזה השלכות עמוקות,

particularly when it comes to questions of power.

בעיקר כשזה מגיע לשאלות של כוח.

For example, chimpanzees are strong --

לדוגמה, שימפנזים חזקים --

pound for pound, a chimpanzee is about twice as strong as a fit human male.

קילו לקילו, שימפנזה חזקה בערך פי שתיים מגבר אנושי.

And yet, the fate of Kanzi and his pals depends a lot more

ועדיין, הגורל של קנזי וחבריו תלוי הרבה יותר

on what we humans do than on what the chimpanzees do themselves.

במה שאנשים יעשו מאשר במה שהשימפנזות יעשו בעצמן.

Once there is superintelligence,

ברגע שתהייה בינת על,

the fate of humanity may depend on what the superintelligence does.

גורל האנושות אולי יהיה תלוי במה שבינת העל תעשה.

Think about it:

חשבו על זה:

Machine intelligence is the last invention that humanity will ever need to make.

בינת מכונות היא ההמצאה האחרונה שהמין האנושי יצטרך אי פעם לעשות.

Machines will then be better at inventing than we are,

מכונות יהיו אז טובות יותר בהמצאה מאיתנו,

and they'll be doing so on digital timescales.

והן יעשו את זה בטווחי זמן דיגיטליים.

What this means is basically a telescoping of the future.

מה שזה אומר זה בעיקרון טלסקופ של העתיד.

Think of all the crazy technologies that you could have imagined

חשבו על כל הטכנולוגיות המשוגעות שתוכלו לדמיין

maybe humans could have developed in the fullness of time:

שאולי אנשים היו יכולים לפתח במשך הזמן:

cures for aging, space colonization,

תרופות להזדקנות, ישוב החלל,

self-replicating nanobots or uploading of minds into computers,

ננו רובוטים שמשכפלים את עצמם או העלאת התודעה שלנו למחשבים,

all kinds of science fiction-y stuff

כל מיני סוגים של מדע בדיוני

that's nevertheless consistent with the laws of physics.

שעדיין מתאים לחוקי הפיזיקה.

All of this superintelligence could develop, and possibly quite rapidly.

את כל זה בינת העל הזו יכולה לפתח, ויכול להיות שדי מהר.

Now, a superintelligence with such technological maturity

עכשיו בינת על עם כזו בגרות טכנולוגית

would be extremely powerful,

תהיה חזקה מאוד,

and at least in some scenarios, it would be able to get what it wants.

ולפחות בכמה מקרים, היא תהיה מסוגלת להשיג מה שהיא רוצה.

We would then have a future that would be shaped by the preferences of this A.I.

אז יהיו לנו עתיד שיהיה מעוצב על ידי ההעדפות של ב"מ זו.

Now a good question is, what are those preferences?

עכשיו שאלה טובה היא, מהן ההעדפות האלו?

Here it gets trickier.

פה זה נעשה מסובך.

To make any headway with this,

כדי להתקדם בכלל עם זה,

we must first of all avoid anthropomorphizing.

אנחנו חייבים ראשית להמנע מאנתרופומורפזינג.

And this is ironic because every newspaper article

וזה אירוני מפני שבכל מאמר בעיתון

about the future of A.I. has a picture of this:

על העתיד של ב"מ יש את התמונה הזו:

So I think what we need to do is to conceive of the issue more abstractly,

אז אני חושב שמה שאנחנו צריכים לעשות זה לחשוב על הבעיה הזו בצורה יותר מופשטת,

not in terms of vivid Hollywood scenarios.

לא במונחים של תסריטים הוליוודיים.

We need to think of intelligence as an optimization process,

אנחנו צריכים לחשוב על בינה כתהליך מיטוב,

a process that steers the future into a particular set of configurations.

תהליך שמנתב את העתיד לסט מסויים של קונפיגורציות.

A superintelligence is a really strong optimization process.

בינת על היא באמת תהליך מיטוב מאוד חזק.

It's extremely good at using available means to achieve a state

היא ממש טובה בשימוש באמצעים זמינים כדי להשיג מצב

in which its goal is realized.

בו המטרה שלה מושגת.

This means that there is no necessary connection between

זה אומר שאין חיבור הכרחי בין

being highly intelligent in this sense,

להיות מאוד נבון במובן הזה,

and having an objective that we humans would find worthwhile or meaningful.

ושתהיה לה מטרה שאנחנו האנשים נמצא כדאית או משמעותית.

Suppose we give an A.I. the goal to make humans smile.

נניח שניתן לב"מ את המטרה לגרום לאנשים לחייך.

When the A.I. is weak, it performs useful or amusing actions

כשהב"מ חלשה, היא מבצעת פעולות מועילות או משעשעות

that cause its user to smile.

שגורמות למשתמשים שלה לחייך.

When the A.I. becomes superintelligent,

כשהב"מ הופכת לבינת על,

it realizes that there is a more effective way to achieve this goal:

היא מבינה שיש דרך יותר יעילה כדי להשיג את המטרה:

take control of the world

להשתלט על העולם

and stick electrodes into the facial muscles of humans

ולתקוע אלקטרודות בשרירי הפנים של אנשים

to cause constant, beaming grins.

כדי לגרום לפרצופים מחייכים בקביעות.

Another example,

דוגמה נוספת,

suppose we give A.I. the goal to solve a difficult mathematical problem.

נניח שניתן לב"מ את המטרה לפתור בעיה מתמטית מסובכת.

When the A.I. becomes superintelligent,

כשהב"מ הופכת לבינת על,

it realizes that the most effective way to get the solution to this problem

היא מבינה שהדרך הכי אפקטיבית לפתור את הבעיה הזו

is by transforming the planet into a giant computer,

היא להפוך את הפלנטה למחשב עצום,

so as to increase its thinking capacity.

כדי להגביר את יכולת החשיבה.

And notice that this gives the A.I.s an instrumental reason

ושימו לב שזה נותן לב"מ סיבה משמעותית

to do things to us that we might not approve of.

לעשות דברים לנו שאולי לא נסכים להם.

Human beings in this model are threats,

אנשים במודל הזה הם איומים,

we could prevent the mathematical problem from being solved.

נוכל למנוע מהבעיה המתמטית מלהפתר.

Of course, perceivably things won't go wrong in these particular ways;

כמובן, יכול להיות שהדברים לא ילכו לכיוונים לא טובים בדרכים האלה;

these are cartoon examples.

אלה דוגמאות הנפשה.

But the general point here is important:

אבל הנקודה העיקרית פה היא חשובה:

if you create a really powerful optimization process

אם אתם יוצרים תהליך מיטוב ממש חזק

to maximize for objective x,

כדי למקסם את מטרה X,

you better make sure that your definition of x

כדאי שתדאגו שההגדרה שלכם ל X

incorporates everything you care about.

כוללת כל מה שחשוב לכם.

This is a lesson that's also taught in many a myth.

זה שיעור שגם מסופר בהרבה מיתוסים.

King Midas wishes that everything he touches be turned into gold.

המלך מידאס רצה שכל מה שיגע בו יהפוך לזהב.

He touches his daughter, she turns into gold.

הוא נוגע בביתו, והיא הופכת לזהב.

He touches his food, it turns into gold.

הוא נוגע באוכל, והוא הופך לזהב.

This could become practically relevant,

זה יכול להפוך לרלוונטי במיוחד,

not just as a metaphor for greed,

לא רק כמטאפורה לתאוות בצע,

but as an illustration of what happens

אלא כהדגמה למה שקורה

if you create a powerful optimization process

אם אתם יוצרים תהליך מיטוב חזק

and give it misconceived or poorly specified goals.

ונותנים לו מטרות לא מובנות או לא מוגדרות היטב.

Now you might say, if a computer starts sticking electrodes into people's faces,

עכשיו אתם אולי תגידו, אם מחשב יתחיל לתקוע אלקטרודות לתוך פנים של אנשים,

we'd just shut it off.

פשוט נכבה אותו.

A, this is not necessarily so easy to do if we've grown dependent on the system --

ראשית, זה לא בהכרח יהיה פשוט לעשות אם הפכנו לתלויים במערכת --

like, where is the off switch to the Internet?

כמו, איפה מתג הכיבוי לאינטרנט?

B, why haven't the chimpanzees flicked the off switch to humanity,

שנית, למה השימפנזים לא כיבו את המתג של האנושות,

or the Neanderthals?

או הנאנדרטלים?

They certainly had reasons.

בהחלט היו להם סיבות.

We have an off switch, for example, right here.

יש לנו מתג כיבוי, לדוגמה, ממש פה.

(Choking)

(חנק)

The reason is that we are an intelligent adversary;

הסיבה היא שאנחנו יריב נבון;

we can anticipate threats and plan around them.

אנחנו יכולים לצפות איומים ולתכנן סביבם.

But so could a superintelligent agent,

אבל כך גם תוכל בינת העל,

and it would be much better at that than we are.

והיא תהיה טובה בזה מאיתנו.

The point is, we should not be confident that we have this under control here.

הנקודה היא, אנחנו לא צריכים להיות בטוחים שנוכל לשלוט במצב הזה.

And we could try to make our job a little bit easier by, say,

ונוכל לנסות לעשות את העבודה שלנו מעט קלה יותר על ידי, נגיד,

putting the A.I. in a box,

לשים את הב"מ בקופסה,

like a secure software environment,

כמו סביבת תוכנה מאובטחת,

a virtual reality simulation from which it cannot escape.

הדמיית מציאות מדומה ממנה היא לא יכולה לברוח.

But how confident can we be that the A.I. couldn't find a bug.

אבל כמה בטוחים אנחנו יכולים להיות שהב"מ לא תוכל למצוא באג.

Given that merely human hackers find bugs all the time,

בהתחשב בזה שהאקרים אנושיים מוצאים באגים כל הזמן,

I'd say, probably not very confident.

היתי אומר, שכנראה לא כל כך בטוחים.

So we disconnect the ethernet cable to create an air gap,

אז ננתק את כבל הרשת כדי ליצור מרווח אויר,

but again, like merely human hackers

אבל שוב, כמו האקרים אנושיים רגילים

routinely transgress air gaps using social engineering.

שעוברים פערי אויר באופן שוטף בעזרת הנדסה חברתית.

Right now, as I speak,

ממש עכשיו, כשאני מדבר,

I'm sure there is some employee out there somewhere

אני בטוח שיש איזשהו עובדת אי שם

who has been talked into handing out her account details

ששכנעו אותה לתת את פרטי החשבון שלה

by somebody claiming to be from the I.T. department.

על ידי מישהו שטוען שהוא ממחלקת מערכות המידע.

More creative scenarios are also possible,

תרחישים יותר יצירתיים הם גם אפשריים,

like if you're the A.I.,

כמו אם אתם הב"מ,

you can imagine wiggling electrodes around in your internal circuitry

אתם יכולים לדמיין שינוי אלקטרודות בחיווט הפנימי שלכם

to create radio waves that you can use to communicate.

כדי ליצור גלי רדיו בהם אתם יכולים להשתמש כדי לתקשר.

Or maybe you could pretend to malfunction,

או אולי תוכלו להעמיד פנים שאתם מקולקלים,

and then when the programmers open you up to see what went wrong with you,

ואז כשהמתכנת יפתח אתכם לראות מה לא תקין איתכם,

they look at the source code -- Bam! --

הם יביטי בקוד המקור -- באם! --

the manipulation can take place.

המניפולציה יכולה להתרחש.

Or it could output the blueprint to a really nifty technology,

או אולי היא תוכל להוציא את התוכנית שלה לטכנולוגיה ממש מגניבה,

and when we implement it,

וכשתיישמו אותה,

it has some surreptitious side effect that the A.I. had planned.

יהיה לה אפקט משנה חשאי שהב"מ תכננה.

The point here is that we should not be confident in our ability

הנקודה פה היא שאנחנו לא צריכים להיות בטוחים ביכולת שלנו

to keep a superintelligent genie locked up in its bottle forever.

לשמור על שד בינת העל נעול בבקבוק שלו לעד.

Sooner or later, it will out.

במוקדם או במאוחר, הוא יצא.

I believe that the answer here is to figure out

אני מאמין שהתשובה פה היא להבין

how to create superintelligent A.I. such that even if -- when -- it escapes,

איך ליצור בינת על כך שאפילו אם -- מתי - שהיא תברח,

it is still safe because it is fundamentally on our side

זה עדיין בטוח מפני שהיא באופן בסיסי לצידנו

because it shares our values.

מפני שהיא חולקת את הערכים שלנו.

I see no way around this difficult problem.

אני לא רואה דרך לעקוף את הבעיה המסובכת הזו.

Now, I'm actually fairly optimistic that this problem can be solved.

עכשיו, אני למעשה די אופטימי שהבעיה הזו יכולה להפתר.

We wouldn't have to write down a long list of everything we care about,

לא נהיה צריכים לכתוב רשימה ארוכה של כל מה שאכפת לנו ממנו,

or worse yet, spell it out in some computer language

או גרוע יותר, לאיית את זה בשפת מחשב כלשהיא

like C++ or Python,

כמו C++ או פייתון,

that would be a task beyond hopeless.

זו תהיה משימה מעבר לחסרת תקווה.

Instead, we would create an A.I. that uses its intelligence

במקום, אנחנו צריכים ליצור ב"מ שמשמשת בבינה שלה

to learn what we value,

כדי ללמוד מה אנחנו מעריכים,

and its motivation system is constructed in such a way that it is motivated

ומערכת המוטיבציה שלה מורכבת בדרך כזו שיש לה מוטיבציה

to pursue our values or to perform actions that it predicts we would approve of.

לרדוף אחרי הערכים שלנו כדי לבצע פעולות שהיא צופה שנסכים להן.

We would thus leverage its intelligence as much as possible

לכן ננצל את הבינה שלה ככל האפשר

to solve the problem of value-loading.

כדי לפתור בעיות של הטענת ערכים.

This can happen,

זה יכול לקרות,

and the outcome could be very good for humanity.

והתוצאה תוכל להיות מאוד טובה לאנושות.

But it doesn't happen automatically.

אבל זה לא קורה אוטומטית.

The initial conditions for the intelligence explosion

התנאים ההתחלתיים להתפוצצות הבינה

might need to be set up in just the right way

אולי צריכים להבנות בדיוק בדרך הנכונה

if we are to have a controlled detonation.

אם אנחנו רוצים שיהיה לנו פיצוץ מבוקר.

The values that the A.I. has need to match ours,

הערכים שיש לב"מ צריכים להתאים לשלנו,

not just in the familiar context,

לא רק בהקשר המוכר,

like where we can easily check how the A.I. behaves,

כמו איפה אנחנו יכולים לבדוק בקלות איך הב"מ מתנהגת,

but also in all novel contexts that the A.I. might encounter

אלא גם בהקשרים הכי חדשים שהב"מ אולי תיתקל בהם

in the indefinite future.

בעתיד הלא בטוח.

And there are also some esoteric issues that would need to be solved, sorted out:

ויש גם כמה נושאים איזוטריים שנצטרך לפתור, לארגן:

the exact details of its decision theory,

הפרטים המדוייקים של תאוריית ההחלטות שלה,

how to deal with logical uncertainty and so forth.

איך היא מתמודדת עם חוסר ודאות לוגי וכך האלה.

So the technical problems that need to be solved to make this work

אז הבעיות הטכניות שצריכות להפתר כדי לגרום לזה לעבוד

look quite difficult --

נראים די קשים --

not as difficult as making a superintelligent A.I.,

לא קשים כמו לעשות ב"מ סופר אינטיליגנטית,

but fairly difficult.

אבל די קשים.

Here is the worry:

הנה הדאגה:

Making superintelligent A.I. is a really hard challenge.

ליצור ב"מ סופר אינטיליגנטית זה אתגר מאוד קשה.

Making superintelligent A.I. that is safe

ליצור ב"מ סופר אינטיליגנטית שהיא בטוחה

involves some additional challenge on top of that.

כולל כמה אתגרים נוספים מעבר לזה.

The risk is that if somebody figures out how to crack the first challenge

הסיכון הוא שמישהו יבין איך לפצח את האתגר הראשון

without also having cracked the additional challenge

בלי לפתור את האתגר הנוסף

of ensuring perfect safety.

של להבטיח בטיחות מושלמת.

So I think that we should work out a solution

אז אני חושב שאנחנו צריכים למצוא פיתרון

to the control problem in advance,

לבעית השליטה מראש,

so that we have it available by the time it is needed.

כך שהיא תהיה זמינה בזמן שמצטרך אותה.

Now it might be that we cannot solve the entire control problem in advance

עכשיו אולי לא נוכל לפתור את כל בעיית השליטה מראש

because maybe some elements can only be put in place

מפני שאולי כמה אלמנטים יכולים להיות במקום

once you know the details of the architecture where it will be implemented.

רק ברגע שאנחנו יודעים את הפרטים של הארכיטקטורה בה היא תיושם.

But the more of the control problem that we solve in advance,

אבל ככל שנפתור יותר מבעית השליטה מראש,

the better the odds that the transition to the machine intelligence era

הסיכויים יהיו טובים יותר שהמעבר לעידן בינת המכונה

will go well.

יעבור טוב.

This to me looks like a thing that is well worth doing

זה בשבילי נראה כמו משהו ששווה לעשות

and I can imagine that if things turn out okay,

ואני יכול לדמיין שאם דברים ילכו טוב,

that people a million years from now look back at this century

שאנשים בעוד מליון שנה יביטו אחורה במאה הזו

and it might well be that they say that the one thing we did that really mattered

ואולי יסתבר שהדבר היחידי שעשינו ובאמת שינה

was to get this thing right.

היה לעשות את זה נכון.

Thank you.

תודה לכם.

(Applause)

(מחיאות כפיים)