Can we build AI without losing control over it? | Sam Harris

מתרגם: Yuri Dulkin מבקר: Sigal Tifferet

I'm going to talk about a failure of intuition

אני אדבר על כשל באינטואיציה

that many of us suffer from.

שרבים מאיתנו סובלים ממנו.

It's really a failure to detect a certain kind of danger.

זהו למעשה כשל בזיהוי סכנה מסוג מסויים.

I'm going to describe a scenario

אני אתאר תרחיש

that I think is both terrifying

שאני חושב שהוא גם מבעית

and likely to occur,

וגם סביר שיתרחש,

and that's not a good combination,

וזה לא שילוב טוב,

as it turns out.

כפי שמסתבר.

And yet rather than be scared, most of you will feel

ולמרות זאת, במקום לפחד, רובכם תרגישו

that what I'm talking about is kind of cool.

שמה שאני מדבר עליו הוא די מגניב.

I'm going to describe how the gains we make

אני אתאר איך ההתקדמויות שלנו

in artificial intelligence

בתחום הבינה המלאכותית

could ultimately destroy us.

עלולות לבסוף להשמיד אותנו.

And in fact, I think it's very difficult to see how they won't destroy us

ולמעשה, אני חושב שקשה מאוד לראות איך הם לא ישמידו אותנו,

או ימריצו אותנו להשמיד את עצמנו.

or inspire us to destroy ourselves.

And yet if you're anything like me,

ובכל זאת, אם אתם כמוני,

you'll find that it's fun to think about these things.

אתם תגלו שכיף לחשוב על דברים כאלה.

And that response is part of the problem.

והתגובה הזו היא חלק מהבעיה.

OK? That response should worry you.

התגובה הזו צריכה להדאיג אתכם.

And if I were to convince you in this talk

אם הייתי צריך לשכנע אתכם בשיחה הזו

that we were likely to suffer a global famine,

שאנחנו צפויים לסבול מרעב עולמי,

either because of climate change or some other catastrophe,

בגלל שינויי אקלים או קטסטרופה אחרת,

and that your grandchildren, or their grandchildren,

ושסביר מאוד שהנכדים שלכם, או הנכדים שלהם, יחיו כך

are very likely to live like this,

you wouldn't think,

לא הייתם חושבים,

"Interesting.

"מעניין.

I like this TED Talk."

"אני אוהב את ההרצאה הזו."

Famine isn't fun.

רעב זה לא כיף.

Death by science fiction, on the other hand, is fun,

מוות באמצעות מדע בדיוני, לעומת זאת, הוא כיף.

and one of the things that worries me most about the development of AI at this point

ואחד הדברים שהכי מדאיגים אותי בנוגע להתפתחות של בינה מלאכותית כיום,

הוא שאנחנו לא מסוגלים לגייס את התגובה הרגשית המתאימה

is that we seem unable to marshal an appropriate emotional response

to the dangers that lie ahead.

לסכנות שצפויות לנו.

I am unable to marshal this response, and I'm giving this talk.

אני לא מסוגל לגייס את התגובה הזו, ואני מעביר את ההרצאה הזו.

It's as though we stand before two doors.

זה כאילו שאנחנו ניצבים בפני שתי דלתות.

Behind door number one,

מאחורי דלת מספר אחת,

we stop making progress in building intelligent machines.

אנחנו מפסיקים להתקדם בבניית מכונות אינטליגנטיות.

Our computer hardware and software just stops getting better for some reason.

חומרות ותוכנות המחשב שלנו מפסיקות להשתפר מסיבה כלשהי.

Now take a moment to consider why this might happen.

עכשיו קחו לעצמכם רגע לשקול מדוע זה יכול לקרות.

I mean, given how valuable intelligence and automation are,

בהתחשב בערך הרב של אינטלגינציה ואוטומציה עבורנו,

we will continue to improve our technology if we are at all able to.

אנחנו נמשיך לשפר את הטכנולוגיה, אם נהיה מסוגלים לכך.

What could stop us from doing this?

מה יכול לעצור אותנו מלעשות זאת?

A full-scale nuclear war?

מלחמה גרעינית כוללת?

A global pandemic?

מגיפה כלל-עולמית?

An asteroid impact?

פגיעת אסטרואיד?

Justin Bieber becoming president of the United States?

ג'סטין ביבר ממונה לנשיא ארה"ב?

(Laughter)

(צחוק)

The point is, something would have to destroy civilization as we know it.

הנקודה היא, משהו יצטרך להשמיד את הציוויליזציה המוכרת לנו.

You have to imagine how bad it would have to be

אתם חייבים לדמיין כמה נורא זה צריך להיות

to prevent us from making improvements in our technology

בכדי למנוע מאיתנו לבצע שיפורים בטכנולוגיה שלנו

permanently,

לתמיד.

generation after generation.

דור אחרי דור.

Almost by definition, this is the worst thing

כמעט בהגדרה, זהו הדבר הגרוע ביותר

that's ever happened in human history.

שאי-פעם קרה בהיסטוריה האנושית.

So the only alternative,

אז האלטרנטיבה היחידה,

and this is what lies behind door number two,

וזה מה שנמצא מאחורי דלת מספר שתיים,

is that we continue to improve our intelligent machines

היא שנמשיך לשפר את המכונות האינטליגנטיות שלנו

year after year after year.

שנה אחר שנה אחר שנה.

At a certain point, we will build machines that are smarter than we are,

ובנקודה מסוימת, נבנה מכונות שהן חכמות יותר מאיתנו,

and once we have machines that are smarter than we are,

וברגע שיהיו לנו מכונות חכמות מאיתנו,

they will begin to improve themselves.

הן יתחילו לשפר את עצמן.

And then we risk what the mathematician IJ Good called

ואז אנחנו מסתכנים במה שהמתמטיקאי איי. ג'יי. גוד קרא לו

an "intelligence explosion,"

"התפוצצות אינטליגנציה",

that the process could get away from us.

שהתהליך יכול לצאת משליטתנו.

Now, this is often caricatured, as I have here,

לרוב זה מתואר כפי שנראה פה,

as a fear that armies of malicious robots

כפחד מצבאות של רובוטים זדוניים

will attack us.

שיתקפו אותנו.

But that isn't the most likely scenario.

אבל זה לא התרחיש הסביר ביותר.

It's not that our machines will become spontaneously malevolent.

זה לא שהמכונות שלנו יהפכו באופן ספונטני למרושעות.

The concern is really that we will build machines

החשש האמיתי הוא שנבנה מכונות

that are so much more competent than we are

שמוכשרות כל כך הרבה יותר מאיתנו,

that the slightest divergence between their goals and our own

שהסטייה הקטנה ביותר בין המטרות שלנו לשלהן

could destroy us.

עלולה להשמיד אותנו.

Just think about how we relate to ants.

רק תחשבו על היחס שלנו לנמלים.

We don't hate them.

אנחנו לא שונאים אותן.

We don't go out of our way to harm them.

אנחנו לא עושים מאמץ מיוחד לפגוע בהן.

In fact, sometimes we take pains not to harm them.

למעשה, לפעמים אנחנו מתאמצים כדי שלא לפגוע בהן.

We step over them on the sidewalk.

אנחנו צועדים מעליהן במדרכות.

But whenever their presence

אבל ברגע שהנוכחות שלהן

seriously conflicts with one of our goals,

נמצאת בקונפליקט רציני עם אחת המטרות שלנו,

let's say when constructing a building like this one,

למשל כשאנחנו בונים בנין כמו זה,

we annihilate them without a qualm.

אנחנו משמידים אותן ללא יסורי מצפון.

The concern is that we will one day build machines

החשש הוא שיום אחד אנחנו נבנה מכונות

that, whether they're conscious or not,

אשר במודע או שלא,

could treat us with similar disregard.

יוכלו להתייחס אלינו בזלזול דומה.

Now, I suspect this seems far-fetched to many of you.

עכשיו, אני חושד שכל זה נשמע מופרך עבור רבים מכם.

I bet there are those of you who doubt that superintelligent AI is possible,

אני בטוח שיש בכם כאלה הספקנים לגבי האפשרות להגיע לבינה מלאכותית סופר-אינטליגנטית כזו,

much less inevitable.

ובוודאי לחשוב שהיא בלתי נמנעת.

But then you must find something wrong with one of the following assumptions.

אבל אז אתם צריכים למצוא פגם באחת מהנחות היסוד הבאות.

And there are only three of them.

ויש רק שלוש מהן.

Intelligence is a matter of information processing in physical systems.

אינטליגנציה היא ענין של עיבוד מידע במערכות פיזיות.

Actually, this is a little bit more than an assumption.

למעשה, זו קצת יותר מסתם הנחה.

We have already built narrow intelligence into our machines,

אנחנו כבר בנינו אינטליגנציה צרה לתוך המכונות שלנו,

and many of these machines perform

ורבות מהמכונות האלה מתפקדות

at a level of superhuman intelligence already.

ברמות של אינטליגנציה על-אנושית כבר כיום.

And we know that mere matter

ואנחנו יודעים שחומר בלבד

can give rise to what is called "general intelligence,"

יכול לייצר מה שנקרא "אינטליגנציה כללית",

an ability to think flexibly across multiple domains,

היכולת לחשוב בצורה גמישה מעבר לתחומים רבים,

because our brains have managed it. Right?

כי המוח שלנו מצליח לעשות זאת. נכון?

I mean, there's just atoms in here,

הרי יש כאן רק אטומים,

and as long as we continue to build systems of atoms

וכל עוד נמשיך לבנות מערכות של אטומים

that display more and more intelligent behavior,

שמפגינות התנהגות יותר ויותר אינטליגנטית,

we will eventually, unless we are interrupted,

בסוף, אלא אם כן יפריעו לנו,

we will eventually build general intelligence

בסוף, נבנה אינטליגנציה כללית

into our machines.

בתוך המכונות שלנו.

It's crucial to realize that the rate of progress doesn't matter,

זה חיוני להבין שקצב ההתקדמות אינו משנה,

because any progress is enough to get us into the end zone.

כיוון שכל התקדמות מספיקה בכדי להביא אותנו לקו הסיום.

We don't need Moore's law to continue. We don't need exponential progress.

אנחנו לא צריכים את חוק מור בשביל להמשיך. אנחנו לא צריכים התקדמות אקספוננציאלית.

We just need to keep going.

אנחנו רק צריכים להמשיך.

The second assumption is that we will keep going.

ההנחה השניה היא שאנחנו נמשיך.

We will continue to improve our intelligent machines.

אנחנו נמשיך לשפר את המכונות האינטליגנטיות שלנו.

And given the value of intelligence --

ובהתחשב בחשיבות האינטליגנציה –

I mean, intelligence is either the source of everything we value

אינטליגנציה היא המקור של כל מה שיקר לנו

or we need it to safeguard everything we value.

או שאנחנו זקוקים לה בשביל לשמור על כל מה שיקר לנו.

It is our most valuable resource.

זהו המשאב הכי יקר שלנו.

So we want to do this.

אז אנחנו רוצים לעשות את זה.

We have problems that we desperately need to solve.

יש לנו בעיות שאנחנו צריכים לפתור נואשות.

We want to cure diseases like Alzheimer's and cancer.

אנחנו רוצים לרפא מחלות כמו אלצהיימר וסרטן.

We want to understand economic systems. We want to improve our climate science.

אנחנו רוצים להבין מערכות כלכליות. אנחנו רוצים לשפר את מדעי האקלים.

So we will do this, if we can.

אז אנחנו נעשה זאת, אם נוכל.

The train is already out of the station, and there's no brake to pull.

הרכבת כבר יצאה מהתחנה, ואין לה מעצור שנוכל למשוך בו.

Finally, we don't stand on a peak of intelligence,

לבסוף, אנחנו לא עומדים בפסגת האינטליגנציה,

or anywhere near it, likely.

או אפילו קרוב אליה, ככל הנראה.

And this really is the crucial insight.

וזו באמת התובנה הקריטית ביותר.

This is what makes our situation so precarious,

זה מה שהופך את המצב שלנו לכל כך מסוכן,

and this is what makes our intuitions about risk so unreliable.

וזה מה שהופך את האינטואיציות שלנו לגבי הסיכון לכל כך לא אמינות.

Now, just consider the smartest person who has ever lived.

עכשיו, תחשבו על האדם החכם ביותר שחי אי פעם.

On almost everyone's shortlist here is John von Neumann.

כמעט כולם כאן ישימו את ג'ון פון נוימן איפשהו בראש הרשימה.

I mean, the impression that von Neumann made on the people around him,

הרושם שפון נוימן עשה על האנשים סביבו,

and this included the greatest mathematicians and physicists of his time,

וזה כולל כמה מהמתמטיקאים והפיזיקאים הגדולים של זמנו,

is fairly well-documented.

מתועד בצורה טובה למדי.

If only half the stories about him are half true,

אילו חצי מהסיפורים עליו היו חצי נכונים,

there's no question

אין ספק בכלל

he's one of the smartest people who has ever lived.

שהוא אחד האנשים החכמים שחיו עלי אדמות.

So consider the spectrum of intelligence.

אז חשבו על רצף האינטליגנציה.

Here we have John von Neumann.

כאן נמצא ג'ון פון נוימן.

And then we have you and me.

וכאן נמצאים אתם ואני.

And then we have a chicken.

ופה יש לנו תרנגולת.

(Laughter)

(צחוק)

Sorry, a chicken.

מצטער – תרנגולת.

(Laughter)

(צחוק)

There's no reason for me to make this talk more depressing than it needs to be.

אין סיבה שההרצאה הזו תהיה מדכאת יותר מהנדרש.

(צחוק)

(Laughter)

It seems overwhelmingly likely, however, that the spectrum of intelligence

אבל סביר מאוד שרצף האינטליגנציה

extends much further than we currently conceive,

ממשיך הרבה מעבר למה שאנחנו מכירים כיום,

and if we build machines that are more intelligent than we are,

ושאם נבנה מכונות שהן יותר אינטליגנטיות מאיתנו,

they will very likely explore this spectrum

סביר מאוד שהן יחקרו את הרצף הזה

in ways that we can't imagine,

בדרכים שאיננו יכולים לדמיין,

and exceed us in ways that we can't imagine.

ולעלות עלינו בדרכים שאיננו יכולים לדמיין.

And it's important to recognize that this is true by virtue of speed alone.

וחשוב להבין שזה נכון ולו רק בזכות המהירות.

Right? So imagine if we just built a superintelligent AI

נכון? דמיינו שנבנה בינה מלאכותית סופר-אינטליגנטית

that was no smarter than your average team of researchers

שאינה חכמה יותר מצוות ממוצע של חוקרים

at Stanford or MIT.

בסטנפורד או ב-MIT.

Well, electronic circuits function about a million times faster

ובכן, מעגלים אלקטרוניים פועלים בערך פי מיליון מהר יותר ממעגלים ביוכימיים,

than biochemical ones,

so this machine should think about a million times faster

אז המכונה הזו תוכל לחשוב בערך פי מיליון מהר יותר

than the minds that built it.

מהמוחות שבנו אותה.

So you set it running for a week,

אז אתם נותנים לה לרוץ שבוע,

and it will perform 20,000 years of human-level intellectual work,

והיא תבצע 20,000 שנות אדם של עבודה אינטלקטואלית,

week after week after week.

שבוע אחרי שבוע אחרי שבוע.

How could we even understand, much less constrain,

איך נוכל להבין, לא כל שכן להגביל,

a mind making this sort of progress?

מוח שיכול להתקדם כך?

The other thing that's worrying, frankly,

בכנות, הדבר הנוסף שמדאיג,

is that, imagine the best case scenario.

הוא שאם תדמיינו את התרחיש הטוב ביותר,

So imagine we hit upon a design of superintelligent AI

דמיינו שפתאום נתקלנו בתכן של בינה מלאכותית סופר-אינטליגנטית

that has no safety concerns.

שאין בו שום דאגות בטיחותיות.

We have the perfect design the first time around.

יש לנו את התכן המושלם על הפעם הראשונה.

It's as though we've been handed an oracle

כאילו שקיבלנו אוֹרַקְל

that behaves exactly as intended.

שמתנהג בדיוק כפי שאנו מצפים.

Well, this machine would be the perfect labor-saving device.

אז המכונה הזו תהיה המכשיר המושלם לחיסכון בעבודה.

It can design the machine that can build the machine

היא תוכל לתכנן את המכונה שתוכל לבנות את המכונה

that can do any physical work,

שתעשה כל עבודה פיזית,

powered by sunlight,

תופעל בכוח השמש,

more or less for the cost of raw materials.

פחות או יותר במחיר של חומרי הגלם.

So we're talking about the end of human drudgery.

אז אנחנו מדברים על סופה של עבודת הפרך האנושית.

We're also talking about the end of most intellectual work.

אנחנו מדברים גם על סופה של רוב העבודה האינטלקטואלית.

So what would apes like ourselves do in this circumstance?

אז מה קופים כמונו יעשו בנסיבות שכאלו?

Well, we'd be free to play Frisbee and give each other massages.

טוב, נהיה חופשיים לשחק פריסבי ולהעניק אחד לשני עיסויים.

Add some LSD and some questionable wardrobe choices,

תוסיפו קצת אל.אס.די ובחירת לבוש מפוקפקת,

and the whole world could be like Burning Man.

וכל העולם יראה כמו אירוע של ברנינג מאן.

(Laughter)

(צחוק)

Now, that might sound pretty good,

עכשיו, זה אולי נשמע די טוב,

but ask yourself what would happen

אבל תשאלו את עצמכם מה יקרה

under our current economic and political order?

תחת הסדר הכלכלי והפוליטי שלנו היום?

It seems likely that we would witness

נראה סביר שאנחנו נחזה

a level of wealth inequality and unemployment

ברמות של אי-שויון כלכלי ואבטלה

that we have never seen before.

שלא נצפו קודם לכן מעולם.

Absent a willingness to immediately put this new wealth

ללא רצון להשקיע מיד את כל העושר הזה

to the service of all humanity,

לרווחת המין האנושי כולו,

a few trillionaires could grace the covers of our business magazines

מספר טריליונרים יוכלו לקשט את השערים של כתבי העת העסקיים

while the rest of the world would be free to starve.

בזמן ששאר העולם יהיה חופשי לרעוב.

And what would the Russians or the Chinese do

ומה הרוסים והסינים יעשו

if they heard that some company in Silicon Valley

אם הם ישמעו שחברה כלשהי בעמק הסיליקון

was about to deploy a superintelligent AI?

עומדת להשיק בינה מלאכותית סופר-אינטליגנטית?

This machine would be capable of waging war,

המכונה הזו תוכל לנהל מלחמה,

whether terrestrial or cyber,

בין אם ארצית או במרחב הסייבר,

with unprecedented power.

בעוצמה ללא תקדים.

This is a winner-take-all scenario.

זה תרחיש שבו המנצח לוקח הכל.

To be six months ahead of the competition here

להקדים את התחרות הזו בשישה חודשים

is to be 500,000 years ahead,

משמעו להקדים את העולם ב-500,000 שנה לפחות.

at a minimum.

So it seems that even mere rumors of this kind of breakthrough

אז נראה שאפילו שמועות על פריצת דרך שכזו

could cause our species to go berserk.

יכולות לגרום למין שלנו להשתגע.

Now, one of the most frightening things,

עכשיו, אחד הדברים המפחידים ביותר,

in my view, at this moment,

לראות עיני, ברגע הזה,

are the kinds of things that AI researchers say

אלה הדברים שחוקרי בינה מלאכותית אומרים

when they want to be reassuring.

כשהם רוצים להרגיע אותנו.

And the most common reason we're told not to worry is time.

והסיבה הנפוצה ביותר שאומרים לנו שאין סיבה לדאגה היא זמן.

This is all a long way off, don't you know.

זה עוד רחוק מאוד, אתם יודעים.

This is probably 50 or 100 years away.

זה כנראה רחוק מאיתנו ב-50 או 100 שנים.

One researcher has said,

חוקר אחד אמר,

"Worrying about AI safety

"לדאוג מהבטיחות של בינה מלאכותית

is like worrying about overpopulation on Mars."

"זה כמו לדאוג מצפיפות אוכלוסין על המאדים."

This is the Silicon Valley version

זו הגרסה של עמק הסיליקון

of "don't worry your pretty little head about it."

ל"אל תטרידו את עצמכם בזה."

(Laughter)

(צחוק)

No one seems to notice

נראה שאף אחד לא שם לב

that referencing the time horizon

שההתייחסות לאופק הזמן

is a total non sequitur.

מהווה נון סקוויטר מוחלט.

If intelligence is just a matter of information processing,

אם אינטליגנציה היא רק ענין של עיבוד מידע,

and we continue to improve our machines,

ואנחנו ממשיכים לשפר את המכונות שלנו,

we will produce some form of superintelligence.

אנחנו נייצר סוג כלשהו של סופר-אינטליגנציה.

And we have no idea how long it will take us

ואין לנו מושג כמה זמן ייקח לנו

to create the conditions to do that safely.

לייצר את התנאים כדי לעשות זאת באופן בטיחותי.

Let me say that again.

תרשו לי להגיד את זה שוב.

We have no idea how long it will take us

אין לנו מושג כמה זמן ייקח לנו

to create the conditions to do that safely.

לייצר את התנאים כדי לעשות זאת באופן בטיחותי.

And if you haven't noticed, 50 years is not what it used to be.

ואם לא שמתם לב, 50 שנה זה לא מה שזה היה פעם.

This is 50 years in months.

אלה 50 שנים מחולקים לחודשים.

This is how long we've had the iPhone.

זו כמות הזמן שיש לנו אייפונים.

This is how long "The Simpsons" has been on television.

זו כמות הזמן ש"הסימפסונים" משודרים בטלויזיה.

Fifty years is not that much time

חמישים שנים זה לא הרבה זמן

to meet one of the greatest challenges our species will ever face.

כדי להתמודד עם אחד האתגרים הגדולים ביותר שהמין שלנו יתקל בהם.

Once again, we seem to be failing to have an appropriate emotional response

שוב, נראה שאנחנו לא מצליחים לייצר את התגובה הרגשית המתאימה

to what we have every reason to believe is coming.

למשהו שאין לנו ספק שהוא מגיע.

The computer scientist Stuart Russell has a nice analogy here.

למדען המחשבים סטיוארט ראסל יש אנלוגיה נחמדה בנושא זה.

He said, imagine that we received a message from an alien civilization,

הוא אמר, דמיינו שקיבלנו מסר מתרבות חוצנית כלשהי,

which read:

שאומר:

"People of Earth,

"תושבי כדור הארץ,

we will arrive on your planet in 50 years.

"אנחנו נגיע לכוכב שלכם בעוד 50 שנים.

Get ready."

תתכוננו."

And now we're just counting down the months until the mothership lands?

ועכשיו אנחנו רק סופרים את החודשים עד שספינת האם תנחת?

We would feel a little more urgency than we do.

אנחנו נרגיש קצת יותר דחיפות ממה שאנחנו מרגישים היום.

Another reason we're told not to worry

סיבה נוספת שאומרים לנו לא לדאוג

is that these machines can't help but share our values

היא שהמכונות הללו בהכרח יחלֵקו את הערכים שלנו

because they will be literally extensions of ourselves.

כי הן יהיו, הלכה למעשה, שלוחות של עצמנו.

They'll be grafted onto our brains,

הן יושתלו למוחות שלנו,

and we'll essentially become their limbic systems.

ואנחנו נהפוך למעשה למערכת הלימבית שלהן.

Now take a moment to consider

קחו רגע נוסף בכדי לשקול

that the safest and only prudent path forward,

אם ההתקדמות הבטוחה והשקולה היחידה המומלצת,

recommended,

is to implant this technology directly into our brains.

היא להשתיל את הטכנולוגיה הזו ישירות לתוך המוח שלנו.

Now, this may in fact be the safest and only prudent path forward,

עכשיו, זו אולי באמת הדרך השקולה והבטוחה להתקדם,

but usually one's safety concerns about a technology

אבל מומלץ לטפל היטב בבטיחות טכנולוגיה

have to be pretty much worked out before you stick it inside your head.

לפני שתוקעים אותה לתוך הראש שלכם.

(Laughter)

(צחוק)

The deeper problem is that building superintelligent AI on its own

הבעיה העמוקה יותר היא שבניית בינה מלאכותית סופר-אינטליגנטית לבדה

seems likely to be easier

נראית קלה יותר

than building superintelligent AI

מבניית בינה מלאכותית סופר-אינטליגנטית

and having the completed neuroscience

וגם הבנה מלאה במדעי המוח

that allows us to seamlessly integrate our minds with it.

שתאפשר לנו לשלב באופן מושלם אותה עם מוחנו.

And given that the companies and governments doing this work

ובהתחשב בכך שחברות וממשלות שעושות את העבודה הזו

are likely to perceive themselves as being in a race against all others,

כנראה יראו את עצמן במרוץ כנגד כל האחרות,

given that to win this race is to win the world,

ובהתחשב שנצחון במרוץ הזה משמעותו לזכות בעולם,

provided you don't destroy it in the next moment,

בתנאי שלא תהרסו אותו ברגע שאחרי,

then it seems likely that whatever is easier to do

אז נראה סביר שמה שקל יותר לעשות

will get done first.

ייעשה קודם.

Now, unfortunately, I don't have a solution to this problem,

למרבה הצער, אין לי פתרון לבעיה הזו,

apart from recommending that more of us think about it.

מלבד להמליץ שיותר מאיתנו יחשבו עליה.

אני חושב שאנחנו צריכים משהו כמו פרויקט מנהטן

I think we need something like a Manhattan Project

on the topic of artificial intelligence.

לנושא של בינה מלאכותית.

Not to build it, because I think we'll inevitably do that,

לא כדי לבנות אותה, כי לדעתי זה בלתי נמנע שנעשה זאת,

but to understand how to avoid an arms race

אלא כדי להבין איך נמנעים ממרוץ חימוש

and to build it in a way that is aligned with our interests.

וכדי לבנות אותה באופן שעולה בקנה אחד עם האינטרסים שלנו.

When you're talking about superintelligent AI

כשמדברים על בינה מלאכותית סופר-אינטליגנטית

that can make changes to itself,

שיכולה לשנות את עצמה,

it seems that we only have one chance to get the initial conditions right,

נראה שיש לנו רק הזדמנות אחת ליצור תנאי פתיחה נכונים,

and even then we will need to absorb

ואפילו אז נצטרך לספוג

the economic and political consequences of getting them right.

את ההשלכות הפוליטיות והכלכליות שקשורות בכך.

But the moment we admit

אבל ברגע שנודה בכך

that information processing is the source of intelligence,

שעיבוד מידע הוא המקור לאינטליגנציה,

that some appropriate computational system is what the basis of intelligence is,

שמערכת חישובית מתאימה היא הבסיס לאינטליגנציה,

and we admit that we will improve these systems continuously,

ונקבל שאנחנו נמשיך לשפר את המערכות האלו ללא הפסקה,

and we admit that the horizon of cognition very likely far exceeds

ונקבל שככל הנראה אופק הקוגניציה רחוק בהרבה

what we currently know,

מזה שאנו מכירים כיום,

then we have to admit

אז עלינו לקבל

that we are in the process of building some sort of god.

שאנחנו בתהליך של בניית אל כלשהו.

Now would be a good time

ועכשיו יהיה זמן טוב

to make sure it's a god we can live with.

לוודא שזה אל שנוכל לחיות איתו.

Thank you very much.

תודה רבה לכם.

(Applause)

(מחיאות כפיים)