Don't fear superintelligent AI | Grady Booch

מתרגם: Ilan Caner מבקר: Ido Dekkers

When I was a kid, I was the quintessential nerd.

בילדותי הייתי החנון המוחלט.

I think some of you were, too.

אני חושב שכמה מכם היו גם.

(Laughter)

(צחוק)

And you, sir, who laughed the loudest, you probably still are.

ואתה אדוני, שצחקת הכי חזק, כנראה עדיין גם היום.

(Laughter)

(צחוק)

I grew up in a small town in the dusty plains of north Texas,

גדלתי בעיר קטנה במרחבים המאובקים של צפון טקסס,

the son of a sheriff who was the son of a pastor.

בנו של השריף שהיה בן של כומר.

Getting into trouble was not an option.

להיקלע לצרות לא היתה אופציה.

And so I started reading calculus books for fun.

אז התחלתי לקרוא ספרי חשבון בשביל הכיף.

(Laughter)

(צחוק)

You did, too.

אתם גם.

That led me to building a laser and a computer and model rockets,

זה הוביל אותי לבניית לייזר ומחשב ומודלים של טילים,

and that led me to making rocket fuel in my bedroom.

מה שהוביל אותי לייצר דלק טילים בחדר השינה שלי.

Now, in scientific terms,

ובכן, במונחים מדעיים,

we call this a very bad idea.

אנחנו קוראים לזה רעיון רע מאוד.

(Laughter)

(צחוק)

Around that same time,

בערך באותו זמן,

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

הסרט ״2001 אודיסאה בחלל״ של סטנלי קובריק הגיע למסכים,

and my life was forever changed.

וחיי השתנו לנצח.

I loved everything about that movie,

אהבתי כל מה שהיה קשור לסרט,

especially the HAL 9000.

בייחוד את האל 9000 (HAL).

Now, HAL was a sentient computer

ובכן, האל היה מחשב בעל מודעות

designed to guide the Discovery spacecraft

שתוכנן להדריך את ספינת החלל דיסקברי

from the Earth to Jupiter.

בדרך מכדור הארץ לצדק.

HAL was also a flawed character,

האל היה גם טיפוס פגום,

for in the end he chose to value the mission over human life.

כי בסופו של דבר הוא בחר להעדיף את המשימה על פני חיי אדם.

Now, HAL was a fictional character,

למרות שהאל היה דמות בדיונית,

but nonetheless he speaks to our fears,

הוא דיבר אל הפחדים שלנו,

our fears of being subjugated

הפחדים שלנו להיות משועבדים

by some unfeeling, artificial intelligence

על ידי בינה מלאכותית, ללא רגשות

who is indifferent to our humanity.

שאדישה לאנושיות שלנו.

I believe that such fears are unfounded.

אני מאמין שפחדים כאלו הם חסרי ביסוס.

Indeed, we stand at a remarkable time

אכן, אנו נמצאים בזמן יוצא דופן

in human history,

בהסטוריה האנושית,

where, driven by refusal to accept the limits of our bodies and our minds,

שבו, מונעים על ידי סרובינו לקבל את המגבלות של גופינו ומחשבותינו,

we are building machines

אנו בונים מכונות

of exquisite, beautiful complexity and grace

בעלות עדינות, סיבוכיות יפיפיה וחינניות

that will extend the human experience

שיאריכו את טווח החוויה האנושית

in ways beyond our imagining.

בדרכים מעבר לדמיונינו.

After a career that led me from the Air Force Academy

אחרי קריירה שהובילה אותי מהאקדמיה לטיס בחיל האויר

to Space Command to now,

לפיקוד על משימות חלל לעכשיו,

I became a systems engineer,

נהייתי מהנדס מערכות,

and recently I was drawn into an engineering problem

ולאחרונה נשאבתי לבעייה הנדסית

associated with NASA's mission to Mars.

הקשורה למשימה של נאס״א למאדים.

Now, in space flights to the Moon,

ובכן, במשימות חלל לירח,

we can rely upon mission control in Houston

אנו יכולים לסמוך על פיקוד המשימה ביוסטון

to watch over all aspects of a flight.

שיפקח על כל ההיבטים של הטיסה.

However, Mars is 200 times further away,

אבל, מאדים רחוק פי 200 יותר,

and as a result it takes on average 13 minutes

ולכן לוקח בממוצע 13 דקות

for a signal to travel from the Earth to Mars.

לשדר לנוע מכדור הארץ למאדים.

If there's trouble, there's not enough time.

אם קורות בעיות, אין מספיק זמן.

And so a reasonable engineering solution

ולכן פתרון הנדסי סביר

calls for us to put mission control

יהיה לשים את פיקוד המשימה

inside the walls of the Orion spacecraft.

בתוך רכב החלל אוריון.

Another fascinating idea in the mission profile

רעיון מרתק נוסף בפרופיל המשימה

places humanoid robots on the surface of Mars

הוא לשים רובוטים דמויי אדם על פני מאדים

before the humans themselves arrive,

לפני שבני האדם מגיעים,

first to build facilities

בתחילה לשם בניית תשתיות

and later to serve as collaborative members of the science team.

ולאחר מכן לשרת כחלק שיתופי מהצוות המדעי.

Now, as I looked at this from an engineering perspective,

כשהתבוננתי בזה מנקודת מבט הנדסית,

it became very clear to me that what I needed to architect

התבהרה לי ההבנה שמה שעלי לתכנן

was a smart, collaborative,

היא בינה מלאכותית חכמה, שיתופית

socially intelligent artificial intelligence.

ובעלת בינה חברתית.

In other words, I needed to build something very much like a HAL

במילים אחרות, הייתי צריך לבנות משהו מאוד דומה להאל

but without the homicidal tendencies.

אבל ללא הנטיות האובדניות.

(Laughter)

(צחוק)

Let's pause for a moment.

בואו נעצור לרגע.

Is it really possible to build an artificial intelligence like that?

האם זה אפשרי באמת לבנות בינה מלאכותית כזו?

Actually, it is.

למעשה, כן.

In many ways,

במובנים רבים,

this is a hard engineering problem

זו בעייה הנדסית קשה

with elements of AI,

עם אלמנטים של בינה מלאכותית,

not some wet hair ball of an AI problem that needs to be engineered.

ולא כדור שיער רטוב של בינה מלאכותית שצריך להיות מהונדס.

To paraphrase Alan Turing,

בפרפרזה על דבריו של אלן טיורינג,

I'm not interested in building a sentient machine.

אני לא מעוניין לבנות מכונה מודעת.

I'm not building a HAL.

אני לא בונה את האל.

All I'm after is a simple brain,

כל מה שאני רוצה הוא מוח פשוט,

something that offers the illusion of intelligence.

משהו שמציע את האשליה של בינה.

The art and the science of computing have come a long way

המדע והאומנות של המחשוב התקדמו רבות

since HAL was onscreen,

מאז שהאל הופיע על המסך,

and I'd imagine if his inventor Dr. Chandra were here today,

ואני מדמיין שאם הממציא שלו ד״ר צ׳נדרה היה פה היום

he'd have a whole lot of questions for us.

היו לו הרבה שאלות אלינו.

Is it really possible for us

האם באמת אנחנו יכולים

to take a system of millions upon millions of devices,

לקחת מערכת של מליונים על מליונים של מכשירים,

to read in their data streams,

לקרוא את כל הנתונים מהם,

to predict their failures and act in advance?

לנחש את הכשלים ולהגיב מראש?

Yes.

כן.

Can we build systems that converse with humans in natural language?

האם אנו יכולים לבנות מערכות המשוחחות עם בני אדם בשפה טבעית?

Yes.

כן.

Can we build systems that recognize objects, identify emotions,

האם אנו יכולים לבנות מערכות שיכירו אובייקטים, יזהו רגשות,

emote themselves, play games and even read lips?

שיהו רגשניות, ישחקו משחקים ואפילו יקראו שפתיים?

Yes.

כן.

Can we build a system that sets goals,

האם ביכולתינו לבנות מערכות המציבות יעדים,

that carries out plans against those goals and learns along the way?

ומוציאות לפועל תוכניות לפי יעדים אלו ולומדות בדרך?

Yes.

כן.

Can we build systems that have a theory of mind?

האם ביכולתינו לבנות מערכות בעלות מודעות?

This we are learning to do.

את זה אנו לומדים לעשות.

Can we build systems that have an ethical and moral foundation?

האם ביכולתינו לבנות מערכות בעלות בסיס מורלי ואתי?

This we must learn how to do.

את זה אנו חייבים ללמוד לעשות.

So let's accept for a moment

אז בואו נקבל לרגע

that it's possible to build such an artificial intelligence

שזה אפשרי לבנות כזו בינה מלאכותית

for this kind of mission and others.

עבור משימה זו ואחרות.

The next question you must ask yourself is,

השאלה הבאה שאתם חייבים לשאול את עצמכם היא,

should we fear it?

האם עלינו לפחד ממנה?

Now, every new technology

כל טכנולוגיה חדשה

brings with it some measure of trepidation.

מביאה איתה רמה מסויימת של חשש מהלא נודע.

When we first saw cars,

כשראינו לראשונה מכוניות,

people lamented that we would see the destruction of the family.

אנשים חזו שנראה את הרס המשפחה.

When we first saw telephones come in,

כשראינו לראשונה טלפונים,

people were worried it would destroy all civil conversation.

אנשים חששו שזה יביא לסופו של הדיון התרבותי.

At a point in time we saw the written word become pervasive,

כשראינו בשלב מסויים את התפשטות המילה הכתובה,

people thought we would lose our ability to memorize.

אנשים חשבו שנאבד את היכולת לזכור.

These things are all true to a degree,

כל אלו נכונים במידה מסויימת,

but it's also the case that these technologies

אבל טכנולוגיות אלו

brought to us things that extended the human experience

הביאו דברים שהרחיבו את הנסיון האנושי

in some profound ways.

בדרכים עמוקות.

So let's take this a little further.

אז בואו ניקח את זה מעט רחוק יותר.

I do not fear the creation of an AI like this,

אני לא מפחד מיצירת בינה מלאכותית כזו,

because it will eventually embody some of our values.

כיוון שבסופו של דבר היא תכיל גם כמה מהערכים שלנו.

Consider this: building a cognitive system is fundamentally different

חישבו על כך: בניית מערכת קוגניטיבית היא שונה מהותית

than building a traditional software-intensive system of the past.

מבניית מערכת מסורתית מרובת תוכנה של העבר.

We don't program them. We teach them.

אנו לא מתכנתים אותן, אנו מלמדים אותן.

In order to teach a system how to recognize flowers,

כדי ללמד מערכת לזהות פרחים,

I show it thousands of flowers of the kinds I like.

אני מראה לה אלפי פרחים מהסוג שאני אוהב.

In order to teach a system how to play a game --

כדי ללמד מערכת לשחק משחק --

Well, I would. You would, too.

ובכן, הייתי עושה את זה. אתם גם.

I like flowers. Come on.

אני אוהב פרחים. בחייכם.

To teach a system how to play a game like Go,

כדי ללמד מערכת לשחק משחק כמו גו,

I'd have it play thousands of games of Go,

אגרום לה לשחק אלפי משחקי גו.

but in the process I also teach it

אבל בתהליך אלמד אותה

how to discern a good game from a bad game.

איך להבדיל בין משחק טוב למשחק רע.

If I want to create an artificially intelligent legal assistant,

אם אני רוצה ליצור בינה מלאכותית עבור עזרה משפטית,

I will teach it some corpus of law

אלמד אותה כמה ספרי משפטים

but at the same time I am fusing with it

אך באותו זמן אשלב זאת עם

the sense of mercy and justice that is part of that law.

חוש הצדק והרחמים שהם חלק מאותם חוקים.

In scientific terms, this is what we call ground truth,

במונחים מדעיים, זה מה שאנו קוראים לו אמת בסיסית,

and here's the important point:

והנה הנקודה החשובה:

in producing these machines,

כחלק מיצירת מכונות אלו,

we are therefore teaching them a sense of our values.

אנו מלמדים אותן חלק מערכינו.

To that end, I trust an artificial intelligence

בהקשר זה, אני סומך על בינה מלאכותית

the same, if not more, as a human who is well-trained.

באותה מידה, אם לא יותר, מאשר על אדם שאומן היטב.

But, you may ask,

אבל, אתם עלולים לשאול,

what about rogue agents,

מה לגבי סוכנים פורעי חוק,

some well-funded nongovernment organization?

כמו ארגון לא ממשלתי ממומן היטב?

I do not fear an artificial intelligence in the hand of a lone wolf.

אני לא חושש מבינה מלאכותית בידיים של זאב בודד.

Clearly, we cannot protect ourselves against all random acts of violence,

ברור שאיננו יכולים להגן על עצמינו מכל מעשה אלימות אקראי,

but the reality is such a system

אבל המציאות לגבי מערכות אלו היא

requires substantial training and subtle training

שהן צריכות הרבה אימון, ואימון עדין

far beyond the resources of an individual.

הרבה מעבר למשאבים של אדם בודד.

And furthermore,

ובנוסף,

it's far more than just injecting an internet virus to the world,

זה הרבה יותר מלהזריק וירוס אינטרנט לעולם,

where you push a button, all of a sudden it's in a million places

כשאתה לוחץ על כפתור, ופתאום זה במליון מקומות

and laptops start blowing up all over the place.

ומחשבים מתחילים להתפוצץ בכל מקום.

Now, these kinds of substances are much larger,

ובכן, מדובר פה במשהו הרבה יותר גדול,

and we'll certainly see them coming.

ובוודאות נראה את זה מגיע.

Do I fear that such an artificial intelligence

האם אני חושש שבינה מלאכותית כזו

might threaten all of humanity?

עלולה לאיים על האנושות כולה?

If you look at movies such as "The Matrix," "Metropolis,"

אם תתבוננו בסרטים כמו ״המטריקס״, ״מטרופוליס״ ,

"The Terminator," shows such as "Westworld,"

״שליחות קטלית״, תוכניות כמו ״ווסטוורלד״,

they all speak of this kind of fear.

כולן מדברות על חשש שכזה.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

ואכן, בספר ״סופר אינטליגנציה״ של הפילוסוף ניק בוסטרום,

he picks up on this theme

הוא בוחן נושא זה

and observes that a superintelligence might not only be dangerous,

ושם לב שסופר אינטליגנציה עלולה להיות לא רק מסוכנת,

it could represent an existential threat to all of humanity.

אלא גם יכולה להוות איום קיומי על האנושות כולה.

Dr. Bostrom's basic argument

הטיעון הבסיסי של דוקטור בוסטרום

is that such systems will eventually

הוא שלמערכות כאלו יהיה בסופו של דבר

have such an insatiable thirst for information

צמאון בלתי ניתן לרוויה למידע

that they will perhaps learn how to learn

עד שהן אולי ילמדו ללמוד

and eventually discover that they may have goals

ולבסוף יגלו שאולי יש להן יעדים

that are contrary to human needs.

מנוגדים לצרכי בני האדם.

Dr. Bostrom has a number of followers.

לדוקטור בוסטרום יש מספר עוקבים.

He is supported by people such as Elon Musk and Stephen Hawking.

הוא נתמך ע״י אנשים כמו אלון מאסק וסטפן הוקינג.

With all due respect

עם כל הכבוד

to these brilliant minds,

למוחות מבריקים אלו,

I believe that they are fundamentally wrong.

אני מאמין שהם שוגים באופן בסיסי.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

ובכן, יש הרבה חלקים לפרק בטיעון של דוקטור בוסטרום,

and I don't have time to unpack them all,

ואין לי זמן לפרק את כולם,

but very briefly, consider this:

אבל בקיצור רב, חישבו על כך:

super knowing is very different than super doing.

ידיעת-על היא מאוד שונה מעשיית-על.

HAL was a threat to the Discovery crew

האל היה איום לצוות הדיסקברי

only insofar as HAL commanded all aspects of the Discovery.

רק כיוון שהאל פיקד על כל הצדדים של הדיסקברי.

So it would have to be with a superintelligence.

אז כך גם יצטרך להיות עם סופר אינטליגנציה.

It would have to have dominion over all of our world.

היא תצטרך להיות בשליטה על כל עולמינו.

This is the stuff of Skynet from the movie "The Terminator"

זה מזכיר את סקיינט מהסרט ״שליחות קטלנית״

in which we had a superintelligence

שבו יש סופר אינטליגנציה

that commanded human will,

ששלטה על רצון בני האדם,

that directed every device that was in every corner of the world.

שכיוונה כל מכשיר בכל פינה של העולם.

Practically speaking,

אם להיות מעשיים,

it ain't gonna happen.

זה לא הולך לקרות.

We are not building AIs that control the weather,

אנחנו לא בונים בינה מלאכותית ששולטת במזג האוויר,

that direct the tides,

שמכוונת את הגאות,

that command us capricious, chaotic humans.

שמפקדת עלינו, האנשים הגחמניים והכאוטים.

And furthermore, if such an artificial intelligence existed,

ובנוסף, אם בינה מלאכותית כזו הייתה קיימת,

it would have to compete with human economies,

היה עליה להתחרות בכלכלה האנושית,

and thereby compete for resources with us.

ולכן להתחרות נגדינו על משאבים.

And in the end --

ולבסוף --

don't tell Siri this --

אל תגלו לסירי --

we can always unplug them.

אנחנו תמיד יכולים לנתק אותם.

(Laughter)

(צחוק)

We are on an incredible journey

אנחנו נמצאים במסע מופלא

of coevolution with our machines.

של אבולוציה משותפת עם המכונות שלנו.

The humans we are today

האנשים שאנו היום

are not the humans we will be then.

הם לא אותם האנשים שנהיה אז.

To worry now about the rise of a superintelligence

לדאוג היום מהעלייה של סופר אינטליגנציה

is in many ways a dangerous distraction

זה במובנים רבים הסחת דעת מסוכנת

because the rise of computing itself

כיוון שהעלייה במיחשוב עצמו

brings to us a number of human and societal issues

מביא אלינו מספר בעיות אנושיות וחברתיות

to which we must now attend.

שאנו חייבים לטפל בהן עכשיו.

How shall I best organize society

איך עלי לארגן את החברה האנושית

when the need for human labor diminishes?

כשהביקוש לעבודה אנושית הצטמצם?

How can I bring understanding and education throughout the globe

כיצד אני יכול להביא הבנה וחינוך לכל האנושות

and still respect our differences?

ועדיין לכבד את השונה ביננו?

How might I extend and enhance human life through cognitive healthcare?

איך אאריך ואשפר את חיינו תוך שימוש במערכת בריאות קוגניטיבית?

How might I use computing

כיצד אוכל להשתמש במחשוב

to help take us to the stars?

כדי לעזור לקחת אותנו לכוככבים?

And that's the exciting thing.

וזה הדבר המרתק.

The opportunities to use computing

ההזדמנויות להשתמש במיחשוב

to advance the human experience

לקידום ההתנסות האנושית

are within our reach,

הן בטווח ההשגה שלנו,

here and now,

כאן ועכשיו,

and we are just beginning.

ואנו רק מתחילים.

Thank you very much.

תודה רבה לכם.

(Applause)

(מחיאות כפיים)