Don't fear superintelligent AI | Grady Booch

Translator: Leila Ataei Reviewer: soheila Jafari

When I was a kid, I was the quintessential nerd.

وقتی بچه بودم،‌ اصل درسخوان بودم.

I think some of you were, too.

فکر کنم بعضی از شما همینطوری بودید.

(Laughter)

(خنده)

And you, sir, who laughed the loudest, you probably still are.

و شما آقا که از همه بلندتر خندیدی، احتمالا هنوز هم هستی.

(Laughter)

(خنده)

I grew up in a small town in the dusty plains of north Texas,

در شهری کوچک در دشتهای غبارآلود شما تگزاس بزرگ شدم،

the son of a sheriff who was the son of a pastor.

پسر یک کلانتر که خودش پسر یک کشیش بود.

Getting into trouble was not an option.

پس جایی برای خرابکاری نمیماند.

And so I started reading calculus books for fun.

و من محض تفریح کتابهای حساب میخواندم.

(Laughter)

(خنده)

You did, too.

شما هم اینطور بودید.

That led me to building a laser and a computer and model rockets,

که باعث شد یک لیزر و کامپیوتر و مدل موشکی بسازم،

and that led me to making rocket fuel in my bedroom.

و این که باعث شد در اتاق خوابم سوخت موشک بسازم.

Now, in scientific terms,

الان در عبارات علمی

we call this a very bad idea.

این را یک ایده بد میخوانیم.

(Laughter)

(خنده)

Around that same time,

و هم زمان

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

فیلم « ۲۰۰۱: یک ادیسه فضایی» استنلی کوبریک به روی پرده آمد،

and my life was forever changed.

و زندگی من برای همیشه تغییر کرد.

I loved everything about that movie,

از همه چیز فیلم خوشم میامد

especially the HAL 9000.

بخصوص اچ‌ای‌ال ۹۰۰۰.

Now, HAL was a sentient computer

این اچ‌ای‌ال یک کامپیوتر احساسی بود

designed to guide the Discovery spacecraft

که جهت راهنمایی سفینه فضایی دیسکاوری در رفتن از زمین

from the Earth to Jupiter.

به مشتری طراحی شده بود.

HAL was also a flawed character,

ای‌اچ‌ال همینطور یک شخصیت معیوب بود.

for in the end he chose to value the mission over human life.

چون در آخر ماموریت را بجای جان بشر انتخاب کرد.

Now, HAL was a fictional character,

ای‌اچ ال یک شخصیت تخیلی بود

but nonetheless he speaks to our fears,

اما با این وجود درباره ترسهای ما حرف می‌زد،

our fears of being subjugated

ترسمان از مقهور شدن از سوی یک

by some unfeeling, artificial intelligence

هوش مصنوعی بی‌احساس

who is indifferent to our humanity.

که به بشریت بی‌اعتناست.

I believe that such fears are unfounded.

به باور من این ترسها بی‌اساس است.

Indeed, we stand at a remarkable time

ما در واقع در برهه قابل توجهی از تاریخ بشر

in human history,

بسر می‌بریم،

where, driven by refusal to accept the limits of our bodies and our minds,

جاییکه با نگیزش انکار در پذیرش محدودیتهای ذهنی و جسمی خود

we are building machines

ماشینهایی را می سزیم

of exquisite, beautiful complexity and grace

که با پیچیدگی زیبا، منحصربفرد و زیبندگی

that will extend the human experience

تجربه بشری را تا ورای تصورات ما

in ways beyond our imagining.

گسترش خواهند داد.

After a career that led me from the Air Force Academy

بعد از مسیر حرفه‌ای که من را از آکادمی نیروی هوایی

to Space Command to now,

به فرماندهی فضایی و الان

I became a systems engineer,

به این مهندس سیستمی که شدم کشاند،

and recently I was drawn into an engineering problem

و تازگی درگیر مشکل مهندسی شده‌ام

associated with NASA's mission to Mars.

که مرتبط با ماموریت ناسا به مریخ است.

Now, in space flights to the Moon,

الان در سفرهای فضایی به ماه

we can rely upon mission control in Houston

می‌توانیم به کنترل ماموریت در هوستون تکیه کنیم

to watch over all aspects of a flight.

تا کلیه جوانب یک پرواز را نظارت کند.

However, Mars is 200 times further away,

هرچند، مریخ ۲۰۰ بار دورتر است،

and as a result it takes on average 13 minutes

و در نتیجه بطور متوسط ۱۳ دقیقه طول می‌کشد

for a signal to travel from the Earth to Mars.

تا یک سیگنال از زمین به ماه برسد.

If there's trouble, there's not enough time.

اگر مشکلی باشد زمان کافی نداریم.

And so a reasonable engineering solution

و برای یک راه‌حل مهندسی منطقی

calls for us to put mission control

از ما این را طلب می‌کند که کنترل گر ماموریت

inside the walls of the Orion spacecraft.

داخل دیوارهای فضای پیمای اوریون باشد.

Another fascinating idea in the mission profile

یک ایده جذاب دیگر در روند ماموریت

places humanoid robots on the surface of Mars

استفاده از روباتهای انسانی در سطح مریخ است

before the humans themselves arrive,

پیش از رسیدن انسانه،

first to build facilities

اول این که امکاناتی را برپا کنند

and later to serve as collaborative members of the science team.

و بعد بعنوان اعضای همکار تیم علمی خدمت کنند.

Now, as I looked at this from an engineering perspective,

الان که از دید مهندسی به این نگاه می‌کنم

it became very clear to me that what I needed to architect

برایم کاملا روش می‌شود که آنچه بعنوان معمار لازم داشتم

was a smart, collaborative,

یک هوش مصنوعی زیرک،

socially intelligent artificial intelligence.

همکاری کننده و دارای هوش اجتماعی بود.

In other words, I needed to build something very much like a HAL

بعبارتی چیزی به اچ‌ای‌ال بسازم

but without the homicidal tendencies.

اما بدون گرایشات انتحاری.

(Laughter)

(خنده)

Let's pause for a moment.

برای لحظه‌ای بیایید مکث کنیم.

Is it really possible to build an artificial intelligence like that?

آیا امکان سک هوش مصنوعی مثل آن وجود دارد؟

Actually, it is.

راستش هست.

In many ways,

از بسیاری جهات

this is a hard engineering problem

این یک مشکل سخت مهندسی با اجزای

with elements of AI,

ماشین ابر هوشمند است،

not some wet hair ball of an AI problem that needs to be engineered.

نه یک جور گوی مودار خیس از یک مساله ابرهوشمند که نیاز به مهندسی دارد.

To paraphrase Alan Turing,

بگذارید از آلن تورینگ جور دیگر نقل قول کنم،

I'm not interested in building a sentient machine.

من علاقه‌ای به ساخت یک ماشین احساسی ندارم.

I'm not building a HAL.

من اچ‌ای‌ال نمیسازم.

All I'm after is a simple brain,

تمام انچه دنبالشم یک مغز ساده است،

something that offers the illusion of intelligence.

چیزی که شبحی از هوش را ارائه کند.

The art and the science of computing have come a long way

هنر و علم محاسبات کامپیوتری از زمان ای اچ‌ال بر روی پرده

since HAL was onscreen,

روزهای زیادی را پشت سر گذاشته

and I'd imagine if his inventor Dr. Chandra were here today,

ومن تصور می کنم اگر مخترع آن دکتر چاندرا امروز اینجا بود،

he'd have a whole lot of questions for us.

کلی پرسش برای ما داشت.

Is it really possible for us

آیا واقعا برای ما امکان دارد

to take a system of millions upon millions of devices,

یک سیستم چند میلیونی را بنابر میلیونها دستگاه در اختیار بگیریم

to read in their data streams,

تا جریان داده‌های آنها را بخواند،

to predict their failures and act in advance?

تا ایراداتشان را پیش‌بینی کند و پیشاپیش عمل کند.

Yes.

بله.

Can we build systems that converse with humans in natural language?

آیا می‌توان سیستمهایی ساخت که با انسانها به زبان عادی صحبت کنند؟

Yes.

بله.

Can we build systems that recognize objects, identify emotions,

آیا می‌توان سیستمهایی ساخت که اشیا و احساست را بشناسند،

emote themselves, play games and even read lips?

در احساسات خود اغراق کنند، بازی کنند و حتی لب خوانی انجام دهند؟

Yes.

بله.

Can we build a system that sets goals,

آیا می‌توان سیستمهای ساخت که هدف تعیین کنند،

that carries out plans against those goals and learns along the way?

که طرحهایی را علیه آن اهداف انجام دهند و در طول مسیر به یاد گرفتن بپردازند؟

Yes.

بله.

Can we build systems that have a theory of mind?

آیا می‌توان سیستمهای ساخت که دارای نظریه ذهنی باشند؟

This we are learning to do.

کاری که الان داریم میاموزیم.

Can we build systems that have an ethical and moral foundation?

آیا می‌توان سیستمهای ساخت که پایه اخلاقی و وجدانی دارند؟

This we must learn how to do.

چیزی که باید انجامش را بیاموزیم.

So let's accept for a moment

خب بگذارید برای لحظه‌ای بپذیریم

that it's possible to build such an artificial intelligence

که امکان ساخت چنین هوش مصنوعی

for this kind of mission and others.

برای چنین ماموریتهایی وجود دارد.

The next question you must ask yourself is,

این سوال بعدی که باید از خودتان بپرسید،

should we fear it?

آیا باید از آن ترسید؟

Now, every new technology

خب با آمدن هر فناوری جدیدی

brings with it some measure of trepidation.

دلهره و واهمه‌ای هم همراهش میاید.

When we first saw cars,

وقتی برای بار اول ماشینها را دیدیم،

people lamented that we would see the destruction of the family.

مردم تاسف می‌خورند که ما شاهد از دست رفتن خانواده خواهیم بود.

When we first saw telephones come in,

وقتی برای اول تلفن آمد،

people were worried it would destroy all civil conversation.

مردم نگران بودند که نکند اثری از مکالمه مدنی نماند.

At a point in time we saw the written word become pervasive,

در مرحله‌ای از زمان که ما شاهد بودیم کلام نوشتاری فراگیر شد،

people thought we would lose our ability to memorize.

مردم فکر می کردند توانایی خود برای بخاطر سپردن را از دست می دهیم.

These things are all true to a degree,

این چیزها تا حدی درست هستند،

but it's also the case that these technologies

اما همچنین این مورد هم هست که این فناوریها

brought to us things that extended the human experience

برای چیزهایی را آورده‌اند که که تجربیات بشری را عمیقا

in some profound ways.

گسترش داده است.

So let's take this a little further.

پس بیاید کمی این را جلوتر ببریم.

I do not fear the creation of an AI like this,

من از آفرینش یک ابرهوش مصنوعی مثل این واهمه ندارم،

because it will eventually embody some of our values.

چون سرانجام برخی از ارزشهای ما را دربر خواهد گرفت.

Consider this: building a cognitive system is fundamentally different

این را تصور کنید: ساخت یک سیستم ادراکی که اساسا متفاوت است

than building a traditional software-intensive system of the past.

از ساخت یک نظام فشرده- نرم‌افزاری سنتی از گذشته.

We don't program them. We teach them.

آنها را برنامه ریزی نمی‌کنیم. به آنه موزش می دهیم.

In order to teach a system how to recognize flowers,

برای آموزش به یک سیستم که چطور گلها را تشخیص دهد،

I show it thousands of flowers of the kinds I like.

هزارن گل از انواعی که دوست دارم را نشان می دهم.

In order to teach a system how to play a game --

برای این که سیستم نحوه انجام بازیی را بیاموزد.

Well, I would. You would, too.

خب این را می کنم. شما هم همینطور.

I like flowers. Come on.

گلها را دوست دارم. یالا.

To teach a system how to play a game like Go,

برای آموزش به سیستمی که بتواند بازی مثل Go را انجام دهد،

I'd have it play thousands of games of Go,

هزاران بار گذاشتم که بازیهای Go را انجام دهد

but in the process I also teach it

اما در این روند آن را آموزش هم می‌دهم.

how to discern a good game from a bad game.

چطور یک بازی خوب را از بد تشخیص دهد.

If I want to create an artificially intelligent legal assistant,

اکر بخواهم یک دستیار حقوقی باهوش مصنوعی خلق کنم،

I will teach it some corpus of law

کمی از مجموعه قانون را خواهم آموخت

but at the same time I am fusing with it

البته هم زمان با آن مفاهیم

the sense of mercy and justice that is part of that law.

عدالت و بخشش را که بخشی از قانون هستند را خواهم آموخت.

In scientific terms, this is what we call ground truth,

در عبارات علمی، این را حقیقت مبنا مینامیم

and here's the important point:

و نکته مهم این است:

in producing these machines,

در تولید چنین ماشینهایی

we are therefore teaching them a sense of our values.

درواقع به آنها مفهوم ارزشهایمان را میاموزیم.

To that end, I trust an artificial intelligence

به همین ترتیب، به هوش مصنوعی همان اندازه‌ای باور دارم

the same, if not more, as a human who is well-trained.

که به یک انسانی که بخوبی آموزش دیده.

But, you may ask,

اما ممکن است سوال کنید،

what about rogue agents,

ماموران زیرک چطور،

some well-funded nongovernment organization?

یک سازمانه غیردولتی پولدار؟

I do not fear an artificial intelligence in the hand of a lone wolf.

من ازاین که هوش مصنوعی در اختیار یک گرگ تنها باشد نمی‌ترسم.

Clearly, we cannot protect ourselves against all random acts of violence,

معلوم است که ما نمی‌توانیم از خودمان در مقابل تمامی اعمال خشونت‌امیز تصادفی حمایت کنیم

but the reality is such a system

اما حقیقت این است که چنین سیستمی

requires substantial training and subtle training

نیازمند آموزش مفصل و موشکفانه‌ای دارد

far beyond the resources of an individual.

که فرای منابع فردی است.

And furthermore,

و علاوه براین

it's far more than just injecting an internet virus to the world,

بسیار فراتر از ویروس اینترنتی وارد کردن به جهان است

where you push a button, all of a sudden it's in a million places

جاییکه با یک کلیک، به یکباره ویروس در میلیونها جا پراکنده شده

and laptops start blowing up all over the place.

و لپ تاپ ها در همه جا شروع به ترکیدن می کنند.

Now, these kinds of substances are much larger,

خب مفاهیمی این چنینی بسیار بزرگترند

and we'll certainly see them coming.

و ما بی شک شاهد این اتفاقات خواهیم بود.

Do I fear that such an artificial intelligence

آیا از یک چنین هوش مصنوعی می‌ترسم

might threaten all of humanity?

که ممکن است تهدیدی برای بشریت باشد؟

If you look at movies such as "The Matrix," "Metropolis,"

اگر به فیلمهایی مثل ماتریکس، متروپلیس، ترمیناتور یا

"The Terminator," shows such as "Westworld,"

سریالی مثل وست ورلد نگاه کنید،

they all speak of this kind of fear.

تمامی از از چنین ترسی حرف می‌زنند.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

درواقع، در کتاب «ابرهوش صنوعی» نوشته نیکو بوستروم فیلسوف،

he picks up on this theme

او با این موضوع پیش می‌رود

and observes that a superintelligence might not only be dangerous,

و مشاهده‌اش این است که یک ابرهوش مصنوعی نه تنها شاید خطرناک بشد

it could represent an existential threat to all of humanity.

بلکه نماینده تهدیدی نابودگر برای کل بشریت باشد.

Dr. Bostrom's basic argument

استدلال اولیه دکتر بوستروم

is that such systems will eventually

این است که چنین سیستم‌هایی عاقبت

have such an insatiable thirst for information

چنان عطش سیری‌ناپذیری برای اطلاعات خواهند داشت

that they will perhaps learn how to learn

که شاید نحوه یادگرفتن را یاد بگشیرند

and eventually discover that they may have goals

و سرانجام کشف کنند که اهدافی دارند

that are contrary to human needs.

که مغایر با نیازهای بشر است.

Dr. Bostrom has a number of followers.

دکتر بوستروم کلی دنبال کننده دارد.

He is supported by people such as Elon Musk and Stephen Hawking.

او از سوی کسانی مثل الون موسک و استفن هاوکینگ حمایت می‌شود.

With all due respect

با تمامی احترامی که برای این

to these brilliant minds,

ذهنهای بی‌نظیر قائل هستم،

I believe that they are fundamentally wrong.

اعتقاد دارم که آنها از پایه اشتباه می کنند.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

اکنون قسمتهای زیادیاز استدلال دکتر بوستروم است که باید از چمدان خارج شود

and I don't have time to unpack them all,

و من زمان کافی را برای همه آنها ندارم،

but very briefly, consider this:

فقط خلاصه این را بگویم:

super knowing is very different than super doing.

مدعی العلوم با همه کاره بودن خیلی فرق دارد.

HAL was a threat to the Discovery crew

ای‌اچ ال تهدیدی برای خدمه دیسکاوری بود

only insofar as HAL commanded all aspects of the Discovery.

تنها جاییکه ای‌اچ ال همه جوانب را در دیسکاوری فرماندهی می‌کرد.

So it would have to be with a superintelligence.

بریا این کار باید ابرهوشمند بود.

It would have to have dominion over all of our world.

باید بر همه دنیای ما سلطه داشته باشد.

This is the stuff of Skynet from the movie "The Terminator"

اینها از ویژگیهای اسکای‌نت در فیلم ترمیناتور(نابودگر) است

in which we had a superintelligence

که درآن یک ابرهوش مصنوعی داشتیم

that commanded human will,

که بر اراده بشر حک می‌راند،

that directed every device that was in every corner of the world.

همه چیز و همه جا را در زمین هدایت می‌کرد.

Practically speaking,

اما در عالم واقعیت

it ain't gonna happen.

این اتفاق نخواهد افتاد.

We are not building AIs that control the weather,

ما ماشینهای ابرهوشمندی را نمی‌سازیم که هوا را کنترل کنند،

that direct the tides,

که جزر و مد را جهت‌ دهند،

that command us capricious, chaotic humans.

که به ما انسانهای دمدمی‌مزاج و بی‌نظم فرمان دهند.

And furthermore, if such an artificial intelligence existed,

و علاوه بر آن، اگر چنین هوش مصنوعی وجود داشته باشد،

it would have to compete with human economies,

باید با اقتصادهای بشری رقابت کند،

and thereby compete for resources with us.

و به این وسیله برای منابع با ما رقابت کند.

And in the end --

و در آخر--

don't tell Siri this --

به «سیری» این را نگویید--

we can always unplug them.

همیشه می توانیم از برق آنها را بکشیم.

(Laughter)

(خنده)

We are on an incredible journey

ما در یک سفر باورنکردنی از

of coevolution with our machines.

هم‌فرگشتی با ماشینهای خود بسر می‌بریم.

The humans we are today

این آدمهایی که امروز هستیم

are not the humans we will be then.

آن آدمهایی که بعدا خواهیم شد نیستم.

To worry now about the rise of a superintelligence

الان نگران بودن درباره خیزش یک ابرهوشمند

is in many ways a dangerous distraction

از بسیاری جهات انحرافی خطرناک است

because the rise of computing itself

چون خیزش محاسبات کامپیوتری خودش

brings to us a number of human and societal issues

کلی مسائل اجتماعی و انسانی را برایمان به ارمغان می‌اورد

to which we must now attend.

که باید به آنها رسیدگی کنیم.

How shall I best organize society

چطور به بهترین نحو جامعه‌ای را برنامه ریزی کنم

when the need for human labor diminishes?

وقتی نیاز به نیروی کار بشری نمی‌ماند؟

How can I bring understanding and education throughout the globe

چطور می‌توانم تفاهم و تعلیم را به جهان بیاورم

and still respect our differences?

و هنوز احترام به تفاوتها هم باشد.

How might I extend and enhance human life through cognitive healthcare?

چطور

How might I use computing

چطور شاید از محاسبات کامپیوتری در کمک به

to help take us to the stars?

رسیدن به ستاره‌ها استفاده کنم؟

And that's the exciting thing.

و همین هیجان‌انگیزه است.

The opportunities to use computing

فرصتهایی برای استقاده از محاسبات کامپیوتری

to advance the human experience

برای پیشرفت تجربه بشر

are within our reach,

اینجا و الان

here and now,

در دسترس ما است.

and we are just beginning.

و تازه اول راه هستیم.

Thank you very much.

خیلی متشکرم.

(Applause)

(تشویق)