What happens when our computers get smarter than we are? | Nick Bostrom

نیک بوستروم: وقتی کامپیوترها باهوش تر از ما شوند، چه خواهد شد؟

Translator: Leila Ataei Reviewer: Masood Mousavi

I work with a bunch of mathematicians, philosophers and computer scientists,

من با گروهی از ریاضیدان ها، فیلسوف ها و دانشمندان کامپیوتر کار می کنم،

and we sit around and think about the future of machine intelligence,

ما دور هم می نشینیم و درباره آینده هوش ماشینی

among other things.

در میان الباقی چیزها فکر می کنیم.

Some people think that some of these things are sort of science fiction-y,

بعضی از مردم فکر می کنند که این چیزها تخیلات علمی،

far out there, crazy.

و دور از واقعیت و دیوانه وارند.

But I like to say,

اما مایل هستم که بگویم

okay, let's look at the modern human condition.

بسیار خوب، بیایید نگاهی به شرایط مدرن بشر بیاندازیم.

(Laughter)

(خنده)

This is the normal way for things to be.

این طریقه عادی بودن چیزهاست.

But if we think about it,

اما اگر درباره اش فکر کنید،

we are actually recently arrived guests on this planet,

ما در واقعیت میهمانان تازه رسیده به این سیاره هستیم،

the human species.

گونه بشر.

Think about if Earth was created one year ago,

فکر کنید اگر زمین یک سال قبل خلق شده بود،

the human species, then, would be 10 minutes old.

پس، گونه بشر ۱۰ دقیقه بیشتر عمرش نبود.

The industrial era started two seconds ago.

عصر صنعتی دو ثانیه قبل شروع می شد.

Another way to look at this is to think of world GDP over the last 10,000 years,

روش دیگر نگاه به این موضوع ، فکر کردن در مورد تولید ناخالص داخلی جهان، طی ۱۰٫۰۰۰ سال گذشته است،

I've actually taken the trouble to plot this for you in a graph.

در واقع، من دردسر ترسیم آن را برای شما در این نمودار کشیده ام.

It looks like this.

مثل این به نظر می رسد.

(Laughter)

(خنده)

It's a curious shape for a normal condition.

شکل عجیبی برای شرایط عادی است.

I sure wouldn't want to sit on it.

مطمئنم که نمیخواهم در این وضع قرار بگیرم.

(Laughter)

(خنده)

Let's ask ourselves, what is the cause of this current anomaly?

بگذارید از خودمان بپرسیم، دلیل این بی قاعدگی فعلی چیست؟

Some people would say it's technology.

شاید بعضی بگویند فناوری.

Now it's true, technology has accumulated through human history,

درست است که فناوری در طول تاریخ بشر انباشته شده

and right now, technology advances extremely rapidly --

و در حال حاضر فناوری با سرعت زیادی در حال پیشروی است--

that is the proximate cause,

اما این دلیل اصلی نیست،

that's why we are currently so very productive.

چرا که ما در حال حاضر خیلی مولد هستیم.

But I like to think back further to the ultimate cause.

اما دوست دارم برای علت اصلی، به عقب تر برگردم.

Look at these two highly distinguished gentlemen:

به این دو آقای بسیار متشخص نگاه کنید:

We have Kanzi --

ما "کانزی" را داریم--

he's mastered 200 lexical tokens, an incredible feat.

استاد ۲۰۰ توکن واژگانی، موفقیت شگفت آوری است.

And Ed Witten unleashed the second superstring revolution.

و" اد ویتن" که دومین انقلاب ابرریسمان را مطرح کرد.

If we look under the hood, this is what we find:

اگر به بررسی ادامه دهیم، به این نتیجه می رسیم که:

basically the same thing.

در اصل یک چیز است.

One is a little larger,

یکی، کمی بزرگتر است،

it maybe also has a few tricks in the exact way it's wired.

هر چند ممکن است چند حقه هم در عجیب بودن این روش باشد،

These invisible differences cannot be too complicated, however,

اما این اختلافات غیرقابل مشاهده چندان نمی توانند پیچیده باشند،

because there have only been 250,000 generations

چون تنها ۲۵۰ هزار نسل از آخرین جد

since our last common ancestor.

مشترکمان می گذرد.

We know that complicated mechanisms take a long time to evolve.

می دانیم که مکانیزم های پیچیده زمان طولانی برای تکامل دارند.

So a bunch of relatively minor changes

بنابراین چندتایی تغییرات جزئی نسبی

take us from Kanzi to Witten,

ما را از "کانزی" به "ویتن" می رساند،

from broken-off tree branches to intercontinental ballistic missiles.

از شاخه های درخت شکسته تا موشک های بالستیک بین قاره ای.

So this then seems pretty obvious that everything we've achieved,

پس این خیلی واضح به نظر می رسد که همه چیز قابل دستیابی است،

and everything we care about,

و هر چه را که به آن اهمیت می دهیم،

depends crucially on some relatively minor changes that made the human mind.

عمدتا بستگی به تغییرات جزئی نسبی دارد که ذهن بشر را می سازد.

And the corollary, of course, is that any further changes

و نتیجه آن، البته تغییرات بیشتری است

that could significantly change the substrate of thinking

که می توانند بطور عمده بستر اندیشه را تغییر داده

could have potentially enormous consequences.

و منجر به پیامد بالقوه ی عظیمی گردند.

Some of my colleagues think we're on the verge

برخی از همکارانم فکر می کردند که ما در آستانه

of something that could cause a profound change in that substrate,

چیزی هستیم که می تواند منجر به تغییری ژرف در آن بستر شود،

and that is machine superintelligence.

و آن ماشین ابرهوشمند است.

Artificial intelligence used to be about putting commands in a box.

پیش از این، هوش مصنوعی درباره قرار دادن دستورات در یک جعبه بود.

You would have human programmers

شما برنامه نویس های انسانی را داشتید

that would painstakingly handcraft knowledge items.

که با زحمت آیتم های دانش را هنرمندانه شکل میدادند.

You build up these expert systems,

شما این سیستم های خبره را می سازید،

and they were kind of useful for some purposes,

که به نحوی برای برخی مقاصد، مناسب بودند،

but they were very brittle, you couldn't scale them.

اما آنقدر بی دوام بودند که قادر به سنجش آنها نبودید.

Basically, you got out only what you put in.

در اصل، تنها چیزی را درو می کنید که کاشتید.

But since then,

اما از آن موقع تاکنون،

a paradigm shift has taken place in the field of artificial intelligence.

تغییر قابل توجه ای در زمینه هوش مصنوعی رخ داده است.

Today, the action is really around machine learning.

امروزه، اقدامات حقیقتا درباره یادگیری ماشین است.

So rather than handcrafting knowledge representations and features,

پس بجای هنرمندانه شکل دادن آرایه ها و نمایه های علمی،

we create algorithms that learn, often from raw perceptual data.

الگوریتم هایی را خلق می کنیم که یاد می گیرد، اغلب هم از داده های دریافتی خام.

Basically the same thing that the human infant does.

عمدتا همان کاری را که نوزاد بشر انجام می دهد.

The result is A.I. that is not limited to one domain --

نتیجه، هوش مصنوعی است که به یک حوزه محدود نیست--

the same system can learn to translate between any pairs of languages,

نظام یکسانی که می تواند ترجمه کردن بین هر دو زبان فرضی را یاد بگیرد،

or learn to play any computer game on the Atari console.

یا بازی کردن هر بازی کامپیوتری را با آتاری.

Now of course,

البته الان،

A.I. is still nowhere near having the same powerful, cross-domain

هوش مصنوعی، هنوز جایی نزدیک همان توانایی قدرتمند و مطمئن

ability to learn and plan as a human being has.

برای یادگیری و برنامه ریزی است که بشر آن را دارد.

The cortex still has some algorithmic tricks

"کورتکس" هنوز برخی از همان حقه های الگوریتمی را دارد

that we don't yet know how to match in machines.

که ما از نحوه قرار دادنشان در ماشینها بی اطلاعیم.

So the question is,

پس پرسش این است،

how far are we from being able to match those tricks?

تا چه حد قادر به هماهنگی این حقه ها هستیم؟

A couple of years ago,

دو سال پیش،

we did a survey of some of the world's leading A.I. experts,

آمارگیری را بین متخصصان برجسته هوش مصنوعی انجام دادیم،

to see what they think, and one of the questions we asked was,

تا بدانیم به چه چیزی فکری می کنند، و یکی از پرسش هایی که ما مطرح کردیم این بود که :

"By which year do you think there is a 50 percent probability

"فکر می کنید در چه سالی ۵۰ درصد احتمال خواهد داشت

that we will have achieved human-level machine intelligence?"

که به ماشینی هوشمند در سطح بشر دست بیابیم؟"

We defined human-level here as the ability to perform

در اینجا ما توانایی در سطح انسان را بعنوان قابلیتی برای اجرای

almost any job at least as well as an adult human,

هر کاری تعریف می کنیم که حداقل انسان بالغ نیز آن را انجام دهد،

so real human-level, not just within some limited domain.

پس سطح انسانی واقعی، فقط چیزی در محدوده یک دامنه نیست.

And the median answer was 2040 or 2050,

و پاسخ میانگین در حدود سال ۲۰۴۰ یا ۲۰۵۰ بود.

depending on precisely which group of experts we asked.

دقیقا بسته به این که از کدام گروه از متخصصان سوال کردیم.

Now, it could happen much, much later, or sooner,

پس این اتفاق خیلی دیر یا زود اتفاق خواهد افتاد.

the truth is nobody really knows.

واقعیت این است که کسی دقیقا نمی داند.

What we do know is that the ultimate limit to information processing

آنچه می دانیم این است که حد نهایی برای پردازش اطلاعات

in a machine substrate lies far outside the limits in biological tissue.

در بستر ماشین خارج از مرزهای موجود در بافت زیستی قرار می گیرد.

This comes down to physics.

که به فیزیک منتهی می شود.

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

یک نورون زیستی شاید ۲۰۰ بار در ثانیه ۲۵۰ هرتز شلیک کند.

But even a present-day transistor operates at the Gigahertz.

اما حتی ترانزیستورهای امروزی گیگاهرتزی عمل می کنند.

Neurons propagate slowly in axons, 100 meters per second, tops.

نورون ها به آرامی در محورها گسترده می شوند، حداکثر ۱۰۰ متر در ثانیه.

But in computers, signals can travel at the speed of light.

اما در کامپیوترها، سیگنال ها قابلیت سفر با با سرعت نور را دارند.

There are also size limitations,

محدودیت های ابعادی نیز هست،

like a human brain has to fit inside a cranium,

مثل مغز انسانی که باید درون جمجمه جا شود،

but a computer can be the size of a warehouse or larger.

اما کامپیوتر می تواند به بزرگی یک انباری یا بزرگتر نیز باشد.

So the potential for superintelligence lies dormant in matter,

بنابراین پتانسیل ابَرهوشمند هنوز نهفته است،

much like the power of the atom lay dormant throughout human history,

بیشتر مثل نیروی اتم که در طول تاریخ بشریت نهفته بود

patiently waiting there until 1945.

تا این که در ۱۹۴۵ کشف شد.

In this century,

در این قرن،

scientists may learn to awaken the power of artificial intelligence.

دانشمندان شاید یاد بگیرند نیروی هوش مصنوعی را بیدار کنند.

And I think we might then see an intelligence explosion.

و فکر می کنم بعد آن شاهد انفجار هوشی باشیم.

Now most people, when they think about what is smart and what is dumb,

اکنون اغلب مردم وقتی به زیرک یا کودن بودن چیزی فکر می کنند،

I think have in mind a picture roughly like this.

فکر می کنم این تصویر نسبتا خشن را در ذهنشان دارند.

So at one end we have the village idiot,

که در یکسو دهکده خرفت ها را داریم

and then far over at the other side

و در سوی دیگر

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

امثال "اد ویتن" و "آلبرت اینشتن" یا هر کسی که معلم مذهبی ما است را داریم.

But I think that from the point of view of artificial intelligence,

اما بنظرم از دیدگاه هوش مصنوعی

the true picture is actually probably more like this:

تصویر حقیقی باید در واقع چیزی شبیه به این باشد:

AI starts out at this point here, at zero intelligence,

هوش مصنوعی در نقطه ای اینجا آغاز می شود، در هوش صفر،

and then, after many, many years of really hard work,

و سپس بعد از سالهای سال کار واقعا سخت،

maybe eventually we get to mouse-level artificial intelligence,

شاید سرانجام به هوش مصنوعی سطح موش برسیم،

something that can navigate cluttered environments

چیزی که بتواند که در محیط های درهم، جهت یابی کند،

as well as a mouse can.

همانطور که موش ها می توانند.

And then, after many, many more years of really hard work, lots of investment,

و سپس، بعد از سال های خیلی خیلی بیشتر دیگری از کار واقعا سخت، کلی سرمایه گذاری،

maybe eventually we get to chimpanzee-level artificial intelligence.

شاید سرانجام به هوش مصنوعی سطح شامپانزه برسیم.

And then, after even more years of really, really hard work,

و بعد، پس از سال های بازهم بیشتری از کار واقعا سخت،

we get to village idiot artificial intelligence.

ما به هوش مصنوعی سطح دهکده خرفت ها می رسیم.

And a few moments later, we are beyond Ed Witten.

و چند لحظه بعد از آن، پشت سر"اد ویتن" هستیم.

The train doesn't stop at Humanville Station.

قطار در ایستگاه دهکده بشری متوقف نمی شود.

It's likely, rather, to swoosh right by.

احتمالا بجایش با سرعت از آن بگذرد.

Now this has profound implications,

خب از اینجاست که احتمالا پیامدهای عمیق داشته باشد،

particularly when it comes to questions of power.

به ویژه وقتی پای قدرت در میان باشد.

For example, chimpanzees are strong --

برای مثال، شامپانزه ها قوی هستند--

pound for pound, a chimpanzee is about twice as strong as a fit human male.

در ازای هر کیلو، یک شامپانزه دو برابر یک انسان مذکر قدرت دارد.

And yet, the fate of Kanzi and his pals depends a lot more

و هنوز سرنوشت "کانزی" و رفقایش بیشتر بستگی

on what we humans do than on what the chimpanzees do themselves.

به عملکرد ما انسانها دارد تا آنچه خود شامپانزه ها انجام می دهند.

Once there is superintelligence,

وقتی پای هوش مصنوعی در میان باشد،

the fate of humanity may depend on what the superintelligence does.

سرنوشت بشریت شاید به هوش مصنوعی وابسته باشد.

Think about it:

به آن فکر کنید:

Machine intelligence is the last invention that humanity will ever need to make.

هوش ماشینی آخرین اختراعی است که بشریت به آن نیاز خواهد داشت.

Machines will then be better at inventing than we are,

ماشینها پس از آن نسبت به ما عملکرد بهتری در اختراعات خواهند داشت،

and they'll be doing so on digital timescales.

و آن را در مقیاس زمانی دیجیتال انجام خواهند داد.

What this means is basically a telescoping of the future.

که به طور اساسی به معنای فشرده کردن آینده است.

Think of all the crazy technologies that you could have imagined

به همه فناوریهای دیوانه واری فکر کنید که شاید بشر در آینده

maybe humans could have developed in the fullness of time:

بطور کامل توسعه دهد و شما قادر به تصور کردنشان هستید:

cures for aging, space colonization,

درمان پیری، سکنا گزیدن در فضا،

self-replicating nanobots or uploading of minds into computers,

نانوباتهای خودجایگزین یا انتقال اطلاعت ذهن به کامپیوترها،

all kinds of science fiction-y stuff

همه انواع موضاعات علمی تخیلی

that's nevertheless consistent with the laws of physics.

که با این حال با قوانین فیزیک مرتبط اند.

All of this superintelligence could develop, and possibly quite rapidly.

تمامی این هوش مصنوعی قادر به توسعه یافتن است، و احتمالا هم بسیار سریع.

Now, a superintelligence with such technological maturity

حال، یک هوش مصنوعی با چنین بلوغ در فناوری

would be extremely powerful,

بی نهایت قدرتمند خواهد بود،

and at least in some scenarios, it would be able to get what it wants.

و حداقل در برخی سناریوها، قادر به رسیدن به آنچه می خواهد است.

We would then have a future that would be shaped by the preferences of this A.I.

پس آینده ای که خواهیم داشت بواسطه ترجیحات این هوش مصنوعی شکل می گیرد.

Now a good question is, what are those preferences?

حال پرسشی که مطرح است، این ترجیحات کدامند؟

Here it gets trickier.

اینجاست که پیچیده تر می شود.

To make any headway with this,

برای هرگونه پیشرفت در این زمینه،

we must first of all avoid anthropomorphizing.

نخست باید از هر گونه انسان پنداری اجتناب کنیم.

And this is ironic because every newspaper article

و این کمی کنایه آمیز است زیرا تمامی مقالات روزنامه ها

about the future of A.I. has a picture of this:

درباره آینده هوش مصنوعی تصویر این چنینی ارائه می دهد:

So I think what we need to do is to conceive of the issue more abstractly,

پس فکر می کنم آنچه لازم است انجام دهیم باور داشتن هر چه بیشتر مساله بخودی خود است،

not in terms of vivid Hollywood scenarios.

نه در قالب سناریوهای هالیوودی تخیلی قوی.

We need to think of intelligence as an optimization process,

لازم است به هوش، بعنوان فرایندی بهینه ساز فکر کنیم،

a process that steers the future into a particular set of configurations.

فرایندی که آینده را به مجموعه خاصی از ترتیب ها هدایت می کند.

A superintelligence is a really strong optimization process.

هوش مصنوعی فرایند بهینه ساز واقعا قوی است.

It's extremely good at using available means to achieve a state

در استفاده از ابزار در دسترس جهت رسیدن به وضعیتی که در آن هدفش

in which its goal is realized.

تشخیص داده شود بی نهایت خوب است.

This means that there is no necessary connection between

این به آن معناست که هیچ ارتباط لازمی

being highly intelligent in this sense,

بین داشتن هوش بالا به این معنا،

and having an objective that we humans would find worthwhile or meaningful.

و داشتن هدفی که ما انسانها آن را با معنا یا با ارزش بیابیم وجود ندارد.

Suppose we give an A.I. the goal to make humans smile.

فرض کنید به یک هوش مصنوعی، هدف لبخند زدن مثل انسانها را بدهیم.

When the A.I. is weak, it performs useful or amusing actions

وقتی هوش مصنوعی ضعیف است، اعمال مفید یا جالب انجام می دهد

that cause its user to smile.

تا باعث لبخند زدن کاربرش شود.

When the A.I. becomes superintelligent,

وقتی هوش مصنوعی، ابرهوشمند می شود،

it realizes that there is a more effective way to achieve this goal:

به این تشخیص می رسد که روش موثرتری برای رسیدن به این هدف وجود دارد:

take control of the world

کنترل دنیا را در دست بگیر

and stick electrodes into the facial muscles of humans

و الکترود در ماهیچه های صورت آدمها کن

to cause constant, beaming grins.

تا همیشه در حال لبخند زدن باشند.

Another example,

مثال دیگر،

suppose we give A.I. the goal to solve a difficult mathematical problem.

فرض کنید برای هوش مصنوعی، هدف حل کردن یک مساله دشوار ریاضی را تعیین کنید.

When the A.I. becomes superintelligent,

وقتی هوش مصنوعی، ابر هوشمند شود

it realizes that the most effective way to get the solution to this problem

موثرترین روش را برای رسیدن به راه حل این مشکل را

is by transforming the planet into a giant computer,

تبدیل کردن سیاره به یک کامپیوتر عظیم تشخیص می دهد،

so as to increase its thinking capacity.

تا به این ترتیب ظرفیت فکر کردنش را افزایش دهد.

And notice that this gives the A.I.s an instrumental reason

و البته متوجه باشید که این کار باعث می شود هوش مصنوعی دلیل ابزاری

to do things to us that we might not approve of.

برای انجام کارهایی برای ما داشته باشد که شاید ما آن ها را تایید نکنیم.

Human beings in this model are threats,

انسانها در این الگو تهدید هستند،

we could prevent the mathematical problem from being solved.

ما می توانیم مانع حل شدن مساله ریاضی شویم.

Of course, perceivably things won't go wrong in these particular ways;

البته، از جنبه ادراکی اوضاع در چنین روشهای خاص به بیراهه نخواهد رفت؛

these are cartoon examples.

اینها نمونه های کارتونی هستند.

But the general point here is important:

اما نکته کلی که در اینجا اهمیت دارد:

if you create a really powerful optimization process

اگر پروسه بهینه واقعا قدرتمندی را بیافرینید

to maximize for objective x,

تا هدف ایکس را به حداکثر رسانید،

you better make sure that your definition of x

بهتر است مطمئن شوید که تعریف شما از ایکس

incorporates everything you care about.

با هر آنچه راجع به آن اهمیت می دهید همکاری دارد.

This is a lesson that's also taught in many a myth.

این درسی که همچنین به کرات در اسطورها آموخته می شود.

King Midas wishes that everything he touches be turned into gold.

شاه «میداس» آروزیش این بود که هر چه را لمس می کند به طلا تبدیل شود.

He touches his daughter, she turns into gold.

به دخترش دست می زند، به طلا تبدیل می شود.

He touches his food, it turns into gold.

به غذا دست می زدد، طلا می شود.

This could become practically relevant,

عملا می تواند مرتبط باشد،

not just as a metaphor for greed,

نه فقط بعنوان کنایه از طمع

but as an illustration of what happens

بلکه شرحی از آنچه اتفاق می افتد

if you create a powerful optimization process

اگر شما فرایند بهینه سازی قدرتمندی را خلق کنید

and give it misconceived or poorly specified goals.

و برایش اهداف ضعیف یا نادرستی را تعیین کنید.

Now you might say, if a computer starts sticking electrodes into people's faces,

حالا شاید بگویید، اگر کامپیوتر شروع به فرو کردن الکترود به صورت آدمها کند،

we'd just shut it off.

خب آن را خاموش می کنیم.

A, this is not necessarily so easy to do if we've grown dependent on the system --

الف: در صورتی که وابستگی ما به سیستم زیاد باشد، انجام این کار چندن آسان نخواهد بود--

like, where is the off switch to the Internet?

برای مثال، کلید قطعی اینترنت کجاست؟

B, why haven't the chimpanzees flicked the off switch to humanity,

ب: چرا شامپانزه ها کلید خاموشی بشریت را فشار ندادند،

or the Neanderthals?

یا ناندرتال ها؟

They certainly had reasons.

حتما دلایلی داشتند.

We have an off switch, for example, right here.

کلید خاموشی داریم، برای مثال همین جا.

(Choking)

(خفه شدن)

The reason is that we are an intelligent adversary;

دلیلش این است که ما حریف باهوشی هستیم؛

we can anticipate threats and plan around them.

می توانیم تهدیدات را پیش بینی کنیم و برایشان نقشه بکشیم.

But so could a superintelligent agent,

خب یک عامل ابرهوشمند هم قادر به این کار است،

and it would be much better at that than we are.

و خیلی هم بهتر از ما این کار را می کند.

The point is, we should not be confident that we have this under control here.

موضوع این است که ما نباید به این یقین داشته باشیم که اوضاع تحت کنترل ما است.

And we could try to make our job a little bit easier by, say,

و می توانیم تلاش کنیم کارمان را با قرار دادن هوش مصنوعی

putting the A.I. in a box,

داخل جعبه، کمی آسانتر کنیم،

like a secure software environment,

مثل یک محیط نرم افزاری ایمن،

a virtual reality simulation from which it cannot escape.

شبیه سازی مجازی از واقعیت، آنچه نمی تواند فرار کند

But how confident can we be that the A.I. couldn't find a bug.

اما چقدر مطمئن می‌توانیم باشیم که هوش مصنوعی باگ نگیرد.

Given that merely human hackers find bugs all the time,

با این فرض که هکرهای انسانی همیشه قادر به پیدا کردن باگ هستند،

I'd say, probably not very confident.

من که می‌گویم نباید خیلی مطمئن بود.

So we disconnect the ethernet cable to create an air gap,

پس کابل اترنت را برای ایجاد شکاف هوایی خلق می کنیم،

but again, like merely human hackers

اما، دوباره مثل هكرهاى انسانى

routinely transgress air gaps using social engineering.

طبق عادت شکافهای هوایی را با استفاده از مهندسی اجتماعی دچار خطا می کند.

Right now, as I speak,

همين حالا كه حرف مى زنم،

I'm sure there is some employee out there somewhere

مطمئنم يك كارمندى آن بيرون در جايى

who has been talked into handing out her account details

از وى خواسته مى شود كه جزييات حسابش را به كسى كه مدعى است

by somebody claiming to be from the I.T. department.

از بخش آى تى است بدهد.

More creative scenarios are also possible,

البته سناريوهاى خلاقانه ترى هم ممكن است،

like if you're the A.I.,

فرض کنید كه شما آن هوش مصنوعى هستيد،

you can imagine wiggling electrodes around in your internal circuitry

می توانید آن الکترودهای در هم لولیده را دور مدار داخلیتان تصور کنید

to create radio waves that you can use to communicate.

که در خلق امواج رادیویی برای ایجاد ارتباط استفاده می کنید.

Or maybe you could pretend to malfunction,

یا حتی شاید وانمود به خراب شدن کنید،

and then when the programmers open you up to see what went wrong with you,

و بعد وقتی برنامه نویسها برای فهم مشکل بازتان می کنند،

they look at the source code -- Bam! --

به کد منبع نگاه میاندازند-- گول خوردن!--

the manipulation can take place.

امکان اتفاق دستکاری وجود دارد.

Or it could output the blueprint to a really nifty technology,

یا بتواند بلوپرینتی را برای یک فناوری واقعا خوب و جالب بیرون دهد،

and when we implement it,

و وقتی آن را اجرا کردیم،

it has some surreptitious side effect that the A.I. had planned.

که بخاطر طرح ریزی شدن توسط هوش مصنوعی اثر جانبی محرمانه ای دارد.

The point here is that we should not be confident in our ability

نکته اینجاست که ما نباید به تواناییمان در نگهداری

to keep a superintelligent genie locked up in its bottle forever.

جن ابرهوشمند توی چراغ تا ابد مطمئن باشیم.

Sooner or later, it will out.

دیر یا زود، فرار می کند.

I believe that the answer here is to figure out

به باور من جواب در اینجا پی بردن به

how to create superintelligent A.I. such that even if -- when -- it escapes,

نحوه آفرینش ابرهوشمند است. اینطور که حتی وقتی فرار می کند،

it is still safe because it is fundamentally on our side

هنوز ایمن است چون اساسا در طرف ما قرار دارد

because it shares our values.

چون ارزشهای ما را همخوان می کند.

I see no way around this difficult problem.

راه دیگری درباره این مشکل دشوار نمی بینم.

Now, I'm actually fairly optimistic that this problem can be solved.

اکنون، من واقعا درباره حل این مشکل خوش بینم.

We wouldn't have to write down a long list of everything we care about,

فهرست بلند و بالایی از ههمه آنچه برایمان اهمیت دارد ننوشته ایم،

or worse yet, spell it out in some computer language

یا بدتر از آن، کافی است به بعضی زبانهای کامپیوتری بیان شود

like C++ or Python,

مثل ++C یا پیتون،

that would be a task beyond hopeless.

نتیجه فراتر از مایوسانه خواهد بود.

Instead, we would create an A.I. that uses its intelligence

در عوض، هوش مصنوعی خلق خواهیم کرد که از هوش خود برای آموختن چیزی استفاده کند

to learn what we value,

که آن را ارج می نهیم،

and its motivation system is constructed in such a way that it is motivated

و انگیزه سیستمی آن بر مبنایی ساخته شده است که اشتیاقش

to pursue our values or to perform actions that it predicts we would approve of.

دنبال کردن ارزشهای ما یا اجرای اقداماتی است تا آنچه را که تایید می کنیم پیش بینی کند.

We would thus leverage its intelligence as much as possible

بنابراین هوشش را تا حد امکان بهبود می بخشیم

to solve the problem of value-loading.

تا مشکل بارگذاری ارزش را حل کنیم.

This can happen,

این شدنی است،

and the outcome could be very good for humanity.

و نتیجه می تواند برای انسانیت خوب باشد.

But it doesn't happen automatically.

اما خب بطور خودکار اتفاق نمی افتد.

The initial conditions for the intelligence explosion

شرایط اولیه برای انفجار هوش

might need to be set up in just the right way

شاید نیاز به وضع آن به روش درست دارد،

if we are to have a controlled detonation.

اگر که خواستار انفجار کنترل شده ای هستیم.

The values that the A.I. has need to match ours,

ارزشهایی که هوش مصنوعی برای هماهنگی با ما نیاز دارد،

not just in the familiar context,

نه فقط در بافتی مشابه،

like where we can easily check how the A.I. behaves,

مثل جایی که به راحتی بشود نحوه کارکرد هوش مصنوعی را بررسی کرد،

but also in all novel contexts that the A.I. might encounter

اما همچنین در همه بافتهای جدیدی که هوش مصنوعی در آینده نامعلوم

in the indefinite future.

شاید با آن مواجه گردد.

And there are also some esoteric issues that would need to be solved, sorted out:

و شاید همینطور مسائل محرمانه ای باشند که نیاز به حل شدن و جداسازی دارند:

the exact details of its decision theory,

جزییات دقیق نظریه تصمیم گیری،

how to deal with logical uncertainty and so forth.

نحوه برخورد با بلاتکلیفی منطقی و الی آخر.

So the technical problems that need to be solved to make this work

بنابراین مشکلات تکنیکی که نیاز به حل شدن دارند تا این کار

look quite difficult --

نسبتا دشوار به نظر رسد--

not as difficult as making a superintelligent A.I.,

نه به دشواری ساخت یک ابر هوشمند،

but fairly difficult.

اما کمابیش دشوار.

Here is the worry:

نگرانی که هست:

Making superintelligent A.I. is a really hard challenge.

ساخت ابر هوشمند چالش واقعا دشواری است.

Making superintelligent A.I. that is safe

ساخت سوپر ابرهوشمندی که ایمن است

involves some additional challenge on top of that.

دربرگیرنده چالش اضافی علاوه بر آن نیز هست.

The risk is that if somebody figures out how to crack the first challenge

خطر زمانی است که کسی پی به کرک کردن چالش اولی ببرد

without also having cracked the additional challenge

بی آنکه چالش اضافی مربوط به تضمین ایمنی کامل

of ensuring perfect safety.

را هک کرده باشد.

So I think that we should work out a solution

پس بنظرم باید به فکر راه حلی باشیم

to the control problem in advance,

که مشکل را از پیش حل کند،

so that we have it available by the time it is needed.

تا در صورت نیاز آن را در اختیار داشته باشیم.

Now it might be that we cannot solve the entire control problem in advance

حال شاید اینطور باشد که ما نمی توانیم مشکل کنترل کلی را از پیش حل کنیم

because maybe some elements can only be put in place

چون احتمالا برخی المانها را تنها در صورتی میشود در جایشان قرار داد

once you know the details of the architecture where it will be implemented.

که از جزییات معماری مربوط به جاسازیشان باخبر باشید.

But the more of the control problem that we solve in advance,

اما مضاف بر مشکل کنترل که پیشاپیش حلش می کنیم،

the better the odds that the transition to the machine intelligence era

احتمال می رود که انتقال به عصر هوش ماشینی

will go well.

خوب پیش برود.

This to me looks like a thing that is well worth doing

که بنظرم چیزی است که کاملا ارزش انجامش را دارد

and I can imagine that if things turn out okay,

و می توانم تصور کنم که نتیجه اش خوب باشد،

that people a million years from now look back at this century

که آدمهای یک میلیون سال بعد، به این قرن نگاه می کنند

and it might well be that they say that the one thing we did that really mattered

و احتمالا خواهند گفت که شاید تنها کار بارارزشی که ما انجام دادیم

was to get this thing right.

به سرانجام رساندن درست آن بود.

Thank you.

متشکرم.

(Applause)

(تشویق)