3 principles for creating safer AI | Stuart Russell

Translator: Iman Mirzadeh Reviewer: Leila Ataei

This is Lee Sedol.

این لی سادل هست.

Lee Sedol is one of the world's greatest Go players,

لی سادل یکی از بزرگترین بازیکن های Go (یک بازی فکری)در جهان هست.

and he's having what my friends in Silicon Valley call

و در حال تجربه لحظه‌ای هست که دوستان من در سیلیکون ولی

a "Holy Cow" moment --

بهش میگن لحظه "یا پیغمبر!"

(Laughter)

(خنده حاضرین)

a moment where we realize

لحظه‌ای که م‌ف‌همیم

that AI is actually progressing a lot faster than we expected.

هوش مصنوعی واقعا داره سریعتر از چیزی که انتظارشو داشتیم پیشرفت میکنه.

So humans have lost on the Go board. What about the real world?

پس، انسان‌ها روی تخته Go باخته‌‌اند. در دنیای واقعی چطور؟

Well, the real world is much bigger,

باید بگم که دنیای واقعی خیلی بزرگتر

much more complicated than the Go board.

و بسیار بسیار پیچیده‌تر از تخته بازی Go هست.

It's a lot less visible,

(دنیای واقعی) خیلی نامرئی‌تر هست،

but it's still a decision problem.

ولی همچنان مساله تصمیم گیری هست.

And if we think about some of the technologies

و اگر درباره برخی از تکنولوژی‌ها فکر کنیم

that are coming down the pike ...

که در حال ظهور هستند...

Noriko [Arai] mentioned that reading is not yet happening in machines,

[Noriko [Arai اشاره کرده است که توانایی خواندن هنوز در ماشین‌ها وجود ندارد،

at least with understanding.

حداقل همراه با فهمیدن نیست.

But that will happen,

ولی این اتفاق خواهد افتاد.

and when that happens,

و وقتی که به وقوع بپیوندد،

very soon afterwards,

پس از آن، خیلی زود

machines will have read everything that the human race has ever written.

ماشین‌ها تمام آن‌چه را که بشر نوشته است، خواهند خواند.

And that will enable machines,

و این ماشین‌ها را قادر می‌سازد

along with the ability to look further ahead than humans can,

که فراتر از انسان‌ها به آینده نگاه کنند،

as we've already seen in Go,

همانطور که قبلاً در ‌Go دیده‌ایم،

if they also have access to more information,

اگر ماشین‌ها به اطلاعات بیشتری دسترسی داشته باشند،

they'll be able to make better decisions in the real world than we can.

می‌توانند تصمیمات بهتری در جهان واقعی نسبت به ما بگیرند.

So is that a good thing?

آیا این یک اتفاق خوب است؟

Well, I hope so.

خب، امیدوارم که باشه.

Our entire civilization, everything that we value,

تمام تمدن ما، هر چیزی که برایش ارزش قائل هستیم،

is based on our intelligence.

بر پایه هوشمندی ما است.

And if we had access to a lot more intelligence,

و اگر ما هوش بیشتری در اختیار داشتیم،

then there's really no limit to what the human race can do.

آن‌ وقت هیچ حد و مرزی برای کارهایی که انسان می‌تواند بکند وجود نداشت.

And I think this could be, as some people have described it,

و من فکر می‌کنم که، همانطور که برخی توصیف کرد‌اند،

the biggest event in human history.

این می‌تواند بزرگترین رویداد تاریخ بشریت باشد.

So why are people saying things like this,

پس چرا بعضی‌ها حرفهایی میزنند،

that AI might spell the end of the human race?

مثلا اینکه هوش مصنوعی می‌تواند خاتمه دهنده نسل بشر باشد؟

Is this a new thing?

آیا این یک پدیده جدید است؟

Is it just Elon Musk and Bill Gates and Stephen Hawking?

آیا فقط ایلان ماسک و بیل گیتس و استیون هاوکینگ هستند؟

Actually, no. This idea has been around for a while.

راستش، نه. این ایده خیلی وقته که وجود دارد.

Here's a quotation:

یه نقل قول میگه:

"Even if we could keep the machines in a subservient position,

«حتی اگر میتونستیم ماشین‌ها رو فرمانبردار نگه داریم

for instance, by turning off the power at strategic moments" --

مثلا با خاموش کردنشان در لحظات استراتژیک»

and I'll come back to that "turning off the power" idea later on --

-- و من بعداً به ایده «خاموش کردن»برمی‌گردم--

"we should, as a species, feel greatly humbled."

«ما به عنوان یک گونه، باید خیلی احساس پستی کنیم»

So who said this? This is Alan Turing in 1951.

کی این رو گفته؟ آلن تورینگ در سال ۱۹۵۱

Alan Turing, as you know, is the father of computer science

آلن تورینگ، همانطور که می‌دانید پدر علم کامپیوتر هست.

and in many ways, the father of AI as well.

و از خیلی از جهات، پدر علم هوش مصنوعی هم هست.

So if we think about this problem,

پس اگر درباره این مساله فکر کنیم،

the problem of creating something more intelligent than your own species,

مساله ساختن چیزی هوشمندتر از گونه خودمان،

we might call this "the gorilla problem,"

شاید این رو «مساله گوریل» بنامیم.

because gorillas' ancestors did this a few million years ago,

چون اجداد گوریل‌ها این کار رو چند میلیون‌ سال قبل انجام داده اند،

and now we can ask the gorillas:

و الان می‌توانیم از گوریل‌ها بپرسیم که:

Was this a good idea?

آیا این کار ایده‌ خوبی بود؟

So here they are having a meeting to discuss whether it was a good idea,

اینم از گوریل‌هایی که در جلسه‌ای، درباره اینکه آیا ایده خوبی بود بحث میکنند

and after a little while, they conclude, no,

و بعد از مدت کوتاهی، به این نتیجه میرسن که، نه

this was a terrible idea.

یک ایده افتضاح بود

Our species is in dire straits.

گونه ما،‌ در تنگنای بدی قرار دارد

In fact, you can see the existential sadness in their eyes.

در واقع، شما می‌توانید غم عالم رو در چشمانشان ببینید

(Laughter)

(خنده حاضرین)

So this queasy feeling that making something smarter than your own species

پس شاید این احساس ناراحتی از به وجود آوردن چیزی هوشمندتر از گونه خود

is maybe not a good idea --

ایده خوبی نباشد

what can we do about that?

ما چه کاری از دستمان برمی‌آید؟

Well, really nothing, except stop doing AI,

درواقع، هیچی به جز متوقف کردن هوش مصنوعی،

and because of all the benefits that I mentioned

و به دلیل تمام فوایدی که گفتم

and because I'm an AI researcher,

و به دلیل اینکه من یک محقق هوش مصنوعی هستم

I'm not having that.

من این مورد رو قبول ندارم.

I actually want to be able to keep doing AI.

من میخوام که بتوانم همچنان روی هوش مصنوعی کار کنم.

So we actually need to nail down the problem a bit more.

پس باید این مساله رو بیشتر واکاوی کنیم.

What exactly is the problem?

مشکل واقعا چی هست؟

Why is better AI possibly a catastrophe?

چرا هوش مصنوعی بهتر منجر به فاجعه می‌شود؟

So here's another quotation:

اینم یک نقل قول دیگه:

"We had better be quite sure that the purpose put into the machine

«بهتره که مطمئن باشیم هدفی که در ماشین‌ قرار‌ میدهیم

is the purpose which we really desire."

همان هدفی است که واقعا میخواهیم.»

This was said by Norbert Wiener in 1960,

که توسط نوربرت وینر در ۱۹۶۰ گفته شده،

shortly after he watched one of the very early learning systems

بلافاصله بعد از اینکه وی دید یکی از سیستم‌های یادگیرنده اولیه

learn to play checkers better than its creator.

بازی چکرز رو بهتر از سازندگانش بازی می‌کند.

But this could equally have been said

ولی این جمله می‌توانست توسط

by King Midas.

شاه میداس هم گفته شده باشد.

King Midas said, "I want everything I touch to turn to gold,"

شاه میداس گفت: «من میخواهم هرچه را که لمس میکنم تبدیل به طلا شود،»

and he got exactly what he asked for.

و او دقیقاً چیزی را که خواسته بود گرفت.

That was the purpose that he put into the machine,

و آن هدفی بود که وی در ماشین قرار داد.

so to speak,

اینطور که میگن،

and then his food and his drink and his relatives turned to gold

و بعدش غذا، نوشیدنی و اقوامش تبدیل به طلا شدند.

and he died in misery and starvation.

و از بدبختی و گشنگی مرد.

So we'll call this "the King Midas problem"

پس ما به این مشکل میگوییم: «مشکل شاه میداس»

of stating an objective which is not, in fact,

که در آن هدف را چیزی قرار می‌دهیم،

truly aligned with what we want.

که واقعاً هم جهت با چیزی که ما مي‌خواهیم نیست.

In modern terms, we call this "the value alignment problem."

به بیان جدیدتر، به این مشکل میگیم: «مشکل هم جهت سازی ارزش»

Putting in the wrong objective is not the only part of the problem.

هدف گذاری اشتباه تنها بخش مشکل نیست.

There's another part.

بخش دیگری هم هست

If you put an objective into a machine,

اگر شما یک هدف برای ماشین قرار دهید

even something as simple as, "Fetch the coffee,"

حتی به سادگیج «آوردن قهوه»

the machine says to itself,

ماشین به خودش میگه

"Well, how might I fail to fetch the coffee?

«چطوری ممکنه که من نتونم قهوه رو بیارم؟

Someone might switch me off.

یکی ممکنه منو خاموش کنه..

OK, I have to take steps to prevent that.

خب پس من باید کاری کنم که جلوی این کار رو بگیرم.

I will disable my 'off' switch.

من دکمه «خاموش» خودمو غیرفعال می‌کنم.

I will do anything to defend myself against interference

من هرکاری میکنم تا از خودم در برابر موانعی که

with this objective that I have been given."

سد راه هدفی که به من داده شده می‌شوند، دفاع کنم.»

So this single-minded pursuit

بنابراین، این دنبال کردن تک-ذهنه

in a very defensive mode of an objective that is, in fact,

در یک حالت خیلی دفاعی از هدف،

not aligned with the true objectives of the human race --

در واقع، هم جهت با اهداف گونه انسان نیست.

that's the problem that we face.

این مشکلی هست که باهاش مواجه هستیم

And in fact, that's the high-value takeaway from this talk.

و در واقع، این نکته با ارزش این سخنرانی هست.

If you want to remember one thing,

اگر میخواهید فقط یک چیز را به خاطرتون بسپرید،

it's that you can't fetch the coffee if you're dead.

اون اینه که اگر شما بمیرین، دیگه نمی‌تونین قهوه رو بیارین

(Laughter)

(خنده حاضرین)

It's very simple. Just remember that. Repeat it to yourself three times a day.

خیلی سادست. فقط اینو یادتون باشه. روزی سه بار با خودتون تکرار کنین.

(Laughter)

(خنده حضار)

And in fact, this is exactly the plot

و در واقع، این نکته

of "2001: [A Space Odyssey]"

دقیقا پلات فیلم 2001 [A space Odyssey] است.

HAL has an objective, a mission,

HAL یک هدف داره، یک ماموریت

which is not aligned with the objectives of the humans,

که هم‌جهت با اهداف انسان‌ها نیست

and that leads to this conflict.

و این باعث بروز مشکلاتی میشه

Now fortunately, HAL is not superintelligent.

البته خوشبختانه، HAL خیلی باهوش نیست

He's pretty smart, but eventually Dave outwits him

اون نسبتا باهوش هست، ولی در نهایت Dave گولش میزنه.

and manages to switch him off.

و میتونه خاموشش کنه.

But we might not be so lucky.

ولی شاید ما خیلی خوش‌ شانس نباشیم.

So what are we going to do?

پس باید چیکار کنیم؟

I'm trying to redefine AI

من سعی میکنم هوش مصنوعی رو باز تعریف کنم.

to get away from this classical notion

تا از این تصور سنتی بیرون بیایم.

of machines that intelligently pursue objectives.

که طبق اون، ماشین‌هایی هستند که به صورت هوشمند اهداف رو دنبال میکنن.

There are three principles involved.

۳ تا اصل رو باید در نظر گرفت.

The first one is a principle of altruism, if you like,

اولین اصل، نوع دوستی هست. اگر شما دوست داشته باشین

that the robot's only objective

تنها هدف ربات

is to maximize the realization of human objectives,

این باشه که اهداف انسان رو واقعیت ببخشه.

of human values.

و ارزش‌های انسانی رو.

And by values here I don't mean touchy-feely, goody-goody values.

و منظورم از ارزش‌ها، ارزش‌های احساسی یا خیرخواهانه نیست.

I just mean whatever it is that the human would prefer

their life to be like.

زندگیش اون شکلی باشه.

And so this actually violates Asimov's law

و این در واقع قانون آسیموف رو نقض میکنه.

that the robot has to protect its own existence.

که ربات باید از حیات خودش محافظت کنه.

It has no interest in preserving its existence whatsoever.

ربات هیچ علاقه‌ای به مراقبت از حیات خودش نداره.

The second law is a law of humility, if you like.

قانون دوم، قانون فروتنی هست. البته اگه خوشتون بیاد.

And this turns out to be really important to make robots safe.

و این قانون نقش مهمی در امن کردن ربات‌ها داره.

It says that the robot does not know

طبق این قانون، ربات نمیدونه که

what those human values are,

ارزش‌های انسانی چه چیز‌هایی هستند

so it has to maximize them, but it doesn't know what they are.

باید در راستای محقق شدنشون تلاش کنه، ولی نمیدونه چه چیزهایی هستند.

And that avoids this problem of single-minded pursuit

و این از مشکل دنبال کردن تک-ذهنی هدف

of an objective.

جلوگیری می‌کنه.

This uncertainty turns out to be crucial.

این عدم قطعیت بسیار مهم هست.

Now, in order to be useful to us,

حالا، برای اینکه ربات برای ما مفید باشه

it has to have some idea of what we want.

باید یک ایده‌ای ازچیزی که میخوایم داشته باشه.

It obtains that information primarily by observation of human choices,

و این اطلاعات رو در درجه اول از مشاهده انتخاب‌های انسان به دست می‌آره.

so our own choices reveal information

پس، انتخاب‌های خود ما هستند که اطلاعات رو آشکار میکنن

about what it is that we prefer our lives to be like.

درباره چیزی که ما ترجیح میدیم زندگیمون شبیه به اون باشه.

So those are the three principles.

پس این ۳ اصل بیان شد.

Let's see how that applies to this question of:

حالا بیاین ببینیم که این اصول، چگونه روی این سوال عمل میکند:

"Can you switch the machine off?" as Turing suggested.

«آیا میتونی ماشین رو خاموش کنی؟» همانطور که تورینگ پیشنهاد داد.

So here's a PR2 robot.

این یک ربات مدل PR2 هستش.

This is one that we have in our lab,

که ما یک نمونه از آن در آزمایشگاهمون داریم

and it has a big red "off" switch right on the back.

و یک دکمه بزرگ قرمز برای «خاموش» کردن در پشتش داره.

The question is: Is it going to let you switch it off?

سوال اینه که آیا این ربات بهتون اجازه میده که خاموشش کنین؟

If we do it the classical way,

اگر ما از راه سنتی عمل کنیم،

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

بهش هدف این هدف رو میدیم: «قهوه روبیار، من باید قهوه رو بیارم

I can't fetch the coffee if I'm dead,"

من نمیتونم قهوه بیارم اگر مرده باشم»

so obviously the PR2 has been listening to my talk,

به وضوح، PR2 به سخنرانی من گوش کرده،

and so it says, therefore, "I must disable my 'off' switch,

پس میگه من باید دکمه «خاموش» رو غیرفعال کنم.

and probably taser all the other people in Starbucks

و احتمالاً با دستگاه شوک، به تمام مردم داخل استارباکس شلیک کنم!

who might interfere with me."

کسانی که ممکنه سد راه من باشن.

(Laughter)

(خنده حاضرین)

So this seems to be inevitable, right?

پس این مساله به نظر اجتناب ناپذیر میاد، درسته؟

This kind of failure mode seems to be inevitable,

این حالت شکست به نظر اجتناب ناپذیر هست،

and it follows from having a concrete, definite objective.

و از داشتن یک هدف دقیق و محکم نشأت میگیره.

So what happens if the machine is uncertain about the objective?

حالا چه اتفاقی می‌افته اگه ماشین درباره هدف مطمئن نباشه؟

Well, it reasons in a different way.

اینطوری، یک جور دیگه استدلال میکنه.

It says, "OK, the human might switch me off,

میگه: «باشه، انسان ممکنه منو خاموش کنه

but only if I'm doing something wrong.

ولی تنها در صورتی این کارو میکنه که من کار اشتباهی بکنم.

Well, I don't really know what wrong is,

من نمیدونم چه کاری اشتباهه

but I know that I don't want to do it."

ولی میدونم که نمیخوام انجامش بدم.»

So that's the first and second principles right there.

این اصل اول و دوم گفته شده بود.

"So I should let the human switch me off."

«پس باید بذارم که که انسان منو خاموش کنه.»

And in fact you can calculate the incentive that the robot has

و درواقع، شما میتونین انگیزه ای که ربات برای خاموش کردنش

to allow the human to switch it off,

توسط انسان دارد رو محاسبه کنید،

and it's directly tied to the degree

و این مستقیماً مرتبطه با درجه عدم قطعیت

of uncertainty about the underlying objective.

درباره اهداف اصولی دارد.

And then when the machine is switched off,

و وقتی که ماشین خاموش بشه

that third principle comes into play.

اصل سوم وارد عمل میشه.

It learns something about the objectives it should be pursuing,

ربات یه چیزی درباره اهداف یاد میگیره، باید پیگیر باشه،

because it learns that what it did wasn't right.

چون‌ یاد میگیره کاری که کرده درست نبوده.

In fact, we can, with suitable use of Greek symbols,

در واقع، ما میتونیم با استفاده درست از نماد‌های یونانی

as mathematicians usually do,

همانطور که معمولاً ریاضیدانان این کار رو میکنن

we can actually prove a theorem

میتونیم یک قضیه رو ثابت کنیم

that says that such a robot is provably beneficial to the human.

که میگه،‌ این چنین رباتی قطعا برای انسان مفید است.

You are provably better off with a machine that's designed in this way

قطعا وجود ماشینی که اینطوری طراحی شده باشه

than without it.

از نبودنش بهتره.

So this is a very simple example, but this is the first step

این یک مثال ساده است، ولی قدم اول راه ماست.

in what we're trying to do with human-compatible AI.

راه استفاده از هوش مصنوعی سازگار با انسان.

Now, this third principle,

حالا، اصل سوم

I think is the one that you're probably scratching your head over.

فکر کنم چیزی باشه که احتمالا درکش براتون سخت باشه.

You're probably thinking, "Well, you know, I behave badly.

احتمالا شما فکر میکنین که «راستش، من بد رفتار میکنم

I don't want my robot to behave like me.

و نمیخوام که ربات من مثل من رفتار کنه.

I sneak down in the middle of the night and take stuff from the fridge.

من نصف شب دزدکی میرم سر یخچال.

I do this and that."

یا فلان کار رو میکنم.»

There's all kinds of things you don't want the robot doing.

خیلی از کارها هست که شما دوست ندارین رباتتون انجامشون بده

But in fact, it doesn't quite work that way.

ولی در واقع، اصل مطلب اینطوری نیست.

Just because you behave badly

به صرف اینکه شما بد رفتار میکنین،

doesn't mean the robot is going to copy your behavior.

دلیل نمیشه ربات هم از رفتار شما تقلید کنه.

It's going to understand your motivations and maybe help you resist them,

ربات قراره که انگیزه‌های شما رو بفهمه، و شاید در راستای رسیدن بهش کمکتون کنه،

if appropriate.

البته اگر مناسب باشه.

But it's still difficult.

ولی همچنان کاری سختیه.

What we're trying to do, in fact,

در واقع، کاری که ما سعی میکنیم انجام بدیم

is to allow machines to predict for any person and for any possible life

اینه که به ماشین‌ها اجازه بدیم برای هر فرد و هر زندگی ممکن پیش‌بینی کنند

that they could live,

که آیا میتونن زنده بمونن

and the lives of everybody else:

و البته جان بقیه:

Which would they prefer?

این که کدوم رو ترجیح میدن؟

And there are many, many difficulties involved in doing this;

و سختی‌های بسیار زیادی برای انجام این کار وجود دارن؛

I don't expect that this is going to get solved very quickly.

و من انتظار ندارم که این مساله به زودی‌‌ حل بشه.

The real difficulties, in fact, are us.

و چالش اصلی، در واقع خود ما هستیم.

As I have already mentioned, we behave badly.

همانطور که قبلا اشاره کردم، ما بد رفتار میکنیم.

In fact, some of us are downright nasty.

در واقعا بعضی از ما کاملا بدجنس هستیم.

Now the robot, as I said, doesn't have to copy the behavior.

حالا همانطور که گفتم، ربات مجبور نیست که رفتار رو تقلید کنه.

The robot does not have any objective of its own.

ربات از خودش هیچ هدفی ندارد.

It's purely altruistic.

و کاملا نوع دوست هست.

And it's not designed just to satisfy the desires of one person, the user,

و برای این طراحی نشده که خواسته های یک انسان یا کاربر رو برآورده کنه،

but in fact it has to respect the preferences of everybody.

در حقیقت،‌ ربات باید به ترجیحات همه احترام بگذارد.

So it can deal with a certain amount of nastiness,

پس میتونه مقدار مشخصی از بدرفتاری رو تحمل کنه،

and it can even understand that your nastiness, for example,

و حتی میتونه سوءرفتار شما رو درک کنه،

you may take bribes as a passport official

مثلا اینکه شما به عنوان مامور اداره گذرنامه رشوه میگیرد

because you need to feed your family and send your kids to school.

دلیلش اینه که شما نان آور خانواده اید و بچه هاتون رو به مدرسه بفرستین.

It can understand that; it doesn't mean it's going to steal.

ربات میتونه این موضوع رو بفهمه، و اینطوری نیست که دزدی کنه.

In fact, it'll just help you send your kids to school.

در واقع کمکتون خواهد کرد که بچه‌هاتون رو به مدرسه بفرستین.

We are also computationally limited.

ما همچنین از نظر محاسباتی هم محدود هستیم.

Lee Sedol is a brilliant Go player,

Lee Sedol یک بازیکن با استعداد Go هست.

but he still lost.

ولی با این وجود بازنده است.

So if we look at his actions, he took an action that lost the game.

پس اگر به حرکاتش دقت کنیم، یک حرکتی بود که به شکستش منجر شد.

That doesn't mean he wanted to lose.

این به این معنی نیست که اون میخواست ببازه.

So to understand his behavior,

پس برای فهمیدن رفتارش

we actually have to invert through a model of human cognition

ما باید از یک مدل انسان شناختی استفاده کنیم

that includes our computational limitations -- a very complicated model.

که شامل محدودیت‌های محاسباتی می‌شود. که یک مدل بسیار پیچیده است.

But it's still something that we can work on understanding.

ولی همچنان این چیزی هست که برای فهمیدن میتونیم روش کار کنیم.

Probably the most difficult part, from my point of view as an AI researcher,

به نظر من به عنوان یک محقق هوش مصنوعی، دشوارترین بخش ماجرا

is the fact that there are lots of us,

این حقیقته که تعداد زیادی از ما(انسان‌ها) وجود دارد.

and so the machine has to somehow trade off, weigh up the preferences

بنابراین ماشین‌ها باید به طریقی یک مصالحه‌ و توازن

of many different people,

بین ترجیحات افراد مختلف برقرار کنن.

and there are different ways to do that.

و راه‌های زیادی برای این کار وجود دارند.

Economists, sociologists, moral philosophers have understood that,

اقتصاددان‌ها، جامعه شناس ها، فلاسفه اخلاق مدار متوجه شده اند

and we are actively looking for collaboration.

که ما فعالانه در حال همکاری هستیم.

Let's have a look and see what happens when you get that wrong.

بیاین ببینیم وقتی که اشتباه برداشت کنید چه اتفاقی خواهد افتاد.

So you can have a conversation, for example,

شما میتونین یک گفتگو داشته باشین،

with your intelligent personal assistant

مثلا با دستیار شخصی هوشمندتان،

that might be available in a few years' time.

که احتمالا در آینده نزدیک در دسترس باشد.

Think of a Siri on steroids.

مثلا به یک نمونه قوی از Siri فکر کنید

So Siri says, "Your wife called to remind you about dinner tonight."

Siri بهتون میگه که: «همسرتون زنگ زد تا برای شام امشب بهتون یادآوری کنه»

And of course, you've forgotten. "What? What dinner?

و البته شما هم فراموش کرده بودید چی؟ کدوم شام؟

What are you talking about?"

راجع به چی حرف میزنی؟

"Uh, your 20th anniversary at 7pm."

امم...بیستمین سالگرد ازدواجتون ساعت ۷ شب

"I can't do that. I'm meeting with the secretary-general at 7:30.

من نمیتونم برم. ساعت ۷:۳۰ با دبیرکل سازمان ملل جلسه دارم.

How could this have happened?"

چطوری اینطوری شد؟»

"Well, I did warn you, but you overrode my recommendation."

«من بهت هشدار داده بودم، ولی تو پیشنهاد من رو نشنیده گرفتی.»

"Well, what am I going to do? I can't just tell him I'm too busy."

«خب حالا چیکار کنم؟ نمیتونم بهش بگم که من خیلی سرم شلوغه.

"Don't worry. I arranged for his plane to be delayed."

نگران نباش. من پروازش رو طوری گذاشتم که تاخیر داشته باشه.»

(Laughter)

(خنده حاضرین)

"Some kind of computer malfunction."

«یک نوع خطای کارکرد کامپیوتری.»

(Laughter)

(خنده حاضرین)

"Really? You can do that?"

«جدی؟ تو میتونی این کارو بکنی؟»

"He sends his profound apologies

«ایشان ازتون عمیقاً عذرخواهی خواهد کرد.

and looks forward to meeting you for lunch tomorrow."

و از شما خواهد خواست که فردا ناهار همدیگررو ببینین.»

(Laughter)

(خنده حاضرین)

So the values here -- there's a slight mistake going on.

ولی اینجا یک مشکلی هست.

This is clearly following my wife's values

ربات به وضوح داره به ارزش‌های همسر من توجه میکنه:

which is "Happy wife, happy life."

که همون "همسر شاد، زندگی شاد" است.

(Laughter)

(خنده حاضرین)

It could go the other way.

میتونست جور دیگه ای باشه.

You could come home after a hard day's work,

ممکن بود شما بعد از یک روز سخت کاری بیاین خونه،

and the computer says, "Long day?"

و کامپیوتر بگه: «روز سخت و طولانی بود؟»

"Yes, I didn't even have time for lunch."

«آره، حتی برای ناهار خوردن هم وقت نداشتم.»

"You must be very hungry."

«باید خیلی گرسنت باشه.»

"Starving, yeah. Could you make some dinner?"

«آره دارم از گشنگی میمیرم. میتونی برام شام درست کنی؟»

"There's something I need to tell you."

«یه چیزی هست که باید بهت بگم.»

(Laughter)

(خنده حاضرین)

"There are humans in South Sudan who are in more urgent need than you."

«یه سری آدم در سودان جنوبی هستن که بیشتر از تو در شرایط اضطراری قرار دارن»

(Laughter)

(خنده حاضرین)

"So I'm leaving. Make your own dinner."

«پس من میرم. خودت شامت رو درست کن.»

(Laughter)

(خنده حاضرین)

So we have to solve these problems,

بنابراین باید این مشکلات رو حل کنیم

and I'm looking forward to working on them.

و من با رغبت دارم روی این مشکلات کار میکنم.

There are reasons for optimism.

دلایلی برای خوشبین بودن وجود دارن.

One reason is,

یک دلیل،

there is a massive amount of data.

اینه که حجم زیادی از داده داریم.

Because remember -- I said they're going to read everything

چون اگر یادتون باشه، من گفتم که ربات‌ها هر چیزی که

the human race has ever written.

انسان تا کنون نوشته را خواهند خواند.

Most of what we write about is human beings doing things

بیشتر چیزهایی که ما مینویسیم درباره کارهای بشر هستش.

and other people getting upset about it.

و بقیه مردم به خاطرش ناراحت میشن.

So there's a massive amount of data to learn from.

پس انبوهی از داده برای یادگیری وجود داره.

There's also a very strong economic incentive

یک انگیزه اقتصادی قوی هم برای انجام

to get this right.

این کار هست.

So imagine your domestic robot's at home.

ربات خدمتکارتون در منزل رو تصور کنید.

You're late from work again and the robot has to feed the kids,

شما باز هم دیر از سر کار بر میگردین، و ربات باید به بچه‌ها غذا بده.

and the kids are hungry and there's nothing in the fridge.

بچه‌ها گشنه هستند و هیچ غذایی در یخچال نیست.

And the robot sees the cat.

و ربات گربه رو میبینه!

(Laughter)

(خنده حاضرین)

And the robot hasn't quite learned the human value function properly,

و ربات تابع ارزش گذاری انسان ها رو به خوبی یاد نگرفته

so it doesn't understand

بنابراین نمیفهمه

the sentimental value of the cat outweighs the nutritional value of the cat.

که ارزش معنوی گربه از ارزش غذایی آن بیشتر است.

(Laughter)

(خنده حضار)

So then what happens?

بعدش چی میشه؟

Well, it happens like this:

یه چیزی تو این مایه‌ها:

"Deranged robot cooks kitty for family dinner."

"ربات ظالم، برای شام خانواده گربه می‌پزد"

That one incident would be the end of the domestic robot industry.

این حادثه احتمالا پایان صنعت ربات‌های خانگی باشد.

So there's a huge incentive to get this right

پس انگیزه زیادی برای درست شدن این موضوع وجود دارد.

long before we reach superintelligent machines.

خیلی زودتر از اینکه به ماشین‌های فوق هوشمند برسیم.

So to summarize:

پس برای جمع بندی:

I'm actually trying to change the definition of AI

من در اصل دارم سعی میکنم که تعریف هوش مصنوعی رو طوری عوض کنم

so that we have provably beneficial machines.

که ماشین های سودمندی داشته باشیم.

And the principles are:

و این اصول عبارتند از:

machines that are altruistic,

ماشین‌ها نوع دوست هستند.

that want to achieve only our objectives,

و فقط میخوان به اهدافی که ما داریم برسن.

but that are uncertain about what those objectives are,

ولی درباره چیستی این اهداف مطمئن نیستند.

and will watch all of us

و به ما نگاه میکنند

to learn more about what it is that we really want.

تا یادبگیرند این اهدافی که ما میخواهیم چه هستند.

And hopefully in the process, we will learn to be better people.

و امیدوارم در این فرآیند، ما هم یادبگیریم که مردم بهتری باشیم.

Thank you very much.

خیلی ممنون.

(Applause)

(تشویق حاضرین)

Chris Anderson: So interesting, Stuart.

کریس اندسون: خیلی جالب بود استوارت.

We're going to stand here a bit because I think they're setting up

ما یکم باید اینجا وایستیم چون عوامل دارن صحنه رو

for our next speaker.

برای سخنرانی بعدی آماده میکنن.

A couple of questions.

چندتا سوال:

So the idea of programming in ignorance seems intuitively really powerful.

ایده برنامه‌ریزی در بی خبری به نظر خیلی قدرتمند میاد.

As you get to superintelligence,

وقتی که که به هوش قوی برسیم.

what's going to stop a robot

چه چیزی مانع رباتی میشه که

reading literature and discovering this idea that knowledge

متنی رو میخونه و به این ایده میرسه که

is actually better than ignorance

اون دانش بهتر از ندانستن است

and still just shifting its own goals and rewriting that programming?

و اهدافش رو تغییر بده و دوباره برنامه ریزی کنه؟

Stuart Russell: Yes, so we want it to learn more, as I said,

استوارت راسل: آره همانطور که گفتم، ما میخوایم که ربات درباره اهداف ما

about our objectives.

بیشتر یاد بگیره.

It'll only become more certain as it becomes more correct,

ربات فقط وقتی مطمئن تر میشه که موضوع درست‌تر باشه.

so the evidence is there

شواهد گویا هستند.

and it's going to be designed to interpret it correctly.

و ربات طوری طراحی میشه که درست تفسیر کنه.

It will understand, for example, that books are very biased

مثلا میفهمه که کتاب‌ها خیلی در شواهدی که دارند

in the evidence they contain.

جانبدارانه عمل میکنند.

They only talk about kings and princes

فقط درباره پادشاهان و شاهزادگان حرف میزنن.

and elite white male people doing stuff.

و مردان سفید پوست فوق‌ العاده ای که مشغول کاری هستند.

So it's a complicated problem,

بنابراین این یک مشکل پیچیده است.

but as it learns more about our objectives

ولی همانطور که ربات داره درباره اهداف ما یاد میگیره.

it will become more and more useful to us.

برای ما بیشتر و بیشتر کاربردی میشه.

CA: And you couldn't just boil it down to one law,

ک آ: پس نمیشه اینو تبدیل به یک قانون کنیم

you know, hardwired in:

و به صورت کورکورانه بگیم که:

"if any human ever tries to switch me off,

«اگر هر انسانی سعی کرد منو خاموش کنه

I comply. I comply."

من پیروی میکنم. من پیروی میکنم.»

SR: Absolutely not.

قطعا اینطور نیست.

That would be a terrible idea.

اینطوری خیلی بد میشد.

So imagine that you have a self-driving car

مثلا تصور کنید که یک ماشین خودران دارید.

and you want to send your five-year-old

و میخواهید بچه پنج سالتون رو

off to preschool.

به مدرسه بفرستید.

Do you want your five-year-old to be able to switch off the car

آیا شما میخواین که بچه پنج سالتون بتونه ماشین رو موقع رانندگی

while it's driving along?

خاموش کنه؟

Probably not.

احتمالا نه.

So it needs to understand how rational and sensible the person is.

پس ربات باید بتونه درک کنه که آدم چقدر منطقی و معقول هست.

The more rational the person,

هرچه انسان منطقی تر باشد،

the more willing you are to be switched off.

ربات بیشتر تمایل دارد که بگذارد خاموش شود.

If the person is completely random or even malicious,

اگر شخص کاملا تصادفی یا خرابکار باشد

then you're less willing to be switched off.

ربات کمتر تمایل دارد که بگذارد خاموش شود.

CA: All right. Stuart, can I just say,

خب استوارت، فقط میتونم بگم که

I really, really hope you figure this out for us.

من واقعا، واقعا امیدوارم تو برای ما این مشکل رو حل کنی.

Thank you so much for that talk. That was amazing.

ممنون بابت سخنرانی. فوق العاده بود.

SR: Thank you.

ممنون.

(Applause)

(تشویق حضار)