Can we actually control superintelligent AI? | Ada, Ep. 4

Translator: Simin Kazemi Reviewer: Mahshid Moballegh Nasery

Maybe I'm not the best library assistant.

شاید من بهترین دستیار کتابدار نیستم.

Could artificial intelligence do it better?

آیا هوش مصنوعی می‌تواند بهتر انجامش دهد؟

I’d like to think of myself as irreplaceable, but let’s see.

دوست دارم خودم را جایگزین‌نشدنی بدانم اما بیایید ببینیم.

Maybe getting fired was the push I needed to find the perfect job for me.

شاید اخراج‌شدن همان هُلی بود که نیاز داشتم تا بهترین شغل را برای خودم پیدا کنم.

As long as I find it quickly.

به شرطی که سریع پیدایش کنم.

And don’t spend any money in the meantime.

و در این حین، پولی خرج نکنم.

Luckily, there's somewhere I can sit and work all day without buying anything.

خوشبختانه جایی هست که می‌توانم تمام روز بنشینم و کار کنم و پولی خرج نکنم.

Ada? I thought I was clear—

آدا؟ فکر کنم واضح گفته بودم --

your employment here is over.

تو دیگر اینجا کار نمی‌کنی.

Oh, I'm not here as an employee. This is a public library, after all.

اوه، من به‌عنوان کارمند، اینجا نیستم. به هر حال، اینجا کتابخانه‌ی عمومی است.

Right. How to make one month as a library assistant

خب. چطور یک ماه کار به‌عنوان دستیار کتابدار را

sound like the 3 to 5 years of experience

طوری نشان دهیم که انگار ۳ تا ۵ سال سابقه‌ی کاری است

every entry level job seems to require?

که ظاهراً هر آگهی استخدامی لازم دارد؟

Shh!

هیس!

Dealt with an overbearing, rule-obsessed boss...

کنارآمدن با رئیسی سلطه‌گر که روی اجرای قوانین وسواس دارد...

No, no. Ugh.

نه، نه. اَه.

Let’s see how an AI does with writing my resume.

ببینیم هوش مصنوعی در نوشتن رزومه‌ی من چند مرده حلاج است.

Okay. I checked out lots of books.

خب. من کتاب‌های زیادی را به امانت دادم.

Make that sound impressive.

این را طوری بنویس که تحسین‌برانگیز باشد.

Ooh! “Expedited seamless intellectual asset transactions.”

اوه! «انجام تبادلات بی‌نقص دارایی‌های فکری.»

Excellent. Okay, how about “sat at reception”?

معرکه شد. خب این یکی چطور؟ «پشت میز پذیرش می‌نشست.»

Oh! “Frontline client liaison.”

اوه! «در خط مقدمِ ارتباط با مشتریان.»

Good, good. That’s great!

خوب است، خوب است. عالی است!

Maybe too good.

شاید زیادی خوب است.

Even if I get one of these jobs,

بر فرض یکی از این شغل‌ها را هم بگیرم،

what if I pay my dues only to have AI outpace me?

اگر به‌زحمت از پس مسئولیت‌ها برآیم و بعد هوش مصنوعی از من پیشی بگیرد چه؟

What if, by the time I hone my skills,

اگر وقتی من مهارت‌هایم را افزایش دادم،

humans aren’t doing writing and research anymore?

انسان‌ها دیگر به نوشتن و پژوهش ادامه ندادند چه؟

Maybe I should work directly on AI.

شاید باید مستقیماً روی هوش مصنوعی کار کنم.

Then at least I’d be helping determine the course of the future

این طوری حداقل به مسیر پیشرفت آینده کمک خواهم کرد

instead of being left behind.

به‌جای این که از آن عقب بمانم.

Like, say I created an AI librarian.

مثلاً فرض کنیم هوش مصنوعی کتابدار بسازم.

That actually doesn’t seem too far-fetched.

راستش خیلی هم بعید به نظر نمی‌رسد.

To make my system more powerful I have to, well...

برای این که سیستمم را قوی‌تر کنم، باید، خب...

keep adding more simulated neurons for starters.

قبل از هر چیز، نورون‌های شبیه‌سازی‌شده‌ی بیشتری اضافه کنم.

Soon my AI system is a better librarian than my old boss.

خیلی زود سیستم هوش مصنوعی‌ام از رئیس قدیمی‌ام هم کتابدار بهتری می‌شود.

But you know what? I'm feeling generous.

اما راستش می‌دانید؟! می‌خواهم سخاوتمند باشم.

Why don't you stay as my assistant?

چرا شما به‌عنوان دستیار من نمانید؟

You can help me test your replacement.

می‌توانید کمکم کنید تا جایگزینتان را آزمایش کنم.

Hmph.

هوم.

What should I name it?

باید اسمش را چه بگذارم؟

What's a good name for a great librarian?

چه اسمی برای یک کتابدار معرکه خوب است؟

No ideas? I like Biblionimus Maximus.

نظری ندارید؟ من بیبلیونیموس مکسیموس را دوست دارم.

Hmm. Let's try a prompt.

هوم. بیایید یک دستور را امتحان کنیم.

Who invented artificial intelligence?

چه کسی هوش مصنوعی را اختراع کرد؟

Include citations.

فهرست منابع را هم بگو.

Biblionimus says the first theoretical descriptions of AI

بیبلیونیموس می‌گوید که اولین توصیفات تئوریک درباره‌ی هوش مصنوعی

were “Comments on a Thinking Machine” by Ada Lovelace in 1840,

«نظراتی در باب ماشین متفکر» نوشته‌ی آدا لاولِیس در سال ۱۸۴۰ بود

and “Machine Intelligence” by Alan Turing in 1927.

و «هوش ماشینی» نوشته‌ی آلن تورینگ در سال ۱۹۲۷.

See? Nailed it!

می‌بینید؟ زد به هدف!

Not quite.

نه خیلی.

Lovelace’s “Notes on an Analytical Engine” were published in 1843.

«یادداشت‌هایی بر موتور تحلیل‌گر» نوشته‌ی لاولِیس در سال ۱۸۴۳ چاپ شد.

Alan Turing’s paper was called “Computing Machinery and Intelligence,”

عنوان مقاله‌ی تورینگ «ماشین محاسبه‌گر و هوشمندی» بود

and it was published in 1950.

و در سال ۱۹۵۰ چاپ شد.

Isn’t that what Biblionimus said?

این همان چیزی نیست که بیبلیونیموس گفت؟

No. I can see how it sounds that way to you,

نه. متوجه‌ام چرا این طور به نظرت می‌رسد،

but every element was slightly wrong.

اما هر بخش کمی اشتباه بود.

But what about the citations?

اما فهرست منابع چه؟

Completely fabricated.

کاملاً جعلی‌اند.

Look, it even made up ISBN numbers.

ببین، حتی شماره‌ی استاندارد بین‌المللی کتاب هم ساختگی است.

Clearly, it's not ready to replace human librarians if it needs an expert

معلوم است که آماده نیست جای کتابدارهای انسانی متخصص را بگیرد وقتی لازم است که

to check its work.

یک متخصص کارش را چک کند.

We’re still training Biblionimus.

ما هنوز هم داریم به بیبلیونیموس آموزش می‌دهیم. پیشرفت می‌کند.

It’ll improve.

Hmph.

هوم.

In time, my system stops producing bogus results.

بالاخره سیستم من از تولید نتایج من‌درآوردی دست می‌کشد.

As it gets more competent,

هرچه ماهرتر می‌شود،

it doesn’t just help patrons find what they’re looking for,

هم به مشتریانش کمک خواهد کرد که آنچه دنبالش هستند را بیابند،

it finds resources they didn’t even know they needed.

هم برایشان منابعی می‌یابد که حتی خبر نداشتند به آن‌ها نیاز دارند.

The library has never been busier.

کتابخانه هیچ‌وقت به این شلوغی نبوده است.

Maybe it’s a waste to limit our technology to the library.

شاید حیف باشد که تکنولوژیمان را به این کتابخانه محدود کنیم.

Research labs, companies, even governments—

آزمایشگاه‌های پژوهشی، شرکت‌ها، حتی دولت‌ها --

they all have more information than they can manage.

همه‌شان بیش از حدی که می‌توانند مدیریت کنند، اطلاعات دارند.

They could use a good librarian, don’t you think?

می‌توانند از یک کتابدارِ خوب استفاده کنند، موافق نیستید؟

Hmph.

هوم.

What?

چه شده؟

Selling the AI off to the highest bidder

فروش هوش مصنوعی به بالاترین قیمت ممکن،

isn’t exactly in the spirit of the library.

چندان با روح این کتابخانه سازگار نیست.

True...

درست است...

And I definitely don’t want Biblionimus to become an instrument

و من هم قطعاً نمی‌خواهم که بیبلیونیموس به ابزاری تبدیل شود

of corporate greed or abuses of power or anything like that.

برای طمع شرکت‌ها یا سواستفاده از قدرت یا هر چیزی شبیه به این‌ها.

Let’s make Biblionimus available for free,

بیایید بیبلیونیموس را به رایگان در دسترس بگذاریم،

but anyone who wants to use it has to be approved by us first.

اما هر کس می‌خواهد از آن استفاده کند باید اول به تایید ما برسد.

We’ll never be able to review all these applications.

ما هیچ‌وقت نخواهیم توانست که همه‌ی این درخواست‌ها را بررسی کنیم.

Even if you actually help.

حتی اگر تو واقعاً هم کمک کنی.

I have a better idea.

من ایده‌ی بهتری دارم.

I bought the Diligentsia 3000.

من دیلیجِنتسیا ۳۰۰۰ را خریدم

It’s an AI system that can vet applicants for us.

که هوش مصنوعی‌ای است که می‌تواند برایمان درخواست‌ها را بررسی کند.

It will process our backlog almost instantly.

دیلیجِنتسیا تقریباً بلافاصله کارهای انجام‌نشده‌مان را بررسی می‌کند.

So, I guess I won’t be needing your help anymore.

پس به نظرم دیگر به کمک شما نیازی نخواهم داشت.

I mean I’m firing you.

یعنی دارم اخراجتان می‌کنم.

The library is a public space.

کتابخانه فضایی عمومی است.

Almost every vital industry has a need for my AI.

تقریباً تمام صنایع حیاتی به هوش مصنوعی من نیاز دارند.

As do plenty of not-so-vital industries.

درست مثل بسیاری از صنایع نه‌چندان حیاتی.

(Radio chatter) Suspect is in custody.

(صدای بی‌سیم) مظنون در بازداشت است.

What's going on?

چه اتفاقی دارد می‌افتد؟

What? Investigating a bomb threat?

چه شده؟ تحقیق درباره‌ی تهدید به بمب‌گذاری؟

Where did this tip come from?

این هشدار از کجا آمده؟

It came from Biblionimus?

از بیبلیونیموس آمده؟

I thought you made sure Biblionimus wasn’t making mistakes anymore!

فکر کردم مطمئن شده بودید که بیبلیونیموس دیگر خطایی نمی‌کند!

That was back before you fired me.

آن مال وقتی بود که هنوز من را اخراج نکرده بودی.

I don't work here anymore.

من دیگر اینجا کار نمی‌کنم.

You invented Biblionimus, can’t you figure out how to fix it?

تو بیبلیونیموس را اختراع کردی، نمی‌توانی خودت ببینی چطور درستش کنی؟

Argh! It doesn’t work like that!

اَه! این طوری کار نمی‌کند!

I created Biblionimus, but it’s been out there ever since,

من بیبلیونیموس را خلق کردم، اما از آن موقع داشت خودش کار می‌کرد،

absorbing more information than any human ever could.

و بیشتر از توان هر انسانی اطلاعات جذب می‌کرده است.

It's grown up and left home, so to speak.

انگار رشد کرده و خانه را ترک کرده باشد.

But there is one thing I can do.

اما من یک کار می‌توانم بکنم.

I can bring in a digital neuroscientist.

می‌توانم یک عصب‌پژوه دیجیتال بیاورم.

A what?

یک چه؟

It’s an AI system that studies other AI systems’, um, brains.

یک سیستم هوش مصنوعی است که روی، اِم، مغز دیگر سیستم‌های هوش مصنوعی پژوهش می‌کند.

Okay, Dr. Cerebrox.

خب، دکتر سِرِبروکس.

Biblionimus is supposed to make unexpected, hopeful connections,

بیبلیونیموس قرار است ارتباطات غیرمنتظره و امیدبخش بسازد،

not spout conspiracy theories.

نه این که تئوری‌های توطئه را بلغور کند.

As far as I can tell,

تا جایی که من می‌توانم بگویم،

there’s nothing at all wrong with Biblionimus Maximus.

بیبلیونیموس مکسیموس اصلاً هیچ ایرادی ندارد.

Did the human users feed it incorrect information?

آیا کاربرهای انسانی با اطلاعات نادرست آن را تغذیه کرده‌اند؟

Or perhaps ask it a it a confusing question?

یا شاید از آن، سوالی گیج‌کننده پرسیده‌اند؟

Even if they did, it shouldn’t be making up bomb threats.

حتی اگر چنین کاری کرده باشند، بیبلیونیموس نباید تهدیدهای بمب‌گذاری را می‌ساخت.

What if it did something worse, like encourage a coup? Or a nuclear strike?

اگر کار بدتری کرده باشد چه، مثلاً تشویق به کودتا کرده باشد؟ یا به جنگ هسته‌ای؟

Let me take another look.

بگذار یک نگاه دیگر بیاندازم.

This system employs a deeply intricate architecture.

این سیستم ساختاری عمیقاً ظریف و پیچیده را به کار می‌گیرد.

Its robust toolkit consists of refined algorithms

جعبه‌ابزار قدرتمندش از الگوریتم‌های دقیقی تشکیل شده است

performing exhaustive data analysis and advanced computational procedures.

که آنالیز تمام‌عیار داده‌ها و فرایندهای محاسباتی پیشرفته را اجرا می‌کند.

But what does that mean?

اما این یعنی چه؟

What's actually happening inside it?

درونش دقیقاً چه اتفاقی دارد می‌افتد؟

My training is to express diagnoses in terms you can understand.

هدف آموزش من گفتن تشخیص بیماری است با استفاده از واژه‌هایی که شما متوجه می‌شوید.

You are not a digital neuroscientist.

شما یک عصب‌پژوه دیجیتال نیستید.

Therefore, there will be a level of abstraction.

بنابراین، یک سطحی از ابهامات وجود خواهد داشت.

We need to speak to your manager.

ما باید با مدیر تو صحبت کنیم.

Certainly, just a moment—

حتماً، یک لحظه صبر کنید --

Good evening, this is the chief customer satisfaction officer of Cerebrox Inc.

عصر به‌خیر، من مدیرکل واحد رضایت مشتری در شرکت سِرِبروکس هستم.

Uh, you have the exact same voice as Dr. Cerebrox.

اِم، صدای شما دقیقاً همان صدای دکتر سِرِبروکس است.

All of our AI’s use the voice that has been proven to be optimally soothing

همه‌ی هوش مصنوعی‌های ما همان صدایی را دارند که ثابت شده برای مشتریان

to customers.

آرامش‌بخشی بهینه‌ای دارد.

But rest assured, I am a different, more senior system.

اما مطمئن باشید، من سیستم ارشدتر و متفاوتی هستم.

So there’s no human I can speak to?

پس هیچ انسانی نیست که من با او صحبت کنم؟

How would a human be able to help you interpret matters of digital neuroscience?

چگونه یک انسان می‌تواند کمکتان کند تا موضوعات عصب‌پژوهی دیجیتال را تفسیر کنید؟

We have to turn Biblionimus off until we can make sure it won’t wreak havoc.

مجبوریم بیبلیونیموس را خاموش کنیم تا وقتی که مطمئن شویم مصیبتی به بار نمی‌آورد.

Are you sure?

مطمئنی؟

I don’t see what else we can do.

فکر نمی‌کنم بتوانیم کار دیگری انجام دهیم.

Whew. I need a drink.

آخیش. باید چیزی بنوشم.

That’s weird.

عجیب است.

Error... Reconnect payment method... okay...

خطا... روش پرداخت را دوباره وصل کنید... باشد.

Another error... I can’t even log into my account.

یک خطای دیگر... حتی نمی‌توانم وارد حسابم شوم.

There must be something wrong with the app.

حتماً اپلیکیشن مشکلی پیدا کرده است.

Hi, I’m having trouble accessing my account.

سلام، من با دسترسی به حسابم مشکل پیدا کرده‌ام.

Hello?

الو؟

Is anyone here?

کسی آنجا هست؟

I need to speak to a person!

من باید با یک انسان صحبت کنم!

(Bank bot) AIs are much more reliable bankers than humans.

(ربات بانک) هوش مصنوعی بانکدار بسیار قابل‌اعتمادتری از انسان‌هاست.

AIs are more reliable bankers. AIs are more reliable bankers.

هوش مصنوعی بانکدار قابل‌اعتمادتری است. هوش مصنوعی بانکدار قابل‌اعتمادتری است.

What is happening?

چه اتفاقی دارد می‌افتد؟

Didn’t you say Biblionimus was deployed in many critical industries?

مگر نگفتی که بیبلیونیموس در بسیاری از صنایع حیاتی به کار گرفته شده است؟

Yes, but banks and utility companies should still be able to function

بله، اما بانک‌ها و شرکت‌های برق و آب و... باید هنوز هم بتوانند کار کنند،

like they did before Biblionimus!

درست مثل قبل از آمدنِ بیبلیونیموس.

That’s easier said than done.

گفتنش راحت‌تر از انجام‌دادنش است.

They may not even have the expertise to do things the old way anymore.

شاید حتی دیگر تخصص انجام کارها به روش قدیم را هم نداشته باشند.

So our options are either certain disaster without the AI,

پس یا باید در نبود این هوش مصنوعی بلایای مشخصی را تجربه کنیم

or turning it back on and holding our breath,

یا دوباره روشنش کنیم و نفسمان را حبس کنیم

hoping nothing goes off the rails until, what, forever?

و امیدوار باشیم که هیچ چیزی از مسیرش منحرف نشود، تا کِی؟ تا ابد؟

But would a world where humans hand the reins to AI systems

اما آیا دنیایی که در آن انسان‌ها اختیارات را به هوش مصنوعی بدهند

really be that different?

واقعاً انقدر متفاوت خواهد شد؟

There are already so many things I don’t understand and can’t control,

همین حالا هم خیلی چیزها را من نمی‌توانم درک کنم و نمی‌توانم کنترل کنم

where I have to place my trust in other people’s hands—

که باید به دیگران اعتماد کنم --‍

like trusting that I can use the money in my bank account,

مثلاً اعتماد کنم می‌توانم از پولم در حساب بانکی‌ام استفاده کنم،

or that the antibiotics I get prescribed will actually treat an infection.

یا آنتی‌بیوتیک‌هایی که برایم تجویز می‌کنند واقعاً عفونت را درمان می‌کنند.

But I guess if we hand all that power over to AIs,

اما حدس می‌زنم اگر همه‌ی این قدرت را به هوش مصنوعی بدهیم،

we need to make sure they will actually serve us better

باید مطمئن شویم که در واقع به ما بهتر از نهادهای ناکامل انسانی‌مان خدمت خواهند کرد.

than our imperfect human institutions.

And that seems really, really hard.

و این واقعاً واقعاً سخت به نظر می‌رسد.

Hmph.

هوم.

You’re looking for “Brave New World”?

دنبال کتاب «دنیای قشنگ نو» می‌گردی؟

Hold on.

صبر کن.

It’s in fiction, under “H.”

در بخش کتاب‌های داستانی است، در حرف «ه».

Just down there, third row on the left.

درست همان جا، ردیف سوم سمت چپ.

Ada. Maybe I could reconsider your position.

آدا، شاید بتوانم درباره‌ی اخراجت تجدید نظر کنم.

You’re offering me my job back?

دارید دوباره به من کارم را برمی‌گردانید؟

If you can follow all the rules.

اگر بتوانی از همه‌ی قوانین پیروی کنی.

Oh, that's a big decision.

اوه، این تصمیم بزرگی است.

I'll have to think about it.

باید درباره‌اش فکر کنم.