How to get empowered, not overpowered, by AI | Max Tegmark

Translator: Nima Pourreza Reviewer: sadegh zabihi

After 13.8 billion years of cosmic history,

پس از ۱۳٫۸ میلیارد سال از تاریخ کیهانی،

our universe has woken up

جهان ما از خواب بیدار شده

and become aware of itself.

و درباره خود آگاه شده است.

From a small blue planet,

از یک سیاره آبی کوچک،

tiny, conscious parts of our universe have begun gazing out into the cosmos

بخش‌های هوشیار کوچکی از جهان ما نگاه کردن به کیهان

with telescopes,

و کشف برخی حقایق حیرت‌انگیز را

discovering something humbling.

با تلسکوپ‌ها آغاز کرده‌اند.

We've discovered that our universe is vastly grander

ما فهمیده‌ایم که جهان ما از آن چیزی که گذشتگانمان

than our ancestors imagined

تصور می‌کردند وسیع‌تر است

and that life seems to be an almost imperceptibly small perturbation

و حیات تقریباً شاخه بسیار مبهم و کوچکی

on an otherwise dead universe.

از جهان‌های مرده دیگر بنظر می‌آید.

But we've also discovered something inspiring,

ما همچنین حقایق الهام‌بخشی کشف کرده‌ایم:

which is that the technology we're developing has the potential

تکنولوژی که ما در حال توسعه آن هستیم

to help life flourish like never before,

چنان قابلیتی در شکوفا کردن حیات دارد

not just for centuries but for billions of years,

که نه‌تنها در قرن‌ها که در میلیاردها سال

and not just on earth but throughout much of this amazing cosmos.

و نه‌تنها در زمین که در کل جهان هستی بی‌نظیر است.

I think of the earliest life as "Life 1.0"

معتقدم حیات اولیه نسخه "حیات ۱.۰" می‌گرفت

چرا که ساده‌ترین نوع حیات بود،

because it was really dumb,

like bacteria, unable to learn anything during its lifetime.

همچون باکتری که ناتوانی در یاد گرفتن هر چیزی در طول زندگی‌اش داشت.

I think of us humans as "Life 2.0" because we can learn,

معتقدم ما نسخه "حیات ۲.۰" را می‌گیریم چرا که می‌توانیم یاد بگیریم

which we in nerdy, geek speak,

که در زبان عامیانه عشقِ کامپیوترها

might think of as installing new software into our brains,

همچون توانایی نصب کردن نرم‌افزار به مغزمان است،

like languages and job skills.

مثل زبان‌های جدید و توانایی‌های کاری.

"Life 3.0," which can design not only its software but also its hardware

نسخه "۳.۰" حیات، که علاوه بر نرم‌افزار، می‌تواند سخت‌افزار خودش را هم طراحی کند

البته هنوز به وجود نیامده است.

of course doesn't exist yet.

But perhaps our technology has already made us "Life 2.1,"

اما شاید بتوان گفت تکنولوژی فعلی ما نسخه "حیات ۲.۱" است

with our artificial knees, pacemakers and cochlear implants.

با توانایی ما در ساخت مفصل مصنوعی، دستگاه تنظیم ضربان قلب و کاشت حلزونی.

So let's take a closer look at our relationship with technology, OK?

خب، پس بگذارید نگاهی از نزدیک به رابطه‌مان با تکنولوژی بیندازیم:

As an example,

این مثالی از

the Apollo 11 moon mission was both successful and inspiring,

ماموریت آپولو ۱۱ برای فرود در ماه است که موفقیت‌آمیز و الهام‌بخش بود،

showing that when we humans use technology wisely,

نشان می‌دهد زمانی که انسان‌ها از تکنولوژی عاقلانه استفاده می‌کنند

we can accomplish things that our ancestors could only dream of.

می‌توانیم به موفقیت‌هایی برسیم که گذشتگان‌مان در خواب هم نمی‌دیدند.

But there's an even more inspiring journey

اما هنوز اکتشافات هرچه بیشتر الهام‌بخشی وجود دارند

propelled by something more powerful than rocket engines,

که توسط چیزی قوی‌تر از موتور موشک به جلو رانده می‌شوند،

where the passengers aren't just three astronauts

که مسافران آن‌ها محدود به سه فضانورد نمی‌شود

but all of humanity.

بلکه کل بشریت را شامل می‌شود.

Let's talk about our collective journey into the future

بگذارید در مورد سفر همگانی‌مان به آینده

with artificial intelligence.

توسط هوش‌مصنوعی صحبت کنیم.

My friend Jaan Tallinn likes to point out that just as with rocketry,

یکی از دوستانم یان تالین اشاره می‌کند که درست مانند فناوری موشکی،

it's not enough to make our technology powerful.

کافی نیست که فقط فناوری‌مان را قوی کنیم.

We also have to figure out, if we're going to be really ambitious,

بلکه اگر بخواهیم واقعا جاه‌طلب باشیم، باید مشخص کنیم

how to steer it

که چطور می‌خواهیم آن را هدایت کنیم

and where we want to go with it.

و کجا می‌خواهیم با آن برویم.

So let's talk about all three for artificial intelligence:

پس بیاید در مورد سه مبحث مربوط به هوش‌مصنوعی صحبت کنیم:

the power, the steering and the destination.

قدرت، هدایت، و مقصد.

Let's start with the power.

با بحث قدرت شروع می‌کنیم.

I define intelligence very inclusively --

من هوشمندی را با تمام جزئیات تعریف می‌کنم --

simply as our ability to accomplish complex goals,

یعنی بطور ساده توانایی ما در رسیدن به اهداف پیچیده،

because I want to include both biological and artificial intelligence.

چون با این تعریف می‌خواهم هر دو شاخه هوش یعنی مصنوعی و زیستی را شامل کنم.

And I want to avoid the silly carbon-chauvinism idea

با این‌ کار از ایده احمقانه و از روی تعصبِ کربن‌محور اجتناب می‌کنم

that you can only be smart if you're made of meat.

که فقط در صورتی می‌توانید باهوش باشید که از گوشت ساخته شده باشید.

It's really amazing how the power of AI has grown recently.

رشد اخیر قدرت هوش‌مصنوعی واقعاً شگفت‌انگیز است.

Just think about it.

در موردش فکر کنید.

Not long ago, robots couldn't walk.

تا همین چند وقت پیش ربات‌ها نمی‌توانستند راه بروند.

Now, they can do backflips.

اما حالا پشتک می‌زنند.

Not long ago,

همین چند وقت پیش،

we didn't have self-driving cars.

ما خودروهای خودران نداشتیم.

Now, we have self-flying rockets.

اکنون موشک‌های، خود پرواز داریم.

Not long ago,

همین چند وقت پیش،

AI couldn't do face recognition.

هوش‌مصنوعی توانایی تشخیص چهره را نداشت.

Now, AI can generate fake faces

اکنون، هوش‌مصنوعی می‌تواند چهره‌های تقلبی بسازد

and simulate your face saying stuff that you never said.

و حرکات چهره شما را در حالی که چیزی می‌گویید که هرگز نگفته‌اید شبیه‌سازی کند.

Not long ago,

همین چند وقت پیش،

هوش‌مصنوعی نمی‌توانست در بازی Go ما را شکست دهد.

AI couldn't beat us at the game of Go.

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

اما بعداً، هوش‌مصنوعی ذهن عمیق آلفا زیرو گوگل

۳,۰۰۰ سال تاریخچه بازی Go و خرد آن را کنار زد

and Go wisdom,

ignored it all and became the world's best player by just playing against itself.

و به بهترین بازیکن Go فقط با تمرین با خودش تبدیل شد.

And the most impressive feat here wasn't that it crushed human gamers,

و چشم‌گیرترین دستاورد در این اتفاق شکست دادن بازیکنان انسانی نبود،

but that it crushed human AI researchers

بلکه شکست دادن خود محققان هوش‌مصنوعی توسط هوش‌مصنوعی بود

who had spent decades handcrafting game-playing software.

که سال‌ها مشغول سخت‌ترکردن بازی‌های نرم افزاری بودند.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

آلفا زیرو نه‌تنها در Go که در شطرنج هم محققان هوش‌مصنوعی را شکست داد،

which we have been working on since 1950.

دستاوردی که از سال ۱۹۵۰، بر رویش در حال کار ‌بودیم.

So all this amazing recent progress in AI really begs the question:

پس تمامی این پیشرفت‌های اخیر هوش‌مصنوعی شدیدا سوالی را بر می‌انگیزد:

How far will it go?

تا کجا ادامه خواهد داشت؟

I like to think about this question

من دوست دارم به این سوال

in terms of this abstract landscape of tasks,

به صورت منظره‌ای انتزاعی از وظایف فکر کنم

where the elevation represents how hard it is for AI to do each task

که ارتفاع هر کار نشان دهنده سختی آن کار برای هوش‌مصنوعی

at human level,

در سطح انسانی است،

and the sea level represents what AI can do today.

و سطح آب دریا نشان دهنده توانایی امروز هوش‌مصنوعی است.

هرچه هوش‌مصنوعی پیشرفت کند، ارتفاع دریا افزایش پیدا می‌کند

The sea level is rising as AI improves,

so there's a kind of global warming going on here in the task landscape.

پس به نوعی با پدیده گرمایش جهانی در این منظره از وظایف مواجهیم.

And the obvious takeaway is to avoid careers at the waterfront --

و آشکارترین پند این است که از انجام کارهای در نزدیکی آب خودداری کنید --

(Laughter)

(خنده حضار)

which will soon be automated and disrupted.

که بزودی خودکار یا دچار مشکل خواهند بود.

But there's a much bigger question as well.

اما سوالی بسیار بزرگ‌تری هم هست.

How high will the water end up rising?

تا چه میزانی آب بالا خواهد آمد؟

Will it eventually rise to flood everything,

آیا تا محدوده‌ای که همه چیز را غرق کند پیش خواهد رفت

matching human intelligence at all tasks.

تا تمام وظایف انسان‌ها را در بر بگیرد؟

This is the definition of artificial general intelligence --

و این تعریفی برای هوش‌مصنوعی‌ همه‌جانبه،

AGI,

AGI است.

which has been the holy grail of AI research since its inception.

که هدف نهایی محققان هوش‌مصنوعی از زمان تعریف شدنش است.

By this definition, people who say,

با این تعریف، مردم می‌گویند:

"Ah, there will always be jobs that humans can do better than machines,"

"همیشه برای انسان‌ها شغل‌هایی باقیست که از ماشین‌ها بهتر انجام دهند."

are simply saying that we'll never get AGI.

و معتقدند هرگز به هوش‌مصنوعی همه‌جانبه نخواهیم رسید.

Sure, we might still choose to have some human jobs

یقیناً، ما شاید بتوانیم شغل‌هایی خاص برای انسان‌ها انتخاب کنیم

or to give humans income and purpose with our jobs,

یا برای انسان‌ها درآمد و هدفی با شغل‌هایمان متصور شویم،

but AGI will in any case transform life as we know it

اما هوش‌مصنوعی‌همه‌جانبه، زندگی که با آن آشناییم را به کل تغییر خواهد داد

with humans no longer being the most intelligent.

بطوریکه انسان‌ها دیگر هوشمندترین نخواهند بود.

Now, if the water level does reach AGI,

خب، اگر سطح آب به سطح هوش‌مصنوعی‌همه‌جانبه برسد،

then further AI progress will be driven mainly not by humans but by AI,

دیگر پیشرفت‌های بعدی هوش‌مصنوعی توسط انسان نیستند

بلکه خود هوش‌مصنوعی خودش را ارتقا خواهد داد،

which means that there's a possibility

که به معنی احتمال سرعت یافتن پیشرفت‌های بعدی

that further AI progress could be way faster

هوش‌مصنوعی در مقابل

than the typical human research and development timescale of years,

زمانی که تحقیقات و توسعه انسانی طول می‌کشد خواهد بود،

raising the controversial possibility of an intelligence explosion

این باعث افزایش احتمال وقوع پدیده جنجالی تکینگی هوشمندی می‌شود

where recursively self-improving AI

زمانی که هوش‌مصنوعی خود ارتقاء مرتباً

rapidly leaves human intelligence far behind,

انسان‌ها را در هوشمندی پشت سر می‌گذارد.

creating what's known as superintelligence.

و ابر هوش‌مصنوعی در این زمان متولد می‌گردد.

Alright, reality check:

بگذارید به حال برگردیم:

Are we going to get AGI any time soon?

آیا به این زودی به هوش‌مصنوعی‌همه‌جانبه خواهیم رسید؟

Some famous AI researchers, like Rodney Brooks,

برخی از محققان مشهور هوش‌مصنوعی همچون رودنی بروکس

think it won't happen for hundreds of years.

معتقدند این اتفاق تا صدها سال طول خواهد کشید.

But others, like Google DeepMind founder Demis Hassabis,

اما بقیه همچون موسس هوش‌مصنوعی دیپ مایند گوگل، دمیس هاسابیس،

are more optimistic

خوش‌بین‌تر هستند

and are working to try to make it happen much sooner.

و سخت تلاش می‌کنند هرچه زودتر اتفاق بیفتد.

And recent surveys have shown that most AI researchers

نظرسنجی‌های اخیر نشان داده اکثر محققان هوش‌مصنوعی

actually share Demis's optimism,

به خوش‌بینی دمیس معتقدند

expecting that we will get AGI within decades,

و انتظار ظهور هوش‌مصنوعی‌همه‌جانبه را در چند دهه آینده دارند،

so within the lifetime of many of us,

یعنی در طول عمر اکثر ما.

which begs the question -- and then what?

که این سوال بعدی را به وجود می‌آورد -- بعد از آن چه می‌شود؟

What do we want the role of humans to be

نقش انسان‌ها بعد از اینکه ماشین‌ها تمام کارها را

if machines can do everything better and cheaper than us?

بهتر و ارزان‌تر انجام دادند، چه خواهد بود؟

The way I see it, we face a choice.

از دید من، ما بر سر دوراهی خواهیم بود.

One option is to be complacent.

انتخاب اول این است که از خود راضی باشیم:

We can say, "Oh, let's just build machines that can do everything we can do

"بگذارید ماشین‌هایی بسازیم که همه‌کاره باشند

and not worry about the consequences.

و نگران پیش‌آمدهایش نباشیم.

Come on, if we build technology that makes all humans obsolete,

اگر ما تکنولوژی بسازیم که همه انسان‌ها را از رده خارج کند

what could possibly go wrong?"

مثلا چه چیز بدی ممکن است اتفاق بیافتد که نگرانید؟"

(Laughter)

(خنده حضار)

But I think that would be embarrassingly lame.

اما بنظر من این انتخاب بشدت نسنجیده خواهد بود.

I think we should be more ambitious -- in the spirit of TED.

بنظرم ما باید بخاطر حضور در TED هم که شده بیشتر جاه طلبانه فکر کنیم.

Let's envision a truly inspiring high-tech future

بگذارید آینده‌ای واقعاً الهام‌بخش را متصور شویم

and try to steer towards it.

و برای رسیدن به آن با تأمل حرکت کنیم.

This brings us to the second part of our rocket metaphor: the steering.

این مارا به بحث دوم در تشبیه موشک می‌کشاند: هدایت.

We're making AI more powerful,

ما در حال قوی‌تر کردن هوش‌مصنوعی هستیم

but how can we steer towards a future

اما چگونه آن را به سوی آینده هدایت کنیم

where AI helps humanity flourish rather than flounder?

که هوش‌مصنوعی بشریت را به جای تسلیم کردن کامل‌تر کند؟

To help with this,

برای کمک به این بحث،

من موسسه تحقیقات حیات آینده را تاسیس نمودم.

I cofounded the Future of Life Institute.

موسسه‌ای کوچک و غیر انتفاعی که فواید استفاده از تکنولوژی را تبلیغ می‌کند

It's a small nonprofit promoting beneficial technology use,

and our goal is simply for the future of life to exist

و هدف ما ساده است:

در آینده حیات وجود داشته باشد و به بهترین شکل ممکن درآید.

and to be as inspiring as possible.

You know, I love technology.

می‌دانید، من عاشق تکنولوژی هستم.

Technology is why today is better than the Stone Age.

تکنولوژی دلیل بهتر بودن امروز نسبت به عصر سنگی است.

And I'm optimistic that we can create a really inspiring high-tech future ...

و من خوش‌بینم که ما می‌توانیم آینده‌ای با فناوری بالا و الهام‌بخش بسازیم،

if -- and this is a big if --

اگر -- و این اگر دشواریست --

if we win the wisdom race --

اگر ما در نبرد دانش پیروز شویم --

the race between the growing power of our technology

نبردی میان رشد قدرت تکنولوژی‌مان

and the growing wisdom with which we manage it.

و رشد دانشی که خودمان داریم.

But this is going to require a change of strategy

اما این پیروزی نیازمند تغییر استراتژی است

because our old strategy has been learning from mistakes.

چون استراتژی قبلی ما بر پایه یادگیری از اشتباهات بوده است.

We invented fire,

ما آتش را اختراع کردیم،

screwed up a bunch of times --

چندین بار باعث حادثه شد،

invented the fire extinguisher.

و مواد آتش خاموش کن ساختیم.

(Laughter)

(خنده حضار)

We invented the car, screwed up a bunch of times --

ماشین را اختراع کردیم، چند بار باعث تصادف شد

invented the traffic light, the seat belt and the airbag,

سپس چراغ راهنما، کمربند ایمنی و کیسه هوا را اختراع کردیم،

but with more powerful technology like nuclear weapons and AGI,

اما در برخورد با تکنولوژی‌های قدرتمندی چون سلاح هسته‌ای و هوش‌مصنوعی‌همه‌جانبه،

learning from mistakes is a lousy strategy,

یادگیری از اشتباهات، استراتژی شکست خورده محسوب می‌شود،

don't you think?

بنظر شما اینطور نیست؟

(Laughter)

(خنده حضار)

It's much better to be proactive rather than reactive;

فعالانه عمل کردن بهتر از واکنش است؛

plan ahead and get things right the first time

از پیش برنامه‌ریزی کنید و از همان اول همه چیز را درست کنید

because that might be the only time we'll get.

چون ممکن است تنها فرصت‌مان باشد.

But it is funny because sometimes people tell me,

اما این جالب است چون گاهی مردم به من می‌گویند:

"Max, shhh, don't talk like that.

"مکس، هیشش، اینطوری صحبت نکن،

That's Luddite scaremongering."

چرا که سخنانت مانند تکنولوژی‌هراسان ترسناک است."

But it's not scaremongering.

اما این‌ها ترسناک نیستند

It's what we at MIT call safety engineering.

بلکه ما در MIT آن‌ها را بخشی از دروس مهندسی ایمنی می‌دانیم.

Think about it:

به آن فکر کنید:

before NASA launched the Apollo 11 mission,

قبل از اینکه ناسا ماموریت آپولو ۱۱ را آغاز کند،

they systematically thought through everything that could go wrong

آن‌ها به طور منظم احتمال هر ایرادی

when you put people on top of explosive fuel tanks

در حالتی که شما انسان‌هایی روی تانکرهای سوختی می‌گذارید

and launch them somewhere where no one could help them.

و به‌جایی می‌فرستید که هیچ کمکی بعداً نمی‌شود فرستاد، بررسی کردند.

And there was a lot that could go wrong.

احتمال فراوانی از ایرادها ممکن بود.

Was that scaremongering?

آیا آن بررسی‌ها باعث ترس می‌شدند؟

No.

نه.

That's was precisely the safety engineering

این دقیقاً همان مهندسی ایمنی بود

that ensured the success of the mission,

که موفقیت ماموریت را تضمین کرد.

and that is precisely the strategy I think we should take with AGI.

معتقدم همان استراتژی دقیقاً باید در مورد هوش‌مصنوعی‌همه‌جانبه نیز به کار رود.

Think through what can go wrong to make sure it goes right.

در مورد پیش‌آمد‌های بد فکر کن تا مطمئن شوی بدون نقص خواهد شد.

So in this spirit, we've organized conferences,

خب در این زمینه، کنفرانس‌هایی تشکیل دادیم

bringing together leading AI researchers and other thinkers

تا محققان پیشتاز هوش‌مصنوعی را کنار یکدیگر جمع کنیم

to discuss how to grow this wisdom we need to keep AI beneficial.

تا در مورد چگونگی رشد دانش‌مان به منظور داشتن هوش‌مصنوعی سودمند گفتگو کنیم.

Our last conference was in Asilomar, California last year

آخرین کنفرانس ما، سال قبل در آسیلومر کالیفرنیا بود

and produced this list of 23 principles

و این لیست ۲۳ بندی از اصولی

which have since been signed by over 1,000 AI researchers

که توسط ۱۰۰۰ نفر از محققان هوش‌مصنوعی

و رهبران صنعتی امضا شده را تشکیل داد.

and key industry leaders,

and I want to tell you about three of these principles.

می‌خواهم در مورد سه تا از این اصول برایتان بگویم:

One is that we should avoid an arms race and lethal autonomous weapons.

اول، باید از هرگونه مسابقه نظامی و سلاح‌های خودکار مرگبار خودداری شود.

The idea here is that any science can be used for new ways of helping people

نکته این است که هر علمی می‌تواند

باعث ایجاد راه‌های جدید برای کمک یا صدمه‌زدن به مردم شود.

or new ways of harming people.

For example, biology and chemistry are much more likely to be used

به طور نمونه، زیست‌شناسی و شیمی

بیشتر در مقاصد ساخت دارو و درمان‌های جدید

for new medicines or new cures than for new ways of killing people,

در مقابل روش جدید برای کشتن مردم بکار می‌رود،

because biologists and chemists pushed hard --

چراکه زیست‌شناسان و شیمی‌دانان مستمرانه --

and successfully --

و موفقیت آمیز --

برای ممنوع کردن سلاح‌های زیستی و شیمیایی تلاش کردند.

for bans on biological and chemical weapons.

And in the same spirit,

و در همین زمینه،

most AI researchers want to stigmatize and ban lethal autonomous weapons.

اکثر محققان هوش‌مصنوعی می‌خواهند استفاده از

سلاح‌های مرگبار خودکار را ممنوع و بد جلوه دهند.

Another Asilomar AI principle

اصل بعدی تصویب شده در کنفرانس آسیلومار،

is that we should mitigate AI-fueled income inequality.

ما باید شکاف درآمدی حاصل از هوش‌مصنوعی را کاهش دهیم.

I think that if we can grow the economic pie dramatically with AI

معتقدم، اگر بتوانیم کیک [سرانه درآمد جهان] را با هوش‌مصنوعی به شدت بزرگ کنیم

and we still can't figure out how to divide this pie

اما نتوانیم راهی برای تقسیم آن پیدا کنیم

so that everyone is better off,

طوری که همه راضی باشند،

then shame on us.

پس شرم بر ما.

(Applause)

(تشویق حضار)

Alright, now raise your hand if your computer has ever crashed.

اگر کسی تا حالا کامپیوترش خراب شده، دستش را بالا بیاورد.

(Laughter)

(خنده حضار)

Wow, that's a lot of hands.

واو، دست‌ها زیاد هستند.

Well, then you'll appreciate this principle

خب، پس باید به این اصل شما هم معتقد باشید

that we should invest much more in AI safety research,

که باید بودجه زیادی برای تحقیق روی تحقیقات ایمنی‌هوش‌مصنوعی بگذاریم.

because as we put AI in charge of even more decisions and infrastructure,

چون زمانی‌که ما هوش‌مصنوعی را تصمیم‌گیر و مسئول زیرساخت‌ها قرار می‌دهیم،

we need to figure out how to transform today's buggy and hackable computers

باید راهی برای تبدیل کامپیوترهای ایراددار و قابل هک امروزی

به هوش‌مصنوعی قدرت‌مندی که واقعاً بتوان به آن اعتماد کرد پیدا کنیم،

into robust AI systems that we can really trust,

because otherwise,

در غیر اینصورت،

all this awesome new technology can malfunction and harm us,

تمامی این تکنولوژی وحشتناک می‌تواند دچار اختلال شده و به ما آسیب رساند،

or get hacked and be turned against us.

یا هک شده و علیه ما تنظیم شود.

And this AI safety work has to include work on AI value alignment,

کار ما بر روی ایمنی کارکرد هوش‌مصنوعی باید شامل کار بر روی تنظیم ارزش‌هایش باشد،

because the real threat from AGI isn't malice,

چرا که تهدید واقعی از جانب هوش‌مصنوعی‌همه‌جانبه از نوع شیطانی نیست

like in silly Hollywood movies,

همانند آنچه در فیلم‌های احمقانه هالیوودی هست،

but competence --

بلکه از نوع برتری است --

AGI accomplishing goals that just aren't aligned with ours.

یعنی هوش‌مصنوعی‌همه‌جانبه به اهدافی می‌رسد که با اهداف ما در تضاد است.

For example, when we humans drove the West African black rhino extinct,

برای نمونه، وقتی ما انسان‌ها کرگدن‌های سیاه غرب‌آفریقایی را به انقراض کشاندیم،

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

به‌خاطر دسته‌ای از افکار شیطانی ضد کرگدنی این‌کار را نکردیم که، قبول دارید؟

We did it because we were smarter than them

ما این‌کار را بخاطر اینکه از آن‌ها باهوش‌تر بودیم

and our goals weren't aligned with theirs.

و اهداف ما با آن‌ها در تضاد بود انجام دادیم.

But AGI is by definition smarter than us,

اما هوش‌مصنوعی‌همه‌جانبه روی کاغذ از ما هوشمندتر است

so to make sure that we don't put ourselves in the position of those rhinos

پس برای اینکه اطمینان داشته باشیم خودمان را در مقامی چون کرگدن‌ها در مقابل

if we create AGI,

هوش‌مصنوعی‌همه‌جانبه -- اگر ساختیم -- قرار ندهیم،

we need to figure out how to make machines understand our goals,

ما باید بفهمیم که ماشین‌ها چگونه اهداف ما را می‌فهمند

adopt our goals and retain our goals.

با آن‌ها سازگار شده و تغییرشان نمی‌دهند.

And whose goals should these be, anyway?

اما پس اهداف چه‌کسی باید روی‌آن‌ها تنظیم گردد؟

Which goals should they be?

چه اهدافی باید باشند؟

This brings us to the third part of our rocket metaphor: the destination.

این ما را به بحث سوم‌ در تشبیه موشک می‌رساند: مقصد.

We're making AI more powerful,

ما در حال قوی‌تر کردن هوش‌مصنوعی هستیم،

trying to figure out how to steer it,

می‌خواهیم طریقه هدایتش را بدانیم،

but where do we want to go with it?

اما با آن به کجا می‌خواهیم برویم؟

This is the elephant in the room that almost nobody talks about --

این چالشی است که هیچ‌کس نمی‌خواهد در موردش صحبت کند --

not even here at TED --

حتی در همین صحنه TED نیز --

because we're so fixated on short-term AI challenges.

زیرا همه ما شدیداً به اهداف کوتاه‌مدت هوش‌مصنوعی چسبیده‌ایم.

Look, our species is trying to build AGI,

نژاد ما در حال ساختن هوش‌مصنوعی‌همه‌جانبه است،

motivated by curiosity and economics,

که با انگیزه‌ توجیه اقتصادی و کنجکاوی همراه است،

but what sort of future society are we hoping for if we succeed?

اما پس اگر موفق شویم، چه تصوری از جامعه آینده باید داشته باشیم؟

We did an opinion poll on this recently,

ما اخیراً نظرسنجی بر روی این موضوع داشتیم.

and I was struck to see

من به‌طور ناخوش‌آیندی متوجه شدم

that most people actually want us to build superintelligence:

اکثر مردم واقعاً از ما می‌خواهد ابرهوش‌مصنوعی را بسازیم:

AI that's vastly smarter than us in all ways.

هوش‌مصنوعی که بشدت در همه جهات از ما هوشمندتر است.

What there was the greatest agreement on was that we should be ambitious

و چیزی که عامه توافق بالایی روی‌آن دارند

بلندپروازی ما برای کمک در انتشار حیات در عالم است،

and help life spread into the cosmos,

but there was much less agreement about who or what should be in charge.

اما توافق کمی درباره اینکه چه کسی یا چه چیزی مسئول آن باشد وجود دارد.

And I was actually quite amused

و من واقعا دلم می‌خواهد کسی را

to see that there's some some people who want it to be just machines.

که می‌خواهد فقط ماشین‌ها در عالم به عنوان حیات پخش شوند ببینم.

(Laughter)

(خنده حضار)

And there was total disagreement about what the role of humans should be,

و عدم‌توافق کاملی در مورد نقش انسان‌ها داریم

even at the most basic level,

حتی در ابتدایی ترین نقش‌ها،

so let's take a closer look at possible futures

پس بیایید به آینده‌های محتمل نگاهی بیندازیم

that we might choose to steer toward, alright?

که ممکن است انتخابمان به سوی‌شان باشد، موافقید؟

So don't get me wrong here.

در این‌قسمت اشتباه در موردم فکر نکنید.

I'm not talking about space travel,

در مورد سفرهای فضایی صحبت نمی‌کنم،

merely about humanity's metaphorical journey into the future.

بلکه صرفاً در مورد سفر استعاره‌ای بشریت به سمت آینده صحبت خواهم کرد.

So one option that some of my AI colleagues like

یکی از انتخاب‌هایی که بعضی از همکارانم دوستش دارند

is to build superintelligence and keep it under human control,

ساختن ابر هوش‌مصنوعی و در زیر کنترل بشریت نگه‌داشتن آن است،

like an enslaved god,

همچون خدایی در بند شده،

disconnected from the internet

جدا شده از اینترنت،

and used to create unimaginable technology and wealth

که برای تولید تکنولوژی و ثروت غیر قابل تصور

for whoever controls it.

برای هرکسی‌که صاحبش باشد، مورد استفاده قرار می‌گیرد.

But Lord Acton warned us

اما لرد اکتون ما را آگاه ساخته که:

that power corrupts, and absolute power corrupts absolutely,

"قدرت فساد می‌آورد و قدرت مطلق، فساد مطلق می‌آورد."

so you might worry that maybe we humans just aren't smart enough,

خب شاید بنظر بیاید که ما انسان‌ها به‌اندازه کافی باهوش

یا دانا نخواهیم بود

or wise enough rather,

to handle this much power.

تا این حجم از قدرت را در کنترل داشته باشیم

Also, aside from any moral qualms you might have

همچنین، در کنار همه تردیدهای اخلاقی که شما ممکن است

about enslaving superior minds,

درباره به کنترل درآوردن هوش[مصنوعی] برتر داشته باشید،

you might worry that maybe the superintelligence could outsmart us,

ممکن است نگران باشید که ابر هوش‌مصنوعی می‌تواند از ما در هوشمندی جلوتر زده،

break out and take over.

از دستمان در رود و بر ما چیره شود.

But I also have colleagues who are fine with AI taking over

اما من همچنین همکارانی دارم که راضی‌اند هوش‌مصنوعی بر ما چیره شود

and even causing human extinction,

و حتی باعث انقراض نسل بشر گردد،

as long as we feel the the AIs are our worthy descendants,

مثل اینکه به هوش‌مصنوعی به دید میراث‌داران شایسته‌مان بنگریم،

like our children.

مثل فرزندان‌مان.

But how would we know that the AIs have adopted our best values

اما از کجا بدانیم که هوش‌مصنوعی با بهترین ارزش‌های ما سازگار شده است

and aren't just unconscious zombies tricking us into anthropomorphizing them?

و همانند زامبی‌های ناخودآگاه ما را در انسان‌گونه دانستن‌شان فریب نخواهد زد؟

Also, shouldn't those people who don't want human extinction

آیا نباید به انسان‌هایی که انقراض نسل بشر را نمی‌خواهد

have a say in the matter, too?

در این زمینه، فرصت نظر دادن داد؟

حالا اگر شما هیچ‌کدام از این دو انتخاب برای آینده همراه با فناوری را نخواهید

Now, if you didn't like either of those two high-tech options,

it's important to remember that low-tech is suicide

باید به یاد داشته باشید که آینده با فناوری کم

from a cosmic perspective,

از منظر کیهانی همانند خودکشی است،

because if we don't go far beyond today's technology,

چرا که اگر ما از مرزهای تکنولوژی امروزی فراتر نرویم

the question isn't whether humanity is going to go extinct,

سوال این نخواهد بود که بشریت منقرض می‌شود یا نه،

merely whether we're going to get taken out

بلکه اساسا درباره این خواهد بود که عامل آن

by the next killer asteroid, supervolcano

سیارک قاتل بعدی است یا ابر آتشفشان

or some other problem that better technology could have solved.

یا مشکلات دیگری که می‌توانستیم با تکنولوژی بهتر مانع‌شان شویم.

So, how about having our cake and eating it ...

خب، چطور است کیک‌مان را داشته باشیم و آن را بخوریم ...

با هوش‌مصنوعی‌همه‌جانبه‌ای در بند ما نیست

with AGI that's not enslaved

بلکه با ما خوب رفتار می‌کند چون ارزش‌های آن با ارزش‌های ما هم‌راستاست؟

but treats us well because its values are aligned with ours?

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

این نیم‌نگاهی است به آنچه که الیزر یودکاوسکی آن‌را "هوش‌مصنوعی‌دوستانه" می‌نامد.

and if we can do this, it could be awesome.

و اگر ما چنین هوش‌مصنوعی بسازیم می‌تواند بسیار الهام‌بخش باشد.

It could not only eliminate negative experiences like disease, poverty,

این می‌تواند نه‌تنها ما را از تجربه‌های منفی همچون بیماری، فقر،

crime and other suffering,

جرایم و سایر رنج‌ها برهاند،

but it could also give us the freedom to choose

همچنین می‌تواند به ما آزادی انتخاب

from a fantastic new diversity of positive experiences --

از میان گوناگونی تجربه‌های فوق‌العاده مثبت و جدید را بدهد --

basically making us the masters of our own destiny.

اساساً ما را صاحبان سرنوشت‌مان کند.

So in summary,

خب پس در خلاصه،

our situation with technology is complicated,

وضعیت ما با تکنولوژی پیچیده است

but the big picture is rather simple.

اما شرایط کلی‌مان ساده است.

اکثر محققان هوش‌مصنوعی انتظار ظهور هوش‌مصنوعی‌همه‌جانبه را در چند دهه بعدی دارند

Most AI researchers expect AGI within decades,

and if we just bumble into this unprepared,

اگر ما بدون برنامه به آن مرحله برسیم،

it will probably be the biggest mistake in human history --

شاید این بزرگترین اشتباه در تاریخ بشریت باشد.

let's face it.

امتحانش مجانی است.

It could enable brutal, global dictatorship

این رویداد می‌تواند باعث دیکتاتوری وحشیانه جهانی

with unprecedented inequality, surveillance and suffering,

همراه با نابرابری بی‌سابقه، تحت نظر قرار گرفتن و رنج بردن

and maybe even human extinction.

و حتی موجب انقراض بشریت شود.

But if we steer carefully,

اما اگر ما با دقت هدایتش کنیم،

we could end up in a fantastic future where everybody's better off:

می‌توانیم به آینده‌ای خارق‌العاده که همه در وضع بهتری از الان خواهند بود برسیم:

the poor are richer, the rich are richer,

فقیر، ثروتمند و ثروتمند، ثروتمندتر شده،

everybody is healthy and free to live out their dreams.

همه سالم و آزاد برای زندگی به سمت اهدافشان هستند.

Now, hang on.

حالا، صبر کنید.

Do you folks want the future that's politically right or left?

آیا شما گروهی هستید که آینده سیاسی راست یا چپی می‌خواهید؟

Do you want the pious society with strict moral rules,

آیا جامعه مذهبی بر پایه قوانین سرسخت اخلاقی می‌خواهید؟

یا جامعه‌ای همراه با خوشی و لذت همگانی،

or do you an hedonistic free-for-all,

more like Burning Man 24/7?

چیزی مثل مراسم سالانه "مرد سوزان" در نوادا که بصورت همیشگی دایر باشد؟

Do you want beautiful beaches, forests and lakes,

سواحل، جنگل و دریاچه زیبا می‌خواهید

or would you prefer to rearrange some of those atoms with the computers,

یا ترجیح می‌دهید یکی از آن اتم‌ها را توسط

واقعیت مجازی کامپیوتری دستکاری کنید؟

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

با هوش‌مصنوعی‌مهربان، تمامی این جوامع امکان‌پذیر است

and give people the freedom to choose which one they want to live in

و می‌توان به مردم آزادی داد تا در هر کدام که خواستند زندگی کنند

because we would no longer be limited by our intelligence,

چرا که دیگر ما توسط هوش‌خودمان محدود نیستیم

و تنها محدود به قوانین فیزیک‌ هستیم.

merely by the laws of physics.

So the resources and space for this would be astronomical --

پس میزان منابع و فضا برای آن نجومی خواهد بود --

literally.

به معنای واقعی کلمه.

So here's our choice.

پس این انتخاب ماست:

We can either be complacent about our future,

می‌توانیم در مورد آینده‌مان از خود راضی باشیم،

taking as an article of blind faith

و همانند نوشته‌ای از ایمان کور

that any new technology is guaranteed to be beneficial,

به همه تکنولوژی‌های جدید به شکل تضمینی و سودمند نگاه کنیم،

and just repeat that to ourselves as a mantra over and over and over again

و به خودمان این تضمین را مدام همچون وردی تکرار کنیم

as we drift like a rudderless ship towards our own obsolescence.

در حالی که همچون کشتی سرگردان به‌سمت تباهی‌مان پیش می‌رویم.

Or we can be ambitious --

یا می‌توانیم بلندپرواز باشیم --

thinking hard about how to steer our technology

در مورد نحوه هدایت تکنولوژی‌مان

and where we want to go with it

و جایی که با آن می‌خواهیم برویم

to create the age of amazement.

تا عصر شگفتی‌ها را با آن بسازیم خوب فکر کنیم.

ما همه اینجا هستیم، تا عصر شگفتی را جشن بگیریم،

We're all here to celebrate the age of amazement,

and I feel that its essence should lie in becoming not overpowered

و من احساس می‌کنم ماهیت آن نباید این باشد که قدرت فناوری از ما بیشتر شود،

but empowered by our technology.

بلکه ما باید با آن قدرتمند شویم.

Thank you.

متشکرم.

(Applause)

(تشویق)