Can we build AI without losing control over it? | Sam Harris

Translator: Leila Ataei Reviewer: Bidel Akbari

I'm going to talk about a failure of intuition

میخواهم درباره فقدانِ بصیرتی صحبت کنم

that many of us suffer from.

که بسیاری از ما از آن زیان می‌بینیم.

It's really a failure to detect a certain kind of danger.

این، در واقع ناکامی در پیدا کردنِ نوع خاصی ازخطر است.

I'm going to describe a scenario

میخواهم سناریویی را شرح دهم

that I think is both terrifying

که فکر می‌کنم هم ترسناک است

and likely to occur,

و هم وقوع آن محتمل،

and that's not a good combination,

و آنطوری که معلوم می‌شود ترکیب

as it turns out.

خوبی نیست.

And yet rather than be scared, most of you will feel

و بجای این که وحشت کنید، اغلب شما احساس خواهید کرد

that what I'm talking about is kind of cool.

که موضوع مورد صحبت یکجورهایی باحال است.

I'm going to describe how the gains we make

می‌خواهم شرح دهم که چطور یافته‌های ما

in artificial intelligence

در هوش مصنوعی می‌تواند

could ultimately destroy us.

درنهایت به نابودی ما بیانجامد.

And in fact, I think it's very difficult to see how they won't destroy us

و در واقع، فکر می‌کنم خیلی سخت است که ببینیم چطور نابودمان نخواهند کرد

or inspire us to destroy ourselves.

یا ما را به نابود کردن خودمان سوق ندهند.

And yet if you're anything like me,

و در عین حال اگر مثل من باشید

you'll find that it's fun to think about these things.

خواهید دید فکر کردن به این چیزها جالب است.

And that response is part of the problem.

و آن واکنش بخشی از مشکل است.

OK? That response should worry you.

درسته؟ آن واکنش باید نگرانتان کند.

And if I were to convince you in this talk

و اگر قرار بود در این سخنرانی متقاعدتان کنم

that we were likely to suffer a global famine,

که احتمالا از یک قحطی جهانی بخاطر

either because of climate change or some other catastrophe,

تغییرات جوی یا هر فاجعه دیگری رنج ببریم

and that your grandchildren, or their grandchildren,

و این که نوه‌های ما یا نوه‌های آنها

are very likely to live like this,

هم احتمال زندگی این شکلی را دشته باشند،

you wouldn't think,

با خودتان فکر نمی‌کردید،

"Interesting.

«جالبه.

I like this TED Talk."

از این سخنرانی TED خوشم می‌آید.»

Famine isn't fun.

قحطی جالب نیست.

Death by science fiction, on the other hand, is fun,

از سوی دیگر مرگ ناشی از ژانر علمی تخیلی جالب است،

and one of the things that worries me most about the development of AI at this point

و یکی از چیزهایی که بیش از همه نسبت به توسعه هوش صنوعی در این مرحله نگرانم می‌کند

is that we seem unable to marshal an appropriate emotional response

این است که به نظر می‌رسد ما قادر به ایجاد واکنش عاطفی مناسبی

to the dangers that lie ahead.

به خطرات در پیشِ روی خود نبوده‌ایم.

I am unable to marshal this response, and I'm giving this talk.

حتی من که این سخنرانی را انجام می‌دهم، قادر نیستم این واکنش را ایجاد کنم.

It's as though we stand before two doors.

مثل ایستادن در برابر دو در میماند.

Behind door number one,

پشت درب شماره یک

we stop making progress in building intelligent machines.

ما دست از پیشرفت در ساخت ماشینهای هوشمند می‌کشیم.

Our computer hardware and software just stops getting better for some reason.

سخت افزار و نرم افزار کامپیوترمان به دلیلی دست از بهتر شدن بر می‌دارد.

Now take a moment to consider why this might happen.

چند لحظه در مورد چرایی این اتفاق تامل کنید.

I mean, given how valuable intelligence and automation are,

منظورم این است که با فرض به دانستن این که هوش و ماشینی شدن چقدر با ارزشند،

we will continue to improve our technology if we are at all able to.

ما به بهبود فناوری خود ادمه خواهیم داد اگر امکانش باشد.

What could stop us from doing this?

چه چیزی قادر است سد راهمان شود؟

A full-scale nuclear war?

یک جنگ هسته‌ای تمام عیار؟

A global pandemic?

یک بیماری فراگیر جهانی؟

An asteroid impact?

اصابت یک اخترواره؟

Justin Bieber becoming president of the United States?

جاستین بیبر رییس جمهور آمریکا شود؟

(Laughter)

(خنده)

The point is, something would have to destroy civilization as we know it.

نکته این است که باید چیزی باشد که تمدن را نابود کند.

You have to imagine how bad it would have to be

باید تصور کنید چقدر بد باید باشد

to prevent us from making improvements in our technology

تا برای همیشه مانع ما در انجام اصلاحات در این فناوری

permanently,

گردد،

generation after generation.

در همه نسلها.

Almost by definition, this is the worst thing

تقریبا طبق تعریف این بدترین چیزی است

that's ever happened in human history.

که تابحال در تاریخ بشر اتفاق افتاده.

So the only alternative,

بنابراین تنها جایگزین

and this is what lies behind door number two,

که خب پشت درب شماره دو خوابیده

is that we continue to improve our intelligent machines

این است که به بهسازی ماشینهای هوشمند هر سالی که بگذرد

year after year after year.

ادامه دهیم.

At a certain point, we will build machines that are smarter than we are,

در یک نقطه خاص، ماشینهایی را خواهیم است که از ما باهوش‌تر هستند،

and once we have machines that are smarter than we are,

و وقتی ماشینهایی بسازیم که از ما باهوش‌تر باشند،

they will begin to improve themselves.

آنها شروع به اصلاح خود می کنند.

And then we risk what the mathematician IJ Good called

و بعد خطر چیزی را خواهیم داشت که ای جی گود ریاضیدان

an "intelligence explosion,"

«انفجار هوش» نامید،

that the process could get away from us.

این که این پروسه از کنترل ما خارج شود.

Now, this is often caricatured, as I have here,

این مساله بیشتر به شکلی که من اینجا نشان می‌دهم

as a fear that armies of malicious robots

مثل ترس از این که ارتش‌هایی از رباتهای بدطینت

will attack us.

به ما حمله کنند، ترسیم شده.

But that isn't the most likely scenario.

اما این، سناریوی چندان محتملی نیست.

It's not that our machines will become spontaneously malevolent.

اینطور نیست که ماشینهای ساخت دست ما به یکباره هیولا شوند.

The concern is really that we will build machines

نگرانی اینجاست که ماشین‌هایی خواهیم ساخت

that are so much more competent than we are

که بسیار توانمندتر از ما هستند

that the slightest divergence between their goals and our own

جوریکه کمترین انحراف در بین اهداف ما و آنها

could destroy us.

می تواند ما را نابود کند.

Just think about how we relate to ants.

فقط به نحوه ارتباط ما با مورچه‌ فکر کنید.

We don't hate them.

از آنها متنفر نیستیم.

We don't go out of our way to harm them.

راه مان را برای کشتنشان کج نمی‌کنیم.

In fact, sometimes we take pains not to harm them.

در واقع،‌ گاهی برای آسیب نرساندن به آنها خود را به زحمت می‌اندازیم.

We step over them on the sidewalk.

در پیاده رو از رویشان می‌پریم.

But whenever their presence

اما هر وقت در جایی حضورشان

seriously conflicts with one of our goals,

بطور جدی با یکی از اهداف ما منافعات داشته باشد،

let's say when constructing a building like this one,

برای مثال وقتی ساختمانی مثل این را بسازیم،

we annihilate them without a qualm.

آنها را بی‌درنگ قلع و قمع می‌کنیم.

The concern is that we will one day build machines

نگرانی این است که یک روز ماشین‌هایی را خواهیم ساخت

that, whether they're conscious or not,

که چه آگاه باشند یا نباشند

could treat us with similar disregard.

می‌توانند این چنین بی‌ملاحظه با ما رفتار کنند.

Now, I suspect this seems far-fetched to many of you.

البته خیلی از شما آن را خطری در دراز مدت می‌ببینید.

I bet there are those of you who doubt that superintelligent AI is possible,

شرط می‌بندم کسانی در بین شما هستند که به احتمال این ماشین ابرهوشمند شک داشته

much less inevitable.

و آن را کمابیش بعید می‌دانند.

But then you must find something wrong with one of the following assumptions.

اما بعد باید به غلط بودن یکی از فرضیه‌های زیر برسید.

And there are only three of them.

و آنها سه تا بیشتر نیستند.

Intelligence is a matter of information processing in physical systems.

هوشمندی موضوع پردازش اطلاعات در سیستمهای فیزیکی است.

Actually, this is a little bit more than an assumption.

راستش کمی بیشتر از یک فرض است.

We have already built narrow intelligence into our machines,

درحال حاضر میزان اندکی از هوشمندی را در داخل ماشینهایمان بکار بردیم،

and many of these machines perform

و خیلی از این ماشینها همین الان نیز

at a level of superhuman intelligence already.

عملکردی در سطح هوش یک انسان فوق العاده باهوش دارند.

And we know that mere matter

و می‌دانیم که خود این مسله صرفا می‌تواند

can give rise to what is called "general intelligence,"

منجر به پیداش به اصطلاح « هوشمندی عمومی» شود،

an ability to think flexibly across multiple domains,

توانایی اندیشیدنِ منعطف در سرتاسر حوزه‌های مختلف،

because our brains have managed it. Right?

چون که مغزهایمان در انجامش موفق بودند، اینطور نیست؟

I mean, there's just atoms in here,

منظورم این است که در اینجا فقط اتم است،

and as long as we continue to build systems of atoms

و تا مادامی که سیستمی اتمی را می‌سازیم

that display more and more intelligent behavior,

که رفتار هوشمندانه بیشتر و بیشتری نشان می‌دهند،

we will eventually, unless we are interrupted,

مگر این که دچار وقفه شویم، وگرنه

we will eventually build general intelligence

ما نهایتا هومندیش عمومی را در ماشینهایمان

into our machines.

بکار خواهیم برد.

It's crucial to realize that the rate of progress doesn't matter,

مهم است که تشخیص دهیم میزان پیشرفت اهمیت ندارد،

because any progress is enough to get us into the end zone.

زیرا هر پیشرفتی برای رساندن ما به منطقه نهایی کافی است.

We don't need Moore's law to continue. We don't need exponential progress.

برای ادامه نیاز به قانون مورفی نداریم. نیاز به پیشرفت تصاعدی نداریم.

We just need to keep going.

فقط باید ادامه دهیم.

The second assumption is that we will keep going.

فرض دوم این است که ادامه خواهیم داد.

We will continue to improve our intelligent machines.

به بهسازی ماشینهای هوشمند خود ادامه می‌دهیم.

And given the value of intelligence --

و با فرض ارزش هوشمندی--

I mean, intelligence is either the source of everything we value

منظورم این است که خواه هوشمندی منبع همه چیزهایی است که برایمان ارزش دارد

or we need it to safeguard everything we value.

یا که برای محافظت از چیزهای باارزشمان به آن نیاز داریم.

It is our most valuable resource.

مهمترین منبع باارزش ما است.

So we want to do this.

بنابراین می‌خواهیم این را انجام دهیم.

We have problems that we desperately need to solve.

مشکلاتی که مایوسانه نیاز به حل شان داریم.

We want to cure diseases like Alzheimer's and cancer.

میخواهیم امراضی چون آلزایمر و سرطان را درمان کنیم.

We want to understand economic systems. We want to improve our climate science.

می‌خواهیم سیستمهای اقتصادی را بفهمیم. می‌خواهیم دانش اقلیمی خویش را بهبود ببخشیم.

So we will do this, if we can.

پس اگر بتوانیم این کار را می‌کنیم.

The train is already out of the station, and there's no brake to pull.

قطار دیگر از ایستگاه خارج شده، و ترمزی برای کشیدن نیست.

Finally, we don't stand on a peak of intelligence,

سرآخر این که احتمالا ما در راس هوش یا جایی نزدیک آن

or anywhere near it, likely.

نخواهیم ایستاد.

And this really is the crucial insight.

و این یک بینش واقعا ضروری است.

This is what makes our situation so precarious,

این چیزی است که شرایط ما را پرمخاطره می‌کند،

and this is what makes our intuitions about risk so unreliable.

و این چیزی است که درک ما از ریسک را شدیدا غیرقابل اتکا می‌کند.

Now, just consider the smartest person who has ever lived.

الان باهوش‌ترین فردی که تا به امروز زیسته را در نظر بگیرید.

On almost everyone's shortlist here is John von Neumann.

اینجا تقریبا در فهرست کوتاه همه جان فان نیومن وجود دارد.

I mean, the impression that von Neumann made on the people around him,

منظورم تاثیری است که فان نیومن بر اطرافیانش داشته

and this included the greatest mathematicians and physicists of his time,

و این دربرگیرنده بزرگترین ریاضیدانها و فیزیکدانهای هم دوره‌اش می‌شود،

is fairly well-documented.

که نسبتا بخوبی ثبت شده است.

If only half the stories about him are half true,

اگر فقط بخشی از نیمی از داستانهای درباره او درست باشد

there's no question

شکی نیست

he's one of the smartest people who has ever lived.

که او از باهوشترین آدمهایی است که تابحال زیسته.

So consider the spectrum of intelligence.

بنابراین گستره هوش را در نظر بگیرید.

Here we have John von Neumann.

در اینجا جان فان نیومن را داریم.

And then we have you and me.

و بعد نیز امثال من و شما.

And then we have a chicken.

و البته مرغ را هم داریم.

(Laughter)

(خنده)

Sorry, a chicken.

متاسفم، یک مرغ.

(Laughter)

(خنده)

There's no reason for me to make this talk more depressing than it needs to be.

دلیلی ندارم که این سخنرانی را نامیدکننده‌تر از حد نیاز کنم.

(Laughter)

(خنده)

It seems overwhelmingly likely, however, that the spectrum of intelligence

بحد قابل توجهی همینطور است،‌هر چند گستره هوش

extends much further than we currently conceive,

خیلی وسیعتر از برداشت کنونی ما است،

and if we build machines that are more intelligent than we are,

و اگر ماشینهایی را بسازیم که از ما هوشمندترند،

they will very likely explore this spectrum

آنها احتمالا این گستره را بررسی خواهند کرد

in ways that we can't imagine,

به ترتیبی که ما قادر به تصورش نیستیم،

and exceed us in ways that we can't imagine.

و طوری از ما پیشی خواهند گرفت که تصورش را هم نمی‌کنیم.

And it's important to recognize that this is true by virtue of speed alone.

و تشخیص این نکته مهم است که این مساله بواسطه خصیصه سرعت معتبر است.

Right? So imagine if we just built a superintelligent AI

درسته؟ پس ساخت یک هوش مصنوعی ابرهوشمندی را تصور کنید

that was no smarter than your average team of researchers

که باهوشتر از یک تیم معمولی تحقیقاتی شما

at Stanford or MIT.

در استانفورد یا MIT نباشد.

Well, electronic circuits function about a million times faster

خب، مدارهای الکترونیکی کارکردی حدود یک میلیون بار سریعتر

than biochemical ones,

از انواع زیست شیمی دارند

so this machine should think about a million times faster

بنابراین این ماشین شاید یک میلیون بار سریعتر از ذهنهایی

than the minds that built it.

که آن را ساختند فکر کند.

So you set it running for a week,

پس یک هفته‌ای که از راه‌اندازیش بگذرد،

and it will perform 20,000 years of human-level intellectual work,

هر هفته‌ای که سپری بگذرد عملکردی برابر ۲۰٫۰۰۰ سال

week after week after week.

کار اندیشمدانه در سطح بشر خواهد داشت.

How could we even understand, much less constrain,

ما چطور قادر به درک ذهنی باشیم که چنین نوعی از پیشرفت را ایجاد می‌کند

a mind making this sort of progress?

چه برسد به محدود کردن آن؟

The other thing that's worrying, frankly,

صادقانه بگویم، یک از چیزهای دیگری که نگران کننده است،

is that, imagine the best case scenario.

این است که - بهترین سناریوی ممکن را تصور کنید.

So imagine we hit upon a design of superintelligent AI

تصور کنید به طراحی از یک هوش مصنوعی ابرهوشمند رسیده‌ایم

that has no safety concerns.

که هیچ مشکل امنیتی ندارد.

We have the perfect design the first time around.

برای اولین بار بهترین طراحی را داریم.

It's as though we've been handed an oracle

مثل این میماند که ما به دانشمندی دست پیدا کرده‌ایم

that behaves exactly as intended.

که عینا طبق خواسته رفتار می‌کند.

Well, this machine would be the perfect labor-saving device.

خب این ماشین می‌تواند بهترین وسیله در صرفه‌جویی نیروی کار باشد.

It can design the machine that can build the machine

می‌تواند ماشینی را طراحی کند که خود ماشینی را بسازد

that can do any physical work,

که توان انجام هر کار فیزیکی را دارد،

powered by sunlight,

با استفاده از نور خورشید،

more or less for the cost of raw materials.

کمابیش بخاطر هزینه مصالح خام.

So we're talking about the end of human drudgery.

پس درباره به پایان رسیدن جان کندن بشر صحبت می‌کنیم.

We're also talking about the end of most intellectual work.

و همچنین به پایان رسیدن اغلب کارهایی که با عقل و خِرَد سروکار دارند.

So what would apes like ourselves do in this circumstance?

پس در شرایط این چنینی چه بر سر میمون‌هایی مثل ما می‌آید؟

Well, we'd be free to play Frisbee and give each other massages.

خب، ما در فریزبی بازی کردن و ماساژ دادن یکدیگر آزاد خواهیم بود.

Add some LSD and some questionable wardrobe choices,

و همینطور یکسری داروهای روانگردان و انتخابهای سوال‌برانگیز توی کمد لباس،

and the whole world could be like Burning Man.

و کل دنیا چیزی شبیه به جشنواره مرد سوزان می‌شود.

(Laughter)

(خنده)

Now, that might sound pretty good,

الان شاید خوشایند به گوش برسد

but ask yourself what would happen

اما از خود سوال کنید چه اتفاقی برای

under our current economic and political order?

نظام سیاسی و اقتصادی کنونی ما خواهد افتاد؟

It seems likely that we would witness

محتمل است که ما شاهد سطحی از نابرابری

a level of wealth inequality and unemployment

ثروت و بیکاری باشیم

that we have never seen before.

که بی‌سابقه است.

Absent a willingness to immediately put this new wealth

فقدان اراده در بکارگیری فوری این ثروت تازه

to the service of all humanity,

در خدمت کل بشریت.

a few trillionaires could grace the covers of our business magazines

اندک تریلیونرها قادر به عرض اندام در روی جلد مجلات تجاری هستند

while the rest of the world would be free to starve.

در حالیکه بقیه دنیا از گرسنگی رنج خواهد بردد.

And what would the Russians or the Chinese do

روسها یا چینی‌ها چه کار می‌کنند

if they heard that some company in Silicon Valley

اگر بشنوند که یک کمپانی در سیلیکون ولی

was about to deploy a superintelligent AI?

در آستانه بکارگیری هوش مصنوعی اَبَرهوشمند است؟

This machine would be capable of waging war,

ماشینی که قادر به ادامه جنگ است،

whether terrestrial or cyber,

خواه زمینی یا سایبری،

with unprecedented power.

با قدرتی بی‌سابقه.

This is a winner-take-all scenario.

این یک سناریویی‌ست که در آن برنده همه چیز را بدست می‌آورد.

To be six months ahead of the competition here

در این رقابت شش ماه پیش بودن

is to be 500,000 years ahead,

یعنی حداقل ۵۰۰٫۰۰۰ سال

at a minimum.

جلوتر بودن.

So it seems that even mere rumors of this kind of breakthrough

پس به نظر می‌رسد که حتی شایعات بیشتر از این پیشرفتها

could cause our species to go berserk.

می‌تواند منجر به از خود بیخود شدن نوع بشر شود.

Now, one of the most frightening things,

الان یکی از وحشتناکترین چیزها از دیدگاه من

in my view, at this moment,

در این لحظه همه آن چیزهایی هست

are the kinds of things that AI researchers say

که محققان هوش مصنوعی

when they want to be reassuring.

به ما می‌گویند، وقتی که می‌خواهند اطمینان بخش باشند.

And the most common reason we're told not to worry is time.

و شایع‌ترین دلیلی که برای نگران نبودن به ما می‌گویند زمان است.

This is all a long way off, don't you know.

کلی زمان‌بر است،‌ مگر خبر ندارید.

This is probably 50 or 100 years away.

شاید ۵۰ یا ۱۰۰ سال بعد.

One researcher has said,

یک محققی می‌گفت،

"Worrying about AI safety

«نگران بودن درباره امنیت هوش مصنوعی

is like worrying about overpopulation on Mars."

مثل نگران بودن درباره رشد بیحد جمعیت در مریخ است.»

This is the Silicon Valley version

در واقع آنها می‌گویند:

of "don't worry your pretty little head about it."

« فکرهای کوچک تان را در این مورد نگران نکنید.»

(Laughter)

(خنده)

No one seems to notice

به نظر نمیاید کسی متوجه باشد

that referencing the time horizon

که ارجاع دادن به افق زمانی

is a total non sequitur.

کلا نامربوط است.

If intelligence is just a matter of information processing,

اگر هوش صرفا مساله پردازش اطلاعات باشد

and we continue to improve our machines,

و ما به اصلاح ماشینهای خود ادامه دهیم،

we will produce some form of superintelligence.

شکلی از هوش ماورایی را تولید خواهیم کرد.

And we have no idea how long it will take us

و ایده‌ای نداریم که چقدر زمان می‌برد

to create the conditions to do that safely.

تا شرایط انجام این کار را به شکل ایمن فراهم کنیم.

Let me say that again.

بگذارید باز هم بگویم.

We have no idea how long it will take us

ایده‌ای نداریم که چقدر زمان می‌برد

to create the conditions to do that safely.

تا شرایط انجام این کار را به شکل ایمن فراهم کنیم.

And if you haven't noticed, 50 years is not what it used to be.

و اگر متوجه نشده باشید ۵۰ سال، دیگر مثل سابق نیست.

This is 50 years in months.

این، ماه‌های تشکیل دهنده‌ی ۵۰ سال است.

This is how long we've had the iPhone.

این، مدتی‌ست که ما صاحب آیفون هستیم.

This is how long "The Simpsons" has been on television.

در این مدت سریال خانواده سیمپسون پخش شده.

Fifty years is not that much time

پنجاه سال زمان چندان زیادی

to meet one of the greatest challenges our species will ever face.

برای روبرو شدن با یکی از بزرگترین چالشهایی که نوع بشر با آن روبروست، نیست.

Once again, we seem to be failing to have an appropriate emotional response

یکبار دیگر به نظر میاید که ما در داشتن جواب عاطفی مناسب نسبت به آنچه

to what we have every reason to believe is coming.

که دلایل کافی برای ظهورش را داریم ناموفق عمل کرده‌ایم.

The computer scientist Stuart Russell has a nice analogy here.

دانشمند علوم رایانه‌ استورات راسل قیاس جالبی دارد.

He said, imagine that we received a message from an alien civilization,

او گفت، تصور کنید پیغامی را از یک تمدن فضایی دریافت کنیم

which read:

که می‌گوید،

"People of Earth,

«مردم زمین،

we will arrive on your planet in 50 years.

ما ۵۰ سال دیگر به سیاره شما می‌رسیم.

Get ready."

آماده باشید.»

And now we're just counting down the months until the mothership lands?

و اکنون ما فقط به شمارش معکوس ماه‌ها مشغولیم تا ناوِ فضایی فرود بیاید؟

We would feel a little more urgency than we do.

لازم است که کمی بیشتر در این باره احساس ضرورت کنیم.

Another reason we're told not to worry

دلیل دیگری که به ما می‌گویند نگران نباشید

is that these machines can't help but share our values

این است که این ماشین‌ها راهی جز سهیم شدن در ارزشهای ما ندارند

because they will be literally extensions of ourselves.

چون که آنها به معنای واقعی کلمه، ما را بسط می‌دهند.

They'll be grafted onto our brains,

آنها به مغزهای ما پیوند زده می‌شوند

and we'll essentially become their limbic systems.

و ما در اصل دستگاه‌های کناره‌ای (Limbic system) آنها خواهیم شد.

Now take a moment to consider

الان لحظه‌ای به این فکر کنید

that the safest and only prudent path forward,

که ایمن‌ترین و تنها مسیر محتاط رو به جلوی

recommended,

توصیه شده

is to implant this technology directly into our brains.

تعبیه مستقیم این فناوری در مغزهای ما باشد.

Now, this may in fact be the safest and only prudent path forward,

اکنون، شاید این ایمن‌ترین و تنها مسیر محتاط رو به جلوست،

but usually one's safety concerns about a technology

اما معمولا دغدغه‌های ایمنی یک نفر درباره فناوری

have to be pretty much worked out before you stick it inside your head.

باید حسابی مورد بررسی قرار گرفته باشد پیش از این بخواهید که آن را تو کله‌ خود فرو کنید.

(Laughter)

(خنده)

The deeper problem is that building superintelligent AI on its own

مشکل عمیق‌تر این است که ساختن هوش مصنوعی ابرهوشمند مستقل

seems likely to be easier

به نظر آسانتر از ساختن

than building superintelligent AI

هوش مصنوعی ابرهوشمند

and having the completed neuroscience

و داشتن علم عصب شناسی کاملی میاید

that allows us to seamlessly integrate our minds with it.

که به ما اجازه یکپارچه کردن بی‌درز ذهن‌های خویش با آن را می‌دهد.

And given that the companies and governments doing this work

و با فرض این که کمپانی‌ها و دولت‌هایی این کار را می‌کنند

are likely to perceive themselves as being in a race against all others,

محتمل به پی بردن به موجودیت خود در این مسابقه علیه دیگران هستند،

given that to win this race is to win the world,

با این فرض که بردن این مسابقه به معنی بردن جهان است،

provided you don't destroy it in the next moment,

به شرطی که در لحظه بعدی آن را نابود نکنید،

then it seems likely that whatever is easier to do

که احتمال وقوع هر چیزی که آسانتر باشد

will get done first.

اول از همه می‌رود.

Now, unfortunately, I don't have a solution to this problem,

شوربختانه الان راه‌حلی برای این مشکل ندارم

apart from recommending that more of us think about it.

بجز توصیه‌ام برای بیشتر فکردن کردن درباره آن.

I think we need something like a Manhattan Project

فکر می‌کنم بیشتر به چیزی مثل پروژه منهتن در موضوع

on the topic of artificial intelligence.

هوش مصنوعی نیاز داریم.

Not to build it, because I think we'll inevitably do that,

نه درباره ساختن آن، چون به نظرم بالاخره این کار را خواهیم کرد،

but to understand how to avoid an arms race

بلکه درک نحوه اجتناب از یک مسابقه تسلیحاتی

and to build it in a way that is aligned with our interests.

و ساخت آن به نحوی که هم راستا با منافع ما باشد.

When you're talking about superintelligent AI

زمانی که راجع به هوش مصنوعی ابرهوشمند صحبت می‌کنید

that can make changes to itself,

که قادر به انجام تغییرات در خویش است،

it seems that we only have one chance to get the initial conditions right,

به نظر میاید که ما تنها از یک شانس برای رسیدن به شرایط آغازین صحیح برخورداریم

and even then we will need to absorb

و حتی بعد لازم است به جذب

the economic and political consequences of getting them right.

پیامدهای سیاسی و اقتصادی درست بودن آنها بپردازیم.

But the moment we admit

اما لحظه‌ای که می‌پذیریم

that information processing is the source of intelligence,

پردازش اطلاعات منبع هوشمندی است،

that some appropriate computational system is what the basis of intelligence is,

که یک نظام محاسباتی مناسب مبنای هوشمندی است،

and we admit that we will improve these systems continuously,

و بپذیریم که این نظامها را در ادامه اصلاح خواهیم کرد،

and we admit that the horizon of cognition very likely far exceeds

و بپذیریم که افق فرایند یادگیری و شناخت به احتمال زیاد فراتر

what we currently know,

از دانش فعلی ما می‌رود

then we have to admit

در ادامه باید بپذیریم

that we are in the process of building some sort of god.

که ما در فرایند ساخت نوعی از خدا هستیم.

Now would be a good time

الان زمان خوبی است

to make sure it's a god we can live with.

مطمئن شویم خدایی است که می‌توان با آن زندگی کرد.

Thank you very much.

از شما خیلی ممنونم.

(Applause)

(تشویق)