What happens when our computers get smarter than we are? | Nick Bostrom

Translator: Thanyatorn Chantivas Reviewer: PanaEk Warawit

I work with a bunch of mathematicians, philosophers and computer scientists,

ผมทำงานกับนักวิทยาศาสตร์,นักปรัชญา

และนักคอมพิวเตอร์

and we sit around and think about the future of machine intelligence,

และเรามานั่งคิดกัน

เกี่ยวกับอนาคตสติปัญญาของจักรกล และเรื่องอื่นๆ

among other things.

Some people think that some of these things are sort of science fiction-y,

บางคนคิดว่าสิ่งเหล่านี้

เป็นเรื่องมาจาก นิยายวิทยาศาสตร์

far out there, crazy.

ซึ่งห่างไกลจากเราและบ้า

But I like to say,

แต่ผมอยากจะบอกว่า

okay, let's look at the modern human condition.

เราลองมาดูถึงเงื่อนไขการใช้ชีวิต

ของมนุษย์สมัยใหม่

(Laughter)

(เสียงหัวเราะ) นี่คือสิ่งที่ โดยปกติมันควรจะเป็น

This is the normal way for things to be.

และถ้าเราลองคิดดูดีๆ

But if we think about it,

we are actually recently arrived guests on this planet,

ก็จะรู้ว่าเราเพิ่งมาอยู่อาศัยตั้งรกรากบนโลก

มนุษยชาติของเรา

the human species.

Think about if Earth was created one year ago,

ลองคิดดูว่าถ้าโลกเพิ่งเกิดเมื่อปีที่แล้ว

the human species, then, would be 10 minutes old.

มนุษย์ก็จะเพิ่งเกิดเมื่อ 10 นาทีที่แล้ว

The industrial era started two seconds ago.

ยุคอุตสาหกรรมเพิ่งเกิดเมื่อ 2 วินาทีที่แล้ว

Another way to look at this is to think of world GDP over the last 10,000 years,

หรืออีกวิธีนึงคือดู GDP ของโลก

ตลอด 10000 ปี ที่ผ่านมา

I've actually taken the trouble to plot this for you in a graph.

ซึ่งผมมีปัญหากับการพล็อตกราฟนี้

It looks like this.

ดูนี่สิครับ (เสียงหัวเราะ)

(Laughter)

It's a curious shape for a normal condition.

รูปร่างประหลาดมาก สำหรับสภาวะที่ปกติ

I sure wouldn't want to sit on it.

ผมมั่นใจว่าเราคงไม่อยากนั่งทับมันหรอก

(Laughter)

(เสียงหัวเราะ)

Let's ask ourselves, what is the cause of this current anomaly?

ลองถามตัวเราเอง ว่าอะไรทำให้เกิดสิ่งผิดปกตินี้

Some people would say it's technology.

บางคนบอกว่า เพราะเทคโนโลยี

Now it's true, technology has accumulated through human history,

ถูกสำหรับตอนนี้ เทคโนโลยีได้พัฒนามาตลอด

and right now, technology advances extremely rapidly --

และตอนนี้ เทคโนโลยีได้ก้าวหน้าอย่างรวดเร็ว

that is the proximate cause,

นั่นเป็นสาเหตุที่ใกล้เคียง

that's why we are currently so very productive.

นั่นคือเหตุผลที่ทำให้เรามีผลงานมากมายในปัจจุบัน

But I like to think back further to the ultimate cause.

แต่ผมอยากให้เรากลับไปคิดถึงสาเหตุ

ที่ใหญ่กว่านั้น

Look at these two highly distinguished gentlemen:

กรุณาดูสุภาพบุรุษที่สุดแสนจะแตกต่างกันสองท่านนี้

We have Kanzi --

ท่านแรกคือ Kanzi

he's mastered 200 lexical tokens, an incredible feat.

เขาสามารถแยกแยะสัญลักษณ์ได้ถึง 200 แบบ

ช่างน่าทึ่ง

ท่านที่สอง Ed Witten ผู้ทำให้เกิดการปฎิวัติ superstring

And Ed Witten unleashed the second superstring revolution.

ครั้งที่ 2

If we look under the hood, this is what we find:

ถ้าเราดูกลไกที่ถูกซ่อนไว้ นี่คือสิ่งที่เราจะเจอ

basically the same thing.

โดยพื้นฐานแล้วมันคือสิ่งเดียวกัน

One is a little larger,

หนึ่งในนั้นใหญ่กว่าเล็กน้อย

it maybe also has a few tricks in the exact way it's wired.

มันอาจจะมีทริกบางอย่างในด้านการเชื่อมโยงของมัน

These invisible differences cannot be too complicated, however,

อย่างไรก็ตาม ความแตกต่างที่มองไม่เห็นเหล่านี้

ไม่น่าจะซับซ้อนมากนัก

because there have only been 250,000 generations

เพราะว่ามันเพิ่งผ่านมาเพียง 250,000 รุ่น

since our last common ancestor.

หลังจากบรรพบุรุษที่เรามีร่วมกัน

We know that complicated mechanisms take a long time to evolve.

เรารู้ว่าจักรกลที่ซับซ้อนนั้น

ใช้เวลานานในการพัฒนา

So a bunch of relatively minor changes

นั่นคือ การเปลี่่ยนแปลง

ที่เทียบแล้วถือว่าเล็กน้อยจำนวนหนึ่ง

take us from Kanzi to Witten,

ทำให้เราห่างจาก Kanzi และเข้าใกล้ Witten

from broken-off tree branches to intercontinental ballistic missiles.

จากกิ่งไม้หักๆ ไปสู่ขีปนาวุธข้ามทวีป

So this then seems pretty obvious that everything we've achieved,

ค่อนข้างเห็นได้ชัดว่า ทุกอย่างที่เราสร้างขึ้น

and everything we care about,

และทุกๆ อย่างที่เราสนใจ

depends crucially on some relatively minor changes that made the human mind.

ขึ้นอยู่กับความเปลี่ยนแปลงแค่เพียงเล็กน้อย

ที่เกิดขึ้นในความคิดของของมนุษย์

And the corollary, of course, is that any further changes

ผลที่ตามมาก็คือ ความเปลี่ยนแปลงใดๆ หลังจากนี้

that could significantly change the substrate of thinking

ที่สามารถเปลี่ยนพื้นฐานของความคิดไปได้

could have potentially enormous consequences.

ก็อาจจะมีผลลัพธ์ที่ใหญ่หลวงตามมา

Some of my colleagues think we're on the verge

เพื่อนร่วมงานผมบางคนคิดว่า เรากำลังเข้าใกล้

of something that could cause a profound change in that substrate,

อะไรบางอย่างที่ทำให้เกิด ความเปลี่ยนแปลงครั้งใหญ่ของวิธีคิด

and that is machine superintelligence.

ซึ่งก็คือ เครื่องจักรทรงภูมิปัญญา (Machine Superintelligence)

Artificial intelligence used to be about putting commands in a box.

ปัญญาประดิษฐ์เคยเป็นแค่เรื่องของการป้อนคำสั่ง

You would have human programmers

คุณมีนักเขียนโปรแกรมเป็นมนุษย์

that would painstakingly handcraft knowledge items.

ที่จะคอยใส่ความรู้เข้าไปอย่างระมัดระวัง

You build up these expert systems,

คุณสร้างระบบผู้เชี่ยวชาญขึ้นมา

and they were kind of useful for some purposes,

ซึ่งมันก็ค่อนข้างจะมีประโยชน์สำหรับบางเรื่อง

but they were very brittle, you couldn't scale them.

แต่มันก็ยังเปราะบาง คุณไม่สามารถขยายมันออกไปอีกได้

Basically, you got out only what you put in.

สิ่งที่คุณได้ออกมาก็เป็นแค่สิ่งที่คุณใส่เข้าไป

But since then,

ตั้งแต่ตอนนั้น

a paradigm shift has taken place in the field of artificial intelligence.

ความเปลี่ยนแปลงก็ได้เกิดขึ้น ในสายงานปัญญาประดิษฐ์หรือเอไอ (AI)

Today, the action is really around machine learning.

ทุกวันนี้ เรากำลังสนใจเรื่องการเรียนรู้ของเครื่องจักร

So rather than handcrafting knowledge representations and features,

แทนที่จะค่อยๆ ป้อนข้อมูลหรือความรู้ต่างๆ

we create algorithms that learn, often from raw perceptual data.

เราสร้างขั้นตอนวิธีในการเรียน โดยมาก ด้วยข้อมูลที่ได้จากการรับรู้

Basically the same thing that the human infant does.

เหมือนกับสิ่งที่ทารกของมนุษย์ทำ

The result is A.I. that is not limited to one domain --

ผลก็คือ ระบบเอไอที่ไม่ได้ถูกจำกัดอยู่เพียงสาขาเดียว

the same system can learn to translate between any pairs of languages,

ระบบเดียวกันสามารถเรียนรู้ ที่จะแปลระหว่างคู่ภาษาใดๆ ก็ได้

or learn to play any computer game on the Atari console.

หรือเรียนที่จะเล่นเกมคอมพิวเตอร์ใดๆ ด้วย เครื่อง Atari

Now of course,

แน่นอนว่า ในตอนนี้

A.I. is still nowhere near having the same powerful, cross-domain

เอไอยังห่างไกลจากความสามารถอันทรงพลัง

ability to learn and plan as a human being has.

ในการเรียนรู้หรือวางแผนข้ามสาขาของมนุษย์

The cortex still has some algorithmic tricks

เนื้อเยื่อสมองส่วนนอกยังมีลูกเล่นบางอย่าง

that we don't yet know how to match in machines.

ที่เรายังไม่รู้ว่า เครื่องจักรจะทำตามอย่างไร

So the question is,

คำถามก็คือ

how far are we from being able to match those tricks?

เรายังห่างไกลจากการเลียนแบบลูกเล่นพวกนั้นแค่ไหน

A couple of years ago,

ไม่กี่ปีที่แล้ว

we did a survey of some of the world's leading A.I. experts,

เราได้ทำการสำรวจผู้เชี่ยวชาญด้านปัญญาประดิษฐ์ ชั้นนำของโลกจำนวนหนึ่ง

to see what they think, and one of the questions we asked was,

เพื่อที่จะดูว่าพวกเขาคิดอย่างไร และหนึ่งในคำถามของเราก็คือ

"By which year do you think there is a 50 percent probability

ปีไหนที่คุณคิดว่าเรามีโอกาส 50%

that we will have achieved human-level machine intelligence?"

ที่จะสร้างเครื่องจักรที่มีสติปัญญาระดับมนุษย์

We defined human-level here as the ability to perform

เรานิยาม "ระดับมนุษย์" ว่าความสามารถที่จะทำ

almost any job at least as well as an adult human,

งานเกือบทุกอย่างได้ดีเทียบเท่ากับมนุษย์ผู้ใหญ่เป็นอย่างน้อย

so real human-level, not just within some limited domain.

นั่นคือระดับมนุษย์จริงๆ ไม่ใช่แค่จำกัดอยู่ภายในสาขาเดียว

And the median answer was 2040 or 2050,

คำตอบกลางๆ อยู่ในช่วง 2040-2050

depending on precisely which group of experts we asked.

ขึ้นอยู่กับว่าเราถามผู้เชี่ยวชาญกลุ่มไหน

Now, it could happen much, much later, or sooner,

แต่มันก็อาจจะเกิดขึ้นหลังจากนั้น หรือก่อนหน้านั้น

the truth is nobody really knows.

ความจริงก็คือ ไม่มีใครรู้หรอก

What we do know is that the ultimate limit to information processing

แต่สิ่งที่เรารู้แน่ๆ ก็คือข้อจำกัดในการประมวลข้อมูล

in a machine substrate lies far outside the limits in biological tissue.

ของเครื่องจักรนั้น อยู่นอกเหนือข้อจำกัดของเนื้อเยื่อชีวภาพ

This comes down to physics.

มันกลับมาที่ฟิสิกส์

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

เซลล์ประสาทนั้นอาจจะส่งสัญญาณ ด้วยความถี่ 200 เฮิร์ตซ์ หรือ 200 ครั้งต่อวินาที

But even a present-day transistor operates at the Gigahertz.

แต่ในปัจจุบัน แม้กระทั่งทรานซิสเตอร์ ยังทำงานด้วยความถี่ระดับพันล้านเฮิร์ตซ์

Neurons propagate slowly in axons, 100 meters per second, tops.

สัญญาณเดินทางอย่างเชื่องช้าในแอกซอน 100 เมตรต่อวินาทีเป็นอย่างมาก

But in computers, signals can travel at the speed of light.

แต่ในคอมพิวเตอร์ สัญญาณเดินทางเท่าความเร็วแสง

There are also size limitations,

นอกจากนี้ยังมีข้อจำกัดด้านขนาด

like a human brain has to fit inside a cranium,

เหมือนกับที่สมองมนุษย์ต้องบรรจุในกะโหลกได้

but a computer can be the size of a warehouse or larger.

แต่คอมพิวเตอร์อาจมีขนาดใหญ่เท่าโกดัง หรือกว่าน้้น

So the potential for superintelligence lies dormant in matter,

แสดงว่าศักยภาพของ superintelligence ยังคงหลบซ่อนอยู่

much like the power of the atom lay dormant throughout human history,

คล้ายๆ กับพลังของอะตอม ที่ไม่มีใครรู้ในอดีต

patiently waiting there until 1945.

รอคอยให้ถูกค้นพบ ในปี 1945

In this century,

ในศตวรรษนี้ นักวิทยศาสตร์อาจเรียนรู้ที่จะ

scientists may learn to awaken the power of artificial intelligence.

ปลุกพลังของปัญญาประดิษฐ์

And I think we might then see an intelligence explosion.

ซึ่งผมก็คิดว่า เราอาจจะได้เห็นการเปลี่ยนแปลงครั้งใหญ่ในด้านนี้

Now most people, when they think about what is smart and what is dumb,

สำหรับคนทั่วไป เมื่อคิดว่าอะไรฉลาดหรือโง่

I think have in mind a picture roughly like this.

ผมว่าเขามีภาพคร่าวๆ ในใจอย่างนี้ครับ

So at one end we have the village idiot,

ปลายด้านนึงเรามีภาพคนซื่อบื้อบ้านนอกๆ

and then far over at the other side

ส่วนด้านนู้น ของอีกฝั่งนึง

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

เราก็มี Ed Witten หรือ Albert Einstein หรืออัจฉริยะสุดโปรดคนไหนก็ตาม

But I think that from the point of view of artificial intelligence,

แต่ผมคิดว่า หากมองในมุมของปัญญาประดิษฐ์

the true picture is actually probably more like this:

ภาพจริงๆ อาจจะใกล้เคียงกับแบบนี้มากกว่าครับ

AI starts out at this point here, at zero intelligence,

เอไอเริ่มจากจุดนี้ มีความฉลาดเป็นศูนย์

and then, after many, many years of really hard work,

หลังจากการทำงานหนักหลายๆ ปี

maybe eventually we get to mouse-level artificial intelligence,

สุดท้าย เราอาจจะเลื่อนขั้นไปสู่ความฉลาดระดับหนู

something that can navigate cluttered environments

บางอย่างที่สามารถหาทางเดิน รอบๆสิ่งแวดล้อมที่ยุ่งเหยิง

as well as a mouse can.

ได้ดีพอๆกับหนู

And then, after many, many more years of really hard work, lots of investment,

หลังจากนั้น ก็ต้องทำงานหนักอีกหลายปี และการลงทุนจำนวนมาก

maybe eventually we get to chimpanzee-level artificial intelligence.

สุดท้าย เราอาจจะไปถึงความฉลาดระดับชิมแปนซี

And then, after even more years of really, really hard work,

จากนั้นก็ทำงานต่ออีกนาน

we get to village idiot artificial intelligence.

เราอาจจะเลื่อนระดับไปสู่คนซื่อบื้อบ้านนอก

And a few moments later, we are beyond Ed Witten.

แล้วอีกแป๊ปเดียวหลังจากนั้น เราก็จะนำหน้า Ed Witten ไปแล้ว

The train doesn't stop at Humanville Station.

รถไฟไม่ได้หยุดวิ่งที่สถานีหมู่บ้านมนุษย์

It's likely, rather, to swoosh right by.

แต่มันน่าจะวิ่งหวือผ่านไปเลยมากกว่า

Now this has profound implications,

ซึ่งนี่ มีนัยยะที่ลึกซึ้ง

particularly when it comes to questions of power.

โดยเฉพาะเมื่อมันเกี่ยวกับคำถามเรื่องพลัง

For example, chimpanzees are strong --

ตัวอย่างเช่น ชิมแปนซีนั้นแข็งแรง

pound for pound, a chimpanzee is about twice as strong as a fit human male.

เทียบกันแล้ว อาจจะแกร่งเป็นสองเท่า ของมนุษย์ผู้ชายที่แข็งแรง

And yet, the fate of Kanzi and his pals depends a lot more

แต่ถึงอย่างนั้น ชะตาของ Kanzi และพวกพ้องกลับขึ้นอยู่กับ

on what we humans do than on what the chimpanzees do themselves.

สิ่งที่มนุษย์อย่างพวกเราทำมากกว่า สิ่งที่ชิมแปนซีด้วยกันเองทำ

Once there is superintelligence,

เมื่อ superintelligence ได้เกิดขึ้น

the fate of humanity may depend on what the superintelligence does.

ชะตาของมนุษยชาติอาจขึ้นอยู่กับสิ่งที่พวกมันทำ

Think about it:

ลองคิดดูนะครับ

Machine intelligence is the last invention that humanity will ever need to make.

ความฉลาดของเครื่องจักร จะเป็นสิ่งประดิษฐ์ ชิ้นสุดท้ายที่เราได้สร้างขึ้นมา

Machines will then be better at inventing than we are,

เครื่องจักรจะประดิษฐ์สิ่งต่างๆ ได้ดีกว่าเรา

and they'll be doing so on digital timescales.

และพวกมันจะทำอย่างนั้น ด้วยสเกลเวลาแบบดิจิตอล (digital time scale)

What this means is basically a telescoping of the future.

ก็เหมือนกับการย่นเวลาให้อนาคตมาถึงเร็วขึ้น

Think of all the crazy technologies that you could have imagined

ลองคิดถึงทุกเทคโนโลยีบ้าๆ เท่าที่คุณจะจินตนาการได้

maybe humans could have developed in the fullness of time:

บางทีมนุษย์อาจจะพัฒนาพวกมันได้ถ้ามีเวลามากพอ

cures for aging, space colonization,

ยาชะลอความแก่ การย้ายไปอยู่ในอวกาศ

self-replicating nanobots or uploading of minds into computers,

หุ่นนาโนบอทที่จำลองตัวเองได้ หรือการอัพโหลดจิตใจขึ้นไปสู่คอมพิวเตอร์

all kinds of science fiction-y stuff

ทุกอย่างที่ดูเหมือนจะหลุดมาจากนิยายวิทยาศาสตร์

that's nevertheless consistent with the laws of physics.

แต่ก็ยังเป็นไปตามกฎฟิสิกส์

All of this superintelligence could develop, and possibly quite rapidly.

ทุกอย่างที่พูดมานี้ superintelligence อาจสามารถพัฒนาขึ้นมาได้ค่อนข้างรวดเร็ว

Now, a superintelligence with such technological maturity

การที่เรามี superintelligence ที่เก่งด้านเทคโนโลยีขนาดนี้

would be extremely powerful,

คงเป็นสิ่งที่ทรงพลังมากๆ

and at least in some scenarios, it would be able to get what it wants.

และอย่างน้อยในบางกรณี มันคงจะได้ในสิ่งที่มันต้องการ

We would then have a future that would be shaped by the preferences of this A.I.

เราก็จะมีอนาคตที่ขึ้นอยู่กับความต้องการของเอไอ

Now a good question is, what are those preferences?

คำถามก็คือ ความต้องการพวกนั้นคืออะไร?

Here it gets trickier.

ตรงนี้เป็นส่วนที่ยุ่งยาก

To make any headway with this,

เพื่อที่จะคืบหน้าไปได้

we must first of all avoid anthropomorphizing.

ก่อนอื่น เราจะต้องหลีกเลี่ยงการคิดว่าพวกนั้นจะเหมือนเรา

And this is ironic because every newspaper article

ซึ่งมันก็ย้อนแย้ง เพราะบทความในหนังสือพิมพ์

about the future of A.I. has a picture of this:

เกี่ยวกับอนาคตของเอไอ เป็นแบบนี้

So I think what we need to do is to conceive of the issue more abstractly,

ดังนั้นผมเลยคิดว่าเราน่าจะต้อง คิดในเชิงนามธรรมมากขึ้น

not in terms of vivid Hollywood scenarios.

ไม่ใช่เหมือนฉากในหนังฮอลลีวู้ด

We need to think of intelligence as an optimization process,

เราต้องคิดถึงความฉลาดในฐานะ กระบวนการเพิ่มประสิทธิภาพ

a process that steers the future into a particular set of configurations.

กระบวนการที่คุมให้อนาคตเป็นไปตามรูปแบบเฉพาะหนึ่งๆ

A superintelligence is a really strong optimization process.

Superintelligence ก็คือกระบวนการ เพิ่มประสิทธิภาพที่แข็งแกร่งมากๆ

It's extremely good at using available means to achieve a state

เก่งในการใช้วิธีต่างๆ เพื่อให้ได้มาซึ่ง

in which its goal is realized.

สภาวะที่เป็นไปตามเป้าหมาย

This means that there is no necessary connection between

หมายความว่า มันไม่จำเป็นที่จะมีความเชื่อมโยง

being highly intelligent in this sense,

ระหว่างมีความฉลาดมากตามความหมายนี้

and having an objective that we humans would find worthwhile or meaningful.

กับการมีเป้าหมายที่มนุษย์อย่างเราๆ มองว่าคุ้มค่าหรือมีความหมาย

Suppose we give an A.I. the goal to make humans smile.

สมมติว่าเราตั้งเป้าหมายให้เอไอทำให้มนุษย์ยิ้ม

When the A.I. is weak, it performs useful or amusing actions

ถ้าเอไอยังอ่อนแอ มันอาจทำการกระทำที่มีประโยชน์

that cause its user to smile.

และทำให้ผู้ใช้ยิ้ม

When the A.I. becomes superintelligent,

แต่ถ้าเอไอกลายเป็น superintelligence

it realizes that there is a more effective way to achieve this goal:

มันจะรู้ว่ามีวิธีที่มีประสิทธิภาพดีกว่า ในการบรรลุเป้าหมาย

take control of the world

คือขึ้นครองโลก

and stick electrodes into the facial muscles of humans

แล้วติดขั้วไฟฟ้าไปที่กล้ามเนื้อบริเวณหน้าของคน

to cause constant, beaming grins.

เพื่อทำให้เกิดรอยยิ้มกว้างไม่เปลี่ยนแปลง

Another example,

ตัวอย่างต่อมานะครับ สมมติว่า

suppose we give A.I. the goal to solve a difficult mathematical problem.

เป้าหมายที่เราให้เอไอคือแก้โจทย์คณิตศาสตร์ที่ยากมาก

When the A.I. becomes superintelligent,

เมื่อเอไอเป็น superintelligence

it realizes that the most effective way to get the solution to this problem

มันอาจตระหนักว่าวิธีที่มีประสิทธิภาพที่สุดในการแก้โจทย์

is by transforming the planet into a giant computer,

คือการเปลี่ยนดาวเคราะห์ให้กลายเป็นคอมพิวเตอร์ยักษ์

so as to increase its thinking capacity.

เพื่อที่จะเพิ่มสมรรถนะในการคิด

And notice that this gives the A.I.s an instrumental reason

เห็นได้ว่าสิ่งนี้ให้เหตุผลที่เป็นเครื่องมือให้เอไอ

to do things to us that we might not approve of.

ทำสิ่งที่เราอาจไม่เห็นชอบด้วย

Human beings in this model are threats,

มนุษย์ สำหรับแบบจำลองนี้ คือภัยคุกคาม

we could prevent the mathematical problem from being solved.

เพราะมนุษย์อาจทำให้มันไม่สามารถแก้โจทย์นั้นได้

Of course, perceivably things won't go wrong in these particular ways;

แน่นอนว่า เหตุการณ์อาจจะไม่เกิดตามนี้เป๊ะๆ

these are cartoon examples.

นี่เป็นแค่ตัวอย่างในการ์ตูน

But the general point here is important:

แต่ประเด็นหลักนี้สำคัญมาก

if you create a really powerful optimization process

ถ้าคุณสร้างกระบวนการเพิ่มประสิทธิภาพที่ทรงพลัง

to maximize for objective x,

เพื่อจะให้มันทำงานได้ดีที่สุดเพื่อเป้าหมาย x

you better make sure that your definition of x

คุณควรทำให้มั่นใจด้วยว่าคำนิยามของ x นั้น

incorporates everything you care about.

ครอบคลุมทุกๆ อย่างที่คุณสนใจ

This is a lesson that's also taught in many a myth.

นี่เป็นบทเรียนในตำนานหลายเรื่อง

King Midas wishes that everything he touches be turned into gold.

ราชาไมดาส ผู้ขอให้ทุกอย่างที่เขาแตะจะเปลี่ยนเป็นทอง

He touches his daughter, she turns into gold.

เขาแตะลูกสาวของเขา เธอกลายเป็นทอง

He touches his food, it turns into gold.

เขาแตะอาหาร มันก็กลายเป็นทอง

This could become practically relevant,

ซึ่งนี่อาจจะเกี่ยวข้องอย่างมาก

not just as a metaphor for greed,

ไม่ใช่แค่ในฐานะการอุปมาถึงความโลภ

but as an illustration of what happens

แต่ในฐานะของสิ่งที่อาจจะเกิดขึ้น

if you create a powerful optimization process

หากคุณสร้างกระบวนการเพิ่มประสิทธิภาพที่ทรงพลัง

and give it misconceived or poorly specified goals.

และให้เป้าหมายที่ไม่ชัดเจนหรืออาจถูกตีความผิดกับมัน

Now you might say, if a computer starts sticking electrodes into people's faces,

คุณอาจจะคิดว่า "ถ้ามันเริ่มติดขั้วไฟฟ้ากับหน้าคนจริง

we'd just shut it off.

เราก็ปิดเครื่องมันซะสิ"

A, this is not necessarily so easy to do if we've grown dependent on the system --

หนึ่ง มันอาจจะไม่ง่ายที่จะทำอย่างนั้น ถ้าเราต้องพึ่งพาระบบนี้อีกมาก

like, where is the off switch to the Internet?

เช่น... ไหนล่ะปุ่มปิดสวิตช์อินเตอร์เนต

B, why haven't the chimpanzees flicked the off switch to humanity,

สอง ทำไมชิมแปนซีถึงไม่ปิดสวิตช์มนุษยชาติ

or the Neanderthals?

หรือมนุษย์นีแอนเดอร์ทัล

They certainly had reasons.

พวกมันมีเหตุผลแน่นอน

We have an off switch, for example, right here.

พวกเรามีปุ่มปิดสวิตช์ ตัวอย่างเช่น ตรงนี้

(Choking)

(สำลัก)

The reason is that we are an intelligent adversary;

เหตุผลนั้นก็คือพวกเราเป็นศัตรูที่มีความฉลาด

we can anticipate threats and plan around them.

เราเห็นถึงภัยคุกคามและวางแผนจัดการมัน

But so could a superintelligent agent,

เช่นเดียวกับ superintelligence ตัวนั้น

and it would be much better at that than we are.

และมันคงทำได้ดีกว่าเรา

The point is, we should not be confident that we have this under control here.

ประเด็นก็คือเราไม่ควรจะมั่นใจ..ว่าเราสามารถควบคุมมันได้

And we could try to make our job a little bit easier by, say,

เราอาจจะทำให้งานมันง่ายขึ้น

putting the A.I. in a box,

โดยการใส่เอไอตัวนั้นในกล่อง

like a secure software environment,

เช่นสภาพแวดล้อมทางซอฟต์แวร์แบบปิด

a virtual reality simulation from which it cannot escape.

ระบบจำลองเสมือนจริง ที่มันหนีออกมาไม่ได้

But how confident can we be that the A.I. couldn't find a bug.

แต่เราจะมั่นใจได้แค่ไหนว่าเอไอจะหาช่องโหว่(Bug) ไม่เจอ

Given that merely human hackers find bugs all the time,

ในเมื่อคนที่เป็นแฮกเกอร์ทั่วๆ ไปยังหาบั๊กเจอได้ตลอด

I'd say, probably not very confident.

สรุปคือ มั่นใจไม่ได้มากนั่นเอง

So we disconnect the ethernet cable to create an air gap,

เราอาจถอดสายอีเทอร์เน็ตเพื่อให้เกิดช่องว่างขึ้น

but again, like merely human hackers

แต่ก็เหมือนเดิม แฮกเกอร์ก็ยังฝ่่ามาได้เป็นประจำ

routinely transgress air gaps using social engineering.

โดยใช้วิศวกรรมสังคม

Right now, as I speak,

ในขณะที่ผมกำลังพูดอยู่นี้

I'm sure there is some employee out there somewhere

ผมเชื่อว่า มีลูกจ้างคนนึงอยู่ซักแห่ง

who has been talked into handing out her account details

กำลังถูกล่อให้บอกข้อมูลของเธอ

by somebody claiming to be from the I.T. department.

กับคนที่บอกว่าตัวเองมาจากแผนกไอที

More creative scenarios are also possible,

เหตุการณ์ที่แปลกกว่านี้ก็ยังเป็นไปได้

like if you're the A.I.,

เช่นถ้าคุณเป็นเอไอ

you can imagine wiggling electrodes around in your internal circuitry

คุณอาจจะหมุนขั้วไฟฟ้าในวงจรภายใน

to create radio waves that you can use to communicate.

เพื่อสร้างคลื่นวิทยุ คุณจะได้สื่อสารได้

Or maybe you could pretend to malfunction,

หรือคุณอาจจะแกล้งทำเป็นพัง

and then when the programmers open you up to see what went wrong with you,

พอโปรแกรมเมอร์มาเช็กว่ามีอะไรผิดปกติ

they look at the source code -- Bam! --

เขาก็จะดูโค้ดโปรแกรม

the manipulation can take place.

ตู้ม! การควบคุมก็สามารถเริ่มขึ้นได้

Or it could output the blueprint to a really nifty technology,

หรือมันอาจจะสร้างพิมพ์เขียวของเทคโนโลยีดีๆ

and when we implement it,

แล้วพอเราสร้างตามนั้น

it has some surreptitious side effect that the A.I. had planned.

มันก็มีผลข้างเคียงลับๆ ที่เอไอวางแผนไว้

The point here is that we should not be confident in our ability

ประเด็นก็คือ เราไม่ควรมั่นใจในความสามารถของเรา

to keep a superintelligent genie locked up in its bottle forever.

ว่าจะขังยักษ์จีนี่ superintelligence ไว้ในตะเกียงตลอดไปได้

Sooner or later, it will out.

ไม่ช้าก็เร็ว มันก็จะออกมาอยู่ดี

I believe that the answer here is to figure out

ผมเชื่อว่า ทางออกก็คือ

how to create superintelligent A.I. such that even if -- when -- it escapes,

การหาวิธีสร้างเอไอ ที่ถึงแม้ว่ามันจะหนีออกมาได้

it is still safe because it is fundamentally on our side

มันก็ยังไม่เป็นภัย เพราะโดยเนื้อแท้แล้วมันอยู่ฝั่งเดียวกับเรา

because it shares our values.

เพราะเราและมันมีความเชื่อหรือค่านิยมเหมือนกัน

I see no way around this difficult problem.

ผมไม่เห็นทางออกอื่นของปัญหานี้อีกแล้ว

Now, I'm actually fairly optimistic that this problem can be solved.

ที่จริง ผมก็ค่อนข้างมั่นใจว่าเราสามารถแก้ปัญหานี้ได้

We wouldn't have to write down a long list of everything we care about,

เราคงไม่ต้องนั่งลิสต์ทุกอย่างที่เราแคร์

or worse yet, spell it out in some computer language

หรือแย่ไปกว่านั้น เขียนพวกมันในภาษาคอมพิวเตอร์

like C++ or Python,

เช่น C++ หรือ Python

that would be a task beyond hopeless.

นั่นคงเป็นงานที่น่าสิ้นหวังเอามากๆ

Instead, we would create an A.I. that uses its intelligence

แต่เราจะสร้างเอไอที่ใช้ความฉลาดของมัน

to learn what we value,

ไปเรียนรู้สิ่งที่เราเห็นคุณค่า

and its motivation system is constructed in such a way that it is motivated

ระบบแรงจูงใจของมันจะถูกสร้าง เพื่อให้มันอยากจะ

to pursue our values or to perform actions that it predicts we would approve of.

เรียนรู้ค่านิยมของเรา หรือทำสิ่งที่มันคาดว่าเราจะเห็นด้วย

We would thus leverage its intelligence as much as possible

ดังนั้น เราจะให้อำนาจความฉลาดของมันให้มากที่สุด

to solve the problem of value-loading.

ไปในการแก้ปัญหาเรื่องค่านิยมที่ไม่ตรงกัน

This can happen,

สิ่งนี้สามารถเป็นไปได้

and the outcome could be very good for humanity.

และผลของมันอาจมีประโยชน์มากต่อมนุษยชาติ

But it doesn't happen automatically.

แต่มันจะไม่เกิดขึ้นอย่างอัตโนมัติ

The initial conditions for the intelligence explosion

เงื่อนไขตั้งต้นของความก้าวหน้าในด้านนี้

might need to be set up in just the right way

ต้องถูกวางแผนจัดการในทางที่ถูกต้อง

if we are to have a controlled detonation.

หากเราต้องการให้ผลที่ออกมาควบคุมได้

The values that the A.I. has need to match ours,

ค่านิยมที่เอไอมีจะต้องเทียบเท่ากับของเรา

not just in the familiar context,

ไม่ใช่แค่ในบริบทเดิมๆ

like where we can easily check how the A.I. behaves,

ที่เราสามารถตรวจสอบพฤติกรรมของมันได้

but also in all novel contexts that the A.I. might encounter

แต่ยังรวมถึงบริบทใหม่ๆ ที่เอไออาจจะเจอ

in the indefinite future.

ในอนาคตอันไม่สิ้นสุด

And there are also some esoteric issues that would need to be solved, sorted out:

นอกจากนี้ ยังมีปัญหาเฉพาะอื่นๆ ที่จำเป็นต้องแก้

the exact details of its decision theory,

รายละเอียดของทฤษฏีการตัดสินใจของมัน

how to deal with logical uncertainty and so forth.

วิธีการรับมือกับความไม่แน่นอน และอื่นๆ

So the technical problems that need to be solved to make this work

ปัญหาเฉพาะทางเหล่านี้อาจจะทำให้งานนี้ดู

look quite difficult --

ค่อนข้างยาก

not as difficult as making a superintelligent A.I.,

ไม่ยากถึงขนาดการสร้างเอไอทรงภูมิปัญญา

but fairly difficult.

แต่ก็ยากในระดับหนึ่ง

Here is the worry:

นี่คือสิ่งที่น่าเป็นกังวล

Making superintelligent A.I. is a really hard challenge.

การสร้างเอไอทรงภูมิปัญญาเป็นความท้าทายที่ยากมากๆ

Making superintelligent A.I. that is safe

การสร้างเอไอที่ทั้งทรงภูมิปัญญาและไม่เป็นภัย

involves some additional challenge on top of that.

นั่นเป็นความท้าทายที่ยากยิ่งกว่า

The risk is that if somebody figures out how to crack the first challenge

ความเสี่ยงคือ กรณีที่มีคนแก้ปัญหาแรกได้สำเร็จ

without also having cracked the additional challenge

โดยที่ยังไม่สามารถแก้ปัญหาที่สอง

of ensuring perfect safety.

ซึ่งจะเป็นตัวรับประกันความปลอดภัยอย่างสมบูรณ์แบบได้

So I think that we should work out a solution

ผมจึงคิดว่า เราควรจะหาทางออก

to the control problem in advance,

ของปัญหาด้านการควบคุมล่วงหน้าไว้

so that we have it available by the time it is needed.

เพื่อที่เราจะได้เตรียมพร้อมใช้ในกรณีที่จำเป็น

Now it might be that we cannot solve the entire control problem in advance

ซึ่งมันก็เป็นไปได้ ที่เราจะไม่สามารถ แก้ปัญหาทั้งหมดได้ล่วงหน้า

because maybe some elements can only be put in place

เพราะบางองค์ประกอบอาจจะแก้ได้

once you know the details of the architecture where it will be implemented.

หลังจากที่เรารู้รายละเอียดของงานที่มันจะถูกใช้เท่านั้น

But the more of the control problem that we solve in advance,

แต่ยิ่งเราสามารถแก้ปัญหาล่วงหน้าได้มากเท่าไหร่

the better the odds that the transition to the machine intelligence era

โอกาสที่การเปลี่ยนแปลงไปสู่ ยุคปัญญาประดิษฐ์จะเป็นไปด้วยดี

will go well.

ก็มากเท่านั้น

This to me looks like a thing that is well worth doing

สำหรับผมแล้ว นี่เป็นสิ่งที่คู่ควรกับการลงแรงทำ

and I can imagine that if things turn out okay,

ผมจินตนาการได้เลยว่า ถ้าผลออกมาโอเค

that people a million years from now look back at this century

ผู้คนในอีกหนึ่งล้านปีข้างหน้ามองย้อนมาในศตวรรษนี้

and it might well be that they say that the one thing we did that really mattered

เขาจะพูดกันว่าสิ่งหนึ่งที่เราทำ ซึ่งสำคัญจริงๆ

was to get this thing right.

คือการทำให้สิ่งนี้ถูกต้อง

Thank you.

ขอบคุณ

(Applause)

(เสียงปรบมือ)