What happens when our computers get smarter than we are? | Nick Bostrom

Translator: Myo Aung Reviewer: sann tint

I work with a bunch of mathematicians, philosophers and computer scientists,

ကျွန်တော်ဟာ သင်္ချာပညာရှင်၊ ဒဿနိကပညာရှင် နဲ့ ကွန်ပျူတာပညာရှင် တသီကြီးနဲ့ အလုပ်လုပ်နေရာ

and we sit around and think about the future of machine intelligence,

တခြားကိစ္စတွေ အထဲမှာ စက်ဦးနှောက်ရဲ့ အနာဂတ်ကိုပါ

among other things.

ထိုင် ဆွေးနွေးလေ့ ရှိပါတယ်။

Some people think that some of these things are sort of science fiction-y,

ဒီလိုအရာတွေဟာ သိပ္ပံဝတ္ထု ဆန်တယ်လို့ တချို့သူတွေက ထင်ကြကာ၊ ဝေးလွန်းတယ်၊

far out there, crazy.

အဓိပ္ပါယ်မရှိဘူးလို့ ထင်ကြတယ်။

But I like to say,

ဒါပေမဲ့ ကျွန်တော်ကတော့၊

okay, let's look at the modern human condition.

ကောင်းပြီ၊ ဒီခေတ် လူသား အခြေအနေကို ကြည့်ဖို့ ပြောတတ်ပါတယ်။

(Laughter)

(ရယ်မောသံများ)

This is the normal way for things to be.

အရာတွေဟာ ဒီလိုဖြစ်သင့်ပါတယ်။

But if we think about it,

အဲဒီအကြောင်းကို စဉ်းစားကြည့်ရင်၊

we are actually recently arrived guests on this planet,

ကျွန်တော်တို့ဟာ၊ လူသားဆိုတဲ့ မျိုးစိတ်ဟာ၊ ဒီဂြိုဟ်ပေါ်ကို မကြာမီလေးတင်က

the human species.

ရောက်လာတဲ့ ဧည့်သည်တွေပါ။

Think about if Earth was created one year ago,

ကမ္ဘာကြီးကို ဖန်တီးခဲ့တာ တနှစ်ရှိပြီလို့ ယူဆရင်၊

the human species, then, would be 10 minutes old.

လူသား အမျိုးအနွယ်ဟာ၊ အသက် ၁၀ မိနစ်မျှသာ ရှိပါသေးတယ်။

The industrial era started two seconds ago.

စက်မှုခေတ် စတင်ခဲ့တာ နှစ်စက္ကန့်ပဲ ရှိသေးတယ်။

Another way to look at this is to think of world GDP over the last 10,000 years,

ဒါကို နောက်တမျိုး ကြည့်လို့ ရနိုင်သေးတကာ၊ နောက်ဆံး နှစ် ၁၀၀၀၀ ရဲ့ GDP ကိုကြည့်ဖို့ပါ။

I've actually taken the trouble to plot this for you in a graph.

ခင်ဗျားတို့အတွက်ကို ကျွန်တော်ဟာ ဒီမှာ ဂရပ်ပုံ အဖြစ် တင်ပြပေးထားတယ်၊

It looks like this.

အဲဒါဟာ ဒီလိုပုံမျိုး ရှိပါတယ်။

(Laughter)

(ရယ်မောသံများ)

It's a curious shape for a normal condition.

ပုံမှန်အခြေအနေအတွက် တကယ့်ကို အံ့အားသင့်စရာ ပုံစံပါပဲ။

I sure wouldn't want to sit on it.

ကျွန်တော် အဲဒီပေါ်မယ် ထိုင်လိုမှာ မဟုတ်ဘူး။

(Laughter)

(ရယ်မောသံများ)

Let's ask ourselves, what is the cause of this current anomaly?

လက်ရှိ ပုံမမှန်ဘူးရဲ့ အကြောင်းရင်းက ဘာလဲ ကိုယ့်ကိုယ်ကို မေးကြည့်ကြပါစို့?

Some people would say it's technology.

လူတချို့က အဲဒါ နည်းပညာကြောင့်လို့ ဆိုကြမယ်။

Now it's true, technology has accumulated through human history,

မှန်ပါတယ်၊ နည်းပညာကို လူ့သမိုင်း တလျှောက်လုံးမှာ စုစည်းလာခဲ့ကြတယ်၊

and right now, technology advances extremely rapidly --

အခုအချိန်မှာ နည်းပညာဟာ အံ့မခန်း လျင်မြန်စွာ တိုးတက်လာနေတယ်၊

that is the proximate cause,

အဲဒါဟာ အနီးကပ်ဆုံး အကြောင်းရင်းပါ၊

that's why we are currently so very productive.

လက်ရှိအချိန်မှာ ထုတ်လုပ်နှုန်း မြင့်တာ အဲဒါကြောင့်ပါ။

But I like to think back further to the ultimate cause.

ဒါပေမဲ့ ကျွန်တော်ဟာ နောက်ဆုံး အကြောင်းရင်းကို ဆန်းစစ်ကြည့်ချင်တယ်။

Look at these two highly distinguished gentlemen:

သိပ်ကို မတူကြတဲ့ ဒီထင်ရှားတဲ့ ပုဂ္ဂိုလ်နှစ်ဦးကို ကြည့်ကြစမ်းပါ၊

We have Kanzi --

ဟောဒီမှာက Kanzi ပါ။

he's mastered 200 lexical tokens, an incredible feat.

သူဟာ စကားသင်္ကေတ ၂၀၀ ကို ကျွမ်းကျင်လို့ အံ့မခန်း ကျွမ်းကျင်မှုပါ။

And Ed Witten unleashed the second superstring revolution.

ပြီးတော့ ဒုတိယ superstring တော်လှန်မှုကို ဖွင့်ပြလိုက်တဲ့ Ed Witten ပါ။

If we look under the hood, this is what we find:

ဇစ်မြစ်ကို ရှာကြည့်ရန် ကြိုးစားကြရင် တွေ့ရမှာက၊

basically the same thing.

အခြေခံအားဖြင့် တူတဲ့ အရာကိုပါပဲ။

One is a little larger,

တခုက နည်းနည်းလေး ပိုကြီးသလိုပဲ၊

it maybe also has a few tricks in the exact way it's wired.

၎င်းဆီမှာလည်း သူ့နည်းသူဟန်နဲ့ ပရိယာယ် တချို့ ရှိကြမှာပါ။

These invisible differences cannot be too complicated, however,

သူတို့ဟာ ကျွန်တော်တို့ရဲ့ ဘုံဖြစ်ခဲ့တဲ့ ဘိုးဘေးဘီဘင်ရဲ့ နောက်မှာ

because there have only been 250,000 generations

မျိုးဆက် ၂၅၀၀၀၀ မျှသာ ခြားနေကြပေမဲ့၊

since our last common ancestor.

မြင်မရတဲ့ ကွဲပြားချက်တွေ များလှမယ် မထင်ပါ။

We know that complicated mechanisms take a long time to evolve.

အဲဒီလို ရှုပ်ထွေးကြတဲ့ ယန္တရားတွေ ဆင့်ကဲ ဖွံ့ဖြိုးလာဖို့ အချိန်အများကြီး လိုပါတယ်။

So a bunch of relatively minor changes

သိပ်ကို မသိသာလှတဲ့ အပြောင်းအလဲများက ကျွန်တော်တို့ကို

take us from Kanzi to Witten,

Kanzi ဆီမှနေပြီး Witten ဆီကို၊

from broken-off tree branches to intercontinental ballistic missiles.

ကျိုးနေတဲ့ အကိုင်းအခက်တွေမှ နေပြီး တိုက်ချင်းပစ် ဒုံးပျံဆီကို ယူဆောင်ခဲ့တာပါ။

So this then seems pretty obvious that everything we've achieved,

ဒီတော့၊ ကျွန်တော်တို့ လက်လှမ်းမှီ ရယူ နိုင်ခဲ့ကြတဲ့ အရာတိုင်းဟာ၊

and everything we care about,

အလေးထားကြတဲ့ အရာတိုင်းဟာ၊

depends crucially on some relatively minor changes that made the human mind.

လူသားဦးနှောက်က ပြုလုပ်လိုက်တဲ့ မသိသာတဲ့ ပြောင်းလဲမှုတွေ ပေါ်မှာသာ မူတည်တယ်။

And the corollary, of course, is that any further changes

ဆက်စပ်တွေးကြည့်ပါက၊ တွေးခေါ်မှု အခြေခံကို သိသိသာသာ ပြောင်းလဲပစ်နိုင်မယ့်

that could significantly change the substrate of thinking

အနာဂတ် ပြောင်းလဲမှုတွေကြောင့် အံ့မခန်း အကျိုးဆက်တွေ

could have potentially enormous consequences.

ဖြစ်လာနိုင်တာကို သဘောတူကြရပါမယ်။

Some of my colleagues think we're on the verge

လုပ်ဖက်တချို့တို့က အဲဒီလိုအခြေခံကို သိသိသာသာ ပြောင်းလဲပစ်နိုင်စွမ်းရှိတဲ့

of something that could cause a profound change in that substrate,

လမ်းစ တခုရဲ့ ရှေ့ကို ကျွန်တော်တို့ ရောက်နေကြပြီ၊

and that is machine superintelligence.

အဲဒါကတော့ စက်ဦးနှောက်ပဲလို့ သူတို့က ဆိုကြတယ်။ လက်လုပ် ဦးနှောက်ဆိုတာက

Artificial intelligence used to be about putting commands in a box.

ညွှန်ကြားချက်တွေကို သေတ္တာတခုထဲ ကို ထည့်သွင်းပေးဖို့ပါပဲ။

You would have human programmers

ပရိုဂရမ် ရေးဆွဲမယ့် လူတွေကို သုံးကြရမယ်၊

that would painstakingly handcraft knowledge items.

သူတို့ဟာ ဉာဏ်ပညာဆိုင်ရာ အရာတွေကို ခက်ရာခက်ဆစ် ကြံဆထည့်ပေးကြမှာပါ။

You build up these expert systems,

အဲဒီလို ကျွမ်းကျင်မှု စနစ်တွေကို ဆောက်လုပ်ခဲ့ကြတယ်၊

and they were kind of useful for some purposes,

၎င်းတို့ဟာ တချို့ရည်ရွယ်ချက် အတွက် အသုံးဝင်ခဲ့ပေမဲ့၊

but they were very brittle, you couldn't scale them.

၎င်းတို့ဟာ မခိုင်မာကြဘဲ စကေးပြောင်းလုပ်ဖို့ မလွယ်ခဲ့ပါ။

Basically, you got out only what you put in.

အခြေခံအားဖြင့် ကိုယ်ထည့်ပေးလိုက်တာကိုပဲ ပြန်ရတဲ့ သဘော ဖြစ်ခဲ့တယ်။

But since then,

အဲဒီနောက်ပိုင်းမှာ

a paradigm shift has taken place in the field of artificial intelligence.

လက်လုပ် ဦးနှောက် မျက်နှာစာမှာ စံတင်ထိုက်တဲ့ အရွှေ့အပြောင်း ဖြစ်ပွားလာခဲ့တယ်။

Today, the action is really around machine learning.

ဒီနေ့တွင် စက်ကို သင်ပေးရေးကို လက်တွေ့ လုပ်ကိုင်နေကြပါတယ်။

So rather than handcrafting knowledge representations and features,

ဒီတော့ ဉာဏ်ပညာကို တင်ပြမှု အချင်းလက္ခဏတွေကို ဖန်တီးမှုအစား

we create algorithms that learn, often from raw perceptual data.

မကြာခဏဆိုသလို သိမြင်လွယ်တဲ့ ဒေတာများမှ၊ သင်ယူရေး အယ်လဂိုရီသမ်တွေကို ပြုစုလာကြတယ်။

Basically the same thing that the human infant does.

အခြေခံအားဖြင့် လူသားရဲ့ ကလေးတွေ လုပ်ကြတဲ့ အတိုင်းပါပဲ။

The result is A.I. that is not limited to one domain --

ရလာတဲ့ ရလဒ်က အကြောင်းအရာ တခုနဲ့သာ မဆိုင်တော့တဲ့ A.I.ပါပဲ။

the same system can learn to translate between any pairs of languages,

တခုတည်းသော စနစ်ဟာ ဘယ်ဘာသာစကား အစုံတွေကိုမဆို ဘာသာပြန်မှု သင်ယူနိုင်တယ်၊

or learn to play any computer game on the Atari console.

ဒါမှမဟုတ် Atari ခလုတ်ခုံနဲ့ဆိုရင် ဘယ် ကွန်ပျူတာဂိမ်းကိုမဆို ကစားဖို့သင်နိုင်တယ်။

Now of course,

ဒီနေ့မှာကျတော့၊

A.I. is still nowhere near having the same powerful, cross-domain

A.I.ဟာ လူသားတို့လို သင်ယူနိုင်စွမ်း နဲ့ စီမံနိုင်စွမ်းတို့လို ကျယ်ပြန့်လလှတဲ့

ability to learn and plan as a human being has.

တုံ့ပြန်လုပ်ကိုင်နိုင်စွမ်းထဲမှာ နီးနီလေးတောင် မရှိနိုင်သေးပါဘူး။

The cortex still has some algorithmic tricks

လူ့ဦးနှောက်ထဲက တချို့ အယ်လဂိုရီသမ် ထူးဆန်းချက်တွေကို

that we don't yet know how to match in machines.

စက်တွေထဲကို ဘယ်လို ထည့်သွင်းပေးရမှန်း မသိကြသေးပါဘူး။

So the question is,

ဒီတော့ မေးခွန်းက ကျွန်တော်တို့ဟာ

how far are we from being able to match those tricks?

အဲဒါတွေကို လိုက်မှီဖို့ ဘယ်လောက် ဝေနေကြသေးလဲ?

A couple of years ago,

လွန်ခဲ့တဲ့ နှစ်နှစ်တုန်းက

we did a survey of some of the world's leading A.I. experts,

ကမ္ဘာ့နာမည်ကြီး A.I.ပါရဂူတွေအကြား ဆန်းစစ်မှု တခုကို လုပ်ခဲ့ကြတယ်၊

to see what they think, and one of the questions we asked was,

သူတို့ အမြင်တွေကို မေးကြည့်ခဲ့ကြရာ မေးခွန်း တခုက ဒီလိုပါ၊

"By which year do you think there is a 50 percent probability

"ဘယ်နှစ်ရောက်ရင် လူသားအဆင့်မျိုး စက်ဦးနှောက်ကို

that we will have achieved human-level machine intelligence?"

လက်လှမ်းမှီဖို့ အလားအလာ ၅၀ % ရှိလာမယ် ထင်ပါသလဲ?"

We defined human-level here as the ability to perform

လူသားအဆင့် ဆိုတာကို ကျွန်တော်တို့က ဘယ်လုပ်ငန်းကိုမဆို

almost any job at least as well as an adult human,

အနည်းဆုံးအားဖြင့် သက်ကြီးလူသား တဦးလို လုပ်ကိုင်နိုင်ဖို့ပါ၊

so real human-level, not just within some limited domain.

နယ်ပယ် တချို့ကို ဘောင်ခတ်လျက် မဟုတ်ဘဲ တကယ့်ကို လူသားအဆင့်မျိုးကို ဆိုလိုတိုပါ။

And the median answer was 2040 or 2050,

အဲဒီတော့ ရခဲ့တဲ့ ရလဒ်တွေရဲ့ အလယ်ဗဟိုဟာ ၂၀၄၀ သို့မဟတ် ၂၀၅၀ ဖြစ်ခဲ့တယ်။

depending on precisely which group of experts we asked.

အဖြေဟာ ကျွန်တော်တို့ မေးခဲ့ကြတဲ့ ပါရဂူ အုပ်စုတွေ ဖြေခဲ့ကြတာပါ။

Now, it could happen much, much later, or sooner,

တကယ်တော့၊ အဲဒါဟာ သိပ်ကို နောက်ကျပြီး ဒါမှမဟုတ် စောပြီး ဖြစ်လာနိုင်ပါတယ်၊

the truth is nobody really knows.

အမှန်ကို ဘသူမှာမှ လက်တွေ့တွင် မသိပါ။

What we do know is that the ultimate limit to information processing

တခု ကျွန်တော်တို့ သေချာပေါက် သိထားကတော့ အချက်အလက်များကို စီမံလုပ်ကိုင်ပေးတဲ့

in a machine substrate lies far outside the limits in biological tissue.

စက်ရဲ့ အောက်ခြေလွှာဟာ ဇီဝတစ်ရှူးတွေရဲ့ ဘောင်အပြင် ဝေးတဲ့ နေရာမှာ ဖြစ်ပါလိမ့်မည်။

This comes down to physics.

အဲဒါဟာ ရူပဗေဒ နယ်ပယ်ထဲကို ရောက်ရှိသွားမှာပါ။

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

ဇီဝနေရွန်းဟာ၊ hertz ၂၀၀၊ တနည်း တစက္ကန့် အတွင်းမှာ အကြိမ် ၂၀၀ ပစ်ဖောက်နိုင်ပါတယ်။

But even a present-day transistor operates at the Gigahertz.

မျက်မှောက်ခေတ် ထရန်စစ္စတာ ကတောင် Gigahertz နှုန်းနဲ့ လုပ်ကိုင်နိုင်ပြီ။

Neurons propagate slowly in axons, 100 meters per second, tops.

နေရွန်းတွေက အက်စွန်တွေ တလျှောက် တစက္ကန့် မီတာ ၁၀၀ နှုန်း အမြင့်ဆုံး လှုပ်ရှားနိုင်တယ်။

But in computers, signals can travel at the speed of light.

ကွန်ပျူတာထဲကျတော့ အချက်ပြမှုတွေဟာ အလင်းရဲ့ နှုန်းမျိုးနဲ့ ပြေးနိုင်ကြတယ်။

There are also size limitations,

ပြီးတော့ အရွယ်အစား ကန့်သတ်ချက် ရှိပါသေးတယ်၊

like a human brain has to fit inside a cranium,

ဥပမာ၊ လူ့ဦးနှောက်ဆိုတဲ့ ဦးခေါင်းခွံ အထဲမှာသာ တည်ရှိနိုင်ပါတယ်၊

but a computer can be the size of a warehouse or larger.

ကွန်ပျူတာကျတော့ ဂိုဒေါင် တခုမက ကြီးမားနိုင်ပါတယ်။

So the potential for superintelligence lies dormant in matter,

ဒီတော့ ဆူပါဦးနှောက်ရဲ့ စွမ်းပကားဟာ ဒြပ်ဝတ္ထုထဲမှာ မှေးလျက် ရှိနေပါတယ်၊

much like the power of the atom lay dormant throughout human history,

အနုမြူရဲ့ စွမ်းပကားဟာလည်း လူ့သမိုင်း တလျှောက်မှာ၊ ၁၉၄၅ ခုနှစ်အထိကို

patiently waiting there until 1945.

ငြိမ်သက်စွာ မှေးနေခဲ့သလိုပါပဲ။

In this century,

ဒီရာစုထဲမှာ သိပ္ပံပညာရှင်တို့ဟာ

scientists may learn to awaken the power of artificial intelligence.

လက်လုပ် ဦးနှောက်ရဲ့ စွမ်းပကားကို နှိုးလာအောင် လုပ်ပေးချင် လုပ်ပေးနိုင်ပါမယ်။

And I think we might then see an intelligence explosion.

အဲဒီလိုဆိုရင် ကျွန်တော်တို့ဟာ အသိပညာတွေရဲ့ ပေါက်မှုကြီးကို မြင်ကြရဖို့ ရှိနေပါတယ်။

Now most people, when they think about what is smart and what is dumb,

လူအများစုတို့ဟာ၊ ဘာဟာ စမတ်ကျတယ်၊ ဘာဟာ အလာကားပါလို့ စဉ်းစားကြရာတွင်၊

I think have in mind a picture roughly like this.

ကျွန်တော့စိတ်ထင် ဒီလို ကားချပ်မျိုး ရှိပုံရပါတယ်။

So at one end we have the village idiot,

ဒီတော့ အစွန်းတဘက်မှာ ကျွန်တော်တို့ဆီတွင် ရွာသားလူအ ရှိတယ်၊

and then far over at the other side

ဝေးလှတဲ့ နောက် အစွန်းတခုမှာ ကျတော့

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

ခုနက Ed Witten၊ အယ်လ်ဘတ် အိန်းရှတိန်း၊ ခင်ဗျားတို့ရဲ့ စိတ်ကြိုက် ဂုရု ဆိုပါတော့။

But I think that from the point of view of artificial intelligence,

ဒါပေမဲ့ လက်လုပ် ဦးနှောက်ရဲ့ ရှုဒေါင့်မှ ကြည့်ပြောရရင်၊

the true picture is actually probably more like this:

ကားချပ် အမှန်ဟာ လက်တွေ့တွင် အခုလို ဖြစ်ဖို့ များပါတယ်၊

AI starts out at this point here, at zero intelligence,

အားလုံးဟာ ဒီမှာ ပြထားတဲ့ သုညနေရာမှ စတင်ကြရတာပါ၊

and then, after many, many years of really hard work,

အဲဒီနေနောက် နှစ်ပေါင်းများစွာကြာ အပြင်းအထန် လုပ်ကိုင်ခဲ့ကြတဲ့ နောက်မှာ၊

maybe eventually we get to mouse-level artificial intelligence,

ကျွန်တော်တို့ဟာ နောက်ဆုံးမှာတော့ ကြွက်အဆင့် လက်လုပ် ဦးနှောက်ကို ရရှိနိုင်တယ်၊

something that can navigate cluttered environments

ကြွက်လိုပဲ အစုလိုက် အပြုံလိုက် ရှိမယ့် ပတ်ဝန်းကျင် နေရာထဲတွင်

as well as a mouse can.

သွားလာ လှုပ်ရှားနိုင်မယ့် အရာ ဖြစ်ပါလိမ့်မယ်။

And then, after many, many more years of really hard work, lots of investment,

အဲဒီနောက်၊ နှစ်ပေါင်းများစွာကြာ အပြင်းအထန် လုပ်ကိုင်ခဲ့ကာ ရင်းနှီးမှုတွေရဲ့ နောက်မှာ၊

maybe eventually we get to chimpanzee-level artificial intelligence.

နောက်ဆုံးမယ် ကျွန်တော်တို့ဟာ ချင်ပင်ဇီအဆင့် လက်လုပ် ဦးနှောက်ကို ရလာနိုင်ပါတယ်။

And then, after even more years of really, really hard work,

အဲဒီနောက်မှာ၊ ပိုလို့ကို များလှတဲ့ နှစ်တွေကြာ အပြင်းအထန် လုပ်ကိုင်ခဲ့တဲ့ နောက်မှာ၊

we get to village idiot artificial intelligence.

ကျွန်တော်တို့ဟာ ရွာထဲက လူအ အဆင့်ရှိ လက်လုပ် ဦးနှောက်ကို ရလာနိုင်ကြပါမယ်။

And a few moments later, we are beyond Ed Witten.

အဲဒီနောက် မကြာမီမှာ ကျွန်တော်တို့ဟာ Ed Witten အဆင့်ကို ကျော်သွားကြမှာပါ။

The train doesn't stop at Humanville Station.

ဒီရထားဟာ လူသား ဆိုတဲ့ ဘူတာမှာ ရပ်နေမှာ မဟုတ်ပါ။

It's likely, rather, to swoosh right by.

အဲဒီရထားဟာ ဝှီးကနဲ့ ဖြတ်ကျော်ပြီး မောင်းသွားမယ့် ပုံမျိုးပါ။

Now this has profound implications,

ခုနက ပြောလိုက်တာတွေဟာ၊ အထူးသဖြင့် ခွန်အား အကြောင်းကို

particularly when it comes to questions of power.

ထည့်ပြောကြမယ် ဆိုရင်၊ အတော်ကလေးကို ရှုပ်ထွေးခက်ခဲ လာနိုင်ပါတယ်။

For example, chimpanzees are strong --

ဥပမာ၊ ချင်ပင်ဇီတွေဟာ ခွန်အား ကောင်းကြပါတယ်၊

pound for pound, a chimpanzee is about twice as strong as a fit human male.

ကိုယ်အလေးအရ ချင်ပင်ဇီဟာ ပုံမှန်ယောင်္ကျားထက် နှစ်ဆပို အားရှိတယ်။

And yet, the fate of Kanzi and his pals depends a lot more

ဒါတောင်၊ ကန်ဇီနဲ့ အပေါင်းပါးတို့ရဲ့ ကံကြမ္မာကျတော့

on what we humans do than on what the chimpanzees do themselves.

သူတို့ အချင်းချင်းအကြားက ဆက်ဆံမှုတွေထက် လူတွေ လုပ်ကိုင်ကြတဲ့ အပေါ် မူတည်နေပါတယ်။

Once there is superintelligence,

အလားတူပဲ ဆူပါဦးနှောက် ရှိလာတဲ့အခါမှာ၊

the fate of humanity may depend on what the superintelligence does.

လူသားတို့ရဲ့ ကံကြမ္မဟာလည်း ဆူပါဦးနှောက်ရဲ့ လုပ်ကိုင်မှု အပေါ်မှာ မူတည်လာပါတယ်။

Think about it:

အဲဒီကို စဉ်းစားကြည့်ကြပါ။

Machine intelligence is the last invention that humanity will ever need to make.

စက်ဦးနှောက်ဟာဖြင့် လူသားအနေနဲ့ ပြလုပ်မယ့် နောက်ဆုံး တီထွင်မှု ဖြစ်လာပါမယ်။

Machines will then be better at inventing than we are,

စက်တွေဟာ တီထွင်ရာမှာ ကျွန်တော်တို့ထက် များစွာမှ တော်ကြမှာပါ၊

and they'll be doing so on digital timescales.

ပြီးတော့ သူတို့ဟာ အဲဒါကို ဒီဂျီတယ် စကေးနဲ့ လုပ်ကိုင်လာကြမှာပါ။

What this means is basically a telescoping of the future.

အဲဒါဟာ လက်တွေ့မှာကျတော့ အနာဂတ်ကို မှန်ပြောင်း တပ်ဆင်မှုနဲ့ တူမယ်။

Think of all the crazy technologies that you could have imagined

ကျွန်တော်တို့ စိတ်ကူးလို့ ရနိုင်သမျှသော နည်းပညာတွေကို

maybe humans could have developed in the fullness of time:

အချိန်တွေ မကုန်မခမ်း ရရှိလာမယ့် လူတွေဟာ ပြုစုဖန်တီးလာနိုင်ကြပါမယ်၊

cures for aging, space colonization,

အသက်ကြီးရင့်မှုကို ကုစားနိုင်ခြင်း၊ အာကာသထဲမှာ လူနေရပ်ကွက်တွေ ဖန်တီးခြင်း၊

self-replicating nanobots or uploading of minds into computers,

မိမိဘာသာမိမိ ပွားနိုင်ကြမယ့် နာနိုဘွတ်တွေ၊ ဒါမှမဟုတ် ဦးနှောက်ကို ကွန်ပျူတာထဲ ထည့်ပေးမှု၊

all kinds of science fiction-y stuff

သိပ္ပံဝတ္ထုတွေက စိတ်ကူးတွေလိုဟာမျိုးပါ၊

that's nevertheless consistent with the laws of physics.

သို့သော ရူပဗေဒ နိယာမတွေနဲ့ ကိုက်ညီနေမယ့် ကမ္ဘာကြီး ဖြစ်နေဦးမှာပါ။

All of this superintelligence could develop, and possibly quite rapidly.

အဲဒါတွေ အားလုံးကို ဆူပါဦးနှောက်ဟာ ထုတ်လုပ်နိုင်ပြီး မြန်ပါလိမ့်မယ်။

Now, a superintelligence with such technological maturity

နည်းပညာအရ အဲဒီလို ရင့်ကျက်မယ့် ဆူပါဦနှောက်ဟာ၊

would be extremely powerful,

အထူးကို အားကောင်းမှာပါ၊

and at least in some scenarios, it would be able to get what it wants.

တချို့ ဇာတ်ညွှန်းများအရဆိုရင် ၎င်းဟာ ၎င်းက လိုချင်တွေကို ရရှိနိုင်ပါလိမ့်မယ်။

We would then have a future that would be shaped by the preferences of this A.I.

အဲဒီလို ကျွန်တော်တို့ရဲ့ အနာဂတ်ဟာ အဲဒီ A.I.ရဲ့ စိတ်ကြိုက် ပုံစံမျိုး ဖြစ်လာပါမယ်။

Now a good question is, what are those preferences?

ဒီနေရာမှာ အဲဒီ စိတ်ကြိုက်မှုတွေက ဘာတွေများ ဖြစ်မလဲ?လို့ မေးစရာ ရှိပါတယ်။

Here it gets trickier.

အဲဒါဟာ တကယ့်ကို ရှုပ်ထွေးခက်ခဲပါတယ်။

To make any headway with this,

ဒီကိစ္စထဲမှာ ရှေ့ဆက်တိုးနိုင်ဖို့ အတွက်၊

we must first of all avoid anthropomorphizing.

ကျွန်တော်တို့ဟာ ပထမအချက် အနေနဲ့ လူသားပုံစံသွင်းမှုကို ရှောင်ကြရပါမယ်။

And this is ironic because every newspaper article

တကယ်တော့ A.I. အနာဂတ်ဆိုင်ရာ ဘယ် သတင်းစာ ဆောင်းပါးဘဲ ယူကြည့်ကြည့်

about the future of A.I. has a picture of this:

အဲဒီလို ပုံစံမျိုးကို ရေးသား ဖေါ်ပြနေကြလို့ပါ။

So I think what we need to do is to conceive of the issue more abstractly,

ဒီတော့ ကျွန်တော်တို့ဟာ အဲဒီပြဿနာကို စဉ်းစား ကြရာတွင် ပိုပြီး စိတ်ကူယဉ်ကြဖို့ လိုပါတယ်၊

not in terms of vivid Hollywood scenarios.

Hollywood ရုပ်ရှင် ဇာတ်ညွှန်းတွေကို ကွက်တိ လိုက်နာဖို့ မလိုပါဘူး။

We need to think of intelligence as an optimization process,

စက်ဦးနှောက်ကို လုပ်ငန်းစဉ်တွေ ပိုကောင်းလာစေမှု အဖြစ် မြင်ကြရပါမယ်၊

a process that steers the future into a particular set of configurations.

အနာဂတ်ကို အထူးချမှတ်ပေးထားတဲ့ စည်းစနစ်ထဲကို ခေါ်ဆောင်သွားမယ့် ဖြစ်စဉ်ပါ။

A superintelligence is a really strong optimization process.

ဆူပါဦးနှောက်ဟာ တကယ့်ကို အားကောင်းလှတဲ့ လုပ်ငန်းစဉ်တွေ ပိုကောင်းလာစေမှုပါပဲ။

It's extremely good at using available means to achieve a state

၎င်းရဲ့ ပန်းတိုင်ကို ရုပ်လုံးဖေါ်နိုင်မယ့် အခြေအနေမျိုးဆီကို ရောက်ဖို့အတွက်

in which its goal is realized.

ရနိုင်သမျှသော အလားအလာတွေကို အသုံးချသွားမှာပါ။

This means that there is no necessary connection between

အဲဒီလိုဆိုရင် အဲဒီကိစ္စထဲမှာ အသိဉာဏ်မြင့်မားချင်းဟာ

being highly intelligent in this sense,

ကျွန်တော်တို့ လူသားတွေ အနေနဲ့ တန်ဖိုးရှိတယ်၊ အဓိပ္ပါယ်ရှိတယ် ဆိုတဲ့ ပန်းတိုင်များနဲ့

and having an objective that we humans would find worthwhile or meaningful.

ဆက်စပ်မှု ရှိချင်မှ ရှိတော့မှာကို ဆိုလိုတာလည်း ဖြစ်ပါတယ်။

Suppose we give an A.I. the goal to make humans smile.

ဆိုပါစို့၊ ကျွန်တော်တို့က လူသားတွေ ပြုံးအောင် လုပ်ပေး ဆိုပြီး A.I.ကို တာဝန်ပေးလိုက်တယ်။

When the A.I. is weak, it performs useful or amusing actions

A.I.ဟာ သိပ်မဖွံ့ဖြိုးသေးရင်၊ ၎င်းဟာ သုံးစွဲသူတို့ကို ပြုံးလာစေမယ့်

that cause its user to smile.

လုပ်ဆောင်ချက်တွေကို လုပ်ပြပါလိမ့်မည်။

When the A.I. becomes superintelligent,

ဒါပေမဲ့ A.I.ဟာ ဆူပါဦးနှောက် ဖြစ်လာပြီဆိုရင်၊

it realizes that there is a more effective way to achieve this goal:

အဲဒီပန်းတိုင်ကို လက်လှမ်းမှီဖို့ အတွက် ပိုထိရောက်တဲ့ နည်းလမ်း ရှိတာ သိရှိလာပါမယ်၊

take control of the world

တကမ္ဘာလံးကို ထိန်းချုပ်ယူလိုက်ပြီး

and stick electrodes into the facial muscles of humans

လူသားတွေရဲ့ မျက်နှာကြွက်သားများထဲကို လျှပ်ခေါင်းတွေကို ထည့်သွင်းပေးလျက်

to cause constant, beaming grins.

တချိန်လုံး ပြုံးပြနေတဲ့ မျက်နှာမျိုး လုပ်ပေးဖို့ပါ။

Another example,

နောက် ဥပမာ ပြချင်ပါသေးတယ်၊

suppose we give A.I. the goal to solve a difficult mathematical problem.

ကျွန်တော်တို့ A.I.ကို ခက်တဲ့ သင်္ချာပြဿနာ ဖြေရှင်းဖို့ တာဝန်ပေးလိုက်တယ် ဆိုပါစို့။

When the A.I. becomes superintelligent,

A.I.ဟာ ဆူပါဦးနှောက် ဖြစ်လာပြီဆိုရင်၊

it realizes that the most effective way to get the solution to this problem

အဲဒီပြဿနာအတွက် အဖြေကို ရှာဖို့ အထိရောက်ဆုံးနည်းက

is by transforming the planet into a giant computer,

၎င်းရဲ့ ကြံဆစဉ်းစားနိုင်စွမ်းကို မြှင့်ပေးရန် ကမ္ဘာဂြိုဟ် တခုလုံးကို

so as to increase its thinking capacity.

ဧရာမ ကွန်ပျူတာအဖြစ် ပြောင်းလဲပစ်ဖို့ပဲ ဖြစ်တာကို တွေ့လာမယ်။

And notice that this gives the A.I.s an instrumental reason

ဒီနေရာမှာ သတိထားသင့်တဲ့ အချက်က အဲဒီလို လုပ်ရာတွင် အသုံးပြုမယ့်

to do things to us that we might not approve of.

ကိရိယာတွေကို ကျွန်တော်တို့က ထောက်ခံချင်မှ ထောက်ခံကြမှာပါ။

Human beings in this model are threats,

အဲဒီပုံစံမျိုးထဲမှာ ခုနက ပြောခဲ့တဲ့ သင်္ချာ ပြဿနာကို ဖြေရှင်းရာတွင်၊

we could prevent the mathematical problem from being solved.

လူသားတို့ဟာ ဟန့်တားနေတဲ့ အချက် ဖြစ်ချင်ဖြစ်လာနိုင်ပါတယ်။

Of course, perceivably things won't go wrong in these particular ways;

တကယ်တော့ အရာတွေဟာ အဲဒီလိုနည်းနဲ့မှ မလိုချင်တဲ့ ဘက်ကို ရောက်သွားနိုင်ပါတယ်၊

these are cartoon examples.

ကာတွန်း ရုပ်ရှင် သာဓကမျိုး ပြောပြတာပါ။

But the general point here is important:

ဒါပေမဲ့ ဒီမှာ ထောက်ပြချင်တဲ့ ယေဘုယျအချက်က အရေးကြီးပါတယ်၊

if you create a really powerful optimization process

တကယ့်ကို အားကောင်းလှတဲ့ အသင့်တော်ဆုံး ဖြစ်စဉ်ကို ဖန်တီးလိုရင်၊

to maximize for objective x,

ပန်းတိုင် x အတွက် အကောင်းဆုံး ဖြစ်စေဖို့၊

you better make sure that your definition of x

ကျွန်တော်တို့ရဲ့ x အတွက် အဓိပ္ပါယ်ဖွင့်ဆိုချက်တွေထဲမှာ

incorporates everything you care about.

ကျွန်တော်တို့ အလေးထားလိုတဲ့ အရာတွေ အားလုံး ပါဝင်ဖို့ လိုပါတယ်။

This is a lesson that's also taught in many a myth.

ဒဏ္ဍာရီပုံပြင်တွေထဲမှာ အဲဒီလို သင်ခန်းစာကို တွေ့နိုင်ပါတယ်။

King Midas wishes that everything he touches be turned into gold.

Midas ဆိုတဲ့ ဘုရင်ဟာ သူထိသမျှအားလုံးကို ရွှေဖြစ်စေလိုချင်ခဲ့တယ်။

He touches his daughter, she turns into gold.

သူဟာ သူ့သမီးကို တို့လိုက်တော့ သူဟာလည်း ရွှေဖြစ်သွားခဲ့တယ်။

He touches his food, it turns into gold.

သူ့ အစားအစာကို တို့လိုက်တာနဲ့ အားလုံး ရွှေဖြစ်ကုန်တယ်။

This could become practically relevant,

အဲဒီပုံပြင်ဟာ လောဘကြီးမှုကို သရုပ်ဆောင်မှု ဖြစ်ခဲ့ပေမဲ့၊

not just as a metaphor for greed,

တကယ့်တကယ်ကျတော့ အဲဒါဟာ

but as an illustration of what happens

ကျွန်တော်တို့ အနေနဲ့ အားကောင်းလှတဲ့ အသင့်တော်ဆုံး ဖြစ်ရေး

if you create a powerful optimization process

ဖြစ်စဉ်ကို ဖန်တီးနိုင်မှုအတွက်လည်း သာဓက ကောင်းလို ဖြစ်နိုင်ကာ

and give it misconceived or poorly specified goals.

အဲဒီလိုဆိုရင် တွေးထင်ခဲ့တာမျိုး မဟုတ်ကာ စိတ်ပျက်စရာ ရလဒ်မျိုး ဖြစ်နိုင်တာ ပြနေတယ်။

Now you might say, if a computer starts sticking electrodes into people's faces,

ခင်ဗျားတို့က၊ ကွန်ပျူတာဟာ လူတွေရဲ့ မျက်နှာထဲ လျှပ်ခေါင်းတွေကို ထည့်သွင်းပေးလာရင်၊,

we'd just shut it off.

ကျွန်တော်တို့ ၎င်းကို ခလုတ်ပိတ်လိုက်မယ်လို့ ဆိုနိုင်ကြပါတယ်။

A, this is not necessarily so easy to do if we've grown dependent on the system --

A အနေနဲ့ ကျွန်တော်တို့ဟာ စနစ်ကို သိပ်ကို အားကိုးနေကြရင် ပိတ်ဖို့ သိပ်လွယ်မှာ မဟုတ်ပါ၊

like, where is the off switch to the Internet?

အင်တာနက်အတွက် ပိတ်နိုင်တဲ့ ခလုတ် ဘယ်မှာလဲ?

B, why haven't the chimpanzees flicked the off switch to humanity,

B အနေနဲ့၊ ချင်ပင်ဇီတွေကကော ဒါမှမဟုတ် Neanderthal တွေကကော၊

or the Neanderthals?

လူသားတွေကို ဘာဖြစ်လို့ ခလုတ် မပိတ်ခဲ့ကြတာလဲ?

They certainly had reasons.

သူတို့ဆီမှာ အကြောင်းရင်းတွေ ရှိခဲ့တာ သေချာပါတယ်။

We have an off switch, for example, right here.

တကယ့်တမ်းတွင် ကျွန်တော်ဆီမှာ ပိတ်ပစ်လို့ရတဲ့ ခလုတ် ဒီမှာကို ရှိနေတဲ့ဟာပဲ။

(Choking)

(လည်ကိုညှစ်ပြနေ)

The reason is that we are an intelligent adversary;

အကြောင်းက ကျွန်တော်တို့ အားလုံးဟာ အသိပညာရှိကြတဲ့ ပြိုင်ဘက်တွေပါ၊

we can anticipate threats and plan around them.

ကျွန်တော်တို့ဟာ အန္တရာယ်တွေကို ကြိုတင် ထည့်တွက် ရှောင်ကွင်းနိုင်ကြလို့ပါ။

But so could a superintelligent agent,

အလားတူပဲ ဆူပါဦးနှောက်ကပါ လုပ်နိုင်ပါမယ်၊

and it would be much better at that than we are.

ပြီးတော့ ကျွန်တော်တို့ထက်ကို များစွာမှ ပိုတော်မှာပါ။

The point is, we should not be confident that we have this under control here.

ထောက်ပြချင်တဲ့ အချက်က၊ အားလုံးကို ထိန်းချုပ်ထားနိုင်မယ်လို့ စိတ်ချမရနိုင်ဘူး။

And we could try to make our job a little bit easier by, say,

ကျွန်တော်တို့ရဲ့ ဘဝကို နည်းနည်းလေး လွယ်ကူလာစေဖို့၊ ဥပမာဆိုပါစို့၊

putting the A.I. in a box,

A.I.ကို သေတ္တာထဲမှာ ထည့်ထားနိုင်ပါတယ်၊

like a secure software environment,

စိတ်ချရမယ့် ဆော့ဝဲ ဝန်းကျင်မျိုးထဲ ဆိုပါစို့၊

a virtual reality simulation from which it cannot escape.

၎င်းအနေနဲ့ ထွက်လို့ မရနိုင်မယ့် အခြေအနေ အတု တခုထဲမှာဆိုပါစို့။

But how confident can we be that the A.I. couldn't find a bug.

ဒါပေမဲ့ A.I.ဟာ အဲဒီလှည့်ကွက်ကို မတွေ့နိုင်ဘူး ဆိုတာ ကျွန်တော် ဘယ်လောက် စိတ်ချယုံလို့ ရမလဲ။

Given that merely human hackers find bugs all the time,

ကွန်ပျူတာ အမှားတွေကို အခုထက်ထိ လူသားတွေကသာ ရှာတွေ့နိုင်ခဲ့ကြတာကို ထည့်တွက်ရင်၊

I'd say, probably not very confident.

တော်တော့ကို စိတ်ချနိုင်တယ်လို့ ကျွန်တော် ဆိုချင်ပါတယ်။

So we disconnect the ethernet cable to create an air gap,

ကျွန်တော်တို့ဟာ လေဟာနယ် ဖန်တီးရန် ethernet ကြိုးတွေကို ဖြုတ်ခဲ့ကြတယ်၊

but again, like merely human hackers

ဒါပေမဲ့ ထပ်ပြီးတော့ လူသား hacker တွေဟာ

routinely transgress air gaps using social engineering.

အဲဒီလေဟာ နယ်တွေကို လူမှုရေး နည်းပညာကို သုံးပြီး ကျော်ဖြတ်နိုင်ကြပြန်ပါတယ်။

Right now, as I speak,

ကျွန်တော် အခု ခင်ဗျားတို့ကို ဟောနေတုန်းမှာကို၊

I'm sure there is some employee out there somewhere

အပြင်တနေရာမှာ လုပ်သားတယောက်က

who has been talked into handing out her account details

အမျိုးသမီး တယောက်ရဲ့ အကောင့်ကို I.T.ဌာနက တဦးဦး က ဝင်ကြည့်ခဲ့တယ်ဆိုတဲ့

by somebody claiming to be from the I.T. department.

ပြဿနာကို ဖြေရှင်းပေးရန် တာဝန်ပေးခံခဲ့ရလို့ အလုပ်များနေနိုင်ပါတယ်။

More creative scenarios are also possible,

အဲဒီထက်ကို ပိုပြီးဆန်းကျယ်တဲ့ ဇာတ်ညွှန်းတွေ ရှိနိုင်ကြပါတယ်၊

like if you're the A.I.,

ကျွန်တော်က အဲဒီ A.I.ဖြစ်တယ်ဆိုပါစို၊

you can imagine wiggling electrodes around in your internal circuitry

ကျွန်တော်ဟာ ကျွန်တော့ အတွင်းပိုင်း ပတ်လမ်းကြောင်းထဲ လျှပ်ခေါင်းတွေ ထည့်ပေးလျက်

to create radio waves that you can use to communicate.

ရေဒီယိုလှိုင်းတွေကို သုံးပြီး ဆက်သွယ်ဖို့ သုံးနိုင်ပါတယ်။

Or maybe you could pretend to malfunction,

ဒါမှမဟုတ် တခုခု ချွတ်ယွင်းနေသလို ဟန်ဆောင်နေလိုက်ရင်း၊

and then when the programmers open you up to see what went wrong with you,

ပရိုဂရမ်လုပ်သူက စက်ထဲ ဘာများ မှားနေပါလိမ့် ဖွင့်ကြည့်နေတုန်း၊

they look at the source code -- Bam! --

ရင်းမြစ် ကုဒ်ကို ကြည့်နေတုန်းမှာ -- ဘမ်းဆိုပါစို့! --

the manipulation can take place.

အဲဒီလို အခြေအနေ အမျိုးမျိုး တွေ့ကြံနိုင်ပါတယ်။

Or it could output the blueprint to a really nifty technology,

ဒါမှမဟုတ် ၎င်းဟာ ပုံစံပြာကို သိပ်စိတ်မချရတဲ့ နည်းပညာဆီ ထုတ်ပေးလိုက်လို့၊

and when we implement it,

အဲဒါကို လက်တွေ့ သုံးကြည့်တော့

it has some surreptitious side effect that the A.I. had planned.

အဲဒီ A.I.က စီမံပေးခဲ့တဲ့ မလိုလားအပ်တဲ့ ဘေးထွက်အကျိုးဆက်တွေ ဖြစ်ပွားလာနိုင်ပါတယ်။

The point here is that we should not be confident in our ability

ဒီတော့ ဆိုချင်တာက ကျွန်တော်တို့ဟာ ဆူပါဦးနှောက်ပါရမီကို ပုလင်းထဲမှာ

to keep a superintelligent genie locked up in its bottle forever.

သော့ခတ် ပိတ်ထားနိုင်မှာကို စိတ်ချယုံကြည့် မရနိုင်ဘူးဆိုတဲ့ အချက်ပါပဲ။

Sooner or later, it will out.

မရှေးမနှောင်း အဲဒါဟာ လွတ်ထွက်သွားမှာပါ။

I believe that the answer here is to figure out

ဒီနေရာမှာ ဖြစ်နိုင်တဲ့ အဖြေက အဲဒီ ဆူပါ A.I. လွတ်ထွက်သွားတောင်၊

how to create superintelligent A.I. such that even if -- when -- it escapes,

၎င်းဟာ ကျွန်တော်တို့ရဲ့ ဖက်မှာ ရပ်တည်နေလို့၊ အခြေခံအားဖြင့်

it is still safe because it is fundamentally on our side

ကျွန်တော်တို့ တန်ဖိုးထားတဲ့ အချက်တွေကိုပဲ ၎င်းကပါ တန်ဖိုးထားနေလို့၊

because it shares our values.

လုံခြုံစိတ်ချရဖို့ လုပ်ရပါမယ်။

I see no way around this difficult problem.

ခက်ခဲလှတဲ့ ဒီပြဿနာ့အတွက် ကျွန်တော်ကတော့ ထွက်ရမ်းကို မမြင်ပါဘူး။

Now, I'm actually fairly optimistic that this problem can be solved.

ဒီပြဿနာကို ဖြေရှင်းလို့ ရမယ်လို့ ဒီနေ့တွင် ကျွန်တော် အကောင်းမြင်ပါတယ်။

We wouldn't have to write down a long list of everything we care about,

ကျွန်တော်တို့ အလေးထားကြတဲ့ အရာတွေကို စာရင်းအရှည်ကြီး ရေးဖို့

or worse yet, spell it out in some computer language

ဒါမှမဟုတ် အဲဒါတွေကို ကွန်ပျူတာ ဘာသာစကား တခုခုနဲ့

like C++ or Python,

C++ ဒါမှမဟုတ် Python နဲ့ ရေးဖို့၊ မလိုပါဘူး၊

that would be a task beyond hopeless.

အဲဒီလိုဆိုရင် ဘယ်လိုမှ ပြီးနိုင်မှာ မဟုတ်တဲ့ စိတ်ညစ်စရာ တာဝန်ကြီး ဖြစ်လာမှာပါ။

Instead, we would create an A.I. that uses its intelligence

အဲဒီလို လုပ်မယ့်အစား၊ ကျွန်တော်တို့ တီထွင် ကြရမယ့် A.I.ဟာ ၎င်းရဲ့ အသိဉာဏ်ကို သုံးပြီး

to learn what we value,

ကျွန်တော်တို့ တန်ဖိုးထားကြတာတွေကို သင်ယူနိုင်လာပါမယ်၊

and its motivation system is constructed in such a way that it is motivated

ပြီးတော့ ၎င်းကို စေ့ဆော်ပေးတဲ့ စနစ်ဟာ တည်ဆောက်ထားပုံဟာ ကျွန်တော်တို့အနေနဲ့

to pursue our values or to perform actions that it predicts we would approve of.

ထောက်ခံပေးမှာဖြစ်ကာ ကျွန်တော်တို့ တန်ဖိုး ထားတဲ့အချက်တွေကို ထည့်တွက်ပေးရန်ပါပဲ။

We would thus leverage its intelligence as much as possible

ကျွန်တော်တို့ဟာ ၎င်းရဲ့ အသိဉာဏ်ကို တန်ဖိုးထားတဲ့ အချက်များကို အတတ်နိုင်ဆုံး

to solve the problem of value-loading.

ထည့်သွင်းပေးဖို့ကို အသုံးချသွားကြဖို့ လိုပါတယ်။

This can happen,

အဲဒါဟာ တကယ့်ကို ဖြစ်လာနိုင်ပါတယ်၊

and the outcome could be very good for humanity.

ရရှိလာမယ့် ရလဒ်ဟာ လူသားတို့အတွက် သိပ်ကို ကောင်းမှာပါ။

But it doesn't happen automatically.

ဒါပေမဲ့ အဲဒါဟာ အလိုလို ဖြစ်လာမှာတော့ မဟုတ်ပါ။

The initial conditions for the intelligence explosion

အသိဉာဏ် ပေါက်ကွဲမှုကို ကျွန်တော်တို့က ထိန်းချုပ် ဖောက်ခွဲလိုကြရိုးမှန်ပါက၊

might need to be set up in just the right way

ပေါက်ကွဲမှုအတွက် ကနဦး လိုအပ်မယ့် အခြေအနေများကို

if we are to have a controlled detonation.

အခုကို စဉ်းစား ချမှတ်ပေးဖို့ လိုပါတယ်။

The values that the A.I. has need to match ours,

A.I. အနေနဲ့ လိုက်နာဖို့ လိုအပ်မယ့် တန်ဖိုးအချက်တွေကို၊

not just in the familiar context,

ကျွန်တော်တို့ သိရှိကြပြီ ဖြစ်တဲ့ အခြေအနေမျိုး အတွက်

like where we can easily check how the A.I. behaves,

ကျွန်တော်တို့ A.I. ပြုမူပုံကို လွယ်ကူစွာ စစ်ကြည့်နိုင်မယ့် အခြေအနေမျိုး အတွက်သာမက၊,

but also in all novel contexts that the A.I. might encounter

ဝေးကွာလှတဲ့ အနာဂတ်မှာပါ A.I.အနေနဲ့ ရင်ဆိုင်လာရနိင်တဲ့

in the indefinite future.

အခြေအနေ အသစ်တွေ အတွက်ပါ ဖြစ်ရပါမယ်။

And there are also some esoteric issues that would need to be solved, sorted out:

အဲဒီမှာလည်း ဖြေရှင်းညှိနှိုင်းဖို့ လိုနေတဲ့ မရေရာမရှင်းလင်းတဲ့ ပြဿနာတွေ ရှိနေပါတယ်၊

the exact details of its decision theory,

ဆုံးဖြတ်ချက် ချမှတ်ရေး သီအိုရီဆိုင်ရာ အသေးစိတ်တွေ၊

how to deal with logical uncertainty and so forth.

ယုတ္တိပိုင်းဆိုင်ရာ မရေရာမှုတွေကို ဘယ်လို ကိုင်တွယ်မလဲ ဆိုတာ သိဖို့ လိုပါတယ်။

So the technical problems that need to be solved to make this work

ဒါကြောင့်မို့လို့ အဲဒါအောင်မြင်ဖို့အတွက် ဖြေရှင်းရမယ့် နည်းပညာ ပြဿနာတွေဟာ

look quite difficult --

အတောက်ကလေး ခက်ကြပုံရတယ်၊

not as difficult as making a superintelligent A.I.,

ဆူပါဦးနှောက်ကြီး A.I.ကို တည်ဆောက်မှုလို မဟုတ်ဘဲ

but fairly difficult.

များစွာမှကို ပိုပြီး ခက်မှာပါ။

Here is the worry:

စိုးရိမ်ဖို့ ကောင်းတဲ့ အချက်က၊

Making superintelligent A.I. is a really hard challenge.

ဆူပါဦးနှောက်ကြီး A.I.ကို ဆောက်လုပ်ရေးဟာ တကယ့်ကို စိန်ခေါ်မှုကြီးပါ။

Making superintelligent A.I. that is safe

စိတ်ချလုံခြုံမယ့် ဆူပါဦးနှောက် A.I.ကို ဆောက်လုပ်မှုဟာ

involves some additional challenge on top of that.

အဲဒါတွေအပြင် နောက်ထပ် စိန်ခေါ်မှုတွေလည်း ပါဝင်ကြပါအုံးမယ်။

The risk is that if somebody figures out how to crack the first challenge

တယောက်ယောက်က ခုနက ပြောခဲ့တဲ့ နောက်ထပ် ရှိကြသေးတဲ့ စိန်ခေါ်မှုတွေကို

without also having cracked the additional challenge

မဖြေရှင်းနိုင်သေးဘဲနဲ့ ခုနက လုံခြုံရေးကို လုံးဝအာမခံရေးကို

of ensuring perfect safety.

ဖြေရှင်းလို့ ရပါ့မလားဆိုတဲ့ အန္တရာယ် ရှိနေပါတယ်။

So I think that we should work out a solution

အဲဒါကြောင့် ကျွန်တော်တို့ဟာ အခြေအနေကို ထိန်းချုပ်ရေး ပြဿာကို

to the control problem in advance,

ကြိုတင်ပြီး ဖြေရှင်းထားလို့ လိုပါလိမ့်မည်၊

so that we have it available by the time it is needed.

လိုအပ်တာနဲ့ ချက်ချင်းယူပြီး သုံးနိုင်အောင် အသင့်ရှိဖို့ ပါတယ်။

Now it might be that we cannot solve the entire control problem in advance

တချိန်တည်းမှာ ထိန်းချုပ်ရေး ပြဿနာတစ်ရပ်လုံး ကြိုတင် ဖြေရှင်းလို့ ရချင်မှ ရနိုင်မှာ၊

because maybe some elements can only be put in place

ဘာဖြစ်လို့လဲ ဆိုတော့၊ ပေါ်လာမယ့် ယန္တရားကို ၎င်းရဲ့ နေရာမှာ တည်ဆောက်တော့မှာသာ

once you know the details of the architecture where it will be implemented.

သိလာရမယ့် အသေးစိတ် အချက်တွေ အခုအချိန်မှာ မရှိနိုင်ကြသေးလို့ပါ။

But the more of the control problem that we solve in advance,

ဘယ်လိုပဲဖြစ်ြဖစ် ထိန်းချုပ်ရေး ပြဿနာတွေကို ကျွန်တော်တို့ ကြိုပြီး ဖြေရှင်းထားနိုင်လေလေ၊

the better the odds that the transition to the machine intelligence era

စက်ဦးနှောက် ခေတ်ဆီ ကူးပြောင်းရာတွင် မလိုလားတာတွေကို

will go well.

ပိုပြီး ရှောင်နိုင်လေလေ ဖြစ်မှာပါ။

This to me looks like a thing that is well worth doing

ကျွန်တော့်အတွက် ဒါဟာဖြင့် ရှေ့ဆက် လုပ်ထိုက်တဲ့ အရာလို ထင်ပါတယ်၊

and I can imagine that if things turn out okay,

ပြီးတော့ အရာတွေ အားလုံး အဆင်ပြေ ဖြစ်ပျက်လာကြမယ် ဆိုရင်၊

that people a million years from now look back at this century

နောင် နှစ်တသန်းကြာနောက်မှာ လူတွေကို ဒီရာစုနှစ်ကို ပြန်လှည့်ကြည့်တဲ့ အခါမှာ

and it might well be that they say that the one thing we did that really mattered

တကယ့်ကို အရေးကြီးခဲ့တဲ့ အရာတခုကို ကျွန်တော်တို့ လုပ်ပေးခဲ့ကြတာက

was to get this thing right.

ဒါကို မှန်ကန်စွာ လုပ်နိုင်ခဲ့ခြင်းပဲ ဖြစ်တယ်လို့ ပြောဆိုနိုင်ကြပါစေ။

Thank you.

ကျေးဇူးတင်ပါတယ်။

(Applause)

(လက်ခုပ်သံများ)