What happens when our computers get smarter than we are? | Nick Bostrom

번역: YERI OH 검토: ChulGi Han

I work with a bunch of mathematicians, philosophers and computer scientists,

저는 많은 수학자, 철학자 컴퓨터 과학자와 같이 일하는데

and we sit around and think about the future of machine intelligence,

우리는 여러 가지 가운데서도 기계 학습의 미래에 대해

among other things.

둘러 앉아 생각합니다.

Some people think that some of these things are sort of science fiction-y,

혹자는 이것들을 공상 과학스럽다거나

far out there, crazy.

너무 먼 이야기라거나 말도 안된다고 생각합니다.

But I like to say,

하지만 제가 말씀드리고 싶은 것은

okay, let's look at the modern human condition.

좋아요. 현대 인류의 상태를 보죠.

(Laughter)

(웃음)

This is the normal way for things to be.

이게 평범한 모습이죠.

But if we think about it,

하지만 생각해보면

we are actually recently arrived guests on this planet,

사실, 우리는 이 행성에 가장 최근에 도착한 손님입니다.

the human species.

인류 말입니다.

Think about if Earth was created one year ago,

지구가 1년 전에 생겨났다고 생각해보십시오.

the human species, then, would be 10 minutes old.

그럼 인류는 생겨난지 10분 된겁니다.

The industrial era started two seconds ago.

산업화 시대는 2초 전에 시작되었습니다.

Another way to look at this is to think of world GDP over the last 10,000 years,

다른 방법으로는, 지난 만년 간의 전세계 GDP를 보는 것인데

I've actually taken the trouble to plot this for you in a graph.

실은 제가 여러분을 위해 그래프로 그리는 수고를 했습니다.

It looks like this.

이렇게 생겼습니다.

(Laughter)

(웃음)

It's a curious shape for a normal condition.

정상적인 상태치고는 기묘한 모양새죠.

I sure wouldn't want to sit on it.

저기에 앉으면 안될 것 같군요.

(Laughter)

(웃음)

Let's ask ourselves, what is the cause of this current anomaly?

자문해보죠. 현재의 이 변칙의 원인은 무엇입니까?

Some people would say it's technology.

혹자는 기술이라고 할 것입니다.

Now it's true, technology has accumulated through human history,

맞습니다. 기술은 인류의 역사에 걸쳐 축적되어왔고

and right now, technology advances extremely rapidly --

지금은 기술이 극도로 빠르게 발전하고 있습니다.

that is the proximate cause,

그것이 가장 가까운 원인이고

that's why we are currently so very productive.

우리가 현재 아주 생산적인 이유이기도 합니다.

But I like to think back further to the ultimate cause.

하지만 더 멀리 돌이켜 근본적 원인을 생각해보고자 합니다.

Look at these two highly distinguished gentlemen:

아주 유명한 두 신사를 한번 보시죠.

We have Kanzi --

침팬지 칸지는

he's mastered 200 lexical tokens, an incredible feat.

200개의 어휘 토큰을 숙달하는 놀라운 위업을 이뤘고

And Ed Witten unleashed the second superstring revolution.

그리고 에드 위튼은 제 2차 초끈이론을 촉발시켰습니다.

If we look under the hood, this is what we find:

덮개 안쪽을 보면 이런 걸 보게 됩니다.

basically the same thing.

기본적으로는 똑같습니다.

One is a little larger,

한 쪽이 좀 더 크고

it maybe also has a few tricks in the exact way it's wired.

아마도 와이어링의 정확한 방법에 몇가지 요령이 있었나 봅니다.

These invisible differences cannot be too complicated, however,

하지만 이 보이지 않는 차이점들은 그리 복잡하지 않습니다.

because there have only been 250,000 generations

우리의 마지막 공통 조상으로부터 단 25만 세대밖에

since our last common ancestor.

지나지 않았기 때문입니다.

We know that complicated mechanisms take a long time to evolve.

복잡한 메커니즘은 진화하는데 오랜 시간이 걸리구요.

So a bunch of relatively minor changes

따라서, 비교적 중요하지않은 여러 변화들이

take us from Kanzi to Witten,

우리를 칸지에서 위튼으로,

from broken-off tree branches to intercontinental ballistic missiles.

부러진 나뭇가지에서 대륙간 탄도 미사일로 데려온 겁니다.

So this then seems pretty obvious that everything we've achieved,

그럼 이제, 우리가 이룩해온 거의 모든 것,

and everything we care about,

우리가 관심있는 모든 것들은

depends crucially on some relatively minor changes that made the human mind.

사람의 마음을 바꾸도록 만든 조금의 변화에 달려 있었습니다.

And the corollary, of course, is that any further changes

물론, 그 결과는 추가적인 변화를 이끌어내고

that could significantly change the substrate of thinking

그 것은 생각의 기질의 상당한 변화를 만들 수 있습니다.

could have potentially enormous consequences.

잠재적으로 엄청난 결과를 이끌어 낼 수 있죠.

Some of my colleagues think we're on the verge

제 동료 중 몇몇은

of something that could cause a profound change in that substrate,

무언가가 그 기질의 엄청난 변화를 일으키기 직전이며

and that is machine superintelligence.

그것은 기계 초지능일거라 생각합니다.

Artificial intelligence used to be about putting commands in a box.

과거 인공지능은 박스에 명령을 넣는 것이었습니다.

You would have human programmers

인간 프로그래머가

that would painstakingly handcraft knowledge items.

지식 아이템을 힘들게 손수 만들어냅니다.

You build up these expert systems,

이러한 전문가 시스템을 구축하면

and they were kind of useful for some purposes,

어떤 목적으로는 어느정도 유용하지만

but they were very brittle, you couldn't scale them.

실은 아주 취약해서 조정할 수 없습니다.

Basically, you got out only what you put in.

결국 입력하는 대로만 결과를 얻게됩니다.

But since then,

하지만 그때부터

a paradigm shift has taken place in the field of artificial intelligence.

인공지능 분야에서 패러다임 변화가 일어났습니다.

Today, the action is really around machine learning.

오늘날엔, 기계 학습을 중심으로 움직이고 있습니다.

So rather than handcrafting knowledge representations and features,

따라서 지식 표현과 특징을 손수 만들기 보다는

we create algorithms that learn, often from raw perceptual data.

때론 원초적 지각 데이터로부터 배우는 알고리즘을 만듭니다.

Basically the same thing that the human infant does.

유아기 인간이 하는 것과 기본적으로 같은 것이죠.

The result is A.I. that is not limited to one domain --

결론적으로 인공지능은 한 도메인에 국한되지 않습니다.

the same system can learn to translate between any pairs of languages,

똑같은 시스템으로 어떠한 언어도 번역할 수 있고

or learn to play any computer game on the Atari console.

또는, 아타리 콘솔의 어떠한 컴퓨터 게임도 플레이 할 수 있습니다.

Now of course,

물론 지금은,

A.I. is still nowhere near having the same powerful, cross-domain

인공지능이 인간처럼 행동하고 배우는 강력한, 크로스 도메인의

ability to learn and plan as a human being has.

단계에 와있지는 않습니다.

The cortex still has some algorithmic tricks

두뇌피질은 여전히 몇가지의 알고리즘적 트릭들을 가지고 있어서,

that we don't yet know how to match in machines.

기계에 적용시키기는 어렵습니다.

So the question is,

그렇다면 문제는 이겁니다.

how far are we from being able to match those tricks?

그 트릭들을 일치시킬 수 있기까지 얼마나 더 걸릴 것인가?

A couple of years ago,

2년 전 쯤에

we did a survey of some of the world's leading A.I. experts,

세계 주요 인공지능 전문가들을 대상으로 그들의 의견을 조사했는데

to see what they think, and one of the questions we asked was,

우리가 했던 질문 중 하나는

"By which year do you think there is a 50 percent probability

"우리가 인간 수준의 기계 학습에 달성할 가능성이

that we will have achieved human-level machine intelligence?"

50%가 되는 해는 언제라고 생각하십니까?" 였습니다.

We defined human-level here as the ability to perform

여기서 인간 수준이라는 것은 최소한 성인 인간만큼

almost any job at least as well as an adult human,

거의 모든 일을 수행하는 능력을 말합니다.

so real human-level, not just within some limited domain.

그저 몇몇 범위에 국한된 것이 아니라 진짜 인간 수준 말입니다.

And the median answer was 2040 or 2050,

답변의 중간값은 2040년이나 2050년이었습니다.

depending on precisely which group of experts we asked.

우리가 질문했던 전문가 그룹에 따라 달랐습니다.

Now, it could happen much, much later, or sooner,

훨씬 훨씬 나중에, 혹은 더 일찍 일어날 수 있지만

the truth is nobody really knows.

진실은 아무도 모르는 거겠죠.

What we do know is that the ultimate limit to information processing

우리가 아는 것은, 기계 기판의 정보 처리의 궁극적 한계가

in a machine substrate lies far outside the limits in biological tissue.

생체조직의 한계보다 훨씬 멀리 있다는 점입니다.

This comes down to physics.

이것은 물리학 이론인데,

A biological neuron fires, maybe, at 200 hertz, 200 times a second.

생물학적 뉴런은 200헤르츠, 1초에 200번 흥분합니다.

But even a present-day transistor operates at the Gigahertz.

그러나 하물며 오늘날의 트랜지스터도 기가헤르츠 속도로 작동합니다.

Neurons propagate slowly in axons, 100 meters per second, tops.

뉴런은 축색돌기에서 최대 초속 100m로 천천히 전달하지만

But in computers, signals can travel at the speed of light.

컴퓨터에서는, 신호가 빛의 속도로 이동할 수 있습니다.

There are also size limitations,

또, 크기의 제한도 있습니다.

like a human brain has to fit inside a cranium,

인간의 뇌는 두개골 안에 들어가야 하지만

but a computer can be the size of a warehouse or larger.

컴퓨터는 창고 크기가 될 수도 혹은 더 클 수도 있습니다.

So the potential for superintelligence lies dormant in matter,

그러니까 슈퍼인공지능의 가능성은 원자폭탄이 1945년 이후로

much like the power of the atom lay dormant throughout human history,

잠들어 있는 것 처럼 언제

patiently waiting there until 1945.

시작될지 모르는 문제입니다.

In this century,

이번 세기에,

scientists may learn to awaken the power of artificial intelligence.

과학자들은 인공지능의 파워를 깨울 방법을 알아낼 지도 모릅니다.

And I think we might then see an intelligence explosion.

그리고 저는 인공지능의 확산을 볼 것이라고 생각합니다.

Now most people, when they think about what is smart and what is dumb,

대부분의 사람들은, 그들이 누가 똑똑하고 멍청한지에 대해서

I think have in mind a picture roughly like this.

이러한 대략적인 생각이 있을 것이라고 생각합니다.

So at one end we have the village idiot,

한 쪽 끝에는 바보가 있고

and then far over at the other side

다른 저 쪽 끝에는

we have Ed Witten, or Albert Einstein, or whoever your favorite guru is.

에드 위튼이나 알버트 아인슈타인 혹은 여러분이 좋아하는 권위자가 있죠.

But I think that from the point of view of artificial intelligence,

하지만 인공지능의 관점에서 보면

the true picture is actually probably more like this:

실제로는 이런 그림이 그려질거라 생각합니다.

AI starts out at this point here, at zero intelligence,

인공지능은 이 지점, 지능이 없는 지점에서 시작해서

and then, after many, many years of really hard work,

수 년 간의 아주 고된 연구 끝에

maybe eventually we get to mouse-level artificial intelligence,

마침내 쥐 수준의 인공지능에 이르게 됩니다.

something that can navigate cluttered environments

마치 쥐처럼 어수선한 환경에서

as well as a mouse can.

나아갈 수 있는 수준 말입니다.

And then, after many, many more years of really hard work, lots of investment,

그 이후로 더 오랜 고된 연구와 많은 투자 끝에

maybe eventually we get to chimpanzee-level artificial intelligence.

마침내 침팬지 수준의 인공지능을 얻게 됩니다.

And then, after even more years of really, really hard work,

그리곤 심지어 더 여러 해의 아주 아주 고된 연구 끝에

we get to village idiot artificial intelligence.

동네 바보 수준의 인공지능에 이르게 됩니다.

And a few moments later, we are beyond Ed Witten.

그리고 잠시 뒤엔 에드 위튼을 뛰어넘습니다.

The train doesn't stop at Humanville Station.

기차는 인간 역에 정차하지 않습니다.

It's likely, rather, to swoosh right by.

그보다는 휙 하고 지나가는 것에 가깝죠.

Now this has profound implications,

이것은 깊은 의미입니다.

particularly when it comes to questions of power.

특별히, 힘에 대한 물음에 대해서는 말이죠

For example, chimpanzees are strong --

예를들면, 침팬치는 힘이 쎕니다.

pound for pound, a chimpanzee is about twice as strong as a fit human male.

파운드로 비교하면, 침펜치는 인간 남성보다 2배가량 강합니다.

And yet, the fate of Kanzi and his pals depends a lot more

그러나, 침팬치 켄지의 운명은 그들이 할 수 있는 것 보다는

on what we humans do than on what the chimpanzees do themselves.

인류가 할 수 있는 것에 달려 있었습니다.

Once there is superintelligence,

슈퍼인공지능이 존재한다면,

the fate of humanity may depend on what the superintelligence does.

인류의 운명은 아마도

슈퍼인공지능이 할 수 있는 것에 따라 결정될 것입니다.

Think about it:

생각해보세요.

Machine intelligence is the last invention that humanity will ever need to make.

인공지능은 인류가 만들어야하는 마지막 발명품이 될 것입니다.

Machines will then be better at inventing than we are,

기계가 우리보다 더 발명을 잘 할 것이며

and they'll be doing so on digital timescales.

디지털 시간 척도로 발명을 할 것입니다.

What this means is basically a telescoping of the future.

이것은 기본적으로 시간의 압축을 의미합니다.

Think of all the crazy technologies that you could have imagined

당신이 상상할 수 있는 모든 괴상한 기술을 생각해보세요.

maybe humans could have developed in the fullness of time:

아마도 인류가 발명하기에는 너무 많은 시간이 필요한 것이죠.

cures for aging, space colonization,

노화 해결, 우주 정복

self-replicating nanobots or uploading of minds into computers,

자기 복제 나노로봇이나 컴퓨터에 생각을 업로딩 하는 것

all kinds of science fiction-y stuff

뭐든 공상 과학스럽지만

that's nevertheless consistent with the laws of physics.

그럼에도 물리학 법칙에 부합하는 것들 말입니다.

All of this superintelligence could develop, and possibly quite rapidly.

이런 것들을 슈퍼인공지능은 빠르게 발명할 수 있을 겁니다.

Now, a superintelligence with such technological maturity

이제, 슈퍼인공지능이

would be extremely powerful,

아주 강력하다는 것을 알게 되었으니

and at least in some scenarios, it would be able to get what it wants.

적어도 몇몇의 시나리오에서는,

이것이 무엇을 원하는지 알 수 있을 것입니다.

We would then have a future that would be shaped by the preferences of this A.I.

그러면 이제 인공지능의 선호로 이루어진 미래를 그려볼 수 있겠죠.

Now a good question is, what are those preferences?

이 시점에서 좋은 질문은 그 선호라는게 무엇인가? 하는 겁니다.

Here it gets trickier.

이 물음은 더 어렵군요

To make any headway with this,

어떻든 진전을 보기 위해서는

we must first of all avoid anthropomorphizing.

우선 의인화를 피해야만 합니다.

And this is ironic because every newspaper article

이게 참 아이러니한게 인공지능에 대한

about the future of A.I. has a picture of this:

모든 신문 기사들에는 이 사진이 달려있습니다.

So I think what we need to do is to conceive of the issue more abstractly,

제 생각에 우리는 생생한 할리우드 시나리오 방식이 아니라

not in terms of vivid Hollywood scenarios.

문제를 좀더 추상적으로 상상할 필요가 있습니다.

We need to think of intelligence as an optimization process,

지능을 최적화 과정이라고 생각해야 합니다.

a process that steers the future into a particular set of configurations.

일련의 특정 형태 쪽으로 미래의 방향을 조종하는 과정말입니다.

A superintelligence is a really strong optimization process.

초지능은 매우 강력한 최적화 프로세스입니다.

It's extremely good at using available means to achieve a state

목표가 실현되는 상태를 달성하기 위해 가용 자원을 사용하는데

in which its goal is realized.

매우 능숙합니다.

This means that there is no necessary connection between

이 것은 높은 지능을 가진 것과 인류가 가치있다고 생각하는 목표를

being highly intelligent in this sense,

지향하는 것에 연결점은

and having an objective that we humans would find worthwhile or meaningful.

필수적인게 아니라는 뜻입니다.

Suppose we give an A.I. the goal to make humans smile.

인공지능에게 인간을 웃게 하라는 목표를 주었다고 가정해봅시다.

When the A.I. is weak, it performs useful or amusing actions

인공지능이 좀 떨어질 땐 이용자를 웃게 하는

that cause its user to smile.

유용하거나 재미있는 액션을 취할 것입니다.

When the A.I. becomes superintelligent,

인공지능이 초지능적이 되면

it realizes that there is a more effective way to achieve this goal:

인공지능은 목표를 달성할 더 효율적인 방법이 있음을 깨닫습니다.

take control of the world

세계의 주도권을 가지고

and stick electrodes into the facial muscles of humans

전극을 사람 얼굴 근육에 고정시킵니다.

to cause constant, beaming grins.

지속적인 웃음을 유발하기 위해서요.

Another example,

다른 예를 들어 보죠.

suppose we give A.I. the goal to solve a difficult mathematical problem.

어려운 수학 문제를 풀라는 목표를 인공지능에게 주었다고 가정합니다.

When the A.I. becomes superintelligent,

인공지능이 슈퍼인공지능이 되면,

it realizes that the most effective way to get the solution to this problem

인공지능은 문제를 풀기위한 가장 효율적인 방법은

is by transforming the planet into a giant computer,

이 지구를 거대한 컴퓨터로 변화시키는 것이라는 것을 알게됩니다.

so as to increase its thinking capacity.

처리 능력을 향상하기 위해서죠.

And notice that this gives the A.I.s an instrumental reason

이 생각은 우리로써는 승인할 수 없는

to do things to us that we might not approve of.

것들을 실행하는 주된 이유가 됩니다.

Human beings in this model are threats,

인류는 이러한 모델에서 위협요소가 되고

we could prevent the mathematical problem from being solved.

우리는 문제가 해결되지 못하도록 막아야 할 겁니다.

물론, 지각할수 있는 것들은 꼭 이런 식으로 진행 되지 않을 겁니다

Of course, perceivably things won't go wrong in these particular ways;

these are cartoon examples.

이것들은 그냥 만든 예시이지만,

But the general point here is important:

일반적인 요점은 이겁니다.

if you create a really powerful optimization process

목적 x를 극대화 하기 위한

to maximize for objective x,

강력한 프로세스를 만들었다면,

you better make sure that your definition of x

우리가 지켜야할 모든 것들을 포함하는

incorporates everything you care about.

x의 정의 또한 만들어야 한다는 점입니다.

This is a lesson that's also taught in many a myth.

이는 또한, 많은 신화에서 가르치는 교훈이기도 합니다.

King Midas wishes that everything he touches be turned into gold.

마이더스 왕은 그의 손이 닿는 모든 걸 금으로 변하게 해달라고 빕니다.

He touches his daughter, she turns into gold.

그는 자신의 딸을 만졌고 딸은 금으로 변하죠.

He touches his food, it turns into gold.

음식을 만지면, 음식은 금으로 변합니다.

This could become practically relevant,

이 것은 실용적으로 관련이 있습니다.

not just as a metaphor for greed,

탐욕에 대한 은유 뿐만이 아니라

but as an illustration of what happens

앞으로 일어날 일에 대한 삽화이죠.

if you create a powerful optimization process

만약 당신이 강력한 최적화 프로세스를 만들고

and give it misconceived or poorly specified goals.

그것이 잘못된 결과를 불러올 수 있다는 점이죠.

Now you might say, if a computer starts sticking electrodes into people's faces,

만약 컴퓨터가 사람의 얼굴에 전극을 붙인다면

we'd just shut it off.

작동을 멈추면 그만이라고 말하실지도 모릅니다.

A, this is not necessarily so easy to do if we've grown dependent on the system --

A. 우리가 그 시스템에 의존해서 자랐다면, 그게 그리 쉽진 않습니다.

like, where is the off switch to the Internet?

예를 들면, 인터넷에 끄는 스위치가 어디 있나요?

B, why haven't the chimpanzees flicked the off switch to humanity,

B. 왜 침팬지들은 인류, 혹은 네안데르탈인의 스위치를

or the Neanderthals?

끄지 않았을까요?

They certainly had reasons.

분명 이유가 있었습니다.

We have an off switch, for example, right here.

우리는 오프 스위치를 갖고 있습니다. 예를 들면, 바로 여기요.

(Choking)

(목을 조른다.)

The reason is that we are an intelligent adversary;

그 이유는 우리가 지능을 가진 적이였기 때문이죠.

we can anticipate threats and plan around them.

우리는 침팬치의 위협을 예상하고 그에 따른 계획을 세울 수 있었습니다.

But so could a superintelligent agent,

하지만 슈퍼인공지능도 마찬가지죠.

and it would be much better at that than we are.

그것은 우리보다 더 뛰어날 겁니다.

The point is, we should not be confident that we have this under control here.

요점은, 우리가 이를 통제하고 있다고 자신해서는 안된다는 겁니다.

And we could try to make our job a little bit easier by, say,

우리는 우리의 일을 조금 쉽게 할 수 있는 시도를 할 수 있습니다.

putting the A.I. in a box,

보안 소프트웨어 환경 같은 상황에서

like a secure software environment,

도망칠 수 없는 상황에서의 시뮬에이션 상황 테스트 등을 위해

a virtual reality simulation from which it cannot escape.

인공지능을 박스에 넣고 사용하는 방법으로요

But how confident can we be that the A.I. couldn't find a bug.

하지만 우리는 인공지능이 오류를 찾지 못할 것이라고 얼마나 확신할까요

Given that merely human hackers find bugs all the time,

보통의 인간 해커들도 매번 오류를 찾아냅니다.

I'd say, probably not very confident.

제가 말하자면, 아마 확신하지 못할 겁니다.

So we disconnect the ethernet cable to create an air gap,

이미 말씀드렸듯이, 우리 해커들은

but again, like merely human hackers

사회 공학을 사용해서 지속적으로 에어 갭(안전망)을 위반했습니다

routinely transgress air gaps using social engineering.

그래서 우리는 에어 갭을 만들기 위해 이더넷 케이블을 분리해야 합니다.

Right now, as I speak,

제가 말한 것처럼, 지금 이 시각

I'm sure there is some employee out there somewhere

몇몇의 사람들은 IT 부서에서온 누군가가 주장하는 대로

who has been talked into handing out her account details

누군가의 계좌 정보를 넘기고 있을 것이라고

by somebody claiming to be from the I.T. department.

저는 확신합니다.

More creative scenarios are also possible,

더 창의적인 시나리도들도 가능합니다.

like if you're the A.I.,

만약 당신이 인공지능이라면,

you can imagine wiggling electrodes around in your internal circuitry

당신은 통신하기 위한 라디오 전파를 만들기 위해서

to create radio waves that you can use to communicate.

당신의 내부 회로 주변에 있는 흔들리는 전극들을 상상할 수 있습니다.

Or maybe you could pretend to malfunction,

또는 고장난 척 연기할 수 있죠.

and then when the programmers open you up to see what went wrong with you,

그리고 프로그래머가 뭐가 잘못됬는지 보려고 코드를 여는 순간,

they look at the source code -- Bam! --

빰!

the manipulation can take place.

속임수가 벌어지게 되죠.

Or it could output the blueprint to a really nifty technology,

또는 굉장히 멋진 기술의 청사진을 결과물로 내놓고,

and when we implement it,

우리가 실행시키면,

it has some surreptitious side effect that the A.I. had planned.

사실 그것은 인공지능이 계획한 부작용이 발생한다는 식이죠.

The point here is that we should not be confident in our ability

중요한점은 우리는 우리의 능력을 과신하면 안된다는 점입니다.

to keep a superintelligent genie locked up in its bottle forever.

슈퍼인공지능이 영원히 병안에 봉인 될거라고 생각하는 점에 대해서요.

Sooner or later, it will out.

머지않아, 그것은 밖으로 나올겁니다.

I believe that the answer here is to figure out

저는 정답은 인공지능을 어떻게 만드느냐에 달려있다고 생각합니다.

how to create superintelligent A.I. such that even if -- when -- it escapes,

그것이 봉인에서 해제되더라도, 여전히 안전하게 하기 위해서는

it is still safe because it is fundamentally on our side

기본적으로 우리의 편이어야 하고,

because it shares our values.

왜냐하면 우리의 가치를 공유하기 때문입니다

I see no way around this difficult problem.

이 것은 어려운 문제가 아닙니다.

Now, I'm actually fairly optimistic that this problem can be solved.

저는 사실 이 문제가 해결될 수 있다고 꽤 낙관합니다.

We wouldn't have to write down a long list of everything we care about,

우리는 우리가 걱정하는 모든 일들을 다 작성할 필요는 없습니다.

or worse yet, spell it out in some computer language

혹은, 그것을 C++ 나 파이선 같은 컴퓨터 언어로 적는다던지

like C++ or Python,

하는 일같은 것도 마찬가지구요.

that would be a task beyond hopeless.

사실, 그것은 희망이 없는 일이죠.

Instead, we would create an A.I. that uses its intelligence

대신에, 우리는 인공지능을 하나 만들면 됩니다.

to learn what we value,

우리의 가치를 배울 인공지능이죠.

and its motivation system is constructed in such a way that it is motivated

그리고 그것의 동기부여 시스템은 우리가 승인할 것으로 예측되는

to pursue our values or to perform actions that it predicts we would approve of.

우리의 가치 혹은 행동을 추구하는 방향으로 설계됩니다.

We would thus leverage its intelligence as much as possible

우리는 이러한 인공지능에 최대한 힘을 싣는 쪽으로 무게를 실어야 합니다

to solve the problem of value-loading.

앞서 언급한 문제를 해결하기 위해서죠.

This can happen,

이런 방식은 가능하며,

and the outcome could be very good for humanity.

결과는 인류를 위해서 매우 좋을 것입니다.

But it doesn't happen automatically.

하지만 이것은 자연스럽게 일어나지 않습니다.

The initial conditions for the intelligence explosion

인공지능의 확대에 필요한 초기 조건은

might need to be set up in just the right way

올바른 방향으로 세팅되어야 할 것입니다.

if we are to have a controlled detonation.

만약에 우리가 통제된 폭발을 가진다면,

The values that the A.I. has need to match ours,

인공지능의 가치는 우리의 것과 맞아떨어질 것입니다.

not just in the familiar context,

우리가 인공지능의 행동을 쉽게 확인하는 것처럼

like where we can easily check how the A.I. behaves,

친숙한 상황일 뿐만 아니라,

but also in all novel contexts that the A.I. might encounter

모든 소설 상황에서 우리가 인공지능를 언제일지 모를 미래에

in the indefinite future.

조우하는 것처럼 말이죠.

And there are also some esoteric issues that would need to be solved, sorted out:

그리고 해결되야할 몇가지 난해한 문제들이 있습니다.

the exact details of its decision theory,

결정 이론의 정확한 세부내용들 입니다.

how to deal with logical uncertainty and so forth.

어떻게 논리적인 불확실성에 대처할 것인가 같은 문제입니다.

So the technical problems that need to be solved to make this work

해결되야할 기술적인 문제들은

look quite difficult --

꽤 어려워 보입니다.

not as difficult as making a superintelligent A.I.,

슈퍼인공지능을 만드는 것만큼 어려운 것은 아니지만,

but fairly difficult.

여전히 꽤 어렵습니다.

Here is the worry:

저는 이 점이 걱정스럽습니다.

Making superintelligent A.I. is a really hard challenge.

슈퍼인공지능을 만드는 것은 정말 어려운 도전입니다.

Making superintelligent A.I. that is safe

게다가 그것의 안전을 위해서

involves some additional challenge on top of that.

몇가지 추가적인 도전을 해야하죠.

The risk is that if somebody figures out how to crack the first challenge

위험성은 만약 누군가가 다음단계의

without also having cracked the additional challenge

안전을 보장하지 못한 상황에서

of ensuring perfect safety.

첫번째 도전에 성공하기 시작했을 시기입니다.

So I think that we should work out a solution

그래서 우리는 해결책을 생각해 내야 합니다.

to the control problem in advance,

다음단계에 예상될 문제점을 제어하기 위해서 말이죠.

so that we have it available by the time it is needed.

우리가 필요할때 언제든지 사용 할수 있도록 준비해야 합니다.

Now it might be that we cannot solve the entire control problem in advance

하지만 모든 문제들을 미리 예측하고

해결하는 것은 불가능하다고 생각할지도 모릅니다.

because maybe some elements can only be put in place

왜냐하면 몇몇 요소들은 그 단계가

once you know the details of the architecture where it will be implemented.

되야 알 수 있을지도 모르기 때문이죠.

But the more of the control problem that we solve in advance,

하지만 우리가 미리 문제들을 제어할 수 있을 수록,

the better the odds that the transition to the machine intelligence era

인공지능 시대로의 전환이

will go well.

자연스럽게 진행될 것입니다.

This to me looks like a thing that is well worth doing

저는 이것이 우리가 잘할만한 가치가 있는 일이라고 생각합니다.

and I can imagine that if things turn out okay,

그리고 만약 이 단계가 잘 진행된다면

that people a million years from now look back at this century

100만년 후의 인류는 지금의 시대를 회상하며

and it might well be that they say that the one thing we did that really mattered

우리가 걱정했던 문제들이 정말 잘 해결됐다고

was to get this thing right.

말할지도 모릅니다.

Thank you.

감사합니다.

(Applause)

(박수)