3 principles for creating safer AI | Stuart Russell

번역: Hyein Jeng 검토: keun_young Lee

This is Lee Sedol.

이 사람은 이세돌입니다.

Lee Sedol is one of the world's greatest Go players,

이세돌은 세계에서 가장 뛰어난 바둑 기사 중 한명이죠.

and he's having what my friends in Silicon Valley call

보고 계신 이 사진의 순간에 실리콘벨리의 제 친구들은

a "Holy Cow" moment --

"세상에나!" 라고 외쳤습니다.

(Laughter)

(웃음)

a moment where we realize

바로 이 순간에

that AI is actually progressing a lot faster than we expected.

인공지능이 생각했던 것보다 빠르게 발전하고 있음을 깨닫게 되었죠.

So humans have lost on the Go board. What about the real world?

자, 바둑판에서 인간들은 패배했습니다. 그럼 현실 세상에서는 어떨까요?

Well, the real world is much bigger,

현실 세계는 훨씬 크고

much more complicated than the Go board.

바둑판보다 훨씬 복잡합니다.

It's a lot less visible,

한 눈에 들어오지도 않고

but it's still a decision problem.

결정에 관한 문제도 여전히 남아있습니다.

And if we think about some of the technologies

그리고 새롭게 떠오르는 기술들을 살펴보면

that are coming down the pike ...

----------------------------------

Noriko [Arai] mentioned that reading is not yet happening in machines,

노리코 아라이 교수가 말한대로 독서하는 인공지능은 아직 없습니다.

at least with understanding.

적어도 이해를 동반한 독서 말이죠.

But that will happen,

하지만 그런 인공지능도 출현할 겁니다.

and when that happens,

그때가 되면

very soon afterwards,

얼마 안돼서

machines will have read everything that the human race has ever written.

인공지능은 인류가 지금까지 쓴 모든 것을 읽게 될 것입니다.

And that will enable machines,

그리고 인공지능 기계들이 그렇게 할 수 있게 되면

along with the ability to look further ahead than humans can,

인간보다 더 멀리 예측하는 능력을 갖게 되고

as we've already seen in Go,

바둑 시합에서 이미 드러났듯이

if they also have access to more information,

인공지능 기계들이 더 많은 정보에 접근할 수 있으면

they'll be able to make better decisions in the real world than we can.

실제 세계에서 우리보다 더 나은 결정들을 할 수 있을 것입니다.

So is that a good thing?

그러면 좋은 것일까요?

Well, I hope so.

음, 그랬으면 좋겠네요.

Our entire civilization, everything that we value,

우리 인류 문명을 통틀어 가치 있다고 여기는 모든 것들은

is based on our intelligence.

우리 지식에 바탕한 것입니다.

And if we had access to a lot more intelligence,

그리고 만약 우리가 더 많은 지식에 접근할 수 있다면

then there's really no limit to what the human race can do.

인류가 할 수 있는 것들에서 진정한 한계는 없을 것입니다.

And I think this could be, as some people have described it,

누군가 말했듯이 그렇게만 된다면

the biggest event in human history.

인류 역사상 가장 큰 사건이 되겠죠.

So why are people saying things like this,

그런데 왜 사람들은 이런 말을 할까요?

that AI might spell the end of the human race?

인공지능(AI)이 우리 인류의 종말을 가져올 거라고 말이죠.

Is this a new thing?

인공지능이 새로운 것일까요?

Is it just Elon Musk and Bill Gates and Stephen Hawking?

엘런 머스크, 빌 게이츠, 스티븐 호킹. 이런 사람들만 아는 것인가요?

Actually, no. This idea has been around for a while.

사실, 아닙니다. 이 개념이 나온 지는 좀 되었죠.

Here's a quotation:

이런 말이 있습니다.

"Even if we could keep the machines in a subservient position,

"중요한 순간에 전원을 꺼버리는 식으로

for instance, by turning off the power at strategic moments" --

기계를 우리 인간에게 계속 복종하도록 만들 수 있더라도.."

and I'll come back to that "turning off the power" idea later on --

"전원을 끈다"는 개념은 나중에 다시 설명하겠습니다.

"we should, as a species, feel greatly humbled."

"우리는 인류로서 겸손함을 느껴야 합니다. "

So who said this? This is Alan Turing in 1951.

누가 한 말일까요? 앨런 튜링이 1951년에 한 말입니다.

Alan Turing, as you know, is the father of computer science

앨런 튜링은 아시다시피 컴퓨터 과학의 아버지입니다.

and in many ways, the father of AI as well.

그리고 여러 측면에서 인공지능의 아버지이기도 하죠.

So if we think about this problem,

이런 문제를 생각해볼까요.

the problem of creating something more intelligent than your own species,

우리 인류의 지능을 뛰어넘는 무언가를 창조하는 문제입니다.

we might call this "the gorilla problem,"

이른바 "고릴라 문제"라 할 수 있죠.

because gorillas' ancestors did this a few million years ago,

수만 년 전 고릴라들의 조상들도 같은 고민을 했을테니까요.

and now we can ask the gorillas:

그럼 이제 고릴라들에게 이렇게 물어보면 어떨까요.

Was this a good idea?

"좋은 아이디어였나요?"

So here they are having a meeting to discuss whether it was a good idea,

고릴라들은 좋은 생각이었는지 의논하기 위해 모였습니다.

and after a little while, they conclude, no,

그리고 잠시 후 결론을 내립니다.

this was a terrible idea.

최악의 아이디어였다고 결론짓죠.

Our species is in dire straits.

그 때문에 자신들이 곤경에 처했다면서요.

In fact, you can see the existential sadness in their eyes.

실제로 그들 눈에서 존재론적 슬픔이 엿보이네요.

(Laughter)

(웃음)

So this queasy feeling that making something smarter than your own species

따라서 우리보다 더 뛰어난 무언가를 만들어낸다는 이러한 초조한 느낌은

is maybe not a good idea --

좋은 아이디어가 아닐 겁니다.

what can we do about that?

그럼 어떻게 해야 할까요?

Well, really nothing, except stop doing AI,

음, 사실 인공지능을 중단시키는 것 말고는 딱히 방법이 없습니다.

and because of all the benefits that I mentioned

그리고 제가 앞서 말씀드렸던 모든 장점들 때문이기도 하고

and because I'm an AI researcher,

물론 제가 인공지능을 연구하고 있어서도 그렇지만

I'm not having that.

저는 중단을 고려하지는 않습니다.

I actually want to be able to keep doing AI.

저는 사실 계속 인공지능을 가능하게 하고 싶습니다.

So we actually need to nail down the problem a bit more.

여기서 이 문제에 대해 좀 더 살펴볼 필요가 있습니다.

What exactly is the problem?

문제가 정확히 무엇일까요?

Why is better AI possibly a catastrophe?

왜 뛰어난 인공지능은 재앙을 뜻할까요?

So here's another quotation:

자, 이런 말도 있습니다.

"We had better be quite sure that the purpose put into the machine

"기계에 부여한 그 목적이 우리가 정말 원했던 목적인지를

is the purpose which we really desire."

좀 더 확실히 해두었어야 합니다."

This was said by Norbert Wiener in 1960,

이건 노버트 위너가 1960년에 한 말입니다.

shortly after he watched one of the very early learning systems

매우 초기의 기계 학습 장치가 체스 두는 법을 배우고

learn to play checkers better than its creator.

사람보다 체스를 더 잘 두게 된 것을 보고 바로 한 말이죠.

But this could equally have been said

하지만 어떻게 보자면

마이더스 왕과 같다고 할 수도 있습니다.

by King Midas.

King Midas said, "I want everything I touch to turn to gold,"

손대는 모든 것이 금으로 변하길 원했던 왕이죠.

그리고 그가 원했던대로 실제로 그렇게 되었습니다.

and he got exactly what he asked for.

That was the purpose that he put into the machine,

그게 바로 그가 기계에 입력한 목표입니다.

so to speak,

비유를 하자면 그렇죠.

and then his food and his drink and his relatives turned to gold

그리고 그의 음식, 술, 가족까지 모두 금으로 변했습니다.

and he died in misery and starvation.

그리고 그는 처절함과 배고픔 속에서 죽었습니다.

So we'll call this "the King Midas problem"

우리는 이것을 "마이더스 왕의 딜레마"라고 부릅니다.

of stating an objective which is not, in fact,

이 딜레마는 그가 말한 목적이 실제로 그가 정말 원했던 것과

truly aligned with what we want.

동일하지 않게 되는 문제입니다.

In modern terms, we call this "the value alignment problem."

현대 용어로는 "가치 조합 문제"라고 하죠.

Putting in the wrong objective is not the only part of the problem.

잘못된 목표를 입력하는 것만 문제가 되는 것은 아닙니다.

There's another part.

또 다른 문제가 있습니다.

If you put an objective into a machine,

여러분이 기계에 목표를 입력할 때

even something as simple as, "Fetch the coffee,"

"커피를 갖고 와"같이 단순한 것이라고 해도

the machine says to itself,

기계는 이렇게 생각할지 모릅니다.

"Well, how might I fail to fetch the coffee?

"자, 어떻게 하면 내가 커피를 못가져가게 될까?

Someone might switch me off.

누가 전원을 꺼버릴 수도 있잖아.

OK, I have to take steps to prevent that.

좋아, 그런 일을 막기 위해 조치를 취해야겠어.

I will disable my 'off' switch.

내 '꺼짐' 버튼을 고장 내야겠어.

I will do anything to defend myself against interference

주어진 임무를 못하게 방해하는 것들로부터

with this objective that I have been given."

나를 보호하기 위해 뭐든지 할 거야. "

So this single-minded pursuit

사실, 이렇게 방어적 자세로

in a very defensive mode of an objective that is, in fact,

오직 목표 달성만을 추구하는 것은

not aligned with the true objectives of the human race --

인류의 진실된 목표와 일치하지는 않습니다.

that's the problem that we face.

우리가 직면한 문제점이 바로 이것입니다.

And in fact, that's the high-value takeaway from this talk.

이건 사실 이번 강연 에서 무척 고차원적인 부분인데요.

If you want to remember one thing,

만약 하나만 기억해야 한다면

it's that you can't fetch the coffee if you're dead.

여러분이 죽으면 커피를 가져다 주지 않을 거라는 것입니다.

(Laughter)

(웃음)

It's very simple. Just remember that. Repeat it to yourself three times a day.

간단하죠. 하루에 세 번씩 외우세요.

(Laughter)

(웃음)

And in fact, this is exactly the plot

그리고 사실 이게 바로

of "2001: [A Space Odyssey]"

"2001:스페이스 오디세이" 영화의 줄거리입니다.

HAL has an objective, a mission,

인공지능인 '할(HAL)'은 목표, 즉 임무를 갖고 있습니다.

which is not aligned with the objectives of the humans,

이건 인류의 목표와 일치하지는 않습니다.

and that leads to this conflict.

그래서 결국 서로 충돌하죠.

Now fortunately, HAL is not superintelligent.

다행히도 HAL의 지능이 아주 뛰어나진 않았습니다.

He's pretty smart, but eventually Dave outwits him

꽤 똑똑했지만 결국 데이브가 HAL보다 한 수 위였고

and manages to switch him off.

HAL의 전원을 끌 수 있게 됩니다.

But we might not be so lucky.

하지만 우리는 영화처럼 운이 좋지 않을 수 있습니다.

So what are we going to do?

그럼 어떻게 해야 할까요?

I'm trying to redefine AI

저는 인공지능을 다시 정의하려 합니다.

to get away from this classical notion

고전적 개념을 깨려고 해요.

of machines that intelligently pursue objectives.

기계는 지능적으로 목표를 달성하려 한다는 개념이죠.

There are three principles involved.

여기에는 세 가지 원칙이 있습니다.

The first one is a principle of altruism, if you like,

첫번째는 이타주의 원칙입니다.

that the robot's only objective

로봇의 유일한 목적은

is to maximize the realization of human objectives,

인간의 목표와

인간의 가치를 최대한 실현하는 것입니다.

of human values.

And by values here I don't mean touchy-feely, goody-goody values.

여기서 말하는 가치는 닭살돋는 숭고한 가치를 의미하진 않습니다.

I just mean whatever it is that the human would prefer

제가 말씀드리는 가치는

어떻게 해야 사람들의 삶이 더 나아질지를 의미하는 것입니다.

their life to be like.

And so this actually violates Asimov's law

그리고 사실 이건 아시모프의 원칙 중에서

that the robot has to protect its own existence.

로봇은 스스로를 보호해야 한다는 원칙과 충돌합니다.

It has no interest in preserving its existence whatsoever.

어쨌든 로봇은 스스로를 보호해서 얻는 것이 없죠.

The second law is a law of humility, if you like.

두 번째 원칙은 겸손에 관한 법칙이라고 말할 수 있습니다.

And this turns out to be really important to make robots safe.

로봇의 안전을 지키기 위한 아주 중요한 원칙이죠.

It says that the robot does not know

이 원칙은

로봇들은 인간이 추구하는 가치가 무엇인지는 알 수 없다는 것입니다.

what those human values are,

so it has to maximize them, but it doesn't know what they are.

가치를 극대화해야 하지만 그것이 무엇인지는 알지 못한다는 것이죠.

And that avoids this problem of single-minded pursuit

그렇기 때문에 이를 통해서

목표만을 맹목적으로 추구하는 문제를 피할 수 있습니다.

of an objective.

This uncertainty turns out to be crucial.

이런 불확실성은 매우 중요한 부분입니다.

Now, in order to be useful to us,

자, 우리에게 도움이 되기 위해서는

it has to have some idea of what we want.

우리가 무엇을 원하는지에 대한 개념을 갖고 있어야 합니다.

It obtains that information primarily by observation of human choices,

로봇은 주로 사람들이 선택하는 것을 관찰해서 정보를 얻습니다.

so our own choices reveal information

그래서 우리들의 선택 안에는

about what it is that we prefer our lives to be like.

우리 삶이 어떻게 되기를 바라는지에 관한 정보가 있습니다

So those are the three principles.

이것들이 세 개의 원칙입니다.

자 그러면 이것이 다음 질문에 어떻게 적용되는지 살펴봅시다.

Let's see how that applies to this question of:

"Can you switch the machine off?" as Turing suggested.

기계의 전원을 끌 수 있을지에 관해 앨런 튜링이 제기했던 문제입니다.

So here's a PR2 robot.

여기에 PR2 로봇이 있습니다.

This is one that we have in our lab,

저희 연구소에 있는 로봇입니다.

and it has a big red "off" switch right on the back.

이 로봇 뒤에는 커다랗고 빨간 "꺼짐" 버튼이 있습니다.

The question is: Is it going to let you switch it off?

자 여기에서 질문입니다. 로봇은 여러분이 전원을 끄도록 할까요?

If we do it the classical way,

고전적 방법대로 로봇에게 이런 목표를 부여한다고 치죠.

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

"커피를 갖고 간다. 나는 커피를 가져가야만 한다.

I can't fetch the coffee if I'm dead,"

내 전원이 꺼지면 커피를 갖고 갈 수 없다."

so obviously the PR2 has been listening to my talk,

PR2는 제 명령을 그대로 따르기 위해 이렇게 말하겠죠.

and so it says, therefore, "I must disable my 'off' switch,

"좋아, 내 '꺼짐' 버튼을 망가뜨려야 겠어.

and probably taser all the other people in Starbucks

그리고 스타벅스에 있는 모든 사람들을 전기총으로 쏴야겠어.

who might interfere with me."

이 사람들이 장애물이 될 테니까."

(Laughter)

(웃음)

So this seems to be inevitable, right?

이렇게 될 수 밖에 없잖아요.

This kind of failure mode seems to be inevitable,

이러한 종류의 실패 모드는 피할 수 없을 겁니다.

and it follows from having a concrete, definite objective.

확실하고 명확한 목적을 갖고 그대로 따르고 있으니까요.

So what happens if the machine is uncertain about the objective?

그러면 이 기계가 목표를 부정확하게 알고 있으면 어떤 일이 일어날까요?

Well, it reasons in a different way.

음, 좀 다른 방식으로 이렇게 생각하게 될 겁니다.

It says, "OK, the human might switch me off,

"좋아, 인간이 내 전원을 끌 수 있어.

but only if I'm doing something wrong.

하지만 내가 뭔가 잘못했을 때만 그럴 거야.

Well, I don't really know what wrong is,

그런데 나는 잘못한다는 게 뭔지는 모르지만

but I know that I don't want to do it."

잘못하고 싶지는 않아."

자, 여기에 첫 번째와 두 번째 원칙이 있습니다.

So that's the first and second principles right there.

"So I should let the human switch me off."

"그러면 나는 인간이 전원을 끄게 놔둬야겠다."

And in fact you can calculate the incentive that the robot has

사실 로봇이 인간으로 하여금 전원을 끌 수 있도록 놔둘 때

to allow the human to switch it off,

어떤 이득이 있을지 예측할 수 있고

and it's directly tied to the degree

이것은 기저에 깔린

of uncertainty about the underlying objective.

목적에 대한 불확실성의 정도와 직접적으로 연결됩니다.

And then when the machine is switched off,

그리고 로봇의 전원이 꺼지면

that third principle comes into play.

세 번째 원칙이 작동하게 됩니다.

It learns something about the objectives it should be pursuing,

로봇은 추구해야 하는 목표에 대해 이해하게 되죠.

because it learns that what it did wasn't right.

목표 수행에서 무엇이 잘못됐는지 알게 되기 때문입니다.

In fact, we can, with suitable use of Greek symbols,

사실 우리가 그리이스 문자를 사용해서

as mathematicians usually do,

수학을 늘 공부하는 것처럼

we can actually prove a theorem

우리는 하나의 가설을 증명할 수 있습니다.

that says that such a robot is provably beneficial to the human.

어떤 정의냐면, 이런 로봇은 아마도 인간에게 도움이 될 거라는 겁니다.

You are provably better off with a machine that's designed in this way

아마도 이렇게 작동하게 만들어진 기계로 인해 혜택을 보게 될 겁니다.

than without it.

이런 기계가 없을 때보다 말이죠.

So this is a very simple example, but this is the first step

이것은 매우 간단한 예시입니다.

인간과 공존할 수 있는 인공지능으로 무얼 할 수 있는지에 대한 첫걸음이죠.

in what we're trying to do with human-compatible AI.

Now, this third principle,

자, 이제 세 번째 원칙입니다.

I think is the one that you're probably scratching your head over.

이걸 보고 어쩌면 여러분이 머리를 긁적이실 것 같은데요.

You're probably thinking, "Well, you know, I behave badly.

이렇게 생각할 수도 있습니다. "음, 내가 좀 못됐잖아.

I don't want my robot to behave like me.

나는 내 로봇이 나처럼 행동하는 건 별로야.

I sneak down in the middle of the night and take stuff from the fridge.

나는 한밤중에 몰래 냉장고를 뒤져서 먹을 걸 찾기도 하잖아.

I do this and that."

그것 말고도 많지."

There's all kinds of things you don't want the robot doing.

로봇이 하지 않았으면 하는 여러 행동들이 있을 겁니다.

But in fact, it doesn't quite work that way.

그런데, 그런 일은 없을 거예요.

Just because you behave badly

단순히 여러분이 나쁜 행동을 했다고 해서

doesn't mean the robot is going to copy your behavior.

로봇이 그 행동을 그대로 따라서 하는 건 아닙니다.

It's going to understand your motivations and maybe help you resist them,

로봇은 여러분의 동기를 이해하고 그 나쁜 행동을 하지 않도록 돕습니다.

if appropriate.

만약 그게 옳다면 말이죠.

But it's still difficult.

하지만 이건 어려운 문제입니다.

What we're trying to do, in fact,

사실 우리가 하려고 하는 건

is to allow machines to predict for any person and for any possible life

기계로 하여금 누군가를 대상으로 앞으로 그가 살게 될 삶이 어떠한지를

that they could live,

예측하게 하는 겁니다.

and the lives of everybody else:

그리고 다른 여러 모두의 사람들의 삶을 말이죠.

Which would they prefer?

어떤 것을 그들이 더 선호할까요?

And there are many, many difficulties involved in doing this;

이를 가능하게 하려면 너무나 많은 난관을 넘어야 합니다.

I don't expect that this is going to get solved very quickly.

저는 이 문제들이 단기간에 해결되리라고 보지 않습니다.

The real difficulties, in fact, are us.

사실 그중 가장 큰 난관은 바로 우리 자신입니다.

As I have already mentioned, we behave badly.

앞서 말씀드렸듯이 우리는 나쁜 행동을 합니다.

사실 우리 중에 누군가는 정말 형편 없을지도 모르죠.

In fact, some of us are downright nasty.

Now the robot, as I said, doesn't have to copy the behavior.

말씀드렸듯이 로봇은 그런 행동을 그대로 따라 하지는 않습니다.

The robot does not have any objective of its own.

로봇은 스스로를 위한 어떤 목적도 갖지 않습니다.

It's purely altruistic.

로봇은 순전히 이타적이죠.

And it's not designed just to satisfy the desires of one person, the user,

그리고 사용자라는 한 사람만의 욕구를 충족하기 위해 만들어진 것도 아닙니다.

but in fact it has to respect the preferences of everybody.

사실은 모든 사람들이 원하는 바를 고려해야 하죠.

So it can deal with a certain amount of nastiness,

어느 정도의 형편없는 상황은 감내하게 될 것입니다.

and it can even understand that your nastiness, for example,

여러분이 아무리 형편없어도 어느 정도는 양해해 주겠죠.

예를 들어 여러분이 여권 발급 공무원인데 뇌물을 받았다고 칩시다.

you may take bribes as a passport official

because you need to feed your family and send your kids to school.

그런데 뇌물을 받은 이유가 생활비와 아이들 교육을 위한 것이었다면

It can understand that; it doesn't mean it's going to steal.

로봇은 이런 걸 이해하고, 빼앗아가지는 않을 겁니다.

In fact, it'll just help you send your kids to school.

오히려 로봇은 여러분의 자녀가 학교에 갈 수 있도록 도울 거예요.

We are also computationally limited.

우리의 연산능력은 한계가 있습니다.

Lee Sedol is a brilliant Go player,

이세들은 천재 바둑기사입니다.

but he still lost.

하지만 그는 로봇에게 졌죠.

So if we look at his actions, he took an action that lost the game.

그의 수를 살펴보면, 그는 로봇에게 질 수 밖에 없는 수를 두었습니다.

That doesn't mean he wanted to lose.

그렇다고 해서 그가 패배를 원했다는 건 아닙니다.

So to understand his behavior,

따라서 그의 수를 이해하려면

we actually have to invert through a model of human cognition

우리는 인간의 지각 모델을 아예 뒤집어 봐야 합니다

that includes our computational limitations -- a very complicated model.

인간의 지각 모델은 우리의 계산적 한계를 담고 있어서 매우 복잡합니다.

But it's still something that we can work on understanding.

하지만 연구를 통해서 계속 발전하고 있습니다.

Probably the most difficult part, from my point of view as an AI researcher,

인공지능 연구자의 입장에서 제가 보기에 가장 어려운 부분은

is the fact that there are lots of us,

인간이 너무 많다는 것입니다.

and so the machine has to somehow trade off, weigh up the preferences

그래서 인공지능 기계는 수많은 사람들의 선호도를 비교하면서

of many different people,

균형을 유지해야 하죠.

and there are different ways to do that.

거기에는 여러 방법이 있습니다.

Economists, sociologists, moral philosophers have understood that,

그에 관해 경제학자, 사회학자, 윤리학자들이 연구를 수행했고

and we are actively looking for collaboration.

각 분야가 서로 협력하는 시도를 하고 있습니다.

Let's have a look and see what happens when you get that wrong.

자 여러분이 잘못했을 때 어떤 일이 일어날지 살펴보죠.

So you can have a conversation, for example,

예를 들어 여러분이 대화를 하고 있습니다.

with your intelligent personal assistant

여러분의 인공지능 비서와 이야기를 하고 있습니다.

that might be available in a few years' time.

이런 대화는 앞으로 몇 년 안에 가능해질 겁니다.

Think of a Siri on steroids.

시리를 생각해보세요.

So Siri says, "Your wife called to remind you about dinner tonight."

시리가 "사모님이 오늘 저녁 약속을 잊지말라고 전화하셨어요"라고 말합니다.

And of course, you've forgotten. "What? What dinner?

여러분은 약속을 잊고 있었죠.

"뭐라고? 무슨 저녁? 무슨 말 하는거야?"

What are you talking about?"

"Uh, your 20th anniversary at 7pm."

"음, 7시로 예정된 결혼 20주년 축하 저녁식사 입니다."

"I can't do that. I'm meeting with the secretary-general at 7:30.

"시간이 안되는데.. 사무총장님과 7시 반에 약속이 있단 말이야.

How could this have happened?"

어떻게 이렇게 겹쳤지?"

"Well, I did warn you, but you overrode my recommendation."

"음, 제가 말씀드리긴 했지만 제 이야기는 무시하셨죠."

"Well, what am I going to do? I can't just tell him I'm too busy."

"그럼 어떡하지? 사무총장님한테 바쁘다고 핑계를 댈 수는 없잖아."

"Don't worry. I arranged for his plane to be delayed."

"걱정마세요. 제가 사무총장님이 타신 비행기가 연착되도록 손 썼습니다."

(Laughter)

(웃음)

"Some kind of computer malfunction."

"알 수 없는 컴퓨터 오류가 일어나도록 했죠."

(Laughter)

(웃음)

"Really? You can do that?"

"정말? 그렇게 할 수 있어?"

"He sends his profound apologies

"사무총장님이 정말 미안하다고 하셨습니다.

and looks forward to meeting you for lunch tomorrow."

그리고 대신 내일 점심에 꼭 보자고 하셨습니다."

(Laughter)

(웃음)

So the values here -- there's a slight mistake going on.

이 상황에서 가치를 둔 것은.. 방향이 조금 잘못되기는 했지만요.

This is clearly following my wife's values

이건 분명 제 아내에게 가치를 둔 결정입니다.

which is "Happy wife, happy life."

"아내가 행복하면, 삶이 행복하다." 라는 말처럼요.

(Laughter)

(웃음)

It could go the other way.

다른 상황도 벌어질 수 있습니다.

You could come home after a hard day's work,

여러분이 정말 힘든 하루를 보내고 집에 왔습니다.

and the computer says, "Long day?"

그리고 컴퓨터가 말합니다. "힘든 하루였죠?"

"Yes, I didn't even have time for lunch."

"맞아, 점심 먹을 시간도 없었어."

"배가 많이 고프시겠네요."

"You must be very hungry."

"Starving, yeah. Could you make some dinner?"

"배고파 죽을 것 같아. 저녁 좀 해줄래?"

"There's something I need to tell you."

"제가 먼저 드릴 말씀이 있습니다."

(Laughter)

(웃음)

"There are humans in South Sudan who are in more urgent need than you."

"남 수단에는 주인님보다 더 심한 굶주림에 시달리는 사람들이 있습니다."

(Laughter)

(웃음)

"So I'm leaving. Make your own dinner."

"저는 이제 전원을 끄겠습니다. 저녁은 알아서 드세요."

(Laughter)

(웃음)

So we have to solve these problems,

우리는 이런 문제들을 해결해야 합니다.

and I'm looking forward to working on them.

그리고 해결되리라고 기대합니다.

There are reasons for optimism.

제가 낙관하는 이유가 있습니다.

One reason is,

그 중 하나는

there is a massive amount of data.

정말 방대한 양의 정보가 있다는 거죠.

Because remember -- I said they're going to read everything

기계들은 인류가 기록해 둔 모든 자료를 읽어 들일 것입니다.

the human race has ever written.

우리가 기록한 자료 대부분은 누가 무엇을 했고

Most of what we write about is human beings doing things

누가 그 일에 반대했는가에 관한 것들입니다.

and other people getting upset about it.

So there's a massive amount of data to learn from.

이런 방대한 양의 정보에서 배울 점이 있습니다.

There's also a very strong economic incentive

이를 통해 엄청난 경제적 이득을 볼 수 있죠.

to get this right.

제대로 활용한다면요.

So imagine your domestic robot's at home.

자, 여러분 집에 가정부 로봇이 있다고 상상해보세요.

You're late from work again and the robot has to feed the kids,

여러분이 야근으로 귀가가 늦어졌고, 로봇이 아이들의 식사를 챙겨야 합니다.

and the kids are hungry and there's nothing in the fridge.

아이들은 배가 고프고 냉장고에는 먹을 게 없습니다.

And the robot sees the cat.

그때 로봇은 고양이를 쳐다봅니다.

(Laughter)

(웃음)

And the robot hasn't quite learned the human value function properly,

그리고 이 로봇은 인간의 가치 평가 방식을 아직 제대로 배우지 않았습니다.

so it doesn't understand

그래서 고양이의 영양학적 가치보다 인간이 고양이를 아끼는 감성적 가치가

the sentimental value of the cat outweighs the nutritional value of the cat.

더 중요하다는 것을 이해하지 못합니다.

(Laughter)

(웃음)

어떤 일이 일어날까요?

So then what happens?

Well, it happens like this:

음, 이런 일이 일어날 겁니다.

"Deranged robot cooks kitty for family dinner."

"미친 로봇이 저녁 메뉴로 고양이를 요리했다"

That one incident would be the end of the domestic robot industry.

이 사건 하나로 가정용 로봇 업계는 망해버릴 수 있습니다.

So there's a huge incentive to get this right

따라서 초지능을 가진 로봇이 출현하기 전에

long before we reach superintelligent machines.

이걸 바로 잡는 것이 무척 중요합니다.

So to summarize:

자, 요약을 하자면

I'm actually trying to change the definition of AI

저는 인공지능에 대한 정의를 바꾸기 위해 노력합니다.

so that we have provably beneficial machines.

그래야만 정말 도움이 되는 로봇들을 가질 수 있을 겁니다.

And the principles are:

여기에는 기본 원칙이 있죠.

machines that are altruistic,

로봇은 이타적이어야 하고

that want to achieve only our objectives,

우리가 원하는 목적만을 이루려고 해야 합니다.

but that are uncertain about what those objectives are,

하지만 그 목적이 정확히 무엇인지 몰라야 합니다.

and will watch all of us

그리고 우리 인간을 잘 살펴야 하죠.

to learn more about what it is that we really want.

우리가 진정 무엇을 원하는지 이해하기 위해서입니다.

And hopefully in the process, we will learn to be better people.

그리고 그 과정에서 우리는 더 나은 사람이 되는 법을 배우게 될 것입니다.

Thank you very much.

감사합니다.

(Applause)

(웃음)

Chris Anderson: So interesting, Stuart.

CA: 정말 흥미롭네요. 스튜어트.

We're going to stand here a bit because I think they're setting up

다음 강연 순서를 준비하는 동안에 잠깐 이야기를 나누겠습니다.

for our next speaker.

A couple of questions.

몇 가지 질문이 있는데요.

So the idea of programming in ignorance seems intuitively really powerful.

무지한 상태에서 프로그래밍한다는 게 무척 대단하다고 생각됩니다.

As you get to superintelligence,

초지능 연구를 하고 계시는데요.

what's going to stop a robot

로봇의 이런 부분을 막을 수 있을까요?

reading literature and discovering this idea that knowledge

로봇이 문학 서적을 읽고

지식이 무지보다 더 낫다는 개념을 발견하게 되고

is actually better than ignorance

and still just shifting its own goals and rewriting that programming?

그러면서도 계속 스스로 목적을 바꾸고

그걸 다시 프로그래밍히는 걸 막을 수 있나요?

Stuart Russell: Yes, so we want it to learn more, as I said,

SR: 네. 말씀드렸다시피, 우리는 로봇이 더 많이 배우길 바랍니다.

about our objectives.

우리의 목표에 대해서 말이죠

It'll only become more certain as it becomes more correct,

목표가 더 정확해질수록 더 확실해지게 됩니다.

so the evidence is there

그런 증거들이 있습니다.

and it's going to be designed to interpret it correctly.

그리고 목표를 정확하게 해석할 수 있도록 설계될 겁니다.

It will understand, for example, that books are very biased

예를 들어, 인공지능이 책들을 읽고

그 안에 담긴 내용들이 한쪽으로 편향되어 있다고 이해하게 될 겁니다.

in the evidence they contain.

They only talk about kings and princes

그 책들의 내용은

왕과 왕자, 뛰어난 백인 남성들의 업적들 뿐이죠.

and elite white male people doing stuff.

So it's a complicated problem,

이것은 어려운 문제입니다.

but as it learns more about our objectives

하지만 우리의 목적에 대해 더 많이 알게 될수록

it will become more and more useful to us.

우리에게 더욱 유용하게 될 겁니다.

CA: And you couldn't just boil it down to one law,

CA: 그런데 그걸 하나의 법칙으로만 말할 수는 없겠죠.

you know, hardwired in:

말하자면, 이렇게 입력하는 건가요.

"if any human ever tries to switch me off,

"만약 어떤 인간이라도 내 전원을 끄려고 한다면

I comply. I comply."

나는 복종한다. 복종한다"

SR: Absolutely not.

SR: 물론 아닙니다. 그건 정말 끔찍한 생각이에요.

That would be a terrible idea.

So imagine that you have a self-driving car

무인자동차를 갖고 있다고 생각해보세요.

and you want to send your five-year-old

그리고 다섯 살이 된 아이를 유치원에 데려다 주려고 합니다.

off to preschool.

Do you want your five-year-old to be able to switch off the car

그때 운전중에 다섯 살짜리 아이가 전원을 꺼버리게 두시겠어요?

while it's driving along?

아마 아닐 겁니다.

Probably not.

로봇은 작동하는 사람이 얼마나 이성적이고 지각이 있는지 파악합니다.

So it needs to understand how rational and sensible the person is.

The more rational the person,

더 이성적인 사람이 전윈을 꺼주기를 바라겠죠.

the more willing you are to be switched off.

If the person is completely random or even malicious,

만약 어떤 사람인지 전혀 모르고 심지어 악의적인 사람이라면

then you're less willing to be switched off.

그런 사람이 전원을 끄기를 원하지는 않을 겁니다.

CA: All right. Stuart, can I just say,

CA: 알겠습니다. 스튜어드씨,

I really, really hope you figure this out for us.

저희 모두를 위해 그 문제를 해결해 주시기를 바랍니다.

좋은 강연 감사합니다. 정말 놀라운 이야기였습니다

Thank you so much for that talk. That was amazing.

SR: Thank you.

SR: 감사합니다

(Applause)

(박수)