Don't fear superintelligent AI | Grady Booch

번역: Yeonsoo Kwon 검토: Jihyeon J. Kim

When I was a kid, I was the quintessential nerd.

제가 어렸을 적, 저는 전형적인 괴짜였습니다.

I think some of you were, too.

여러분 중 몇몇도 그랬을 거예요.

(Laughter)

(웃음)

And you, sir, who laughed the loudest, you probably still are.

거기 가장 크게 웃으신 분은 여전히 그럴 것 같군요.

(Laughter)

(웃음)

I grew up in a small town in the dusty plains of north Texas,

저는 북텍사스 황무지의 작은 마을에서

the son of a sheriff who was the son of a pastor.

목사인 할아버지와 보안관인 아버지 밑에서 자랐습니다.

Getting into trouble was not an option.

말썽피우는 일은 생각도 할 수 없었습니다.

And so I started reading calculus books for fun.

그래서 저는 미적분학 책을 재미로 읽었습니다.

(Laughter)

(웃음)

You did, too.

당신도 그랬잖아요.

That led me to building a laser and a computer and model rockets,

그것으로 저는 레이저, 컴퓨터와 모델 로켓을 만들었지요.

and that led me to making rocket fuel in my bedroom.

그러다 보니 제 방에 로켓 연료를 만들게 됐어요.

Now, in scientific terms,

현재, 과학적 관점에서

we call this a very bad idea.

우리는 이것을 매우 나쁜 생각이라고 하죠.

(Laughter)

(웃음)

Around that same time,

또한 그 시절에

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

스탠리 큐브릭의 "2001년: 스페이스 오디세이"가

and my life was forever changed.

개봉하였으며 제 삶은 완전히 바뀌었죠.

I loved everything about that movie,

저는 그 영화의 모든 것이 좋았습니다.

especially the HAL 9000.

특히 HAL 9000은 특별했죠.

Now, HAL was a sentient computer

HAL은 지각을 할 수 있는 컴퓨터로

designed to guide the Discovery spacecraft

디스커버리호가 지구에서 목성으로 가도록

from the Earth to Jupiter.

가이드하는 역할을 했습니다.

HAL was also a flawed character,

HAL은 또한 결함이 있어서

for in the end he chose to value the mission over human life.

결국 끝엔 인간의 생명을 뒤로하고 주어진 임무를 택하게 됩니다.

Now, HAL was a fictional character,

HAL은 허구적 캐릭터이지만

but nonetheless he speaks to our fears,

그럼에도 불구하고

그는 우리에게 공포감을 선사합니다.

our fears of being subjugated

인류에게 냉담한 감정이 없는 인공적인 지능에게

by some unfeeling, artificial intelligence

who is indifferent to our humanity.

지배당하게 될 것이라는 공포죠.

I believe that such fears are unfounded.

저는 그러한 공포가 근거 없다고 생각합니다.

Indeed, we stand at a remarkable time

확실히 우리는 인간 역사에서

in human history,

매우 중요한 시기에 있습니다.

where, driven by refusal to accept the limits of our bodies and our minds,

우리는 우리 몸과 정신의 한계를 받아들이길 거부하며

we are building machines

기계를 만들어내고 있습니다.

of exquisite, beautiful complexity and grace

우아하고 복잡하면서도 아름답고 정교하게요.

that will extend the human experience

그리고 그것은 인간의 경험을

in ways beyond our imagining.

상상을 초월할만큼 확장시킬 것입니다.

After a career that led me from the Air Force Academy

저는 공군사관학교에서

to Space Command to now,

현재 우주 사령부로 와서

I became a systems engineer,

시스템 엔지니어가 됐고

and recently I was drawn into an engineering problem

최근 나사의 화성과 관련된 기술문제에 관여하고 있습니다.

associated with NASA's mission to Mars.

Now, in space flights to the Moon,

오늘날 우리는 휴스턴 우주 비행 관제센터를 통해

we can rely upon mission control in Houston

달을 향한 우주 비행을

to watch over all aspects of a flight.

모든 측면에서 지켜볼 수 있습니다.

However, Mars is 200 times further away,

하지만 화성은 200배 멀리 떨어져 있으며

and as a result it takes on average 13 minutes

신호가 지구에서 화성까지 평균적으로 13분 걸립니다.

for a signal to travel from the Earth to Mars.

If there's trouble, there's not enough time.

문제가 있다면 시간이 충분하지 않다는 것이지요.

And so a reasonable engineering solution

그리고 합당한 기술적 방안은

calls for us to put mission control

우주 비행 관제 센터를

inside the walls of the Orion spacecraft.

오리온 우주선 벽 안에 넣는 것이지요.

Another fascinating idea in the mission profile

다른 흥미로운 임무 개요 아이디어는

places humanoid robots on the surface of Mars

사람이 직접 도착하기 전에

before the humans themselves arrive,

인간형 로봇을 먼저 화성에 두어

first to build facilities

시설들을 먼저 짓게 한 후

and later to serve as collaborative members of the science team.

과학팀의 협력 멤버로 두는 것입니다.

Now, as I looked at this from an engineering perspective,

이제 제가 이것을 기술적 측면에서 보면

it became very clear to me that what I needed to architect

제가 만들어야 하는 것이

was a smart, collaborative,

똑똑하고 협력적인

socially intelligent artificial intelligence.

사회적 지능의 인공 지능임을 알 수 있습니다.

In other words, I needed to build something very much like a HAL

다른 말로, 저는 살인하는 경향이 없는

but without the homicidal tendencies.

HAL을 만들어야 한다는 것입니다.

(Laughter)

(웃음)

Let's pause for a moment.

잠시만 멈추고 생각하여봅시다.

Is it really possible to build an artificial intelligence like that?

그러한 인공지능을 만드는 것이 가능할까요?

Actually, it is.

사실, 가능합니다.

In many ways,

다양한 측면에서

this is a hard engineering problem

이것은 AI 요소가 있는 어려운 기술 문제이지

with elements of AI,

not some wet hair ball of an AI problem that needs to be engineered.

가벼운 설계적 인공지능 문제가 아닙니다.

To paraphrase Alan Turing,

앨런 튜링의 말을 정리하여 보자면

I'm not interested in building a sentient machine.

저는 감각이 있는 기계를 만드는 것에 흥미가 있는 것이 아닙니다.

I'm not building a HAL.

저는 HAL을 만드는 것이 아닙니다.

All I'm after is a simple brain,

저는 지능의 환상을 주는

something that offers the illusion of intelligence.

간단한 두뇌를 만들려는 것일 뿐입니다.

The art and the science of computing have come a long way

HAL이 상영된 후에

기계적 과학과 예술은 발전해왔으며

since HAL was onscreen,

and I'd imagine if his inventor Dr. Chandra were here today,

만일 발명가 샨드라가 오늘 이곳에 있었더라면

he'd have a whole lot of questions for us.

우리에게 많은 질문이 있었을 거라고 저는 상상합니다.

Is it really possible for us

수많은 기계들중 하나의 시스템을 뽑아

to take a system of millions upon millions of devices,

데이타의 흐름을 읽고

to read in their data streams,

그들의 실패를 예견하는게

to predict their failures and act in advance?

정말 가능한 것일까요?

Yes.

네.

Can we build systems that converse with humans in natural language?

우리와 자연스럽게 대화하는 시스템을 만들 수 있을까요?

Yes.

네.

Can we build systems that recognize objects, identify emotions,

물건을 인식하고, 감정을 알아보며, 감정을 나타내고

emote themselves, play games and even read lips?

게임을 하며, 입술을 읽는, 그런 시스템을 만들 수 있을까요?

Yes.

네.

Can we build a system that sets goals,

목표를 세워 그 목표를 향해 나아가며

that carries out plans against those goals and learns along the way?

그 과정에서 학습하는 시스템을 만들 수 있을까요?

Yes.

네.

Can we build systems that have a theory of mind?

마음 이론을 가지고 있는 시스템을 만들 수 있을까요?

This we are learning to do.

이것을 향해 우리는 나아가고 있습니다.

Can we build systems that have an ethical and moral foundation?

윤리적, 도덕적 배경을 가지고 있는 시스템을 만들 수 있을까요?

This we must learn how to do.

우리가 해야만 하는 것입니다.

So let's accept for a moment

그러므로 이러한 사명을 가진

that it's possible to build such an artificial intelligence

인공지능을 만드는 것이 가능하다는 것을

for this kind of mission and others.

받아들여 봅시다.

The next question you must ask yourself is,

그렇다면 이 질문을 스스로에게 물어보세요.

should we fear it?

우리는 두려워해야 할까요?

Now, every new technology

오늘날 모든 새로운 기술은

brings with it some measure of trepidation.

어느 정도의 두려움을 가져오지요.

When we first saw cars,

우리가 처음 차를 보았을 때

people lamented that we would see the destruction of the family.

사람들은 그것이 가족들을 무너뜨릴까봐 걱정했었습니다.

When we first saw telephones come in,

우리가 처음 전화를 보았을 때

people were worried it would destroy all civil conversation.

사람들은 그것이 대화를 없애버릴까봐 걱정했었습니다.

At a point in time we saw the written word become pervasive,

글자를 쓰는것이 보편화 되어갈 때

people thought we would lose our ability to memorize.

사람들은 기억력을 잃게 될 거라고 생각했었죠.

These things are all true to a degree,

어느 정도 맞는 말일 수 있지만

but it's also the case that these technologies

기술이 사람의 삶을 더 깊게 해주는 경우도

brought to us things that extended the human experience

in some profound ways.

있었다고 볼 수 있죠.

So let's take this a little further.

더 나아가봅시다.

I do not fear the creation of an AI like this,

저는 인공지능이 우리의 가치를 궁극적으로 구현할 것이라고 믿기에

because it will eventually embody some of our values.

인공지능의 발명을 두려워하지 않습니다.

Consider this: building a cognitive system is fundamentally different

이것을 고려하세요: 인식적인 시스템을 만드는 것은

than building a traditional software-intensive system of the past.

과거의 소프트웨어 중심 시스템을 만드는 것과 다릅니다.

We don't program them. We teach them.

우리는 그것을 프로그램하지 않고 가르칩니다.

In order to teach a system how to recognize flowers,

꽃을 알아보는것을 시스템에게 가르치기 위해서는

I show it thousands of flowers of the kinds I like.

수천 종류의 꽃을 보여주여야 합니다.

In order to teach a system how to play a game --

시스템에게 게임하는 법을 가르치기 위해서는

Well, I would. You would, too.

저도 그러고 싶고, 여러분도 그러겠지요.

I like flowers. Come on.

저는 꽃을 좋아해요, 정말로요.

To teach a system how to play a game like Go,

시스템에게 바둑같은 게임을 가르치기 위해서는

I'd have it play thousands of games of Go,

수천 번의 바둑 게임을 해주어야 할 것이며

but in the process I also teach it

그 과정에서 잘한 게임과 못한 게임을

how to discern a good game from a bad game.

구별하는것도 가르쳐야겠지요.

If I want to create an artificially intelligent legal assistant,

인공 지능에게 법률 보조일을 시키기 위해서는

I will teach it some corpus of law

대전 뿐만이 아니라

but at the same time I am fusing with it

자비와 정의등의 개념 역시 가르쳐야겠지요.

the sense of mercy and justice that is part of that law.

In scientific terms, this is what we call ground truth,

과학적으로, 우리가 말하는 근본적인 진실 및

and here's the important point:

중요한 사실이 여기 있습니다:

in producing these machines,

이러한 기계를 만들기 위해서는

we are therefore teaching them a sense of our values.

우리는 우리의 가치를 그들에게 가르쳐야합니다.

To that end, I trust an artificial intelligence

그 목적을 위해서, 저는 인공지능이

the same, if not more, as a human who is well-trained.

잘 훈련받은 사람보다 같거나 더 대단하다고 믿습니다.

But, you may ask,

하지만 여러분

what about rogue agents,

잘 설립된 로그 에이전트와 같은

some well-funded nongovernment organization?

비정부기관에 대하여 물을수 있겠죠?

I do not fear an artificial intelligence in the hand of a lone wolf.

저는 외로운 늑대에게 있는 인공지능을 두려워하지 않습니다.

Clearly, we cannot protect ourselves against all random acts of violence,

분명히, 우리는 마구잡이의 폭력에서 우리를 보호할 수 없지만

but the reality is such a system

실제적으로 보았을때

requires substantial training and subtle training

이는 근본적인 트레이닝을 요구하고

far beyond the resources of an individual.

이것은 개인의 능력치 바깥에 있는 일입니다.

And furthermore,

더 나아가 이것은

it's far more than just injecting an internet virus to the world,

인터넷 바이러스를 세상에 주입하여

where you push a button, all of a sudden it's in a million places

하나의 버튼을 눌러 전세계 인터넷을 폭파시키는것보다

and laptops start blowing up all over the place.

더 힘든 일입니다.

Now, these kinds of substances are much larger,

이제 이러한 것들은 훨씬 커졌으며

and we'll certainly see them coming.

우리는 이것들이 다가오는것을 확실하게 볼 수 있죠.

Do I fear that such an artificial intelligence

제가 인공지능이 인류를 위협할까봐

might threaten all of humanity?

두려워할까요?

If you look at movies such as "The Matrix," "Metropolis,"

"메트릭스", "메트로폴리스", "터미네이터" 같은

"The Terminator," shows such as "Westworld,"

서구의 영화들을 보면

they all speak of this kind of fear.

영화들은 이러한 두려움을 다루고 있습니다.

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

철학자 닉보스트롬의 "초지능"이라는 책에서

he picks up on this theme

그는 이 주제를 다루며

and observes that a superintelligence might not only be dangerous,

초지능이 위험할 뿐만 아니라

it could represent an existential threat to all of humanity.

인류에 있어서 모든 위험을 대변한다고 합니다.

Dr. Bostrom's basic argument

필자의 근본적인 주장은

is that such systems will eventually

이러한 시스템이 결국

have such an insatiable thirst for information

탐욕적으로 정보를 원하게 되어

that they will perhaps learn how to learn

인간의 필요와

and eventually discover that they may have goals

반대되는 목적을

that are contrary to human needs.

이루게 될거라는 것이죠.

Dr. Bostrom has a number of followers.

보스트롬 교수를 따르는 사람들이 많습니다.

He is supported by people such as Elon Musk and Stephen Hawking.

엘론머스크와 스티븐 호킹같은 사람들의 지지를 받고있죠.

With all due respect

천부적인 마음들에

to these brilliant minds,

외람된 말씀입니다만

I believe that they are fundamentally wrong.

저는 그들이 근본적으로 틀렸다고 생각합니다.

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

보스트롬 교수의 주장에는 살펴보아야 할 것들이 많고

and I don't have time to unpack them all,

지금 이것을 다 다룰 시간은 없지만

but very briefly, consider this:

아주 간략하게, 이것을 생각하여보세요.

super knowing is very different than super doing.

많이 아는 것은 많이 하는 것과 다릅니다.

HAL was a threat to the Discovery crew

HAL이 탐사팀에게 위협이 되었던 이유는

only insofar as HAL commanded all aspects of the Discovery.

단지 HAL이 탐사의 모든 측면에서 명령을 내렸기 때문이죠.

So it would have to be with a superintelligence.

초지능과 관련이 있습니다.

It would have to have dominion over all of our world.

그것은 우리 세상의 지배권을 가지게 될것입니다.

This is the stuff of Skynet from the movie "The Terminator"

초지능이 사람이 원하는것을

in which we had a superintelligence

명령받하게 되는것은

that commanded human will,

영화 "터미네이터"의 스카이넷을 통해 다뤄지는데

that directed every device that was in every corner of the world.

이는 모든 기기들이 전세계에 다 있는 경우입니다.

Practically speaking,

솔직하게 얘기하여보자면,

it ain't gonna happen.

이것은 일어나지 않을 일입니다.

We are not building AIs that control the weather,

우리는 날씨를 조정하거나, 파도를 이끌거나

that direct the tides,

예측할수 없고 혼란스러운 사람을 명령하는

that command us capricious, chaotic humans.

인공지능을 만들고있는것이 아닙니다.

And furthermore, if such an artificial intelligence existed,

그리고 이러한 인공지능이 있다면,

it would have to compete with human economies,

그것은 자원을 위하여

and thereby compete for resources with us.

인류의 경제와 경쟁해야겠지요.

And in the end --

결국에는

don't tell Siri this --

시리에게는 말하지 마세요.

we can always unplug them.

우리는 언제나 전원을 빼버릴 수 있습니다.

(Laughter)

(웃음)

We are on an incredible journey

우리는 기계들과 공진화하는

of coevolution with our machines.

놀랄만한 여행을 하고 있습니다.

The humans we are today

미래의 인간들은

are not the humans we will be then.

오늘날의 인간들과 다르겠지요.

To worry now about the rise of a superintelligence

초지능의 출현을 지금 걱정하는것은

is in many ways a dangerous distraction

기술의 발전이 우리에게

because the rise of computing itself

관심을 가져야만하는 많은

brings to us a number of human and societal issues

사회적, 인류적 이슈를 가져오기에

to which we must now attend.

위험한 분산이라고 볼 수 있습니다.

How shall I best organize society

그럼 어떻게 해야 인간의 노동이 덜 중요해진 사회를

when the need for human labor diminishes?

잘 구성할 수 있을까요?

How can I bring understanding and education throughout the globe

어떻게 해야 차이점을 존중하며

and still respect our differences?

교육과 이해를 세계적으로 가져올 수 있을까요?

How might I extend and enhance human life through cognitive healthcare?

인식적인 건강관리 시스템으로 어떻게 인간의 삶을 발전시킬까요?

How might I use computing

어떻게 기술적인 것들을 이용하여

to help take us to the stars?

우리가 별을 따도록 도울 수 있을까요?

And that's the exciting thing.

그것이 이 일의 신나는 부분입니다.

The opportunities to use computing

이제 우리는

to advance the human experience

기계를 통한 인류 발전을 이룰 수 있으며

are within our reach,

here and now,

지금 이곳에서 우리는 시작하고 있습니다.

and we are just beginning.

Thank you very much.

감사합니다.

(Applause)

(박수)