The Exciting, Perilous Journey Toward AGI | Ilya Sutskever | TED

번역: Noah Shin 검토: DK Kim

You've all experienced the progress of artificial intelligence.

모두 발전하는 인공 지능을 경험했을 것입니다.

Many of you may have spoken with a computer,

많은 분들이 컴퓨터에게 말을 걸어보았을 것이며

and a computer understood you

컴퓨터는 여러분의 질문을 이해하고 응답을 했을 것입니다.

and spoke back to you.

With the rate of progress being that it is,

현재와 같은 발전 속도라면

it's not difficult to imagine that at some point in the future,

언젠가 우리의 똑똑한 컴퓨터가 인간과 같은 수준으로 똑똑해지거나

our intelligent computers will become as smart or smarter than people.

그 이상으로 똑똑해지는 것을 생각하기가 어렵지 않을 것입니다.

And it's also not difficult to imagine that when that happens,

그리고 그런 일이 일어났을 경우

the impact of such artificial intelligence

그 인공 지능이 미치는 영향이 정말 정말 거대할 것이라고

is going to be truly, truly vast.

생각하는 것도 어렵지 않을 것입니다.

And you may wonder:

이제 궁금해지겠죠.

Is it going to be OK when technology is so impactful?

'기술의 영향력이 그렇게 커져도 괜찮은 걸까?'

And here my goal is to point out the existence of a force

여기서 제 목적은

여러분들이 아직 알아채지 못한 어떤 힘의 존재를 알리는 것이고

that many of you may have not noticed,

that gives me hope that indeed,

저는 이로써 우리가 결과적으로

we will be happy with the result.

행복해질 것이라는 희망을 가집니다.

So artificial intelligence.

인공 지능.

What is it, and how does it work?

그것은 무엇이며 어떻게 작동하는 걸까요?

Well, it turns out that it's very easy to explain

사실 인공 지능이 어떻게 작동하는지 설명하는 것은 매우 쉽습니다.

how artificial intelligence works.

Just one sentence.

한 문장으로 말하자면

Artificial intelligence is nothing but digital brains

인공 지능은 다른 게 아니라

대형 컴퓨터 안에 있는 디지털 뇌일 뿐입니다.

inside large computers.

That's what artificial intelligence is.

그것이 바로 인공 지능입니다.

Every single interesting AI that you've seen

여러분이 본 모든 흥미로운 인공 지능은

is based on this idea.

이 아이디어를 바탕으로 하고 있습니다.

Over the decades,

수십 년 동안 과학자들과 기술자들은

scientists and engineers have been figuring out

how such digital brains should work

이 디지털 뇌가 어떻게 작동해야 하는지

and how to build them, how to engineer them.

어떻게 설계하고 어떻게 만들어야 하는지를 연구해왔습니다.

Now, I find it interesting

저는 이게 흥미롭다고 생각합니다.

that the seat of intelligence in human beings is our biological brain.

인간의 지능이 자리하는 곳은 우리의 생물학적 뇌입니다.

It is fitting that the seat of intelligence

이에 들어맞게

인공 지능의 지능이 자리하는 곳은 인공 뇌입니다.

in artificial intelligence

is an artificial brain.

Here, I'd like to take a digression and tell you about how I got into AI.

여기서 잠시 본론에서 벗어나서

제가 어쩌다 AI에 관심을 가지게 되었는지 이야기하고 싶습니다.

There were three forces that pulled me into it.

저를 AI 세계로 끌어들인 세 가지 힘이 있었습니다.

The first one was that when I was a little child,

첫 번째는 제가 어렸을 때,

at around the age of five or six,

대여섯 살 정도 되었을 때,

I was very struck by my own conscious experience,

저는 제 자신의 의식적인 경험에 크게 충격받았습니다.

by the fact that I am me and I am experiencing things.

나는 나 자신이며 무언가를 경험하고 있다는 사실에요.

That when I look at things, I see them.

내가 뭔가를 보면 나는 그것들을 보는 것이죠.

Like, this feeling over time went away, though,

시간이 지남에 따라 이 느낌은 사라졌지만,

by simply mentioning it to you right now it comes back.

지금 언급하는 것만으로도 다시 바로 떠오릅니다.

But this this feeling of ...

하지만 이 느낌은 ...

That I am me, that you are you,

저는 '나는 나고 너는 너'라는 이 느낌이 매우 이상했고

I found it very strange and very disturbing almost.

거의 불안함을 느낄 정도였죠.

And so when I learned about artificial intelligence,

그래서 저는 인공 지능을 배웠을 때

I thought, wow, if we could build a computer

'지능적인 컴퓨터를 만들 수 있다면

that is intelligent,

우리의 의식에 관한 어떤 것을 배울 수도 있겠다'고 생각했습니다.

maybe we will learn something about ourselves,

about our own consciousness.

That was my first motivation that pulled me towards AI.

그것이 저를 AI로 이끈 첫 번째 동기였습니다.

The second motivation was more pedestrian in a way.

두 번째 동기는 어떤 면에서 더 평범했습니다.

I was simply curious about how intelligence works.

저는 단순히 지능이 어떻게 작동하는지 궁금했습니다.

And when I was a teenager, an early teenager in the late '90s,

90년대 후반에 제가 십 대 초였을 때

the sense that I got is that science simply did not know

제가 받은 느낌은

과학은 지능이 어떻게 작동하는지 그냥 모른다는 것이었습니다.

how intelligence worked.

There was also a third reason,

세 번째 이유도 있었습니다.

which is that it was clear to me back then

당시에 저한테는 분명했는데

that artificial intelligence,

만약 인공 지능이 작동한다면

if it worked, it would be incredibly impactful.

영향력이 엄청나게 클 것이란 점이었습니다.

Now, it wasn't at all obvious

인공 지능이 발전할 수 있을지 전혀 확실하지 않았지만

that it will be possible to make progress in artificial intelligence,

but if it were possible to make progress in artificial intelligence,

만약 인공 지능이 발전한다면 영향이 엄청날 것이었습니다.

that would be incredibly impactful.

So these were the three reasons that pulled me towards AI.

이 세 가지 이유가 저를 AI의 길로 향하게 만들었습니다.

That's why I thought that's a great area to spend all my efforts on.

그래서 제 모든 노력을 쏟을 수 있는 훌륭한 영역이라고 생각했습니다.

So now let's come back to our artificial intelligence,

그럼 이제 다시 우리의 인공 지능, 디지털 두뇌로 돌아가 봅시다.

the digital brains.

Today, these digital brains

오늘날 이러한 디지털 두뇌들은

are far less smart than our biological brains.

우리의 생물학적 두뇌보다 훨씬 떨어집니다.

When you speak to an AI chat bot,

AI 챗봇과 대화해 보면

you very quickly see that it's not all there,

그것이 완전하지 않다는 것을 아주 금방 눈치챌 수 있습니다.

그것은 뭐랄까,

that it's, you know,

it understands mostly, sort of.

대부분 어떻게든 이해하긴 합니다.

하지만 분명한 것은 하지 못하는 일이 아주 많다는 것과

But you can clearly see that there are so many things it cannot do

and that there are some strange gaps.

어떤 이상한 간극들이 존재한다는 것입니다.

But this situation, I claim, is temporary.

그런데 제가 말하는 이런 상황은 일시적인 것입니다.

As researchers and engineers continue to work on AI,

연구자와 기술자들이 계속해서 AI에 노력을 기울이는 동안

the day will come when the digital brains that live inside our computers

어느 날엔가는 컴퓨터 안에 살고 있는 디지털 두뇌가

will become as good and even better than our own biological brains.

우리의 생물학적 두뇌와 동등하거나 심지어 더 나은 수준이 될 것입니다.

Computers will become smarter than us.

컴퓨터가 우리보다 똑똑해질 것입니다.

We call such an AI an “AGI,” artificial general intelligence.

우리는 그런 인공 지능을 AGI, 즉, 인공 일반 지능이라고 부릅니다.

When we can say that the level at which we can teach the AI to do anything

AI에게 뭐든지 가르칠 수 있는 수준에 이른 때라고 말할 수 있습니다.

that, for example, I can do, or someone else.

예를 들면 제가 할 수 있거나 다른 사람들이 할 수 있는 일 말이죠.

So although AGI does not exist today,

비록 현재 AGI가 존재하지는 않지만

we can still gain a little bit of an insight

AGI가 일단 만들어진다면 어떤 영향을 미칠지에 대해

into the impact of AGI once it's built.

약간의 통찰을 얻을 수는 있습니다.

It is completely obvious

완전히 명백한 것은

that such an AGI will have a dramatic impact

AGI가 삶의 모든 영역과 인간 활동 및 사회에

on every area of life, of human activity and society.

극적인 영향을 미칠 것이라는 점입니다.

And I want to go over a quick case study.

간단하게 사례를 살펴보겠습니다.

This is a narrow example of a very, very broad technology.

이것은 아주 광범위한 기술의 작은 예입니다.

The example I want to present is health care.

제가 제시하고 싶은 예는 건강 관리입니다.

Many of you may have had the experience of trying to go to a doctor.

많은 분들이 병원에 가려고 한 경험이 있을 것입니다.

You need to wait for many months sometimes,

때로는 몇 달 동안 기다려야 하고

and then when you do get to see a doctor, you get a small,

의사를 볼 기회가 생기게 되더라도 매우 짧은 시간만 가능합니다.

very limited amount of time with the doctor

and furthermore, the doctor, being only human,

더 나아가 의사는 인간이기 때문에

can have only limited knowledge of all this,

현존하는 모든 의학 지식 중에서

all the medical knowledge that exists.

아주 한정적인 부분만을 압니다.

And then by the end of it, you get a very large bill.

그리고 마지막에는 몹시 비싼 청구서가 오죠.

(Laughter)

(웃음)

Well, if you have an intelligent computer, an AGI, that is built to be a doctor,

만약 지능 있는 컴퓨터, 즉, 의사 AGI가 있다면

it will have complete and exhaustive knowledge of all medical literature.

모든 의학 문헌에 대한 의사 AGI의 지식은 완전하고 철저할 것입니다.

It will have billions of hours of clinical experience,

수십억 시간에 달하는 임상 경험을 쌓으며

and it will be always available and extremely cheap.

언제나 이용 가능하고 매우 저렴할 것입니다.

When this happens,

이렇게 된다면

we will look back at today's health care

우리는 현재의 건강 관리를

similarly to how we look at 16th century dentistry.

마치 16세기 치과를 보는 듯한 시각으로 돌아볼 것입니다.

(Laughter)

You know, when they tied people with belts and then have this drill,

그때는 사람들을 끈으로 묶고 이런 드릴을 썼죠.

that's how today's health care will look like.

오늘날 건강 관리가 그런 식으로 보일 것입니다.

And again, to emphasize, this is just one example.

다시 강조하자면 이것은 한 가지 예시에 불과합니다.

This is just one example.

한 예시일 뿐입니다.

AGI will have dramatic and incredible impact

AGI는 인간 활동의 모든 영역에

급격하고 놀라운 영향을 미칠 것입니다.

on every single area of human activity.

But when you see impact this large, you may wonder, "Gosh,

그런데 이렇게 큰 영향력을 보면서 이런 의문이 들 수 있습니다.

"맙소사,

isn't this technology too impactful?"

이 기술은 영향력이 너무 크지 않나요?"

실제로 AGI가 긍정적으로 적용될수 있는 모든 부분에는

And indeed, for every positive application of AGI,

there will be a negative application as well.

부정적으로 적용될 수 있는 부분이 있습니다.

This technology is also going to be different

이 기술은 또한 우리에게 익숙한 지금까지의 기술과도 다를 것입니다.

from technologies that we are used to,

because it will have the ability to improve itself.

이 기술은 스스로를 개선할 능력을 갖출 것이기 때문입니다.

It is possible to build an AGI

AGI는 다음 세대에 작동할 AGI를 만들 수 있습니다.

that will work on the next generation of AGI.

이러한 급격한 기술적 발전에 가장 가까운 사례는

The closest analogue we have to this kind of rapid technological improvement

is when the Industrial Revolution has taken place, where humans,

산업 혁명이 일어난 시기입니다.

인간 사회의 물질적인 상태가 매우 안정적이었는데

the material condition of human society, was very, very constant.

그 후에 급격하게 늘어나고 급격하게 성장했습니다.

And then it was a rapid increase, rapid growth.

With AGI,

AGI로 인해 이와 유사한 일이 다시 일어날 수 있지만

something like this could happen again, but on a shorter timescale.

더 짦은 시간에 발생할 것입니다.

And then furthermore,

더 나아가 이런 우려가 있습니다.

there are concerns around

if an AGI ever becomes very, very powerful,

AGI가 매우 매우 강력해진다면,

이건 가능한 일입니다,

which is possible,

maybe it will want to go rogue being that it is an agent.

어쩌면 의식을 갖고 마음대로 행동하고 싶어질 수 있습니다.

So this is a concern that exists with this unprecedented,

바로 이것이 아직 존재하지 않지만 전례 없는 기술에 대한 우려입니다.

not yet existing technology.

And indeed,

그리고 실제로,

you look at all the positive potential of AGI

AGI의 모든 긍정적인 잠재력과

and all the concerning possibilities of AGI as well,

걱정되는 가능성을 모두 살펴 보면 이런 생각이 들 수 있습니다.

and you may say, "Gosh, where is this all headed?"

'와, 이 모든 것이 어디로 향하고 있는 걸까?'

One of my motivations in creating OpenAI was,

제가 OpenAI를 설립한 동기 중 하나는

이 기술을 개발하는 것에 더해서

in addition to developing this technology,

was also to address the questions

AGI가 우리에게 던지는 어려운 질문들과

that are posed by AGI, the difficult questions,

우리가 제기한 우려에 대처하기 위해서였습니다.

the concerns that we raised.

In addition to working with governments

정부와 협력하여 미래에 대비하고 이해하도록 도울 뿐만 아니라

and helping them understand what is coming and prepare for it,

we are also doing a lot of research

우리는 기술적인 측면을 다루기 위해 수많은 연구를 하고 있습니다.

on addressing the technological side of things,

so that the AI will never want to go rogue.

인공 지능이 마음대로 행동하지 않도록 만들기 위해서입니다.

And this is something which I’m working on as well.

현재 이 부분에 대해 저도 참여하고 있습니다.

But I think, the thing to note,

하지만 유의해야 할 점은

because AI and AGI is really the only area of the economy

AI와 AGI 영역은 경제적으로 유일하게

많은 흥미와 투자를 끌어 모으고 있으며

where there is a lot of excitement, a lot of investment,

everyone is working on it,

모두가 이에 참여하고 있기 때문에

there's a huge number of labs in the world trying to build the same thing.

전 세계에서 동일한 목표를 향해 수많은 팀들이 노력하고 있다는 겁니다.

Even if OpenAI takes these desirable steps that I mentioned,

OpenAI가 제가 언급한 이러한 바람직한 조치들을 취한다 해도

what about the rest of the companies and the rest of the world?

다른 회사들과 나머지 세계는 어떨까요?

And this is where I want to make my observation

여기서 저는 존재하는 힘에 대해

제가 관찰한 것을 전하고 싶습니다.

about the force that exists.

The observation is this: consider the world one year ago,

그 관찰은 이렇습니다.

일 년 전 세상을 생각해 보세요, 단 일 년 전 세상을요.

as recently as one year ago.

People weren't really talking about AI, not in the same way at all.

AI에 대해 진지하게 얘기하지 않았고 이런 식은 전혀 아니었죠.

What happened?

어떤 일이 벌어진 걸까요?

We all experienced what it's like to talk to a computer and to be understood.

우리 모두는 컴퓨터와 대화하고 말이 통하는 경험을 했습니다.

The idea that computers will become really intelligent

컴퓨터에게 정말로 지능이 생기고

and eventually more intelligent than us is becoming widespread.

결국은 우리보다 더 뛰어나게 될 거라는 생각이 널리 퍼지고 있습니다.

It used to be a niche idea that only a few enthusiasts

예전에는 이것이 특이한 생각으로

소수의 열광적인 사람들, 취미로 즐기는 사람들이나

and hobbyists and people who were very into AI were thinking about.

AI에 깊은 관심이 있는 사람들만의 생각이었습니다.

But now everyone is thinking about it.

하지만 이제는 모두가 이에 대해 생각하고 있습니다.

And as the AI continues to make progress,

그리고 AI가 계속해서 발전하고 기술이 계속 진화하며

as technology continues to advance,

as more and more people see what AI can do

더 많은 사람들이 AI가 무엇을 할 수 있고

어떤 방향으로 가고 있는지를 보면서

and where it is headed towards,

then it will become clear just how dramatic,

AGI가 얼마나 극적이고,

incredible and ...

얼마나 놀랍고,

almost fantastical AGI is going to be

얼마나 환상적이 될지,

그리고 어느 정도의 경계심이 적절할지도 분명해질 것입니다.

and how much trepidation is appropriate.

제 생각에 사람들은 자신의 이익을 위해서

And what I claim will happen is that people will start to act

in unprecedentedly collaborative way out of their own self-interest.

전례 없이 협력적인 방식으로 행동하기 시작할 것입니다.

It's already happening right now.

실제로 지금 이미 그런 현상이 일어나고 있습니다.

You see the leading AGI companies starting to collaborate

주요 AGI 기업들이 이미 협력하기 시작했습니다.

for a specific example, through the Frontier Model Forum.

구체적으로 보면 프런티어 모델 포럼이 있습니다.

And we will expect that companies that are competitors

경쟁 중인 기업들도 자신들의 AI를 안전하게 만들려고

will share technical information to make their AIs safe.

서로 기술 정보를 공유할 것으로 예상됩니다.

We may even see governments do this.

심지어 정부들도 그렇게 할 것입니다.

For another example,

다른 예를 들면

at OpenAI, we really believed in how dramatic AGI is going to be.

OpenAI는 AGI가 극적으로 변할 거라고 믿습니다.

So one of the ideas that we were operating by,

우리가 연구하는 주제 중 하나이고

and it's been written on our website for five years now,

이미 오 년 동안 저희 웹사이트에 나와 있던 아이디어는

기술이 발전해서

that when technology gets such that we are very, very close to AGI,

인간보다 똑똑한 컴퓨터인 AGI에 아주 아주 가깝게 되고

to computers smarter than humans,

만약 다른 어떤 기업이 우리보다 훨씬 앞서 간다면

and if some other company is far ahead of us,

then rather than compete with them,

그들과 경쟁을 하는 게 아니라

we will help them out, join them, in a sense.

그들을 돕고 어떤 의미에서 함께 일하는 것입니다.

And why do that?

왜 그래야 할까요?

AGI가 얼마나 극적으로 변할지를 우리가 잘 알기 때문입니다.

Because we feel, we appreciate

how incredibly dramatic AGI is going to be.

And my claim is that with each generation of capability advancements,

제가 주장하는 바는

발전하는 각 AGI 세대마다

as AI gets better

AI가 더 나아지고

and as all of you experience what AI can do,

AI가 무엇을 할 수 있는지를 여러분이 경험하고

as people who run AI efforts and AGI efforts

AI 및 AGI 사업을 이끄는 사람들과

and people who work on them will experience it as well,

그에 참여하는 사람들도 이를 경험하면서

this will change the way we see AI and AGI,

이는 우리가 AI와 AGI를 바라보는 방식을 바꾸고

and that will change collective behavior.

전체의 행동도 바꿀 것입니다.

And this is an important reason

이것이 인공 지능 기술에 있는

why I'm hopeful

커다란 도전에도 불구하고

that despite the great challenges that's posed by this technology,

그것을 극복할 수 있을 것이라고 제가 희망을 갖는 큰 이유입니다.

we will overcome them.

Thank you.

감사합니다.

(박수)

(Applause)