How to get empowered, not overpowered, by AI | Max Tegmark

번역: JY Kang 검토: Young You

After 13.8 billion years of cosmic history,

138억 년의 우주 역사를 뒤로하고

our universe has woken up

우리 우주는 잠에서 깨어나

and become aware of itself.

스스로를 자각하게 되었습니다.

From a small blue planet,

작고 푸른 행성에서

tiny, conscious parts of our universe have begun gazing out into the cosmos

우주의 아주 작은 부분을 알던 우리는

망원경을 통해 먼 우주를 바라보며

with telescopes,

discovering something humbling.

겸손하게 무언가를 찾고 있습니다.

We've discovered that our universe is vastly grander

이 거대한 우주의 광대함은

than our ancestors imagined

우리의 상상 이상이었고

and that life seems to be an almost imperceptibly small perturbation

생명의 아주 미세한 동요가 없었더라면

on an otherwise dead universe.

이미 죽어버린 우주라는 것도 알았죠.

But we've also discovered something inspiring,

하지만 우리가 영감을 얻을 만한 것도 발견했죠.

which is that the technology we're developing has the potential

우리의 기술을 통해서

to help life flourish like never before,

이전에 없던 번성을 누릴 역량을 가졌다는 사실입니다.

not just for centuries but for billions of years,

단지 수 세기 동안이 아니라 수십억 년 동안 번성하고

and not just on earth but throughout much of this amazing cosmos.

단지 우리 지구에서만이 아니라 이 놀라운 우주 안에서 말이죠.

I think of the earliest life as "Life 1.0"

저는 초창기의 생명을 "생명 1.0"이라고 생각합니다.

because it was really dumb,

미생물처럼 너무나 바보 같았기 때문이죠.

like bacteria, unable to learn anything during its lifetime.

살면서 아무것도 배울 수 없었습니다.

I think of us humans as "Life 2.0" because we can learn,

우리 인간은 "생명 2.0"입니다. 학습할 수 있기 때문이죠.

which we in nerdy, geek speak,

좀 괴상하게 표현하자면

might think of as installing new software into our brains,

우리 두뇌에 새로운 소프트웨어를 설치했다고 볼 수 있습니다.

like languages and job skills.

언어와 업무 능력 같은 것들이요.

"Life 3.0," which can design not only its software but also its hardware

"생명 3.0"은 소프트웨어뿐만 아니라 하드웨어도 만들 수 있습니다.

of course doesn't exist yet.

물론 아직 이건 실현되지 않았죠.

But perhaps our technology has already made us "Life 2.1,"

하지만 기술은 우리를 이미 "생명 2.1"로 만들었습니다.

with our artificial knees, pacemakers and cochlear implants.

인공 무릎 관절, 인공 심장 박동기, 인공 달팽이관 이식 같은 거로 말이죠.

So let's take a closer look at our relationship with technology, OK?

자 그럼, 인간과 기술 사이의 관계를 좀 더 깊이 살펴보기로 하겠습니다.

As an example,

예를 하나 들어보죠.

the Apollo 11 moon mission was both successful and inspiring,

아폴로 11호의 달 탐사 계획은 성공적이었고 고무적이었습니다.

showing that when we humans use technology wisely,

인류가 기술을 현명하게 사용하면

we can accomplish things that our ancestors could only dream of.

우리 선조가 꿈꾸던 일을 현실로 이루어낼 수 있음을 증명해주었죠.

But there's an even more inspiring journey

하지만 그보다 더 고무적인 여정이 있습니다.

propelled by something more powerful than rocket engines,

로켓 엔진보다 더 강력한 추진력을 얻고 있죠.

where the passengers aren't just three astronauts

단 세 명의 우주인을 승객으로 하는 것이 아니라

but all of humanity.

인류 전체가 승객입니다.

Let's talk about our collective journey into the future

미래를 향한 우리 모두의 여정에 대해 이야기해봅시다.

with artificial intelligence.

바로 인공지능입니다.

My friend Jaan Tallinn likes to point out that just as with rocketry,

제 친구 얀 탈린은 이렇게 말하곤 했습니다.

로켓공학과 마찬가지로

it's not enough to make our technology powerful.

우리 기술을 강력하게 만들기에는 아직 부족함이 있다고 말이죠.

We also have to figure out, if we're going to be really ambitious,

우리에게 진정 야심 찬 계획이 있는지 알아야 한다고 지적했죠.

how to steer it

어떤 방향으로 이끌어 갈지와 원하는 목표를 알아야 한다고요.

and where we want to go with it.

So let's talk about all three for artificial intelligence:

그럼 인공지능에 있어서 세 가지 요소에 대해 이야기해보죠.

the power, the steering and the destination.

힘, 방향성 그리고 목표입니다.

Let's start with the power.

먼저 '힘'을 얘기해보죠.

I define intelligence very inclusively --

저는 아주 포괄적 의미로 지능을 이렇게 정의합니다.

simply as our ability to accomplish complex goals,

어려운 목표를 달성하는 능력이라고 간단히 정의할 수 있죠.

because I want to include both biological and artificial intelligence.

여기에는 생물학적, 그리고 인공적인 지능이 모두 포함되어 있습니다.

And I want to avoid the silly carbon-chauvinism idea

하지만 어리석은 '탄소 쇼비니즘'처럼 탄소로 이루어진 유기체만

that you can only be smart if you're made of meat.

사고 능력을 가질 수 있다는 생각은 배제하고자 합니다.

It's really amazing how the power of AI has grown recently.

최근 AI가 가진 힘이 얼마나 성장했는지를 보면 정말 놀랍습니다.

Just think about it.

한번 생각해보세요.

Not long ago, robots couldn't walk.

얼마 전까지만 해도 로봇은 걷지도 못했습니다.

Now, they can do backflips.

이제는 뒤로 공중제비도 돌 수 있죠.

Not long ago,

얼마 전까지만 해도

we didn't have self-driving cars.

자율주행 자동차는 존재하지도 않았지만

Now, we have self-flying rockets.

이제는 자율비행 로켓이 등장했습니다.

Not long ago,

얼마 전까지만 해도

AI couldn't do face recognition.

AI는 얼굴 인식도 하지 못했지만

Now, AI can generate fake faces

이제 AI는 가짜 얼굴을 만들어내서

and simulate your face saying stuff that you never said.

여러분이 하지도 않은 말을 한 것처럼 조작하기도 합니다.

Not long ago,

얼마 전까지만 해도

AI couldn't beat us at the game of Go.

AI는 바둑에서 인간을 이기지 못했지만

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

이제 구글 딥마인드의 알파제로 AI는

인간의 3000년 바둑 역사와 바둑의 지혜를 익혔습니다.

and Go wisdom,

ignored it all and became the world's best player by just playing against itself.

다 제쳐두고, 자기 자신과 싸우면서 세계 최고의 바둑기사가 되었죠.

And the most impressive feat here wasn't that it crushed human gamers,

가장 인상적인 업적은 인간을 물리쳤다는 것이 아니라

but that it crushed human AI researchers

바둑 프로그램 개발에 수십 년을 공들여 온

who had spent decades handcrafting game-playing software.

인간 개발자들을 물리쳤다는 사실입니다.

And AlphaZero crushed human AI researchers not just in Go but even at chess,

알파제로는 바둑뿐만 아니라 체스에서도 인간 개발자들을 물리쳤습니다.

which we have been working on since 1950.

체스는 1950년부터 연구해왔는데도 말이죠.

So all this amazing recent progress in AI really begs the question:

최근 AI의 놀라운 발전을 보면서 이런 질문을 하게 됩니다.

How far will it go?

얼마나 더 발전하게 될까요?

I like to think about this question

이 질문과 관련해서

in terms of this abstract landscape of tasks,

추상적인 풍경으로 바꿔서 직업을 생각해보죠.

where the elevation represents how hard it is for AI to do each task

지형의 높이는 인간 수준에 대비한 AI의 작업 난이도를 의미합니다.

at human level,

and the sea level represents what AI can do today.

해수면은 현재 AI가 할 수 있는 일의 수준을 의미하죠.

The sea level is rising as AI improves,

AI가 발전할수록 해수면은 높아집니다.

so there's a kind of global warming going on here in the task landscape.

이 직업 풍경에 일종의 지구 온난화가 일어나고 있다고 할 수 있죠.

And the obvious takeaway is to avoid careers at the waterfront --

따라서 물가에 놓인 직업은 선택하지 않는 게 당연할 겁니다.

(Laughter)

(웃음)

which will soon be automated and disrupted.

그런 직업은 머지않아 자동화되거나 사라질 테니까요.

But there's a much bigger question as well.

그런데 여기에는 더 중요한 질문이 놓여있습니다.

How high will the water end up rising?

이 해수면이 얼마나 더 높아질까요?

Will it eventually rise to flood everything,

결국 모든 것이 물에 잠기고

matching human intelligence at all tasks.

모든 직업에서 인간의 지능과 맞먹게 될 것입니다.

This is the definition of artificial general intelligence --

이것이 범용 인공지능의 정의입니다.

AGI,

AGI 라고 하죠.

which has been the holy grail of AI research since its inception.

AI 연구의 태초부터 생각했던 AI의 성배와 같은 것입니다.

이에 대해서 사람들은 이렇게 말했습니다.

By this definition, people who say,

"Ah, there will always be jobs that humans can do better than machines,"

"작업에서는 인간이 항상 기계보다 뛰어날 거야"

are simply saying that we'll never get AGI.

이 말은 AGI는 절대 존재하지 않는다는 걸 의미하죠.

Sure, we might still choose to have some human jobs

물론 일부 인간의 직업을 선택하거나

or to give humans income and purpose with our jobs,

소득과 삶의 목적을 부여하기 위한 직업을 선택할 수 있습니다.

but AGI will in any case transform life as we know it

하지만 AGI는 어쨌든 우리 삶을 바꿀 것이고

with humans no longer being the most intelligent.

더는 인간이 가장 지적인 존재로 남아있지 않을 것입니다.

Now, if the water level does reach AGI,

이제, 해수면이 AGI까지 높아지면

then further AI progress will be driven mainly not by humans but by AI,

AI의 발전은 인간이 아니라 AI가 주도하게 될 것입니다.

which means that there's a possibility

이것이 의미하는 바는

that further AI progress could be way faster

AI의 발전이 더욱 가속화되어

than the typical human research and development timescale of years,

현재 인간의 AI 연구 및 개발 속도를 뛰어넘을 것이라는 사실입니다.

raising the controversial possibility of an intelligence explosion

논란이 되고 있는 지능의 폭발적 증가 가능성으로 인해

where recursively self-improving AI

AI가 반복해서 스스로 개량함으로써

rapidly leaves human intelligence far behind,

인간 지능을 급격히 앞지르게 되고

creating what's known as superintelligence.

이른바 초지능이 탄생할 것입니다.

Alright, reality check:

좋아요, 실상을 살펴보죠.

Are we going to get AGI any time soon?

조만간 AGI가 실현될까요?

Some famous AI researchers, like Rodney Brooks,

로드니 브룩스 같은 유명한 AI 연구자들은

think it won't happen for hundreds of years.

수백 년 내에 그런 일은 없을 거라 보고 있습니다.

But others, like Google DeepMind founder Demis Hassabis,

하지만 구글 딥마인드의 창업자인 데미스 하사비스 같은 사람들은

are more optimistic

훨씬 낙관적으로 보고

and are working to try to make it happen much sooner.

AGI 실현 시기를 앞당기려고 애쓰고 있죠.

And recent surveys have shown that most AI researchers

그리고 최근 조사에 따르면

AI 연구자 대부분이 데미스 하사비스의 낙관론에 동조하고 있으며

actually share Demis's optimism,

expecting that we will get AGI within decades,

수십 년 내에 AGI가 실현될 것으로 기대하고 있습니다.

so within the lifetime of many of us,

우리가 죽기 전에 실현될지 모르겠네요.

which begs the question -- and then what?

또 의문이 생깁니다. 다음은 뭘까요?

What do we want the role of humans to be

우리 인간이 해야 할 역할은 뭘까요?

if machines can do everything better and cheaper than us?

모든 면에서 기계가 인간보다 더 경제적이고 더 낫다면 말이죠.

The way I see it, we face a choice.

예상컨대 우리는 선택의 기로에 놓일 것입니다.

One option is to be complacent.

그중 하나는 자만하는 것이죠. 이렇게 말하면서요.

We can say, "Oh, let's just build machines that can do everything we can do

"기계를 만들어서 우리가 할 일을 다 시키지 뭐.

and not worry about the consequences.

그 결과는 걱정할 필요 없잖아.

Come on, if we build technology that makes all humans obsolete,

인간을 쓸모없게 만드는 기술이 나온다고 해서

what could possibly go wrong?"

뭐가 잘못될 리가 있겠어."

(Laughter)

(웃음)

But I think that would be embarrassingly lame.

이건 황당할 정도로 궁색한 말이라고 생각해요.

I think we should be more ambitious -- in the spirit of TED.

우리는 더 큰 야망을 품어야 합니다. TED의 정신으로 말이죠.

Let's envision a truly inspiring high-tech future

진정으로 영감을 주는 첨단 기술의 미래를 그려야 합니다.

and try to steer towards it.

그리고 그곳을 향해 나아가야 하죠.

This brings us to the second part of our rocket metaphor: the steering.

여기서 로켓으로 비유되는 두 번째 부분으로 넘어가죠.

방향성입니다.

We're making AI more powerful,

우리는 더욱 강력한 AI를 만들고 있죠.

but how can we steer towards a future

하지만, 어떻게 해야 그 발전 방향을

where AI helps humanity flourish rather than flounder?

AI가 인류를 곤경에 빠뜨리지 않고 번성하도록 이끌 수 있을까요?

To help with this,

저는 이를 위해서 공동으로 "생명의 미래 연구소"를 설립했습니다.

I cofounded the Future of Life Institute.

It's a small nonprofit promoting beneficial technology use,

공익적 기술 사용을 도모하는 작은 비영리 단체죠.

and our goal is simply for the future of life to exist

저희의 목표는 단순히 생명체의 미래를 실현하고

and to be as inspiring as possible.

그 일을 최대한 격려하는 것입니다.

You know, I love technology.

말하자면, 저는 기술을 사랑합니다.

Technology is why today is better than the Stone Age.

지금이 석기시대보다 나은 이유가 바로 기술 덕분입니다.

And I'm optimistic that we can create a really inspiring high-tech future ...

저는 정말 고무적인 첨단 기술의 미래가 올 것이라 낙관하고 있습니다.

if -- and this is a big if --

만약에.. 정말로 만약에요.

if we win the wisdom race --

만약에 경쟁에서 지혜로움이 이기려면 말이죠.

the race between the growing power of our technology

우리 기술이 갖는 능력이 커질지

and the growing wisdom with which we manage it.

그걸 관리할 우리의 지혜가 커질지의 경쟁에서요.

But this is going to require a change of strategy

그러려면 전략을 바꿀 필요가 있습니다.

because our old strategy has been learning from mistakes.

왜냐하면 지금까지의 전략은 실수를 통해 배운 것이기 때문이죠.

We invented fire,

우리는 불을 발명했고

screwed up a bunch of times --

시간이 한없이 흐른 뒤에

invented the fire extinguisher.

소화기를 발명했습니다.

(Laughter)

(웃음)

We invented the car, screwed up a bunch of times --

우리는 자동차를 발명했고, 시간이 한참 지난 뒤에

invented the traffic light, the seat belt and the airbag,

신호등을 발명했고, 안전벨트와 에어백을 발명했죠.

but with more powerful technology like nuclear weapons and AGI,

하지만 핵무기나 AGI 같이 훨씬 막강한 기술에 대해서도

learning from mistakes is a lousy strategy,

실수에서 교훈을 얻는다는 건 너무나 형편없는 전략이죠.

don't you think?

그렇지 않나요?

(Laughter)

(웃음)

반응하기보다 선행하는 것이 훨씬 나을 겁니다.

It's much better to be proactive rather than reactive;

plan ahead and get things right the first time

미리 계획을 세우고 초기에 바로잡아야죠.

because that might be the only time we'll get.

그때밖에 기회가 없기 때문입니다.

But it is funny because sometimes people tell me,

재밌게도 이런 말을 하는 사람들이 있어요.

"맥스. 쉬잇! 그런 식으로 말하지 말아요.

"Max, shhh, don't talk like that.

That's Luddite scaremongering."

기술 반대론자들이 겁주는 거 같잖아요."

But it's not scaremongering.

하지만 겁주려는 게 아닙니다.

It's what we at MIT call safety engineering.

이걸 저희 MIT에서는 안전공학이라고 하는데요.

Think about it:

이점을 한번 생각해보세요.

before NASA launched the Apollo 11 mission,

NASA가 아폴로 11호를 발사하기 전에

they systematically thought through everything that could go wrong

오류가 일어날 수 있는 모든 부분을 체계적으로 검토했습니다.

when you put people on top of explosive fuel tanks

폭발성 연료를 실은 연료통 위에 사람을 태우고

and launch them somewhere where no one could help them.

도와줄 이가 없는 곳으로 그들을 보내야 했으니까요.

And there was a lot that could go wrong.

문제가 생길 소지가 너무나 많았죠.

Was that scaremongering?

그게 겁주는 건가요?

No.

아니죠.

That's was precisely the safety engineering

그것이 바로 안전공학이었습니다.

that ensured the success of the mission,

탐사 계획의 성공을 위한 것이었죠.

and that is precisely the strategy I think we should take with AGI.

그리고 그것이 바로 AGI에 대해 우리가 취해야 할 전략입니다.

Think through what can go wrong to make sure it goes right.

잘못될 수 있는 부분을 생각하고 제대로 바로잡아 두는 것이죠.

So in this spirit, we've organized conferences,

그런 생각을 가지고 저희는 컨퍼런스를 열었습니다.

bringing together leading AI researchers and other thinkers

선도적인 AI 연구자들과 각 분야 권위자들 불러 모아서

to discuss how to grow this wisdom we need to keep AI beneficial.

AI를 이롭게 하기 위해 필요한 지혜를 어떻게 키워갈지 토론했죠.

Our last conference was in Asilomar, California last year

가장 최근의 컨퍼런스는 작년에 캘리포니아주 애실로마에서 있었는데요.

and produced this list of 23 principles

거기에서 23개의 원칙을 정했습니다.

which have since been signed by over 1,000 AI researchers

이 원칙에 1,000명이 넘는 AI 연구자들과

주요 산업계 대표들이 동의하였는데요.

and key industry leaders,

and I want to tell you about three of these principles.

그중에서 3개의 원칙을 말씀드리려고 합니다.

One is that we should avoid an arms race and lethal autonomous weapons.

첫째로 군비 경쟁과 자동 살상 무기를 근절해야 한다는 것입니다.

The idea here is that any science can be used for new ways of helping people

모든 과학기술은 사람들을 돕는 수단이 될 수도 있고

or new ways of harming people.

해칠 수도 있기 때문이죠.

For example, biology and chemistry are much more likely to be used

예를 들어, 생물학과 화학은

살상의 수단으로 쓰이기보다 신약과 치료제 개발에 더 많이 쓰이죠.

for new medicines or new cures than for new ways of killing people,

because biologists and chemists pushed hard --

왜냐하면 생물학자와 화학자들은

and successfully --

강력하게, 그리고 성공적으로

for bans on biological and chemical weapons.

생화학무기를 막아왔습니다.

And in the same spirit,

마찬가지로

most AI researchers want to stigmatize and ban lethal autonomous weapons.

AI 연구자들도 자동 살상 무기를 비난하고 금지시키고 싶어 합니다.

Another Asilomar AI principle

애실로마 AI 원칙 중 다른 하나는

is that we should mitigate AI-fueled income inequality.

AI로 인한 소득 불평등을 줄여야 한다는 것입니다.

I think that if we can grow the economic pie dramatically with AI

AI를 통해 경제 규모가 극단적으로 성장하더라도

and we still can't figure out how to divide this pie

그 경제 파이를 나누어

모두가 잘살 수 있는 방법을 여전히 찾지 못한다면

so that everyone is better off,

then shame on us.

부끄러운 일이겠죠.

(Applause)

(박수)

Alright, now raise your hand if your computer has ever crashed.

좋아요, 혹시 컴퓨터가 다운된 적 있는 분은 손을 들어보세요.

(Laughter)

(웃음)

Wow, that's a lot of hands.

와, 손을 든 분이 꽤 많네요.

Well, then you'll appreciate this principle

그러면 이 원칙이 맘에 드실 거예요.

that we should invest much more in AI safety research,

우리는 AI 안전을 위한 연구에 더 많이 투자해야 한다는 겁니다.

because as we put AI in charge of even more decisions and infrastructure,

AI로 하여금 판단과 사회기반에 더 많이 개입하도록 하기 때문이죠.

we need to figure out how to transform today's buggy and hackable computers

오류가 많고 해킹당할 위험도 있는 현재의 컴퓨터를 바꾸어

신뢰할만한 강력한 AI 시스템으로 만들 방법을 찾아야 합니다.

into robust AI systems that we can really trust,

because otherwise,

그렇지 않으면, 이 대단한 신기술이 오작동하여 우리에게 해를 끼치거나

all this awesome new technology can malfunction and harm us,

or get hacked and be turned against us.

아니면 해킹당해서 우리에게 대적할지도 모릅니다.

And this AI safety work has to include work on AI value alignment,

그리고 이 AI의 안전에 관한 연구는 AI 가치 조합 연구도 포함해야 합니다.

because the real threat from AGI isn't malice,

바보 같은 할리우드 영화에서나 그렇지

AGI의 진정한 위협은 적대감이 아니기 때문이죠.

like in silly Hollywood movies,

but competence --

오히려 권한입니다.

AGI accomplishing goals that just aren't aligned with ours.

AGI가 이루려는 목표는 우리의 목표와 일치하지 않습니다.

For example, when we humans drove the West African black rhino extinct,

예를 들면, 우리 인간이 서아프리카의 검은 코뿔소의 멸종을 초래했지만

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

우리가 코뿔소 혐오자라서 그랬던 것은 아니잖아요.

We did it because we were smarter than them

단지 우리가 코뿔소보다 똑똑했기 때문입니다.

and our goals weren't aligned with theirs.

우리의 목표가 코뿔소의 목표와는 달랐던 것이죠.

But AGI is by definition smarter than us,

그런데 AGI는 당연히 우리보다 똑똑할 겁니다.

so to make sure that we don't put ourselves in the position of those rhinos

그러니 우리도 우리 자신을 코뿔소 같은 처지가 되도록 만들면 안 되겠죠.

if we create AGI,

우리가 AGI를 만든다면

we need to figure out how to make machines understand our goals,

컴퓨터에게 우리의 목표를 가르칠 방법을 찾아야 합니다.

adopt our goals and retain our goals.

우리의 목표를 받아들이고 유지하도록 해야 하죠.

And whose goals should these be, anyway?

그럼 도대체 누구의 목표를 선택해야 할까요?

Which goals should they be?

어떤 목표이어야 할까요?

This brings us to the third part of our rocket metaphor: the destination.

이것이 로켓으로 비유되는 세 번째 부분입니다.

바로 최종 목표죠.

We're making AI more powerful,

우리는 더욱 막강한 AI를 연구하고

trying to figure out how to steer it,

그렇게 할 방법을 찾으려 노력하죠.

but where do we want to go with it?

하지만 얼마나 강력하길 바라는 걸까요?

This is the elephant in the room that almost nobody talks about --

이것은 방 안의 코끼리 같은 것입니다. 아무도 말하려 하지 않죠.

not even here at TED --

여기 TED에서 조차도요.

because we're so fixated on short-term AI challenges.

왜냐하면 우리는 단기적인 AI 문제에만 집착하기 때문입니다.

Look, our species is trying to build AGI,

보세요. 우리 인류는 AGI를 만들려고 합니다.

motivated by curiosity and economics,

그 동기는 호기심과 경제성이죠.

but what sort of future society are we hoping for if we succeed?

그런데 미래에 그것이 성공했을 때 어떤 사회가 되기를 기대하는 거죠?

We did an opinion poll on this recently,

최근에 이에 관한 설문조사를 했는데요.

and I was struck to see

결과는 놀라웠어요.

that most people actually want us to build superintelligence:

대부분의 사람들이 실제로 초지능 개발을 원하고 있었습니다.

AI that's vastly smarter than us in all ways.

우리보다 모든 면에서 훨씬 뛰어난 AI를 원하고 있었죠.

What there was the greatest agreement on was that we should be ambitious

대다수가 동의한 부분은 우리가 큰 꿈을 가져야 하고

인류가 우주로 나가도록 해야 한다는 것이었습니다.

and help life spread into the cosmos,

but there was much less agreement about who or what should be in charge.

하지만 누가 어떤 책임을 맡을지는 의견이 분분했습니다.

And I was actually quite amused

그리고 정말 재밌는 부분은

to see that there's some some people who want it to be just machines.

컴퓨터에 맡기자고 하는 사람도 있다는 거예요.

(Laughter)

(웃음)

And there was total disagreement about what the role of humans should be,

그리고 인간의 맡아야 할 역할에 대해서는 모두가 같은 답을 했습니다.

even at the most basic level,

가장 기초적인 수준에 있더라도

so let's take a closer look at possible futures

어떤 미래가 올지 잘 살펴보고

that we might choose to steer toward, alright?

어떤 방향으로 갈지 선택해야 하지 않겠어요?

So don't get me wrong here.

아, 오해하지 마세요.

I'm not talking about space travel,

이것으로 우주여행을 얘기하려는 게 아닙니다.

merely about humanity's metaphorical journey into the future.

미래를 향한 우리 인류의 여정을 비유적으로 표현한 거예요.

So one option that some of my AI colleagues like

저의 AI 연구 동료 몇몇의 의견 중 하나는

is to build superintelligence and keep it under human control,

초지능을 만들되 인간의 통제하에 두자는 것입니다.

like an enslaved god,

마치 노예가 된 신처럼 말이죠.

disconnected from the internet

인터넷 연결을 끊어버리고

and used to create unimaginable technology and wealth

상상을 뛰어넘는 기술과 부를 만드는 데에만 사용하는 겁니다.

for whoever controls it.

자신을 통제하는 사람을 위해서요.

But Lord Acton warned us

액톤 경은 이렇게 경고했습니다.

that power corrupts, and absolute power corrupts absolutely,

권력은 타락하고, 절대 권력은 반드시 부패하기 마련이라고 했죠.

so you might worry that maybe we humans just aren't smart enough,

그러니 우리는 인간이 똑똑하지 않다고 걱정할 것이 아니라

오히려 AI의 막강한 능력을 다룰 만큼 매우 똑똑하다는 걸 걱정해야 합니다.

or wise enough rather,

to handle this much power.

Also, aside from any moral qualms you might have

뛰어난 AI를 노예로 만든다는 것에 죄책감을 가질 것이 아니라

about enslaving superior minds,

you might worry that maybe the superintelligence could outsmart us,

우리가 염려해야 할 것은 어쩌면..

우리를 훨씬 능가하는 초지능이 나타나서 모든 걸 차지할 수 있다는 사실입니다.

break out and take over.

But I also have colleagues who are fine with AI taking over

그런데 제 동료 중에는 AI에게 지배당해도 좋다는 이도 있습니다.

and even causing human extinction,

심지어 인류가 멸종하게 되더라도

as long as we feel the the AIs are our worthy descendants,

AI가 우리의 후손이 될 만하다고 생각되면 그래도 괜찮다는 거예요.

like our children.

우리 아이들처럼 말이죠.

But how would we know that the AIs have adopted our best values

그런데 AI가 우리의 가장 좋은 점만 취할 거라고 어떻게 확신하죠?

and aren't just unconscious zombies tricking us into anthropomorphizing them?

사람 행세를 하는 의식 없는 좀비가 되지 않을 거라고 어떻게 알죠?

Also, shouldn't those people who don't want human extinction

인류의 멸종을 원치 않는 사람들도

have a say in the matter, too?

잠자코 당해야 하는 건가요?

Now, if you didn't like either of those two high-tech options,

만약 여러분이 첨단 기술에 대한 이 두 가지 선택을 모두 포기한다면

it's important to remember that low-tech is suicide

우주적 관점에서 보면 저급한 기술은 자살 행위임을

from a cosmic perspective,

기억해 두셔야 합니다.

because if we don't go far beyond today's technology,

왜냐하면 현재의 기술을 뛰어넘지 못하면

the question isn't whether humanity is going to go extinct,

인류의 멸종이 문제가 아니라

merely whether we're going to get taken out

단순히 다른 문제로 우리가 죽을 수도 있으니까요.

by the next killer asteroid, supervolcano

살인적인 소행성이나 화산 대폭발

or some other problem that better technology could have solved.

아니면 첨단 기술이 있었다면 해결되었을 다른 문제들로 말이죠.

So, how about having our cake and eating it ...

그렇다면 두 마리 토끼를 한 번에 잡으면 어떨까요?

with AGI that's not enslaved

AGI를 노예로 만들지는 못했지만

but treats us well because its values are aligned with ours?

우리와 같은 가치관을 갖고 우리에게 호의를 베풀게 하는 거죠.

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

그것이 엘리제 유드코프스키가 말한 "친근한 AI"의 요지입니다.

and if we can do this, it could be awesome.

그렇게만 된다면 정말 최고죠.

It could not only eliminate negative experiences like disease, poverty,

그러면 부정적인 요소들을 없앨 수 있을 겁니다.

질병, 빈곤, 범죄, 그 밖의 어려운 문제들이요.

crime and other suffering,

but it could also give us the freedom to choose

뿐만 아니라 우리에게 선택의 자유도 가져다줄 거예요.

from a fantastic new diversity of positive experiences --

멋지고 다양한 긍정적 요소들을 선택할 수 있게 될 겁니다.

basically making us the masters of our own destiny.

그러면 우리의 운명을 우리가 원하는 대로 바꿀 수 있게 되겠죠.

So in summary,

정리해서 말씀드리면

our situation with technology is complicated,

기술과 관련한 우리의 현실은 매우 복잡합니다.

but the big picture is rather simple.

하지만 큰 그림은 오히려 단순하죠.

Most AI researchers expect AGI within decades,

AI 연구자 대부분은 수십 년 내에 AGI가 등장할 거라고 기대합니다.

and if we just bumble into this unprepared,

그에 대한 대비 없이 우왕좌왕하고 있으면

it will probably be the biggest mistake in human history --

인류 역사상 최대의 실수를 저지를지도 모릅니다.

let's face it.

맞부딪혀야 해요.

It could enable brutal, global dictatorship

잔혹한 세계적 독재자를 만들어

with unprecedented inequality, surveillance and suffering,

전례가 없는 불평등과 감시, 그리고 고통이 있을지 모릅니다.

and maybe even human extinction.

심지어 인류의 멸종까지도요.

But if we steer carefully,

하지만 우리가 잘 이끈다면

we could end up in a fantastic future where everybody's better off:

모두가 잘살 수 있는 환상적인 미래를 만들 수도 있어요.

the poor are richer, the rich are richer,

가난한 이는 부자가 되고 부자는 더 부자가 되며

everybody is healthy and free to live out their dreams.

모두가 건강하게 살며 자유롭게 꿈을 이룰 수 있습니다.

Now, hang on.

그런데 말이죠.

Do you folks want the future that's politically right or left?

정치적으로 우익 또는 좌익의 미래 사회를 원하시나요?

Do you want the pious society with strict moral rules,

엄격한 도덕적 규율을 갖는 경건한 사회를 원하시나요?

or do you an hedonistic free-for-all,

아니면 자유로운 쾌락을 원하시나요?

more like Burning Man 24/7?

매일 버닝맨 축제가 열리듯이요.

Do you want beautiful beaches, forests and lakes,

아름다운 해변과 숲과 호수를 원하시나요?

or would you prefer to rearrange some of those atoms with the computers,

아니면 컴퓨터가 만든 가상 체험으로 원자 재배열을 연구하고 싶으신가요?

enabling virtual experiences?

With friendly AI, we could simply build all of these societies

'친근한 AI'가 있다면 이 모든 게 가능합니다.

and give people the freedom to choose which one they want to live in

사람들은 각자 원하는 삶을 자유롭게 선택할 수 있습니다.

왜냐하면 우리는 더는 지능의 한계에 제한받지 않고

because we would no longer be limited by our intelligence,

merely by the laws of physics.

오직 물리 법칙만 남기 때문이죠.

So the resources and space for this would be astronomical --

이를 위한 자원과 공간은

문자 그대로 천문학적인 수준이 될 것입니다.

literally.

So here's our choice.

이제 우리의 선택이 남아있습니다.

We can either be complacent about our future,

한 가지 선택은 우리 미래를 자만하는 것입니다.

taking as an article of blind faith

그저 맹신하는 거예요.

that any new technology is guaranteed to be beneficial,

모든 신기술이 우리에게 이득을 가져다줄 거라고

and just repeat that to ourselves as a mantra over and over and over again

우리 스스로에게 계속해서 주문을 걸기만 하는 겁니다.

as we drift like a rudderless ship towards our own obsolescence.

표류하는 배처럼 떠다니며 진부한 방향으로 흘러가겠죠.

Or we can be ambitious --

아니면 야망을 선택할 수도 있습니다.

thinking hard about how to steer our technology

우리 기술을 어떻게 이끌어 갈지 심사숙고하고

and where we want to go with it

경이로움의 시대를 만들어 내려면 어디로 향해야 할지 고민하는 겁니다.

to create the age of amazement.

우리 모두는 경이로움의 시대를 기념하려고 이곳에 모였습니다.

We're all here to celebrate the age of amazement,

and I feel that its essence should lie in becoming not overpowered

저는 그 본질은 우리가 기술의 힘에 제압당하는 것이 아니라

but empowered by our technology.

기술로써 우리가 힘을 얻는 거라고 생각합니다.

Thank you.

감사합니다.

(Applause)

(박수)