How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

번역: Hajeong Kang 검토: DK Kim

크리스 앤더슨: 닉 보스트롬 박사님.

Chris Anderson: Nick Bostrom.

So, you have already given us so many crazy ideas out there.

박사님은 여러 가지 놀라운 아이디어를 많이 내놨었잖아요.

I think a couple of decades ago,

몇십 년 전이었던 것 같은데

you made the case that we might all be living in a simulation,

우리 모두가 가상공간 속에서 살지도 모른다고 주장했죠.

or perhaps probably were.

어쩌면 이미 살고 있을 수도 있고요.

More recently,

좀 더 최근에는

you've painted the most vivid examples of how artificial general intelligence

인공지능이 어떻게 끔찍하게 잘못될 수 있는지에 대한

could go horribly wrong.

아주 생생한 예를 그렸습니다.

And now this year,

그리고 올해는

you're about to publish

곧 논문을 발표하실 거고요.

a paper that presents something called the vulnerable world hypothesis.

취약한 세계 가설이라 부르는 것에 관한 논문 말입니다.

And our job this evening is to give the illustrated guide to that.

오늘 저녁에는그 논문에 대해 설명을 좀 들어 보겠습니다.

So let's do that.

그럼, 시작해 볼까요?

What is that hypothesis?

그 가설은 어떤 것인가요?

Nick Bostrom: It's trying to think about

닉 보스트롬: 현재 인류의 상태에 대한

a sort of structural feature of the current human condition.

일종의 구조적 특징에 대해 생각해 보려고 합니다.

You like the urn metaphor,

대표님은 항아리 은유법을 좋아하잖아요.

so I'm going to use that to explain it.

그래서 그걸로 설명해 보겠습니다.

So picture a big urn filled with balls

공이 가득 든 큰 항아리를 상상해 보세요.

representing ideas, methods, possible technologies.

공은 아이디어, 방법들, 가능한 기술들을 나타내죠.

You can think of the history of human creativity

인류의 창의성 역사를

as the process of reaching into this urn and pulling out one ball after another,

이 항아리에 손을 넣어 공을 하나씩 뽑아내는 것으로 생각할 수 있습니다.

and the net effect so far has been hugely beneficial, right?

지금까지 순 효과는 큰 득이 됐고요.

We've extracted a great many white balls,

우리가 뽑아낸 건 수많은 하얀 공과

some various shades of gray, mixed blessings.

축복이자 저주일지 모르는 일부의 회색 빛깔 공이었습니다.

We haven't so far pulled out the black ball --

지금까지 검은 공을 뽑은 적이 없었죠.

a technology that invariably destroys the civilization that discovers it.

검은 공은 그것을 발견한 문명을 확실하게 파괴할 수 있는 기술입니다.

So the paper tries to think about what could such a black ball be.

논문에선 무엇이 그런 검은 공이 될 수 있는지 생각해 보려고 합니다.

CA: So you define that ball

CA: 그러니까 박사님은 그 공을

as one that would inevitably bring about civilizational destruction.

필연적으로 문명의 파괴를 초래하는 것으로 정의하는 군요.

NB: Unless we exit what I call the semi-anarchic default condition.

NB: 이른바 반 무정부 상태를 벗어나지 않는다면 그렇겠죠.

But sort of, by default.

어떤 조치를 취하지 않는다면요.

CA: So, you make the case compelling

CA: 그러니까 박사님은 일종의 반증을 보여줌으로써

by showing some sort of counterexamples

이 주장을 설득력있게 만들었군요.

where you believe that so far we've actually got lucky,

즉 우리는 지금까지 운이 좋았을 뿐이고

that we might have pulled out that death ball

파멸의 공을 뽑았을지도 모른다고 생각하시는 거죠.

without even knowing it.

우리도 모르는 사이에 말이죠.

So there's this quote, what's this quote?

여기 인용문이 있는데, 이 인용문은 뭐죠?

[천체 물리학의 끝은 수소 폭탄이다. 뉴튼(이 아니고) 닉 보스트롬]

NB: Well, I guess it's just meant to illustrate

NB: 제 생각엔 그건 단지 기본적인 발견이 어떤 결과를 가져올지

the difficulty of foreseeing

what basic discoveries will lead to.

예측하는 것의 어려움을 보인 겁니다.

We just don't have that capability.

우리는 그런 능력이 없습니다.

Because we have become quite good at pulling out balls,

우리는 공을 뽑는 데는 능숙하지만

but we don't really have the ability to put the ball back into the urn, right.

공을 다시 항아리에 넣는 능력은 정말 없거든요.

We can invent, but we can't un-invent.

우리는 발명을 할 순 있지만 발명한 걸 없던 걸로 할 순 없습니다.

So our strategy, such as it is,

그래서 우리 전략은 말 그대로

is to hope that there is no black ball in the urn.

항아리에 검은 공이 없기를 바라는 겁니다.

CA: So once it's out, it's out, and you can't put it back in,

CA: 일단 밖으로 나오면 나온 것이고 그걸 다시 넣을 수는 없는데

and you think we've been lucky.

그동안 운이 좋았다고 생각하는군요.

So talk through a couple of these examples.

몇 가지 예를 살펴봅시다.

You talk about different types of vulnerability.

박사님은 서로 다른 유형의 취약성에 대해 이야기합니다.

NB: So the easiest type to understand

NB: 가장 이해하기 쉬운 예는 기술이죠.

is a technology that just makes it very easy

대량 파괴를 매우 쉽게 만드는 기술 말입니다.

to cause massive amounts of destruction.

[누구나 대량 파괴 수단을 쉽게 취득]

Synthetic biology might be a fecund source of that kind of black ball,

합성 생물학은 그런 종류 검은 공의 풍부한 원천이 될 수 있습니다.

but many other possible things we could --

하지만 다른 많은 것들이 가능하죠.

think of geoengineering, really great, right?

지구 공학에 대해 생각해 보십시오. 정말 대단합니다.

We could combat global warming,

지구 온난화와 싸울 수 있습니다.

but you don't want it to get too easy either,

하지만 동시에 그게 너무 쉬워지길 원하진 않겠죠.

you don't want any random person and his grandmother

어떤 사람이 순진한 사람들과 함께

to have the ability to radically alter the earth's climate.

지구의 기후를 근본적으로 바꿀 수 있는 능력을 가지는 걸 원하진 않죠.

Or maybe lethal autonomous drones,

치명적인 무인 드론도 가능하죠.

massed-produced, mosquito-sized killer bot swarms.

대량 생산된 모기 크기의 킬러 로봇 떼 말입니다.

Nanotechnology, artificial general intelligence.

나노 기술이나 범용 인공 지능일 수도 있습니다.

CA: You argue in the paper

CA: 박사님은 논문에서 이렇게 주장했죠.

that it's a matter of luck that when we discovered

핵 연쇄반응을 이용해서 폭탄을 만들 수 있다는 걸

that nuclear power could create a bomb,

우리가 알았을 때 그건 순전히 우연이었다.

it might have been the case

즉 누구나 쉽게 접할 수 있는

that you could have created a bomb

훨씬 다루기 쉬운 원료로

with much easier resources, accessible to anyone.

폭탄을 만들 수도 있었을 것이다.

NB: Yeah, so think back to the 1930s

NB: 그렇습니다. 1930년대를 돌이켜보세요.

where for the first time we make some breakthroughs in nuclear physics,

처음으로 핵물리학 분야에서 획기적인 발전을 이루었을 때

some genius figures out that it's possible to create a nuclear chain reaction

어떤 천재가 핵 연쇄 반응을 일으킬 수도 있다는 걸 알아냈고

and then realizes that this could lead to the bomb.

폭탄으로 이어질 수 있다는 걸 알았죠.

And we do some more work,

그리고 우리는 더 많은 연구를 했고

it turns out that what you require to make a nuclear bomb

핵폭탄을 만들기 위해 필요한 것은

is highly enriched uranium or plutonium,

고농축 우라늄이나 플루토늄이라는 걸 알아냈는데

which are very difficult materials to get.

그건 구하기 매우 어려운 재료들이었죠.

You need ultracentrifuges,

초원심 분리기가 필요하며

you need reactors, like, massive amounts of energy.

엄청난 양의 에너지와 같은 반응로도 필요합니다.

But suppose it had turned out instead

하지만 그 대신에 이랬었다 가정해보죠.

there had been an easy way to unlock the energy of the atom.

원자 에너지를 방출하기 위한 쉬운 방법이 있었다고요.

That maybe by baking sand in the microwave oven

어쩌면 전자레인지로 모래를 굽는 것이나

or something like that

아니면 그런 비슷한 것으로

you could have created a nuclear detonation.

핵폭발을 일으킬 수도 있었다고요.

So we know that that's physically impossible.

우리는 그게 물리적으로 불가능하다는 것을 알고 있습니다.

But before you did the relevant physics

하지만 관련 물리학 분야를 연구하기 전에

how could you have known how it would turn out?

그게 어떻게 될지 어떻게 알 수 있겠습니까?

CA: Although, couldn't you argue

CA: 하지만 박사님은

that for life to evolve on Earth

생명체가 지구에서 진화하기 위해서는

that implied sort of stable environment,

어느 정도 안정된 환경이어야 한다고 주장하지 않았나요?

that if it was possible to create massive nuclear reactions relatively easy,

만약 비교적 쉽게 대규모 핵반응을 일으킬 수 있었다면

the Earth would never have been stable,

지구는 결코 안정되지 않았을 겁니다.

that we wouldn't be here at all.

우리가 여기 있지도 않겠죠.

NB: Yeah, unless there were something that is easy to do on purpose

NB: 그렇죠, 목적을 갖고 하기는 쉽지만

but that wouldn't happen by random chance.

우연히 일어나지는 않을 그런 무엇인가가 있는 게 아니라면요.

So, like things we can easily do,

우리가 쉽게 할 수 있는 일,

we can stack 10 blocks on top of one another,

예를 들어 블록 열 개를 쌓는 것은 쉬운 일이지만

but in nature, you're not going to find, like, a stack of 10 blocks.

자연에서 10개의 블록이 쌓여있는 걸 찾진 못할 겁니다.

CA: OK, so this is probably the one

CA: 그렇죠, 아마도 많은 사람들이

that many of us worry about most,

가장 걱정하는 것 중 하나일 겁니다.

and yes, synthetic biology is perhaps the quickest route

합성 생물학은 가까운 미래에 인류를 거기에 이르게 할 것으로

that we can foresee in our near future to get us here.

우리가 예상할 수 있는 가장 빠른 길일 것입니다.

NB: Yeah, and so think about what that would have meant

NB: 네, 그러니까 그게 무슨 뜻일지 생각해보세요.

if, say, anybody by working in their kitchen for an afternoon

아무나 부엌에서 한나절 작업하는 것으로

could destroy a city.

도시를 파괴할 수 있다면요.

It's hard to see how modern civilization as we know it

우리가 알고 있는 현대 문명이

could have survived that.

어떻게 살아 남을지 알기 어렵습니다.

Because in any population of a million people,

인구가 백만 명이라면

there will always be some who would, for whatever reason,

어떤 이유로든 그 파괴력을 사용하는 걸

choose to use that destructive power.

선택할 사람이 항상 있게 마련이니까요.

So if that apocalyptic residual

따라서 그 종말론자가

would choose to destroy a city, or worse,

도시 하나를 파괴하기로 결정했다면 또는 더 나쁜 걸 원한다면

then cities would get destroyed.

도시 여러 개가 파괴될 겁니다.

CA: So here's another type of vulnerability.

CA: 이건 다른 종류의 취약성이네요. 이것에 대해 얘기해 보죠.

Talk about this.

[2A 강대국들에 대한 부정적 유인]

NB: Yeah, so in addition to these kind of obvious types of black balls

NB: 이런 명백한 검은 공으로

that would just make it possible to blow up a lot of things,

많은 것들을 날려버릴 수 있는 외에도

other types would act by creating bad incentives

다른 종류의 공들이 인간이 유해한 일을 하도록

for humans to do things that are harmful.

나쁜 동기를 부여하는 방식으로 작동할 겁니다.

So, the Type-2a, we might call it that,

우리가 2A 유형이라고 부르는 것은

is to think about some technology that incentivizes great powers

강대국이 그 강력한 힘을 파괴에 사용하도록

to use their massive amounts of force to create destruction.

동기부여하는 기술입니다.

So, nuclear weapons were actually very close to this, right?

그러니까 핵무기는 사실 여기에 아주 가까운 거죠.

What we did, we spent over 10 trillion dollars

우리가 한 일은 10조 달러 이상을 들여

to build 70,000 nuclear warheads

7만 개의 핵탄두를 만들어

and put them on hair-trigger alert.

일촉 즉발의 위태로운 경계 태세로 들어선 겁니다.

And there were several times during the Cold War

냉전 기간 동안 우리는 여러 번이나

we almost blew each other up.

서로를 거의 파멸시킬 뻔한 적이 있었습니다.

It's not because a lot of people felt this would be a great idea,

많은 사람들이 자신을 폭파시키기 위해

let's all spend 10 trillion dollars to blow ourselves up,

10조 달러를 쏟아붓는 것을 졸은 생각으로 여겼기 때문이 아니고

but the incentives were such that we were finding ourselves --

그 유인이 우리를 그렇게 만든 것이죠.

더 나쁜 경우도 가능했겠죠.

this could have been worse.

안전한 첫 번째 공격이 있었다고 상상해 보세요.

Imagine if there had been a safe first strike.

Then it might have been very tricky,

그렇다면

in a crisis situation,

위기 상황에서

to refrain from launching all their nuclear missiles.

모든 핵 미사일 발사를 억제하는 것은 매우 어려웠을지도 모릅니다.

If nothing else, because you would fear that the other side might do it.

적어도 상대방이 그렇게 할까 봐 두려울 테니까요.

CA: 맞습니다. 상호 확증 파괴는

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

냉전을 비교적 안정적으로 유지시켰고

without that, we might not be here now.

그게 없었다면 우린 지금 여기 없을지도 모릅니다.

NB: It could have been more unstable than it was.

NB: 더 불안정할 수도 있었겠죠.

And there could be other properties of technology.

그리고 기술의 다른 속성이 있을 수 있습니다.

무기 조약을 맺는 것은 어려웠을지도 모릅니다.

It could have been harder to have arms treaties,

if instead of nuclear weapons

만약 무기가 핵보다 더 작거나

there had been some smaller thing or something less distinctive.

성능이 떨어지는 것이었다면요.

CA: And as well as bad incentives for powerful actors,

CA: 강대국들이 나쁜 동기를 갖는 것과 마찬가지로

you also worry about bad incentives for all of us, in Type-2b here.

2B 유형처럼 모두가 나쁜 동기를 가지는 것도 우려하고 있네요.

NB: Yeah, so, here we might take the case of global warming.

NB: 네, 지구온난화를 생각해봅시다.

There are a lot of little conveniences

각자가 지구온난화에 영향을 미치는 일을 하게 만드는

that cause each one of us to do things

작은 편의 시설들이 많이 있습니다.

that individually have no significant effect, right?

그건 개별적으론 큰 영향이 없습니다만

But if billions of people do it,

수십억의 사람들이 그것을 한다면

cumulatively, it has a damaging effect.

누적이 되어 나쁜 영향을 끼칠 겁니다.

Now, global warming could have been a lot worse than it is.

지구온난화는 지금보다 훨씬 더 심각할 수도 있었을 겁니다.

So we have the climate sensitivity parameter, right.

[2B 일반 대중에 대한 부정적 유인]

기후민감도 매개변수가 있습니다.

It's a parameter that says how much warmer does it get

일정량의 온실가스를 배출하면 얼마나 따뜻해지는지

if you emit a certain amount of greenhouse gases.

알려주는 매개 변수 입니다.

But, suppose that it had been the case

하지만 가정해 봅시다.

that with the amount of greenhouse gases we emitted,

우리가 배출한 온실가스의 양으로

instead of the temperature rising by, say,

2100년까지 3도에서 4.5도 사이의 온도 상승 대신에

between three and 4.5 degrees by 2100,

suppose it had been 15 degrees or 20 degrees.

15도 또는 20도의 온도 상승이 발생했다고 가정한다면요.

Like, then we might have been in a very bad situation.

우리는 아마 매우 난처한 상황에 처했을 수도 있을 겁니다.

Or suppose that renewable energy had just been a lot harder to do.

혹은 재생에너지의 실현이 훨씬 더 어려웠다거나

땅에 더 많은 화석연료가 있었다고 가정한다면요.

Or that there had been more fossil fuels in the ground.

CA: 이런 경우는 어떤가요?

CA: Couldn't you argue that if in that case of --

if what we are doing today

만약 우리가 오늘 하고 있는 것이

had resulted in 10 degrees difference in the time period that we could see,

우리가 살아 있는 동안 10도나 변화시킨다면

actually humanity would have got off its ass and done something about it.

사실 인류는 궁지에서 벗어나 뭔가 조치를 취했을 겁니다.

We're stupid, but we're not maybe that stupid.

우리는 어리석지만 그 정도로 어리석진 않죠.

Or maybe we are.

아니면 그럴 지도 모르고요.

NB: I wouldn't bet on it.

NB: 장담하지 마세요.

(Laughter)

(웃음)

You could imagine other features.

다른 특징들에 대해 생각해볼 수 있습니다.

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

지금 당장은 재생 에너지 같은 것으로 바꾸기가 좀 어렵긴 하지만

but it can be done.

가능한 일입니다.

But it might just have been, with slightly different physics,

하지만 약간의 물리적 차이가 있었을 수도 있어서

it could have been much more expensive to do these things.

이런 것들을 하는 게 훨씬 더 돈이 많이 들었을 수는 있겠네요.

CA: And what's your view, Nick?

CA: 박사님의 생각은 어떤가요?

Do you think, putting these possibilities together,

이런 가능성들을 종합해서 생각해보면

that this earth, humanity that we are,

이 지구와 인류가

we count as a vulnerable world?

취약한 세계라고 생각하세요?

That there is a death ball in our future?

인류의 미래에는 죽음의 공이 있을까요?

NB: It's hard to say.

NB : 그건 말하기 어렵지만

I mean, I think there might well be various black balls in the urn,

항아리 안에는 다양한 검은 공들이 있을 것 같습니다.

that's what it looks like.

그렇게 보입니다.

There might also be some golden balls

어쩌면 황금 공도 들어 있어서

that would help us protect against black balls.

우리를 검은 공으로부터 보호하는 데 도움이 될 수도 있을 거에요.

And I don't know which order they will come out.

그런데 그게 어떤 순서로 나올지는 몰라요.

CA: I mean, one possible philosophical critique of this idea

CA : 이 아이디어에 관해 할 수 있는 철학적 비판 중에는

is that it implies a view that the future is essentially settled.

이런 생각이 미래는 본질적으로 정해져 있다고 본다는 점이 있겠죠.

That there either is that ball there or it's not.

저기에 공이 있든지 없든지 둘 중 하나죠.

And in a way,

그리고 어떻게 보면

that's not a view of the future that I want to believe.

그건 제가 믿고 싶은 미래의 관점이 아니에요.

I want to believe that the future is undetermined,

미래가 결정되지 않았다고 믿고 싶습니다.

that our decisions today will determine

즉 오늘 우리가 내린 결정이

what kind of balls we pull out of that urn.

항아리에서 어떤 종류의 공을 꺼낼지 결정하게 될 겁니다.

NB: I mean, if we just keep inventing,

NB: 제 말은, 우리가 계속 발명을 한다면

like, eventually we will pull out all the balls.

결국에는 모든 공을 뽑을 거예요.

I mean, I think there's a kind of weak form of technological determinism

제 말은, 약한 형태의 기술 결정론이

that is quite plausible,

꽤 그럴듯하다고 생각합니다.

like, you're unlikely to encounter a society

제트기 안에서 부싯돌을 쓰는 사회가

that uses flint axes and jet planes.

있을 것 같지는 않습니다.

But you can almost think of a technology as a set of affordances.

기술이 행동을 유도한다고 생각할 수도 있습니다.

So technology is the thing that enables us to do various things

기술은 우리가 다양한 일을 할 수 있게 하고

and achieve various effects in the world.

그로 인해 세계에 다양한 효과를 가져옵니다.

그것을 어떻게 사용할지는 물론 우리 선택에 달려 있습니다.

How we'd then use that, of course depends on human choice.

But if we think about these three types of vulnerability,

하지만 이 세 가지 유형의 취약성에 대해 생각한다면

they make quite weak assumptions about how we would choose to use them.

그것들을 어떻게 사용할 것인지에 대해 상당히 약한 가정을 합니다.

So a Type-1 vulnerability, again, this massive, destructive power,

다시 말하지만 1유형의 취약성은 거대한 파괴력입니다.

it's a fairly weak assumption

이건 상당히 타당한 생각인데

to think that in a population of millions of people

수백만 명의 인구 중에서 어떤 사람들은

there would be some that would choose to use it destructively.

그걸 파괴적으로 사용하길 선택할 겁니다.

CA: For me, the most single disturbing argument

CA: 제게 가장 혼란스러운 주장은

is that we actually might have some kind of view into the urn

우리가 항아리에 대한 어떠한 견해를 가지는 것이

that makes it actually very likely that we're doomed.

실제로 파멸할 가능성을 높게 만든다는 것입니다.

Namely, if you believe in accelerating power,

즉, 만약 당신이 가속력을 믿는다면

that technology inherently accelerates,

그 기술은 본질적으로 가속화되며

that we build the tools that make us more powerful,

우리를 더 강력하게 만드는 도구를 만든다는 것입니다.

then at some point you get to a stage

어느 순간 우리는

where a single individual can take us all down,

개인이 우리 모두를 파멸시킬 수 있는 단계에 도달하게 될 것이고

and then it looks like we're screwed.

그러면 우리는 아마도 파멸하겠죠.

Isn't that argument quite alarming?

그 주장은 꽤 놀랍지 않나요?

NB: Ah, yeah.

NB: 아, 네.

(Laughter)

(웃음)

I think --

제 생각엔

Yeah, we get more and more power,

우리는 점점 더 많은 힘을 얻고

and [it's] easier and easier to use those powers,

그 힘을 사용하는 것이 점점 더 쉬워질 겁니다.

but we can also invent technologies that kind of help us control

하지만 우리는 사람들이 그러한 힘을 어떻게 사용하는지를 통제하는 ​​데에

how people use those powers.

도움을 주는 기술도 만들 수 있습니다.

CA: So let's talk about that, let's talk about the response.

CA: 그것에 대해 이야기해 보죠. 거기에 대한 대응에 대해서요.

Suppose that thinking about all the possibilities

현존하는 모든 가능성에 대해 생각한다고 가정해봅시다.

that are out there now --

it's not just synbio, it's things like cyberwarfare,

합성 생물학뿐 아니라 사이버 전쟁,

artificial intelligence, etc., etc. --

인공 지능 등과 같은 것들로

that there might be serious doom in our future.

우리의 미래에 심각한 파멸이 있을지도 모릅니다.

What are the possible responses?

어떻게 해야 할까요?

And you've talked about four possible responses as well.

네 가지 가능한 대응법에 대해서 이야기하셨는데요.

[대응 1: 기술 발전을 제한하기]

NB: Restricting technological development doesn't seem promising,

NB: 기술 개발의 전면적인 중단을 말하는 것이라면

if we are talking about a general halt to technological progress.

기술 발전을 제한하는 것이 유망하다고 생각되진 않네요.

I think neither feasible,

실현 가능하지도 않고 가능하다고 해도 바람직하지 않은 것 같아요.

nor would it be desirable even if we could do it.

I think there might be very limited areas

기술 발전 속도를 늦추고 싶은 분야는

where maybe you would want slower technological progress.

매우 제한적일 수 있습니다.

You don't, I think, want faster progress in bioweapons,

예를 들어 생물학 무기나 동위 원소 분리에서는

or in, say, isotope separation,

더 빠른 발전을 원치 않을 겁니다.

that would make it easier to create nukes.

핵무기를 만들기가 더 쉬워질 테니까요.

CA: I mean, I used to be fully on board with that.

CA: 저도 전에는 그렇게 생각했습니다만

But I would like to actually push back on that for a minute.

조금 다른 견해를 살펴보죠.

Just because, first of all,

우선 지난 수십 년의 역사를 보면

if you look at the history of the last couple of decades,

you know, it's always been push forward at full speed,

아시다시피 항상 전속력으로 나아갔죠.

it's OK, that's our only choice.

그게 우리의 유일한 선택이었습니다.

But if you look at globalization and the rapid acceleration of that,

하지만 세계화와 그 급속한 가속화를,

if you look at the strategy of "move fast and break things"

'빨리 움직이고 무엇이든 혁파하십시오.'라는 전략과

and what happened with that,

그래서 무슨 일이 일어났는지,

and then you look at the potential for synthetic biology,

그리고 합성 생물학의 잠재력을 본다면

I don't know that we should move forward rapidly

모든 가정과 고등학교 실험실에서

or without any kind of restriction

빠른 속도로 아무 제약 없이 DNA 프린터를 가질 수 있는 세상으로

to a world where you could have a DNA printer in every home

앞으로 나아가야만 하는 건지 의문입니다.

and high school lab.

There are some restrictions, right?

몇 가지 제약이 있습니다, 그렇죠?

NB: Possibly, there is the first part, the not feasible.

NB: 아마도 첫째는 실현가능하지 않은 것입니다.

If you think it would be desirable to stop it,

개발을 멈추는 게 바람직하다고 생각하더라도

there's the problem of feasibility.

실현가능성의 문제가 있습니다.

So it doesn't really help if one nation kind of --

한 국가의 경우엔 소용이 없을 거예요.

CA: No, it doesn't help if one nation does,

CA: 그렇죠, 한 국가가 그렇게 한다면 어쩔 수 없겠죠.

but we've had treaties before.

하지만 우린 전에 조약을 맺은 적이 있습니다.

That's really how we survived the nuclear threat,

그게 우리가 핵 위협에서 살아남은 방법입니다.

was by going out there

그 자리에 나가서 고통스러운 협상 과정을 거치는 것이었습니다.

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

세계적으로 우선순위를 둬서

we shouldn't go out there and try,

우리가 그 곳에 나가서

like, now start negotiating really strict rules

합성 생물 연구가 이루어지는 곳에 대한 아주 엄격한 규칙 마련을 위한

on where synthetic bioresearch is done,

협상을 시작하지 않으면 안되는 거 아닐까요?

that it's not something that you want to democratize, no?

누구나 할 수 있도록 하고 싶은 건 아니잖나요?

NB: I totally agree with that --

NB: 저도 그렇게 생각합니다.

that it would be desirable, for example,

바람직하기로는 예를 들어

maybe to have DNA synthesis machines,

DNA 합성 장치는

not as a product where each lab has their own device,

각자 실험실에서 소유하는 것이 아니라

but maybe as a service.

서비스로서 갖춰지는 거죠.

Maybe there could be four or five places in the world

어쩌면 세계에 네다섯 곳 정도가 있어서

where you send in your digital blueprint and the DNA comes back, right?

디지털 청사진을 받아서 DNA를 제작해주면 되지 않을까 합니다.

And then, you would have the ability,

그러면 그걸 통제할 수 있겠죠.

if one day it really looked like it was necessary,

언젠가 진짜로 제한이 필요한 것 같으면

we would have like, a finite set of choke points.

제한된 수의 지점에서 통제를 할 수 있겠죠.

So I think you want to look for kind of special opportunities,

좀 더 엄격하게 통제할 수 있는

where you could have tighter control.

특별한 기회 같은 걸 원하는 거 같군요.

CA: Your belief is, fundamentally,

CA: 박사님은 근본적으로

we are not going to be successful in just holding back.

우리가 스스로 자제하지 못할 거라고 생각하시네요.

Someone, somewhere -- North Korea, you know --

어딘가의 누군가가, 예를 들어 북한과 같은

someone is going to go there and discover this knowledge,

누군가가 그곳에 가서 이 지식을 발견하게 된다는 거죠.

if it's there to be found.

만약 그것이 거기 있다면요.

NB: That looks plausible under current conditions.

NB: 현재로서는 그렇게 보입니다.

It's not just synthetic biology, either.

단지 합성생물학만이 아닙니다.

I mean, any kind of profound, new change in the world

제 말은, 세상 어떤 종류의 심오하고 새로운 변화도

could turn out to be a black ball.

검은 공이 될 수 있다는 겁니다.

CA: Let's look at another possible response.

CA: 다른 대응법을 봅시다.

NB: This also, I think, has only limited potential.

NB: 이것도 한정적이긴 합니다만

[대응 2: 불량 세력을 제거하기]

So, with the Type-1 vulnerability again,

1유형의 취약성에 대해서는

I mean, if you could reduce the number of people who are incentivized

그런 수단을 손에 넣기만 한다면

세상을 파괴하고 싶어하는 사람의 수를

to destroy the world,

if only they could get access and the means,

줄일 수 있다면 그건 괜찮을 것 같은데요.

that would be good.

CA: In this image that you asked us to do

CA: 박사님이 부탁한 이 영상에서는

you're imagining these drones flying around the world

얼굴 인식 기능이 있는 드론이 전 세계를 날아다닙니다.

with facial recognition.

누군가가 반사회적 행동을 하려는 조짐이 보이는 것을 발견하면

When they spot someone showing signs of sociopathic behavior,

they shower them with love, they fix them.

사랑을 쏟아붓고 그들을 치료합니다.

NB: I think it's like a hybrid picture.

NB: 복합적인 영상 같네요.

Eliminate can either mean, like, incarcerate or kill,

제거는 감금 또는 살해와 같은 것을 의미할 수도 있고

or it can mean persuade them to a better view of the world.

더 나은 세계관을 갖도록 설득하는 거일 수도 있습니다.

But the point is that,

하지만 요점은

suppose you were extremely successful in this,

이러한 일이 매우 성공적이었고

and you reduced the number of such individuals by half.

그런 사람들의 수를 절반으로 줄였다고 가정해보죠.

And if you want to do it by persuasion,

설득이라는 수단으로 이를 달성하려면

you are competing against all other powerful forces

사람들을 설득하려고 하다가 정당, 종교, 교육시스템과 같은

that are trying to persuade people,

비슷한 목적을 갖는 모든 다른 강력한 세력과 겨루게 됩니다.

parties, religion, education system.

But suppose you could reduce it by half,

하지만 그 인원을 절반으로 줄였다고 하더라도

I don't think the risk would be reduced by half.

그 위험이 절반으로 줄어들진 않을 겁니다.

Maybe by five or 10 percent.

대충 5%나 10% 정도겠죠.

CA: You're not recommending that we gamble humanity's future on response two.

CA: 2번 대응법에 인간의 미래를 걸라고 권하는 건 아니네요.

NB: I think it's all good to try to deter and persuade people,

NB: 저는 사람들을 단념시키고 설득하는 것이 좋다고 생각해요.

but we shouldn't rely on that as our only safeguard.

하지만 그것을 유일한 안전장치로 의존해서는 안되겠지요.

CA: How about three?

CA: 세 번째는 뭐죠?

NB: I think there are two general methods

NB: 두 가지 일반적인 방법이 있을 것 같습니다.

[대응 3: 대중을 감시하기]

that we could use to achieve the ability to stabilize the world

이 방법들을 사용해서 가능한 모든 범위의 취약성에 대해

against the whole spectrum of possible vulnerabilities.

세상을 안정시킬 수 있을 것 같습니다.

And we probably would need both.

아마 둘 다 필요할 겁니다.

So, one is an extremely effective ability

하나는 매우 효과적인

to do preventive policing.

예방 정책입니다.

Such that you could intercept.

차단을 할 수 있는 거죠.

If anybody started to do this dangerous thing,

누군가 위험한 일을 시작한다면

you could intercept them in real time, and stop them.

중간에 실시간으로 막고 저지할 수 있습니다.

So this would require ubiquitous surveillance,

그러기 위해서는 유비쿼터스 감시가 필요하게 될 것입니다.

everybody would be monitored all the time.

누구나 항상 감시당하고 있는 거죠.

CA: This is "Minority Report," essentially, a form of.

CA: 일종의 영화, '마이너리티 리포트'네요.

NB: You would have maybe AI algorithms,

NB: 인공지능 알고리즘이나

big freedom centers that were reviewing this, etc., etc.

여러 가지 사찰을 하는 자유센터 같은 것이 이용될지도 모릅니다.

CA: You know that mass surveillance is not a very popular term right now?

CA: 대중감시가 지금 그렇게 인기 있는 용어는 아니라는 거 알죠?

(Laughter)

(웃음)

NB: Yeah, so this little device there,

NB: 그러니까 이 작은 장치,

imagine that kind of necklace that you would have to wear at all times

다방향 카메라가 달린 목걸이를 항상 몸에 지니고 다니는 것을 상상해보세요.

with multidirectional cameras.

(웃음)

But, to make it go down better,

쉽게 받아들일 수 있도록

just call it the "freedom tag" or something like that.

'자유의 표식' 같은 이름을 붙이면 좋겠네요.

(Laughter)

(웃음)

CA: OK.

CA: 알았어요.

I mean, this is the conversation, friends,

그러니까 이 대화가

this is why this is such a mind-blowing conversation.

깜짝 놀랄만한 이야기라고 하는 겁니다, 여러분.

NB: Actually, there's a whole big conversation on this

NB:이것에 관해서는

on its own, obviously.

당연히 많은 논란이 있습니다.

There are huge problems and risks with that, right?

엄청난 문제와 위험이 따릅니다.

We may come back to that.

나중에 거기에 대해 다시 얘기해 보죠.

So the other, the final,

다른 하나, 마지막으로

the other general stabilization capability

일반적인 안정화 기능은

is kind of plugging another governance gap.

지배구조 격차를 막는 것입니다.

So the surveillance would be kind of governance gap at the microlevel,

[대응 4: 전 세계적 지배구조]

감시는 미시적인 수준의 지배구조 격차일 겁니다.

like, preventing anybody from ever doing something highly illegal.

어떤 개인이 불법적인 행동을 하지 못하게 하는 것처럼요.

Then, there's a corresponding governance gap

그러면 거시적 차원, 세계적 차원에서는

at the macro level, at the global level.

그에 상응하는 지배구조 격차가 있습니다.

You would need the ability, reliably,

이 능력은

to prevent the worst kinds of global coordination failures,

최악의 세계적 협력 실패에 대비하기 위한 겁니다.

to avoid wars between great powers,

강대국 간의 전쟁,

arms races,

무기 경쟁,

cataclysmic commons problems,

공유자원이 파탄나는 문제,

in order to deal with the Type-2a vulnerabilities.

2A 유형의 취약성에 대한 대처입니다.

CA: Global governance is a term

CA: 세계적 지배구조는

that's definitely way out of fashion right now,

확실히 시대에 뒤떨어진 용어지만

but could you make the case that throughout history,

역사 전체에 걸쳐,

the history of humanity

인류 역사 전체에 걸쳐

is that at every stage of technological power increase,

기술력이 증대될 때마다

people have reorganized and sort of centralized the power.

사회는 재구성되고 그 힘은 집중되는 걸 볼 수 있습니다.

So, for example, when a roving band of criminals

예를 들어, 한 무리의 범죄자들이

could take over a society,

한 사회를 장악할 수 있었을 때

the response was, well, you have a nation-state

그 결과는 민족 국가가 나타나고

and you centralize force, a police force or an army,

경찰이나 군대 같은 권력을 집중시키는 거죠.

so, "No, you can't do that."

그러니 "그래서는 안됩니다"인 거죠.

The logic, perhaps, of having a single person or a single group

어쩌면 한 사람이나 한 그룹이

able to take out humanity

인류를 파멸시킬 수 있다는 논리는

means at some point we're going to have to go this route,

어떤 시점에서는 이 길을 가고 만다는 걸 의미하는 거 아닌가요?

적어도 비슷한 형태로라도요.

at least in some form, no?

NB: It's certainly true that the scale of political organization has increased

NB: 인류 역사에 걸쳐 정치 조직의 규모가 커진 것은 분명합니다.

over the course of human history.

It used to be hunter-gatherer band, right,

예전에는 수렵 채집 집단 정도였죠.

and then chiefdom, city-states, nations,

그다음에는 군장사회, 도시국가나 국가가 출현하고

now there are international organizations and so on and so forth.

지금은 국제 조직 등등이 있습니다.

Again, I just want to make sure

다시 한 번 제가 강조하고 싶은 건

I get the chance to stress

that obviously there are huge downsides

대중감시와 세계적 지배구조는 모두

and indeed, massive risks,

both to mass surveillance and to global governance.

큰 단점과 엄청난 위험이 당연히 있다는 겁니다.

I'm just pointing out that if we are lucky,

제가 말씀드리고 싶은 건 우리가 운이 좋다면

the world could be such that these would be the only ways

이게 검은 공으로부터 살아남을 수 있는

유일한 방법일지도 모른다는 것입니다.

you could survive a black ball.

CA: The logic of this theory,

CA: 즉 이 말은,

제가 보기엔

it seems to me,

is that we've got to recognize we can't have it all.

모든 것을 손에 넣을 수는 없다는 걸 인식해야 된다는 거군요.

That the sort of,

I would say, naive dream that many of us had

많은 사람들이 갖고 있는 그런 종류의 순진한 꿈,

that technology is always going to be a force for good,

즉, 기술은 항상 선을 위한 힘이 되고

keep going, don't stop, go as fast as you can

계속 나아가고, 멈추지 않고, 가능한 한 빨리 나아가고

and not pay attention to some of the consequences,

결과에 주의를 기울이지 않아도 된다는 그런 꿈은

실제로 가능한 선택지가 아니라는 거죠.

that's actually just not an option.

We can have that.

우리가 그것을 가질 수는 있겠지만

If we have that,

만약 그것을 얻는다면 다른 일들도 받아들여야만 하는 거죠.

we're going to have to accept

some of these other very uncomfortable things with it,

그것과 함께 오는 아주 불편한 일들과

and kind of be in this arms race with ourselves

자신과의 무기 경쟁과 같은 것들이요.

of, you want the power, you better limit it,

힘을 갖고 싶다면 제한하는 것이 좋을 것이고

you better figure out how to limit it.

어떻게 제한할 것인가에 대해 생각하는 것이 좋을 것입니다.

NB: I think it is an option,

NB: 제 생각에 이건

아주 매력적인 선택사항입니다.

a very tempting option, it's in a sense the easiest option

어떤 의미에서는 가장 손쉬운 선택이고 잘 될 수도 있지만

and it might work,

but it means we are fundamentally vulnerable to extracting a black ball.

본질적으로 검은 공을 꺼낼 위험성이 있다는 말입니다.

Now, I think with a bit of coordination,

제 생각엔 약간 조정을 해서

like, if you did solve this macrogovernance problem,

거시적 지배구조와 미시적 지배구조의 문제를 해결한다면

and the microgovernance problem,

then we could extract all the balls from the urn

항아리에서 모든 공을 빼낼 수 있고

큰 혜택을 얻을 수 있을 겁니다.

and we'd benefit greatly.

CA: I mean, if we're living in a simulation, does it matter?

CA: 우리가 시뮬레이션 안에 살고 있다면 문제될 거 있나요?

We just reboot.

그저 다시 시작하면 되죠.

(Laughter)

(웃음)

NB: Then ... I ...

NB: 그렇다면, 저는...

(Laughter)

(웃음)

I didn't see that one coming.

그건 생각해 보지 않았네요.

(웃음)

CA: So what's your view?

CA: 어떻게 생각하십니까?

Putting all the pieces together, how likely is it that we're doomed?

모든 걸 고려했을 때 우리가 파멸할 가능성은요?

(웃음)

(Laughter)

I love how people laugh when you ask that question.

이런 질문에 다들 웃으시니 좋네요.

NB: 개인적인 차원에서

NB: On an individual level,

we seem to kind of be doomed anyway, just with the time line,

우리는 결국 종말을 맞이 하겠죠.

시간이 흐르면서 우리는 노화되고 쇠약해져갑니다.

we're rotting and aging and all kinds of things, right?

(Laughter)

(웃음)

It's actually a little bit tricky.

사실 약간 복잡합니다.

If you want to set up so that you can attach a probability,

확률을 내기 위해서 정해야 할 것은

먼저 우리는 누구인가입니다.

first, who are we?

If you're very old, probably you'll die of natural causes,

고령이라면 자연적으로 죽을 겁니다.

아주 어리다면 100년은 더 살지도 모르죠.

if you're very young, you might have a 100-year --

the probability might depend on who you ask.

누구에게 물어보느냐에 따라 확률은 달라집니다.

그다음으로 문명 파괴의 기준은 뭘까요?

Then the threshold, like, what counts as civilizational devastation?

논문에서는 그걸 계산하기 위한

In the paper I don't require an existential catastrophe

대재해는 필요없었습니다.

in order for it to count.

이건 단지 어떻게 정의하는가의 문제로서

This is just a definitional matter,

예로서 10억 명 사망이나 세계 GDP 50% 감소를 들겠습니다.

I say a billion dead,

or a reduction of world GDP by 50 percent,

but depending on what you say the threshold is,

무엇을 한계치로 하느냐에 따라

you get a different probability estimate.

확률 전망도 달라집니다.

But I guess you could put me down as a frightened optimist.

저를 겁에 질린 낙관론자로 몰아붙일 수도 있겠지만요.

(Laughter)

(웃음)

CA: You're a frightened optimist,

CA: 겁에 질린 낙관론자라고 하는데

and I think you've just created a large number of other frightened ...

다른 많은 사람들을 두려움에 떨게 만든 것 같네요.

people.

(웃음)

(Laughter)

NB: In the simulation.

NB: 시뮬레이션 안에서요.

CA: 네, 시뮬레이션 안에서요.

CA: In a simulation.

보스트롬 박사님의 식견에 탄복합니다.

Nick Bostrom, your mind amazes me,

thank you so much for scaring the living daylights out of us.

우리를 겁에 질리게 해줘서 고맙습니다.

(박수)

(Applause)