아래 영문자막을 더블클릭하시면 영상이 재생됩니다.
번역: Jihyeon J. Kim
검토: JY Kang
00:13
I'm going to talk
about a failure of intuition
0
13000
2216
직감이 틀리는 경우에
대해서 얘기할까 합니다.
00:15
that many of us suffer from.
1
15240
1600
우리가 흔히 겪는 일이죠.
00:17
It's really a failure
to detect a certain kind of danger.
2
17480
3040
이것은 실제로 어떤 종류의
위험을 감지하지 못하는 겁니다.
00:21
I'm going to describe a scenario
3
21360
1736
가능한 시나리오를 말씀드리겠습니다.
00:23
that I think is both terrifying
4
23120
3256
아주 무섭기도 하고
00:26
and likely to occur,
5
26400
1760
일어날 가능성도 높죠.
00:28
and that's not a good combination,
6
28840
1656
이 둘의 조합은 별로
반길 상황은 아닐 겁니다.
00:30
as it turns out.
7
30520
1536
00:32
And yet rather than be scared,
most of you will feel
8
32080
2456
하지만 여러분 대부분은
제가 말씀드릴 내용에 대해서
00:34
that what I'm talking about
is kind of cool.
9
34560
2080
무서워하기 보다는
멋지다고 생각할 겁니다.
00:37
I'm going to describe
how the gains we make
10
37200
2976
제가 말씀드리고 싶은 것은
인공지능을 만들어서 얻게 될 이점이
00:40
in artificial intelligence
11
40200
1776
결국 우리를 파멸시킬 수도
있다는 사실입니다.
00:42
could ultimately destroy us.
12
42000
1776
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
13
43800
3456
사실 인공지능이 우리를
파멸시키지 않을지
우리 스스로 자멸하도록
만들지는 전혀 알 수 없죠.
00:47
or inspire us to destroy ourselves.
14
47280
1680
00:49
And yet if you're anything like me,
15
49400
1856
하지만 여러분이 저와 같다면
00:51
you'll find that it's fun
to think about these things.
16
51280
2656
이 문제를 생각해 보는 것도
재미있다고 느끼실 겁니다.
00:53
And that response is part of the problem.
17
53960
3376
그런 반응도 문제입니다.
00:57
OK? That response should worry you.
18
57360
1720
걱정스런 반응이어야죠.
00:59
And if I were to convince you in this talk
19
59920
2656
이 강연에서 여러분들에게
01:02
that we were likely
to suffer a global famine,
20
62600
3416
기후변화나 다른 재앙으로 인해
세계적 기근으로 고통받을 거라든지
01:06
either because of climate change
or some other catastrophe,
21
66040
3056
01:09
and that your grandchildren,
or their grandchildren,
22
69120
3416
여러분의 손자나 그들의 손자들이
01:12
are very likely to live like this,
23
72560
1800
이렇게 살게 될 거라고 설명하면
01:15
you wouldn't think,
24
75200
1200
이런 생각은 안드시겠죠.
01:17
"Interesting.
25
77440
1336
"재미있군.
01:18
I like this TED Talk."
26
78800
1200
이 강연 맘에 들어"라고요.
01:21
Famine isn't fun.
27
81200
1520
기근은 재미있는 일이 아닙니다.
01:23
Death by science fiction,
on the other hand, is fun,
28
83800
3376
그러나 공상과학에서
벌어지는 죽음은 재미있죠.
01:27
and one of the things that worries me most
about the development of AI at this point
29
87200
3976
지금 이 시점에서 인공지능
개발에 대해 가장 걱정되는 것은
01:31
is that we seem unable to marshal
an appropriate emotional response
30
91200
4096
앞으로 있을 위험에 대한
적절한 감정적 반응을
01:35
to the dangers that lie ahead.
31
95320
1816
못하는 것 같다는 겁니다.
01:37
I am unable to marshal this response,
and I'm giving this talk.
32
97160
3200
저도 잘 못하면서
이 강연을 하고 있습니다.
01:42
It's as though we stand before two doors.
33
102120
2696
마치 두 개의 문 앞에
서 있는 것과 같습니다.
01:44
Behind door number one,
34
104840
1256
1번 문으로 들어서면
01:46
we stop making progress
in building intelligent machines.
35
106120
3296
인공지능 기계의 구축은
더이상 진보하지 않습니다.
01:49
Our computer hardware and software
just stops getting better for some reason.
36
109440
4016
컴퓨터 하드웨어와 소프트웨어가
더 이상 발전하지 않습니다.
01:53
Now take a moment
to consider why this might happen.
37
113480
3000
왜 그런 일이 일어날지
한번 생각해보죠.
01:57
I mean, given how valuable
intelligence and automation are,
38
117080
3656
인공지능과 자동화가
얼마나 가치있는지 안다면
02:00
we will continue to improve our technology
if we are at all able to.
39
120760
3520
할 수 있는 한 계속해서
기술을 향상시키려 하겠죠.
02:05
What could stop us from doing this?
40
125200
1667
그걸 멈춘다면 이유가 뭘까요?
02:07
A full-scale nuclear war?
41
127800
1800
전면적 핵 전쟁일까요?
02:11
A global pandemic?
42
131000
1560
세계적 전염병 재앙일까요?
02:14
An asteroid impact?
43
134320
1320
소행성 충돌일까요?
02:17
Justin Bieber becoming
president of the United States?
44
137640
2576
저스틴 비버가 미국 대통령이
된다면 이유가 될까요?
02:20
(Laughter)
45
140240
2280
(웃음)
02:24
The point is, something would have to
destroy civilization as we know it.
46
144760
3920
핵심은 뭔가가 우리가 아는
문명을 파괴한다는 겁니다.
02:29
You have to imagine
how bad it would have to be
47
149360
4296
이게 얼마나 나쁠지
생각해 봐야 합니다.
02:33
to prevent us from making
improvements in our technology
48
153680
3336
우리의 기술향상을 막을 정도로 말이죠.
02:37
permanently,
49
157040
1216
영원히
02:38
generation after generation.
50
158280
2016
앞으로 계속이요.
02:40
Almost by definition,
this is the worst thing
51
160320
2136
말 그대로 그것은
인류 사상 최악의 일입니다.
02:42
that's ever happened in human history.
52
162480
2016
02:44
So the only alternative,
53
164520
1296
그래서 유일한 대안은
02:45
and this is what lies
behind door number two,
54
165840
2336
2번 문 뒤에 있는데
02:48
is that we continue
to improve our intelligent machines
55
168200
3136
인공지능을 계속 발전시키는 겁니다.
02:51
year after year after year.
56
171360
1600
앞으로 수년 동안 계속이요.
02:53
At a certain point, we will build
machines that are smarter than we are,
57
173720
3640
언젠가는 우리보다
똑똑한 기계를 만들겠죠.
02:58
and once we have machines
that are smarter than we are,
58
178080
2616
더 똑똑한 기계가 생기면
03:00
they will begin to improve themselves.
59
180720
1976
기계 스스로 발전할 겁니다.
03:02
And then we risk what
the mathematician IJ Good called
60
182720
2736
그러면 수학자 아이 제이 굿의 말대로
03:05
an "intelligence explosion,"
61
185480
1776
"지능 폭발"이라는
위험성을 안게 되는데
03:07
that the process could get away from us.
62
187280
2000
우리 통제권을 벗어나는
일이 생기는 거죠.
03:10
Now, this is often caricatured,
as I have here,
63
190120
2816
여기 보시는 것처럼
이런 풍자만화도 있는데요.
03:12
as a fear that armies of malicious robots
64
192960
3216
위험한 로봇 군대가 우리를
공격하리라는 두려움이죠.
03:16
will attack us.
65
196200
1256
03:17
But that isn't the most likely scenario.
66
197480
2696
하지만 그건 있을만한 일은 아닙니다.
03:20
It's not that our machines
will become spontaneously malevolent.
67
200200
4856
기계가 스스로 악해질 리가 없거든요.
03:25
The concern is really
that we will build machines
68
205080
2616
문제는 우리가 기계를 만드는데
03:27
that are so much
more competent than we are
69
207720
2056
우리보다 너무 능력이 뛰어나서
03:29
that the slightest divergence
between their goals and our own
70
209800
3776
기계와 우리의 목표가 살짝만 어긋나도
우리를 파멸시킬 수 있는 겁니다.
03:33
could destroy us.
71
213600
1200
03:35
Just think about how we relate to ants.
72
215960
2080
개미와 관련지어 생각해 보세요.
03:38
We don't hate them.
73
218600
1656
우리는 개미를 싫어하진 않아요.
03:40
We don't go out of our way to harm them.
74
220280
2056
개미를 해치지도 않죠.
03:42
In fact, sometimes
we take pains not to harm them.
75
222360
2376
사실 때로는 해치지 않으려고 노력하죠.
03:44
We step over them on the sidewalk.
76
224760
2016
길에서 개미들을 넘어서
걸음을 딛잖아요.
03:46
But whenever their presence
77
226800
2136
하지만 개미의 존재가
03:48
seriously conflicts with one of our goals,
78
228960
2496
우리의 목표와 심각하게 부딪힐 때
03:51
let's say when constructing
a building like this one,
79
231480
2477
가령, 이런 건물을 지을 때
03:53
we annihilate them without a qualm.
80
233981
1960
거리낌없이 전멸시킵니다.
03:56
The concern is that we will
one day build machines
81
236480
2936
문제는 우리가 언젠가 기계를 만들텐데
03:59
that, whether they're conscious or not,
82
239440
2736
그 기계가 의식이 있든 없든
04:02
could treat us with similar disregard.
83
242200
2000
비슷하게 무시하는 태도로
우리를 대할 수 있다는 거죠.
04:05
Now, I suspect this seems
far-fetched to many of you.
84
245760
2760
지나친 억측이라고
생각하는 분이 대다수겠지만
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
85
249360
6336
초지능 AI가 가능하기나 한지
의심스러운 분도 분명 계시겠죠.
04:15
much less inevitable.
86
255720
1656
물론 필연적이라고 보지도 않고요.
04:17
But then you must find something wrong
with one of the following assumptions.
87
257400
3620
그럼 다음 가정에서 잘못된
점을 찾으셔야 할 겁니다.
04:21
And there are only three of them.
88
261044
1572
단 세 가지입니다.
04:23
Intelligence is a matter of information
processing in physical systems.
89
263800
4719
지능이란 물리적 시스템에서
정보를 처리하는 것입니다.
04:29
Actually, this is a little bit more
than an assumption.
90
269320
2615
사실 이것은 약간은
가정 그 이상입니다.
04:31
We have already built
narrow intelligence into our machines,
91
271959
3457
우린 이미 기계에
제한된 지능을 구축했고
04:35
and many of these machines perform
92
275440
2016
이 기계들은 이미
04:37
at a level of superhuman
intelligence already.
93
277480
2640
인간을 뛰어넘는 지능
수준으로 구동합니다.
04:40
And we know that mere matter
94
280840
2576
우리가 알기로 단순한 문제가
04:43
can give rise to what is called
"general intelligence,"
95
283440
2616
"일반 지능"이란 것을
만들어 낼 수도 있죠.
04:46
an ability to think flexibly
across multiple domains,
96
286080
3656
다양한 분야에서 융통성 있게
사고하는 능력인데
04:49
because our brains have managed it. Right?
97
289760
3136
우리 뇌는 그렇게 해왔잖아요. 그렇죠?
04:52
I mean, there's just atoms in here,
98
292920
3936
여기 원자들이 있고
04:56
and as long as we continue
to build systems of atoms
99
296880
4496
원자 시스템을 계속 구축해서
05:01
that display more and more
intelligent behavior,
100
301400
2696
점점 더 지능적인 행동을 하게 하면
05:04
we will eventually,
unless we are interrupted,
101
304120
2536
중간에 멈추지만 않는다면
05:06
we will eventually
build general intelligence
102
306680
3376
우린 마침내 일반지능을
05:10
into our machines.
103
310080
1296
기계에 구축할 겁니다.
05:11
It's crucial to realize
that the rate of progress doesn't matter,
104
311400
3656
진보의 속도가 문제되지
않음을 아는게 중요합니다.
05:15
because any progress
is enough to get us into the end zone.
105
315080
3176
어떻게든 발전하면 끝까지
갈 수 있기 때문이죠.
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
106
318280
3776
계속 하기 위해 무어의 법칙이나
기하급수적인 진보가 필요없습니다.
05:22
We just need to keep going.
107
322080
1600
그냥 계속 하면 되죠.
05:25
The second assumption
is that we will keep going.
108
325480
2920
두 번째 가정은 우리가
계속 할 것이라는 겁니다.
05:29
We will continue to improve
our intelligent machines.
109
329000
2760
우리는 지능적인 기계를
계속 향상시킬 겁니다.
05:33
And given the value of intelligence --
110
333000
4376
지능의 가치를 생각해 볼 때
05:37
I mean, intelligence is either
the source of everything we value
111
337400
3536
지능이란 우리가 가치있게
여기는 모든 것의 원천이거나
05:40
or we need it to safeguard
everything we value.
112
340960
2776
가치있는 것을 지키기 위해 필요하죠.
05:43
It is our most valuable resource.
113
343760
2256
우리의 가장 귀한 자원입니다.
05:46
So we want to do this.
114
346040
1536
그래서 개발을 하고 싶은 겁니다.
05:47
We have problems
that we desperately need to solve.
115
347600
3336
우리는 간절히 해결하고
싶은 문제들이 있죠.
05:50
We want to cure diseases
like Alzheimer's and cancer.
116
350960
3200
알츠하이머 병이나 암같은
질병을 치료하고 싶어 합니다.
05:54
We want to understand economic systems.
We want to improve our climate science.
117
354960
3936
경제 체계를 이해하고 기후 과학을
발전시키고 싶어하죠.
05:58
So we will do this, if we can.
118
358920
2256
그래서 할 수만 있다면 할 겁니다.
06:01
The train is already out of the station,
and there's no brake to pull.
119
361200
3286
기차는 이미 출발했고
멈출 브레이크가 없습니다.
06:05
Finally, we don't stand
on a peak of intelligence,
120
365880
5456
마지막 가정으로 우리는 지능의
정점에 서있지 않다는 겁니다.
06:11
or anywhere near it, likely.
121
371360
1800
그 근처에 가지도 못했을 거예요.
06:13
And this really is the crucial insight.
122
373640
1896
사실 이게 중요한 생각입니다.
06:15
This is what makes
our situation so precarious,
123
375560
2416
바로 그래서 우리 상황이
매우 위험한 겁니다.
06:18
and this is what makes our intuitions
about risk so unreliable.
124
378000
4040
그래서 우리 위험을 인지하는
우리 직감을 믿을 수가 없는 것이죠.
06:23
Now, just consider the smartest person
who has ever lived.
125
383120
2720
이제 지구상에서 가장
똑똑한 사람이 있다고 하죠.
06:26
On almost everyone's shortlist here
is John von Neumann.
126
386640
3416
거의 모든 사람들을 추려내면
존 폰 노이만이 나옵니다.
06:30
I mean, the impression that von Neumann
made on the people around him,
127
390080
3336
주변 사람들이 폰 노이만을
어떻게 생각했는지와
06:33
and this included the greatest
mathematicians and physicists of his time,
128
393440
4056
그가 당대의 위대한 수학자이자
물리학자에 포함된다는 사실은
06:37
is fairly well-documented.
129
397520
1936
잘 알려져 있죠.
06:39
If only half the stories
about him are half true,
130
399480
3776
그에 대한 일화의 절반 중에서
반만 사실이라 하더라도
06:43
there's no question
131
403280
1216
의심의 여지 없이
06:44
he's one of the smartest people
who has ever lived.
132
404520
2456
그는 역사상 가장 똑똑한 사람입니다.
06:47
So consider the spectrum of intelligence.
133
407000
2520
지능의 범위를 생각해 보세요.
06:50
Here we have John von Neumann.
134
410320
1429
폰 노이만은 여기 있습니다.
06:53
And then we have you and me.
135
413560
1334
그리고 여기 여러분과 제가 있죠.
06:56
And then we have a chicken.
136
416120
1296
그리고 닭은 여기 있습니다.
06:57
(Laughter)
137
417440
1936
(웃음)
06:59
Sorry, a chicken.
138
419400
1216
닭아 미안하다.
07:00
(Laughter)
139
420640
1256
(웃음)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
140
421920
3736
이 강연을 꼭 우울하게
할 필요는 없죠.
07:05
(Laughter)
141
425680
1600
(웃음)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
142
428339
3477
하지만 놀랍게도 지능의 범위는
07:11
extends much further
than we currently conceive,
143
431840
3120
우리가 현재 가질 수 있는
것보다 훨씬 넓게 확장되고
07:15
and if we build machines
that are more intelligent than we are,
144
435880
3216
우리보다 지능적인 기계를 구축한다면
07:19
they will very likely
explore this spectrum
145
439120
2296
이 범위를 아우를
가능성이 매우 높습니다.
07:21
in ways that we can't imagine,
146
441440
1856
상상할 수 없을 정도로요.
07:23
and exceed us in ways
that we can't imagine.
147
443320
2520
또한 상상할 수 없을 정도로
우리를 능가할 겁니다.
07:27
And it's important to recognize that
this is true by virtue of speed alone.
148
447000
4336
속도 하나만 봐도
그렇다는 걸 알아야 합니다.
07:31
Right? So imagine if we just built
a superintelligent AI
149
451360
5056
그렇죠? 초지능 AI를
구축한다고 해봅시다.
07:36
that was no smarter
than your average team of researchers
150
456440
3456
스탠포드 대학이나 MIT의 연구팀의
평균 지능 그 이상은 아닌 정도로요.
07:39
at Stanford or MIT.
151
459920
2296
07:42
Well, electronic circuits
function about a million times faster
152
462240
2976
생화학적인 회로보다 전자 회로가
백만 배는 빠르게 작동합니다.
07:45
than biochemical ones,
153
465240
1256
07:46
so this machine should think
about a million times faster
154
466520
3136
그러니 이 기계는 그걸 구축한 사람보다
백만 배의 속도로 빠르게 생각하겠죠.
07:49
than the minds that built it.
155
469680
1816
07:51
So you set it running for a week,
156
471520
1656
일주일 동안 돌리면
07:53
and it will perform 20,000 years
of human-level intellectual work,
157
473200
4560
인간 수준 지능의 2만 년
분량을 해치울 겁니다.
07:58
week after week after week.
158
478400
1960
몇 주 동안 계속 말이죠.
08:01
How could we even understand,
much less constrain,
159
481640
3096
별 제한 없이
이런 진보를 이루어내는 인공지능을
어떻게 받아들여야 할까요?
08:04
a mind making this sort of progress?
160
484760
2280
08:08
The other thing that's worrying, frankly,
161
488840
2136
솔직히 걱정되는 다른 것은
08:11
is that, imagine the best case scenario.
162
491000
4976
최고의 시나리오를 생각해 보는 겁니다.
08:16
So imagine we hit upon a design
of superintelligent AI
163
496000
4176
안전성에 대해 고려하지 않고
초지능 AI를 설계한다고 상상해 보세요.
08:20
that has no safety concerns.
164
500200
1376
08:21
We have the perfect design
the first time around.
165
501600
3256
처음에는 설계가 완벽하죠.
08:24
It's as though we've been handed an oracle
166
504880
2216
의도한 대로 정확히 행동하는
조력자를 얻은 것 같습니다.
08:27
that behaves exactly as intended.
167
507120
2016
08:29
Well, this machine would be
the perfect labor-saving device.
168
509160
3720
노동력을 절감해주는
완벽한 기계가 될 겁니다.
08:33
It can design the machine
that can build the machine
169
513680
2429
이걸로 물리적인 작업을 할
기계를 만들어 내는
08:36
that can do any physical work,
170
516133
1763
또 다른 기계를 고안할 수 있습니다.
08:37
powered by sunlight,
171
517920
1456
태양에너지로 돌아가고
08:39
more or less for the cost
of raw materials.
172
519400
2696
원자재 정도의 비용만 들어가죠.
08:42
So we're talking about
the end of human drudgery.
173
522120
3256
인간의 고된 노동이 끝나게
된다는 걸 의미하는 거예요.
08:45
We're also talking about the end
of most intellectual work.
174
525400
2800
그건 대부분의 지적 노동도
끝나게 된다는 말이기도 합니다.
08:49
So what would apes like ourselves
do in this circumstance?
175
529200
3056
우리 같은 유인원은
이런 상황에서 뭘 할까요?
08:52
Well, we'd be free to play Frisbee
and give each other massages.
176
532280
4080
한가로이 원반 던지기 놀이하면서
서로 마사지나 해주겠죠.
08:57
Add some LSD and some
questionable wardrobe choices,
177
537840
2856
환각제 조금과 이상한 옷만 더하면
09:00
and the whole world
could be like Burning Man.
178
540720
2176
전 세계가 마치 버닝맨
축제 같을 겁니다.
09:02
(Laughter)
179
542920
1640
(웃음)
09:06
Now, that might sound pretty good,
180
546320
2000
참 괜찮을 것 같지만
09:09
but ask yourself what would happen
181
549280
2376
현재의 정치 경제 상황에서
무슨 일이 생길지 자문해 보세요.
09:11
under our current economic
and political order?
182
551680
2736
09:14
It seems likely that we would witness
183
554440
2416
다분히 우리들은
09:16
a level of wealth inequality
and unemployment
184
556880
4136
이전에 없던 부의 불평등과
실업문제를 직면하게 될 겁니다.
09:21
that we have never seen before.
185
561040
1496
09:22
Absent a willingness
to immediately put this new wealth
186
562560
2616
새로운 부를 즉시 모든
인류와 나누려 하지 않고
09:25
to the service of all humanity,
187
565200
1480
09:27
a few trillionaires could grace
the covers of our business magazines
188
567640
3616
소수의 백만장자들만이
경제지 표지를 장식하겠죠.
09:31
while the rest of the world
would be free to starve.
189
571280
2440
세계의 나머지 인류는
굶어 죽는 동안에요.
09:34
And what would the Russians
or the Chinese do
190
574320
2296
러시아나 중국인은 뭘 할까요?
09:36
if they heard that some company
in Silicon Valley
191
576640
2616
실리콘 밸리의 어떤 회사들이
09:39
was about to deploy a superintelligent AI?
192
579280
2736
초지능 AI를 곧 사용하려고
한다는 걸 들으면요.
09:42
This machine would be capable
of waging war,
193
582040
2856
이 기계는 전쟁도
일으킬 수 있을 겁니다.
09:44
whether terrestrial or cyber,
194
584920
2216
지역분쟁이건 사이버 전쟁이건
09:47
with unprecedented power.
195
587160
1680
전례없는 힘을 가지고 말입니다.
09:50
This is a winner-take-all scenario.
196
590120
1856
이건 승자독식의 시나리오입니다.
09:52
To be six months ahead
of the competition here
197
592000
3136
이 경쟁에서 6개월 앞선다는 것은
09:55
is to be 500,000 years ahead,
198
595160
2776
최소한 50만 년 앞서는 것입니다.
09:57
at a minimum.
199
597960
1496
09:59
So it seems that even mere rumors
of this kind of breakthrough
200
599480
4736
그래서 이런 혁신적인 일이
우리 인류를 미쳐 날뛰게 만들
거라는 소문이 더욱 떠도는 거죠.
10:04
could cause our species to go berserk.
201
604240
2376
10:06
Now, one of the most frightening things,
202
606640
2896
이제 가장 두려운 것은
10:09
in my view, at this moment,
203
609560
2776
지금 현재, 제 생각에는
10:12
are the kinds of things
that AI researchers say
204
612360
4296
AI연구자가 이런 말을 하는 겁니다.
10:16
when they want to be reassuring.
205
616680
1560
안심시키려고 말이죠.
10:19
And the most common reason
we're told not to worry is time.
206
619000
3456
걱정하지 않아도 되는
이유는 시기 때문이라고 하죠.
10:22
This is all a long way off,
don't you know.
207
622480
2056
이것은 완전히 빗나간 말입니다.
10:24
This is probably 50 or 100 years away.
208
624560
2440
아마도 50에서 100년 뒤겠죠.
10:27
One researcher has said,
209
627720
1256
한 연구원이 말했습니다.
10:29
"Worrying about AI safety
210
629000
1576
"AI의 안전성에 대한 우려는
10:30
is like worrying
about overpopulation on Mars."
211
630600
2280
마치 화성의 과잉 인구를
걱정하는 것과 같다."
10:34
This is the Silicon Valley version
212
634116
1620
실리콘 밸리 식으로
표현하면 이런 뜻이죠.
10:35
of "don't worry your
pretty little head about it."
213
635760
2376
"그 쬐그만 머리로 걱정하지 마세요."
10:38
(Laughter)
214
638160
1336
(웃음)
10:39
No one seems to notice
215
639520
1896
아무도 모르는 것 같습니다.
10:41
that referencing the time horizon
216
641440
2616
시간의 축을 말하는 게
완전히 잘못된 결론인 것을
10:44
is a total non sequitur.
217
644080
2576
10:46
If intelligence is just a matter
of information processing,
218
646680
3256
지능이 그저 정보처리하는 문제라면
10:49
and we continue to improve our machines,
219
649960
2656
우리는 기계를 계속 향상시킬 것이고
10:52
we will produce
some form of superintelligence.
220
652640
2880
초지능의 형태를 만들게 될 겁니다.
10:56
And we have no idea
how long it will take us
221
656320
3656
그것을 안전하게 할 조건을 만들려면
얼마나 걸릴지 우린 모릅니다.
11:00
to create the conditions
to do that safely.
222
660000
2400
11:04
Let me say that again.
223
664200
1296
다시 말씀드리죠.
11:05
We have no idea how long it will take us
224
665520
3816
그걸 안전하게 할 조건을 만드는 게
얼마나 걸릴지 우리는 모른다고요.
11:09
to create the conditions
to do that safely.
225
669360
2240
11:12
And if you haven't noticed,
50 years is not what it used to be.
226
672920
3456
잘 모르신다면, 지금의 50년은
과거와 같은 시간이 아닙니다.
11:16
This is 50 years in months.
227
676400
2456
몇 개월이 50년과 마찬가지죠.
11:18
This is how long we've had the iPhone.
228
678880
1840
아이폰을 갖기까지 그만큼 걸렸습니다.
11:21
This is how long "The Simpsons"
has been on television.
229
681440
2600
심슨가족이 TV로
방영되는 데 걸린 시간입니다.
11:24
Fifty years is not that much time
230
684680
2376
50년이란 그리 많은 시간이 아닙니다.
11:27
to meet one of the greatest challenges
our species will ever face.
231
687080
3160
우리 인류가 당면한
최고의 난제를 만나는데요.
11:31
Once again, we seem to be failing
to have an appropriate emotional response
232
691640
4016
다시, 우리는 제대로 된 감정적 반응을
못하고 있는 것 같습니다.
11:35
to what we have every reason
to believe is coming.
233
695680
2696
앞으로 벌어질 거라고
생각하는 것들에 대해서요.
11:38
The computer scientist Stuart Russell
has a nice analogy here.
234
698400
3976
컴퓨터공학자 스튜어트 러셀이
멋진 비유를 들었습니다.
11:42
He said, imagine that we received
a message from an alien civilization,
235
702400
4896
외계문명이 보낸 메세지를
받았다고 상상해 보는 겁니다.
11:47
which read:
236
707320
1696
이런 내용의 메세지죠.
11:49
"People of Earth,
237
709040
1536
"지구인들이여
11:50
we will arrive on your planet in 50 years.
238
710600
2360
우리는 50년 후에
지구에 도착할 것이다.
11:53
Get ready."
239
713800
1576
이에 준비하라."
11:55
And now we're just counting down
the months until the mothership lands?
240
715400
4256
그럼 외계 우주선이 도착할
때까지 날짜만 세는 겁니까?
11:59
We would feel a little
more urgency than we do.
241
719680
3000
그것보다는 좀더 위급함을 느껴야죠.
12:04
Another reason we're told not to worry
242
724680
1856
우리에게 걱정말라는 다른 이유는
12:06
is that these machines
can't help but share our values
243
726560
3016
이런 기계들은 우리의 가치를
공유할 수밖에 없다는 겁니다.
12:09
because they will be literally
extensions of ourselves.
244
729600
2616
말 그대로 우리의 연장선이니까요.
12:12
They'll be grafted onto our brains,
245
732240
1816
기계들은 우리 뇌에 이식될테고
12:14
and we'll essentially
become their limbic systems.
246
734080
2360
우리는 본질적으로 그들의
감정 표현 시스템으로 전락하겠죠.
12:17
Now take a moment to consider
247
737120
1416
한 번 생각해 보세요.
12:18
that the safest
and only prudent path forward,
248
738560
3176
가장 안전하고 현명한 방법을 추천하자면
12:21
recommended,
249
741760
1336
12:23
is to implant this technology
directly into our brains.
250
743120
2800
이 기술을 우리 뇌에
직접 이식하는 겁니다.
12:26
Now, this may in fact be the safest
and only prudent path forward,
251
746600
3376
앞으로 할 수 있는 가장
안전하고 현명한 방법이겠지만
12:30
but usually one's safety concerns
about a technology
252
750000
3056
기술의 안전성에 대한 우려는 보통
12:33
have to be pretty much worked out
before you stick it inside your head.
253
753080
3656
머릿속에서 꽂아 보기
전에 해야 할 일이죠.
12:36
(Laughter)
254
756760
2016
(웃음)
12:38
The deeper problem is that
building superintelligent AI on its own
255
758800
5336
좀 더 심오한 문제는
초지능의 AI를 만드는 것 자체가
12:44
seems likely to be easier
256
764160
1736
오히려 더 쉽다는 거에요.
12:45
than building superintelligent AI
257
765920
1856
초지능 AI를 만들고
12:47
and having the completed neuroscience
258
767800
1776
완전한 신경과학이 있어서
12:49
that allows us to seamlessly
integrate our minds with it.
259
769600
2680
우리의 정신을 AI와 매끄럽게
접목시키는 것에 비해서 말이죠.
12:52
And given that the companies
and governments doing this work
260
772800
3176
기업과 정부가 이 일을 하고 있음을 보면
12:56
are likely to perceive themselves
as being in a race against all others,
261
776000
3656
다른 종에 대항하는 존재임을
스스로 인지할 가능성이 있습니다.
12:59
given that to win this race
is to win the world,
262
779680
3256
이 경쟁에서 이기는 것이 세상을
이기는 것이라고 한다면요.
13:02
provided you don't destroy it
in the next moment,
263
782960
2456
그것을 바로 파괴하지 않는다면
13:05
then it seems likely
that whatever is easier to do
264
785440
2616
가장 쉬운 일을 가장 먼저
할 가능성이 있을 겁니다.
13:08
will get done first.
265
788080
1200
13:10
Now, unfortunately,
I don't have a solution to this problem,
266
790560
2856
안타깝게도 저는 이 문제에
대한 해법은 없습니다.
13:13
apart from recommending
that more of us think about it.
267
793440
2616
좀 더 생각해 보자고
하는 것 빼고는요.
13:16
I think we need something
like a Manhattan Project
268
796080
2376
맨하탄 프로젝트 같은 것이 있어서
13:18
on the topic of artificial intelligence.
269
798480
2016
AI에 대한 연구를 해야
되지 않을까 싶습니다.
13:20
Not to build it, because I think
we'll inevitably do that,
270
800520
2736
만들기 위해서가 아니라,
필연적으로 하게 될테니까
13:23
but to understand
how to avoid an arms race
271
803280
3336
군비경쟁을 피할 방법을 알고
13:26
and to build it in a way
that is aligned with our interests.
272
806640
3496
우리의 관심과 맞출 수
있는 방법을 찾기 위해서죠.
13:30
When you're talking
about superintelligent AI
273
810160
2136
스스로 변할 수 있는
초지능 AI를 말할 때는
13:32
that can make changes to itself,
274
812320
2256
13:34
it seems that we only have one chance
to get the initial conditions right,
275
814600
4616
첫 출발을 제대로 할 수 있는
기회는 단 한 번뿐인 것 같습니다.
13:39
and even then we will need to absorb
276
819240
2056
그때도 우리는
13:41
the economic and political
consequences of getting them right.
277
821320
3040
제대로 하기 위한 정치 경제적
결과를 감내해야 할 겁니다.
13:45
But the moment we admit
278
825760
2056
하지만 우리가 인정하는 순간
13:47
that information processing
is the source of intelligence,
279
827840
4000
정보처리가 지능의 원천이고
13:52
that some appropriate computational system
is what the basis of intelligence is,
280
832720
4800
적정 연산 체계가 지능의
기본이라고 하는 순간
13:58
and we admit that we will improve
these systems continuously,
281
838360
3760
이 체계를 계속 발전시켜
나갈 것임을 인정하는 것이며
14:03
and we admit that the horizon
of cognition very likely far exceeds
282
843280
4456
우리가 현재 아는 인지의 한계를 훨씬
뛰어넘게 될 것임을 인정하는 겁니다.
14:07
what we currently know,
283
847760
1200
14:10
then we have to admit
284
850120
1216
그럼 우리는
14:11
that we are in the process
of building some sort of god.
285
851360
2640
어떤 신적 존재를 구축하고
있음을 인정해야 합니다.
14:15
Now would be a good time
286
855400
1576
지금이야말로 신이 우리와 함께 할 수
있음을 확신하기 좋은 때이겠네요.
14:17
to make sure it's a god we can live with.
287
857000
1953
14:20
Thank you very much.
288
860120
1536
대단히 감사합니다.
14:21
(Applause)
289
861680
5093
(박수)
New videos
이 웹사이트 정보
이 사이트는 영어 학습에 유용한 YouTube 동영상을 소개합니다. 전 세계 최고의 선생님들이 가르치는 영어 수업을 보게 될 것입니다. 각 동영상 페이지에 표시되는 영어 자막을 더블 클릭하면 그곳에서 동영상이 재생됩니다. 비디오 재생에 맞춰 자막이 스크롤됩니다. 의견이나 요청이 있는 경우 이 문의 양식을 사용하여 문의하십시오.