Can we build AI without losing control over it? | Sam Harris

3,794,879 views ・ 2016-10-19

TED


下の英語字幕をダブルクリックすると動画を再生できます。

翻訳: Yasushi Aoki 校正: Kaori Nozaki
我々の多くが抱えている―
00:13
I'm going to talk about a failure of intuition
0
13000
2216
直感の誤りについて お話しします
00:15
that many of us suffer from.
1
15240
1600
00:17
It's really a failure to detect a certain kind of danger.
2
17480
3040
正確には ある種の危険を 察知し損なうということです
00:21
I'm going to describe a scenario
3
21360
1736
これから説明するシナリオは
私の考えでは 恐ろしいと同時に
00:23
that I think is both terrifying
4
23120
3256
00:26
and likely to occur,
5
26400
1760
起こりそうなこと でもあります
00:28
and that's not a good combination,
6
28840
1656
ありがたくない 組み合わせですね
00:30
as it turns out.
7
30520
1536
考えてみたら
しかも 多くの人が それを恐れるよりは
00:32
And yet rather than be scared, most of you will feel
8
32080
2456
00:34
that what I'm talking about is kind of cool.
9
34560
2080
素敵なことのように 感じています
人工知能によって 我々がどのように利益を得
00:37
I'm going to describe how the gains we make
10
37200
2976
そして最終的には 破滅を招きかねないか お話しします
00:40
in artificial intelligence
11
40200
1776
00:42
could ultimately destroy us.
12
42000
1776
00:43
And in fact, I think it's very difficult to see how they won't destroy us
13
43800
3456
人工知能が 人類を破滅させたり
自滅に追い込んだりしない シナリオは
00:47
or inspire us to destroy ourselves.
14
47280
1680
実際 考えにくい気がします
00:49
And yet if you're anything like me,
15
49400
1856
それでも皆さんが 私と同じなら
00:51
you'll find that it's fun to think about these things.
16
51280
2656
そういったことについて考えるのは 楽しいことでしょう
00:53
And that response is part of the problem.
17
53960
3376
その反応自体が問題なのです
00:57
OK? That response should worry you.
18
57360
1720
そういう反応は 懸念すべきです
00:59
And if I were to convince you in this talk
19
59920
2656
仮にこの講演で 私の訴えていることが
地球温暖化や 何かの大異変のため
01:02
that we were likely to suffer a global famine,
20
62600
3416
世界的な飢饉がやってくる ということだったとしましょう
01:06
either because of climate change or some other catastrophe,
21
66040
3056
私たちの孫や その孫の世代は
01:09
and that your grandchildren, or their grandchildren,
22
69120
3416
01:12
are very likely to live like this,
23
72560
1800
この写真のような 有様になるんだと
その場合 こうは思わないでしょう
01:15
you wouldn't think,
24
75200
1200
01:17
"Interesting.
25
77440
1336
「やあ 面白いな
01:18
I like this TED Talk."
26
78800
1200
このTEDトーク気に入ったよ」
01:21
Famine isn't fun.
27
81200
1520
飢饉は楽しいもの ではありません
01:23
Death by science fiction, on the other hand, is fun,
28
83800
3376
一方で SFの中の破滅は 楽しいものなのです
01:27
and one of the things that worries me most about the development of AI at this point
29
87200
3976
今の時点で AIの発展について 私が最も懸念するのは
01:31
is that we seem unable to marshal an appropriate emotional response
30
91200
4096
将来に待ち受けている 危険に対して
我々が感情的に適切な反応を できずにいることです
01:35
to the dangers that lie ahead.
31
95320
1816
こう話している私自身 そういう反応をできずにいます
01:37
I am unable to marshal this response, and I'm giving this talk.
32
97160
3200
我々は2つの扉を前に 立っているようなものです
01:42
It's as though we stand before two doors.
33
102120
2696
01:44
Behind door number one,
34
104840
1256
1つ目の扉の先には
知的な機械の開発をやめるという 道があります
01:46
we stop making progress in building intelligent machines.
35
106120
3296
01:49
Our computer hardware and software just stops getting better for some reason.
36
109440
4016
ハードウェアやソフトウェアの進歩が 何らかの理由で止まるのです
01:53
Now take a moment to consider why this might happen.
37
113480
3000
そういうことが起きうる要因を ちょっと考えてみましょう
自動化やインテリジェント化によって 得られる価値を考えれば
01:57
I mean, given how valuable intelligence and automation are,
38
117080
3656
02:00
we will continue to improve our technology if we are at all able to.
39
120760
3520
人間は可能な限り テクノロジーを進歩させ続けるはずです
02:05
What could stop us from doing this?
40
125200
1667
それが止まるとしたら 理由は何でしょう?
02:07
A full-scale nuclear war?
41
127800
1800
全面核戦争とか
世界的な疫病の大流行とか
02:11
A global pandemic?
42
131000
1560
02:14
An asteroid impact?
43
134320
1320
小惑星の衝突とか
02:17
Justin Bieber becoming president of the United States?
44
137640
2576
ジャスティン・ビーバーの 大統領就任とか
02:20
(Laughter)
45
140240
2280
(笑)
02:24
The point is, something would have to destroy civilization as we know it.
46
144760
3920
要は 何かで現在の文明が 崩壊する必要があるということです
02:29
You have to imagine how bad it would have to be
47
149360
4296
それがどんなに ひどい事態であるはずか 考えてみてください
02:33
to prevent us from making improvements in our technology
48
153680
3336
技術の進歩を
幾世代にもわたり
02:37
permanently,
49
157040
1216
半永久的に妨げるようなことです
02:38
generation after generation.
50
158280
2016
02:40
Almost by definition, this is the worst thing
51
160320
2136
ほぼ間違いなく
人類史上 最悪の出来事でしょう
02:42
that's ever happened in human history.
52
162480
2016
02:44
So the only alternative,
53
164520
1296
もう1つの選択肢
02:45
and this is what lies behind door number two,
54
165840
2336
2番目の扉の 向こうにあるのは
02:48
is that we continue to improve our intelligent machines
55
168200
3136
知的な機械の進歩が
ずっと続いていく未来です
02:51
year after year after year.
56
171360
1600
02:53
At a certain point, we will build machines that are smarter than we are,
57
173720
3640
するとどこかの時点で 人間よりも 知的な機械を作ることになるでしょう
そしてひとたび 人間より知的な機械が生まれたなら
02:58
and once we have machines that are smarter than we are,
58
178080
2616
03:00
they will begin to improve themselves.
59
180720
1976
機械は自分で 進化していくでしょう
03:02
And then we risk what the mathematician IJ Good called
60
182720
2736
そうなると我々は 数学者 I・J・グッドが言うところの
03:05
an "intelligence explosion,"
61
185480
1776
「知能爆発」の リスクに直面します
03:07
that the process could get away from us.
62
187280
2000
進歩のプロセスが 人間の手を離れてしまうのです
それはこの絵のような
03:10
Now, this is often caricatured, as I have here,
63
190120
2816
悪意を持つロボットの大群に 襲われる恐怖として
03:12
as a fear that armies of malicious robots
64
192960
3216
よく戯画化されています
03:16
will attack us.
65
196200
1256
03:17
But that isn't the most likely scenario.
66
197480
2696
でもそれは ごくありそうな シナリオではないでしょう
03:20
It's not that our machines will become spontaneously malevolent.
67
200200
4856
別に機械が悪意に目覚めるという わけではありません
本当に 心配すべきなのは
03:25
The concern is really that we will build machines
68
205080
2616
人間よりもはるかに優れた 機械を作ってしまうと
03:27
that are so much more competent than we are
69
207720
2056
03:29
that the slightest divergence between their goals and our own
70
209800
3776
人間と機械の目的の ほんのわずかなズレによって
人類が破滅しかねないと いうことです
03:33
could destroy us.
71
213600
1200
03:35
Just think about how we relate to ants.
72
215960
2080
人類がアリのような存在になると 考えるといいです
03:38
We don't hate them.
73
218600
1656
我々は アリが 嫌いなわけではなく
03:40
We don't go out of our way to harm them.
74
220280
2056
わざわざ 潰しに 行きはしません
03:42
In fact, sometimes we take pains not to harm them.
75
222360
2376
潰してしまわないように 気を遣いさえして
03:44
We step over them on the sidewalk.
76
224760
2016
アリを避けて歩きます
03:46
But whenever their presence
77
226800
2136
でもアリの存在が
03:48
seriously conflicts with one of our goals,
78
228960
2496
我々の目的と衝突した時—
03:51
let's say when constructing a building like this one,
79
231480
2477
たとえばこんな建造物を 作るという場合には
03:53
we annihilate them without a qualm.
80
233981
1960
良心の呵責なしに アリを全滅させてしまいます
03:56
The concern is that we will one day build machines
81
236480
2936
私が懸念するのは
意識的にせよ無意識にせよ
03:59
that, whether they're conscious or not,
82
239440
2736
人類をそのように軽く扱う機械を 我々がいつか作ってしまうことです
04:02
could treat us with similar disregard.
83
242200
2000
04:05
Now, I suspect this seems far-fetched to many of you.
84
245760
2760
考えすぎだと 多くの方は 思っていることでしょう
04:09
I bet there are those of you who doubt that superintelligent AI is possible,
85
249360
6336
超知的AIの実現可能性を 疑問視し
ましてや不可避などとは 思わない人もいるでしょう
04:15
much less inevitable.
86
255720
1656
04:17
But then you must find something wrong with one of the following assumptions.
87
257400
3620
でも それなら これから挙げる仮定に 間違いを見つけてほしいものです
04:21
And there are only three of them.
88
261044
1572
仮定は3つだけです
04:23
Intelligence is a matter of information processing in physical systems.
89
263800
4719
知性とは物質的なシステムにおける 情報処理である
04:29
Actually, this is a little bit more than an assumption.
90
269320
2615
実際これは 仮定以上のものです
04:31
We have already built narrow intelligence into our machines,
91
271959
3457
狭い意味での知性なら もう機械で作り出されており
04:35
and many of these machines perform
92
275440
2016
そのような機械はすでに
04:37
at a level of superhuman intelligence already.
93
277480
2640
人間を超える水準に 達しています
04:40
And we know that mere matter
94
280840
2576
そして様々な分野にわたって
柔軟に思考できる能力である 「汎用知能」は
04:43
can give rise to what is called "general intelligence,"
95
283440
2616
物質で構成可能なことを 我々は知っています
04:46
an ability to think flexibly across multiple domains,
96
286080
3656
04:49
because our brains have managed it. Right?
97
289760
3136
なぜなら人間の脳が そうだからです
04:52
I mean, there's just atoms in here,
98
292920
3936
ここにあるのは ただの原子の塊です
04:56
and as long as we continue to build systems of atoms
99
296880
4496
より知的な振る舞いをする
原子でできたシステムの構築を 続けていくなら
05:01
that display more and more intelligent behavior,
100
301400
2696
何かで中断させられない限りは
05:04
we will eventually, unless we are interrupted,
101
304120
2536
05:06
we will eventually build general intelligence
102
306680
3376
いつか汎用知能を
機械で作り出すことに なるでしょう
05:10
into our machines.
103
310080
1296
05:11
It's crucial to realize that the rate of progress doesn't matter,
104
311400
3656
重要なのは ここで進歩のスピードは 問題ではないことです
どんな進歩であれ そこに至るのに十分だからです
05:15
because any progress is enough to get us into the end zone.
105
315080
3176
ムーアの法則の持続も 指数爆発的な進歩も必要ありません
05:18
We don't need Moore's law to continue. We don't need exponential progress.
106
318280
3776
ただ続けていくだけで いいのです
05:22
We just need to keep going.
107
322080
1600
05:25
The second assumption is that we will keep going.
108
325480
2920
第2の仮定は 人間が進み続けていくこと
我々が知的な機械の 改良を続けていくことです
05:29
We will continue to improve our intelligent machines.
109
329000
2760
知性の価値を考えてください
05:33
And given the value of intelligence --
110
333000
4376
05:37
I mean, intelligence is either the source of everything we value
111
337400
3536
知性は 我々が価値を置くもの すべての源泉
05:40
or we need it to safeguard everything we value.
112
340960
2776
価値を置くものを守るために 必要なものです
05:43
It is our most valuable resource.
113
343760
2256
我々が持つ 最も貴重なリソースです
我々は それを必要としています
05:46
So we want to do this.
114
346040
1536
05:47
We have problems that we desperately need to solve.
115
347600
3336
我々は解決すべき問題を 抱えています
05:50
We want to cure diseases like Alzheimer's and cancer.
116
350960
3200
アルツハイマーやガンのような病気を 治したいと思っています
05:54
We want to understand economic systems. We want to improve our climate science.
117
354960
3936
経済の仕組みを理解したい 気象科学をもっと良くしたいと思っています
05:58
So we will do this, if we can.
118
358920
2256
だから 可能であれば やるはずです
06:01
The train is already out of the station, and there's no brake to pull.
119
361200
3286
列車はすでに駅を出発していて ブレーキはありません
06:05
Finally, we don't stand on a peak of intelligence,
120
365880
5456
3番目は 人間は知性の 頂点にはおらず
その近くにすら いないということ
06:11
or anywhere near it, likely.
121
371360
1800
06:13
And this really is the crucial insight.
122
373640
1896
これは重要な洞察であり
06:15
This is what makes our situation so precarious,
123
375560
2416
我々の状況を 危うくするものです
これはまた リスクについての我々の勘が 当てにならない理由でもあります
06:18
and this is what makes our intuitions about risk so unreliable.
124
378000
4040
史上最も頭の良い人間について 考えてみましょう
06:23
Now, just consider the smartest person who has ever lived.
125
383120
2720
06:26
On almost everyone's shortlist here is John von Neumann.
126
386640
3416
ほぼ必ず上がってくる名前に フォン・ノイマンがあります
ノイマンの周囲には
06:30
I mean, the impression that von Neumann made on the people around him,
127
390080
3336
当時の 最も優れた数学者や 物理学者がいたわけですが
06:33
and this included the greatest mathematicians and physicists of his time,
128
393440
4056
人々がノイマンから受けた印象については いろいろ記述されています
06:37
is fairly well-documented.
129
397520
1936
06:39
If only half the stories about him are half true,
130
399480
3776
ノイマンにまつわる話で 半分でも 正しいものが 半分だけだったとしても
06:43
there's no question
131
403280
1216
疑いなく彼は
06:44
he's one of the smartest people who has ever lived.
132
404520
2456
これまでに生きた最も頭の良い 人間の1人です
知能の分布を考えてみましょう
06:47
So consider the spectrum of intelligence.
133
407000
2520
06:50
Here we have John von Neumann.
134
410320
1429
ここにフォン・ノイマンがいて
06:53
And then we have you and me.
135
413560
1334
この辺に私や皆さんがいて
この辺にニワトリがいます
06:56
And then we have a chicken.
136
416120
1296
06:57
(Laughter)
137
417440
1936
(笑)
06:59
Sorry, a chicken.
138
419400
1216
失敬 ニワトリはこの辺です
07:00
(Laughter)
139
420640
1256
(笑)
07:01
There's no reason for me to make this talk more depressing than it needs to be.
140
421920
3736
元々滅入る話をさらに滅入るものに することもないでしょう
07:05
(Laughter)
141
425680
1600
(笑)
07:08
It seems overwhelmingly likely, however, that the spectrum of intelligence
142
428339
3477
知能の分布には 今の我々に想像できるよりも
07:11
extends much further than we currently conceive,
143
431840
3120
はるかに大きな広がりが あることでしょう
07:15
and if we build machines that are more intelligent than we are,
144
435880
3216
そして我々が 人間よりも知的な機械を作ったなら
それはこの知能の地平を
07:19
they will very likely explore this spectrum
145
439120
2296
07:21
in ways that we can't imagine,
146
441440
1856
我々の想像が 及ばないくらい遠くまで
07:23
and exceed us in ways that we can't imagine.
147
443320
2520
進んでいくことでしょう
重要なのは スピードの点だけを取っても それは確かだということです
07:27
And it's important to recognize that this is true by virtue of speed alone.
148
447000
4336
07:31
Right? So imagine if we just built a superintelligent AI
149
451360
5056
スタンフォードやMITの
平均的な研究者並みの 知能を持つ
07:36
that was no smarter than your average team of researchers
150
456440
3456
超知的AIができたとしましょう
07:39
at Stanford or MIT.
151
459920
2296
電子回路は 生化学的回路より
07:42
Well, electronic circuits function about a million times faster
152
462240
2976
100万倍も高速に稼働します
07:45
than biochemical ones,
153
465240
1256
07:46
so this machine should think about a million times faster
154
466520
3136
その機械は それを作り出した頭脳よりも
07:49
than the minds that built it.
155
469680
1816
100万倍速く 働くということです
07:51
So you set it running for a week,
156
471520
1656
だから1週間稼働させておくと
07:53
and it will perform 20,000 years of human-level intellectual work,
157
473200
4560
人間並みの知的作業を 2万年分こなすことになります
07:58
week after week after week.
158
478400
1960
毎週毎週です
08:01
How could we even understand, much less constrain,
159
481640
3096
そのような進歩をする頭脳は
抑えるどころか理解することすら おぼつかないでしょう
08:04
a mind making this sort of progress?
160
484760
2280
08:08
The other thing that's worrying, frankly,
161
488840
2136
正直言って 心配なことが 他にもあります
08:11
is that, imagine the best case scenario.
162
491000
4976
それなら最良のシナリオは どんなものでしょう?
安全性について心配のない 超知的AIのデザインを
08:16
So imagine we hit upon a design of superintelligent AI
163
496000
4176
思い付いたとします
08:20
that has no safety concerns.
164
500200
1376
08:21
We have the perfect design the first time around.
165
501600
3256
完璧なデザインを 最初に手にすることができた
08:24
It's as though we've been handed an oracle
166
504880
2216
神のお告げで 与えられたかのように
まったく意図したとおりに 振る舞います
08:27
that behaves exactly as intended.
167
507120
2016
08:29
Well, this machine would be the perfect labor-saving device.
168
509160
3720
その機械は人間の労働を不要にする 完璧な装置になります
08:33
It can design the machine that can build the machine
169
513680
2429
どんな肉体労働もこなす 機械を作るための
機械をデザインでき
08:36
that can do any physical work,
170
516133
1763
08:37
powered by sunlight,
171
517920
1456
太陽光で稼働し
08:39
more or less for the cost of raw materials.
172
519400
2696
原材料費くらいしか かかりません
人間は苦役から 解放されます
08:42
So we're talking about the end of human drudgery.
173
522120
3256
08:45
We're also talking about the end of most intellectual work.
174
525400
2800
知的な仕事の多くすら 不要になります
そのような状況で 我々のようなサルは 何をするのでしょう?
08:49
So what would apes like ourselves do in this circumstance?
175
529200
3056
08:52
Well, we'd be free to play Frisbee and give each other massages.
176
532280
4080
気ままにフリスビーしたり マッサージし合ったりでしょうか
08:57
Add some LSD and some questionable wardrobe choices,
177
537840
2856
それにLSDと 奇抜な服を加えるなら
09:00
and the whole world could be like Burning Man.
178
540720
2176
世界中がバーニングマンの お祭りのようになるかもしれません
09:02
(Laughter)
179
542920
1640
(笑)
09:06
Now, that might sound pretty good,
180
546320
2000
それも結構かもしれませんが
09:09
but ask yourself what would happen
181
549280
2376
現在の政治経済状況の元で
09:11
under our current economic and political order?
182
551680
2736
どんなことが起きるだろうか 考えてみてください
09:14
It seems likely that we would witness
183
554440
2416
経済格差や失業が
09:16
a level of wealth inequality and unemployment
184
556880
4136
かつてない規模で生じる
可能性が高いでしょう
09:21
that we have never seen before.
185
561040
1496
09:22
Absent a willingness to immediately put this new wealth
186
562560
2616
この新しい富を即座に
全人類に進んで 提供する気がなければ
09:25
to the service of all humanity,
187
565200
1480
09:27
a few trillionaires could grace the covers of our business magazines
188
567640
3616
一握りの兆万長者が ビジネス誌の表紙を飾る一方で
09:31
while the rest of the world would be free to starve.
189
571280
2440
残りの人々は 飢えることになるでしょう
09:34
And what would the Russians or the Chinese do
190
574320
2296
シリコンバレーの会社が
09:36
if they heard that some company in Silicon Valley
191
576640
2616
超知的AIを展開しようと していると聞いたら
09:39
was about to deploy a superintelligent AI?
192
579280
2736
ロシアや中国は どうするでしょう?
その機械は 地上戦であれ サイバー戦であれ
09:42
This machine would be capable of waging war,
193
582040
2856
09:44
whether terrestrial or cyber,
194
584920
2216
かつてない力でもって
戦争を遂行する 能力があります
09:47
with unprecedented power.
195
587160
1680
勝者がすべてを 手にするシナリオです
09:50
This is a winner-take-all scenario.
196
590120
1856
09:52
To be six months ahead of the competition here
197
592000
3136
競争で半年 先んじることで
少なくとも50万年分
09:55
is to be 500,000 years ahead,
198
595160
2776
09:57
at a minimum.
199
597960
1496
先を行くことが できるのです
09:59
So it seems that even mere rumors of this kind of breakthrough
200
599480
4736
そのような技術革新の 噂だけでも
世界中が大騒ぎに なるでしょう
10:04
could cause our species to go berserk.
201
604240
2376
10:06
Now, one of the most frightening things,
202
606640
2896
今の時点で私が
10:09
in my view, at this moment,
203
609560
2776
いちばんゾッとするのは
10:12
are the kinds of things that AI researchers say
204
612360
4296
AI研究者が 安心させようとして
言うたぐいのことです
10:16
when they want to be reassuring.
205
616680
1560
心配すべきでない理由として よく言われるのは 時間です
10:19
And the most common reason we're told not to worry is time.
206
619000
3456
10:22
This is all a long way off, don't you know.
207
622480
2056
そんなのは ずっと先の話で
10:24
This is probably 50 or 100 years away.
208
624560
2440
50年とか100年も先の話だと
10:27
One researcher has said,
209
627720
1256
ある研究者は
「AIの安全性を懸念するのは
10:29
"Worrying about AI safety
210
629000
1576
10:30
is like worrying about overpopulation on Mars."
211
630600
2280
火星の人口過剰を心配するようなものだ」と 言っています
これは「あなたの小さな頭を そんなことで悩ませないで」というやつの
10:34
This is the Silicon Valley version
212
634116
1620
10:35
of "don't worry your pretty little head about it."
213
635760
2376
シリコンバレー版です
10:38
(Laughter)
214
638160
1336
(笑)
10:39
No one seems to notice
215
639520
1896
誰も気付いていない ように見えるのは
10:41
that referencing the time horizon
216
641440
2616
時間的スケールは
この際 無関係だと いうことです
10:44
is a total non sequitur.
217
644080
2576
10:46
If intelligence is just a matter of information processing,
218
646680
3256
知性の実体が 情報処理にすぎず
10:49
and we continue to improve our machines,
219
649960
2656
人類が 機械の改良を 続けていくなら
10:52
we will produce some form of superintelligence.
220
652640
2880
いずれ何らかの形の 超知性を生み出すことになるでしょう
10:56
And we have no idea how long it will take us
221
656320
3656
それを安全に行える 条件を作り出すのに
どれくらい時間がかかるのか 我々には 見当も付きません
11:00
to create the conditions to do that safely.
222
660000
2400
もう一度言いましょう
11:04
Let me say that again.
223
664200
1296
11:05
We have no idea how long it will take us
224
665520
3816
それを安全に行える 条件を作り出すのに
11:09
to create the conditions to do that safely.
225
669360
2240
どれくらい時間がかかるのか 我々には 見当も付きません
11:12
And if you haven't noticed, 50 years is not what it used to be.
226
672920
3456
今の50年というのは かつての50年とは違っています
11:16
This is 50 years in months.
227
676400
2456
これは 50年を月の数で 表したものです
11:18
This is how long we've had the iPhone.
228
678880
1840
これはiPhoneが 登場してからの時間
11:21
This is how long "The Simpsons" has been on television.
229
681440
2600
これは『シンプソンズ』の放送が 始まってからの時間
11:24
Fifty years is not that much time
230
684680
2376
人類最大の難問に 取り組む時間としては
11:27
to meet one of the greatest challenges our species will ever face.
231
687080
3160
50年というのは そんなに 長いものではありません
11:31
Once again, we seem to be failing to have an appropriate emotional response
232
691640
4016
繰り返しになりますが 必ずやってくると思われるものに対して
11:35
to what we have every reason to believe is coming.
233
695680
2696
我々は感情的に適切な反応を できずにいるようです
11:38
The computer scientist Stuart Russell has a nice analogy here.
234
698400
3976
コンピューター科学者のスチュワート・ ラッセルが うまい例えをしています
11:42
He said, imagine that we received a message from an alien civilization,
235
702400
4896
異星の文明から
こんなメッセージを受け取ったと 想像してください
11:47
which read:
236
707320
1696
「地球の諸君
11:49
"People of Earth,
237
709040
1536
11:50
we will arrive on your planet in 50 years.
238
710600
2360
あと50年で 我々はそちらに着く
11:53
Get ready."
239
713800
1576
準備されたし」
11:55
And now we're just counting down the months until the mothership lands?
240
715400
4256
我々は 彼らの母船が着陸する時を ただ指折り数えて待つのでしょうか?
11:59
We would feel a little more urgency than we do.
241
719680
3000
もう少し 切迫感を抱くのでは ないかと思います
12:04
Another reason we're told not to worry
242
724680
1856
心配無用だとされる 別の理由は
12:06
is that these machines can't help but share our values
243
726560
3016
そういった機械は 人間の延長であり
12:09
because they will be literally extensions of ourselves.
244
729600
2616
人間と同じ価値観を 持つはずだというものです
12:12
They'll be grafted onto our brains,
245
732240
1816
我々の脳に接続され
人間はその辺縁系のような 存在になるのだと
12:14
and we'll essentially become their limbic systems.
246
734080
2360
ちょっと考えてほしいんですが
12:17
Now take a moment to consider
247
737120
1416
12:18
that the safest and only prudent path forward,
248
738560
3176
最も安全で
唯一分別のあるやり方として 勧められているのは
12:21
recommended,
249
741760
1336
その技術を直接自分の脳に 埋め込むことだと言うのです
12:23
is to implant this technology directly into our brains.
250
743120
2800
12:26
Now, this may in fact be the safest and only prudent path forward,
251
746600
3376
それは実際に 最も安全で 唯一分別のあるやり方なのかもしれませんが
12:30
but usually one's safety concerns about a technology
252
750000
3056
テクノロジーに対する安全性の懸念は ふつうであれば—
12:33
have to be pretty much worked out before you stick it inside your head.
253
753080
3656
頭に埋め込む前に解消されている べきではないでしょうか
12:36
(Laughter)
254
756760
2016
(笑)
12:38
The deeper problem is that building superintelligent AI on its own
255
758800
5336
より根深い問題点は 超知的AIを作ること自体は
超知的AIを作り
12:44
seems likely to be easier
256
764160
1736
12:45
than building superintelligent AI
257
765920
1856
かつ それを人間の脳に 統合するための
12:47
and having the completed neuroscience
258
767800
1776
神経科学を 完成させることよりは
12:49
that allows us to seamlessly integrate our minds with it.
259
769600
2680
簡単だろうことです
12:52
And given that the companies and governments doing this work
260
772800
3176
これに取り組む国や企業は
他の国や企業と競争を していると認識しており
12:56
are likely to perceive themselves as being in a race against all others,
261
776000
3656
12:59
given that to win this race is to win the world,
262
779680
3256
勝者が全世界を 手に入れられるのだとすれば—
13:02
provided you don't destroy it in the next moment,
263
782960
2456
次の瞬間に破滅させて いたら別ですが—
13:05
then it seems likely that whatever is easier to do
264
785440
2616
そのような状況においては
何にせよ簡単な方が 先に成し遂げられることでしょう
13:08
will get done first.
265
788080
1200
13:10
Now, unfortunately, I don't have a solution to this problem,
266
790560
2856
あいにく 私はこの問題への答えを 持ち合わせてはおらず
13:13
apart from recommending that more of us think about it.
267
793440
2616
ただもっと考えてみるように お勧めするだけです
人工知能のための 「マンハッタン計画」のようなものが
13:16
I think we need something like a Manhattan Project
268
796080
2376
13:18
on the topic of artificial intelligence.
269
798480
2016
必要なのでは ないかと思います
13:20
Not to build it, because I think we'll inevitably do that,
270
800520
2736
作るためではありません それは不可避でしょうから
13:23
but to understand how to avoid an arms race
271
803280
3336
軍拡競争のようになるのを いかに避けられるか探り
13:26
and to build it in a way that is aligned with our interests.
272
806640
3496
人類の利益にかなうように それが作られるようにするためです
13:30
When you're talking about superintelligent AI
273
810160
2136
超知的AIが
自身を変えていけることを 考えると
13:32
that can make changes to itself,
274
812320
2256
13:34
it seems that we only have one chance to get the initial conditions right,
275
814600
4616
それを正しく作れるチャンスは 1度しかないでしょう
13:39
and even then we will need to absorb
276
819240
2056
しかもその上で それを正しくやるための
13:41
the economic and political consequences of getting them right.
277
821320
3040
政治的・経済的な帰結を 受け入れる必要があります
13:45
But the moment we admit
278
825760
2056
知性の源は情報処理だと—
13:47
that information processing is the source of intelligence,
279
827840
4000
知性の基礎をなしているのは
13:52
that some appropriate computational system is what the basis of intelligence is,
280
832720
4800
ある種の計算システムである ということを認め
13:58
and we admit that we will improve these systems continuously,
281
838360
3760
人類がそういうシステムを継続的に 改良していくだろうことを認め
14:03
and we admit that the horizon of cognition very likely far exceeds
282
843280
4456
そして認知の地平は 我々に今分かっているよりも
はるか遠くまで 続いているであろうことを認めるとき
14:07
what we currently know,
283
847760
1200
我々はある種の神を 作ろうとしていることを
14:10
then we have to admit
284
850120
1216
14:11
that we are in the process of building some sort of god.
285
851360
2640
認めないわけには いかないでしょう
その神が一緒にやっていける相手か 確認したいなら
14:15
Now would be a good time
286
855400
1576
14:17
to make sure it's a god we can live with.
287
857000
1953
今がその時です
ありがとうございました
14:20
Thank you very much.
288
860120
1536
14:21
(Applause)
289
861680
5093
(拍手)
このウェブサイトについて

このサイトでは英語学習に役立つYouTube動画を紹介します。世界中の一流講師による英語レッスンを見ることができます。各ビデオのページに表示される英語字幕をダブルクリックすると、そこからビデオを再生することができます。字幕はビデオの再生と同期してスクロールします。ご意見・ご要望がございましたら、こちらのお問い合わせフォームよりご連絡ください。

https://forms.gle/WvT1wiN1qDtmnspy7