下の英語字幕をダブルクリックすると動画を再生できます。
翻訳: Yasushi Aoki
校正: Kaori Nozaki
我々の多くが抱えている―
00:13
I'm going to talk
about a failure of intuition
0
13000
2216
直感の誤りについて
お話しします
00:15
that many of us suffer from.
1
15240
1600
00:17
It's really a failure
to detect a certain kind of danger.
2
17480
3040
正確には ある種の危険を
察知し損なうということです
00:21
I'm going to describe a scenario
3
21360
1736
これから説明するシナリオは
私の考えでは
恐ろしいと同時に
00:23
that I think is both terrifying
4
23120
3256
00:26
and likely to occur,
5
26400
1760
起こりそうなこと
でもあります
00:28
and that's not a good combination,
6
28840
1656
ありがたくない
組み合わせですね
00:30
as it turns out.
7
30520
1536
考えてみたら
しかも 多くの人が
それを恐れるよりは
00:32
And yet rather than be scared,
most of you will feel
8
32080
2456
00:34
that what I'm talking about
is kind of cool.
9
34560
2080
素敵なことのように
感じています
人工知能によって
我々がどのように利益を得
00:37
I'm going to describe
how the gains we make
10
37200
2976
そして最終的には
破滅を招きかねないか お話しします
00:40
in artificial intelligence
11
40200
1776
00:42
could ultimately destroy us.
12
42000
1776
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
13
43800
3456
人工知能が
人類を破滅させたり
自滅に追い込んだりしない
シナリオは
00:47
or inspire us to destroy ourselves.
14
47280
1680
実際 考えにくい気がします
00:49
And yet if you're anything like me,
15
49400
1856
それでも皆さんが
私と同じなら
00:51
you'll find that it's fun
to think about these things.
16
51280
2656
そういったことについて考えるのは
楽しいことでしょう
00:53
And that response is part of the problem.
17
53960
3376
その反応自体が問題なのです
00:57
OK? That response should worry you.
18
57360
1720
そういう反応は
懸念すべきです
00:59
And if I were to convince you in this talk
19
59920
2656
仮にこの講演で
私の訴えていることが
地球温暖化や
何かの大異変のため
01:02
that we were likely
to suffer a global famine,
20
62600
3416
世界的な飢饉がやってくる
ということだったとしましょう
01:06
either because of climate change
or some other catastrophe,
21
66040
3056
私たちの孫や
その孫の世代は
01:09
and that your grandchildren,
or their grandchildren,
22
69120
3416
01:12
are very likely to live like this,
23
72560
1800
この写真のような
有様になるんだと
その場合
こうは思わないでしょう
01:15
you wouldn't think,
24
75200
1200
01:17
"Interesting.
25
77440
1336
「やあ 面白いな
01:18
I like this TED Talk."
26
78800
1200
このTEDトーク気に入ったよ」
01:21
Famine isn't fun.
27
81200
1520
飢饉は楽しいもの
ではありません
01:23
Death by science fiction,
on the other hand, is fun,
28
83800
3376
一方で SFの中の破滅は
楽しいものなのです
01:27
and one of the things that worries me most
about the development of AI at this point
29
87200
3976
今の時点で AIの発展について
私が最も懸念するのは
01:31
is that we seem unable to marshal
an appropriate emotional response
30
91200
4096
将来に待ち受けている
危険に対して
我々が感情的に適切な反応を
できずにいることです
01:35
to the dangers that lie ahead.
31
95320
1816
こう話している私自身
そういう反応をできずにいます
01:37
I am unable to marshal this response,
and I'm giving this talk.
32
97160
3200
我々は2つの扉を前に
立っているようなものです
01:42
It's as though we stand before two doors.
33
102120
2696
01:44
Behind door number one,
34
104840
1256
1つ目の扉の先には
知的な機械の開発をやめるという
道があります
01:46
we stop making progress
in building intelligent machines.
35
106120
3296
01:49
Our computer hardware and software
just stops getting better for some reason.
36
109440
4016
ハードウェアやソフトウェアの進歩が
何らかの理由で止まるのです
01:53
Now take a moment
to consider why this might happen.
37
113480
3000
そういうことが起きうる要因を
ちょっと考えてみましょう
自動化やインテリジェント化によって
得られる価値を考えれば
01:57
I mean, given how valuable
intelligence and automation are,
38
117080
3656
02:00
we will continue to improve our technology
if we are at all able to.
39
120760
3520
人間は可能な限り
テクノロジーを進歩させ続けるはずです
02:05
What could stop us from doing this?
40
125200
1667
それが止まるとしたら
理由は何でしょう?
02:07
A full-scale nuclear war?
41
127800
1800
全面核戦争とか
世界的な疫病の大流行とか
02:11
A global pandemic?
42
131000
1560
02:14
An asteroid impact?
43
134320
1320
小惑星の衝突とか
02:17
Justin Bieber becoming
president of the United States?
44
137640
2576
ジャスティン・ビーバーの
大統領就任とか
02:20
(Laughter)
45
140240
2280
(笑)
02:24
The point is, something would have to
destroy civilization as we know it.
46
144760
3920
要は 何かで現在の文明が
崩壊する必要があるということです
02:29
You have to imagine
how bad it would have to be
47
149360
4296
それがどんなに ひどい事態であるはずか
考えてみてください
02:33
to prevent us from making
improvements in our technology
48
153680
3336
技術の進歩を
幾世代にもわたり
02:37
permanently,
49
157040
1216
半永久的に妨げるようなことです
02:38
generation after generation.
50
158280
2016
02:40
Almost by definition,
this is the worst thing
51
160320
2136
ほぼ間違いなく
人類史上
最悪の出来事でしょう
02:42
that's ever happened in human history.
52
162480
2016
02:44
So the only alternative,
53
164520
1296
もう1つの選択肢
02:45
and this is what lies
behind door number two,
54
165840
2336
2番目の扉の
向こうにあるのは
02:48
is that we continue
to improve our intelligent machines
55
168200
3136
知的な機械の進歩が
ずっと続いていく未来です
02:51
year after year after year.
56
171360
1600
02:53
At a certain point, we will build
machines that are smarter than we are,
57
173720
3640
するとどこかの時点で 人間よりも
知的な機械を作ることになるでしょう
そしてひとたび
人間より知的な機械が生まれたなら
02:58
and once we have machines
that are smarter than we are,
58
178080
2616
03:00
they will begin to improve themselves.
59
180720
1976
機械は自分で
進化していくでしょう
03:02
And then we risk what
the mathematician IJ Good called
60
182720
2736
そうなると我々は 数学者
I・J・グッドが言うところの
03:05
an "intelligence explosion,"
61
185480
1776
「知能爆発」の
リスクに直面します
03:07
that the process could get away from us.
62
187280
2000
進歩のプロセスが
人間の手を離れてしまうのです
それはこの絵のような
03:10
Now, this is often caricatured,
as I have here,
63
190120
2816
悪意を持つロボットの大群に
襲われる恐怖として
03:12
as a fear that armies of malicious robots
64
192960
3216
よく戯画化されています
03:16
will attack us.
65
196200
1256
03:17
But that isn't the most likely scenario.
66
197480
2696
でもそれは ごくありそうな
シナリオではないでしょう
03:20
It's not that our machines
will become spontaneously malevolent.
67
200200
4856
別に機械が悪意に目覚めるという
わけではありません
本当に 心配すべきなのは
03:25
The concern is really
that we will build machines
68
205080
2616
人間よりもはるかに優れた
機械を作ってしまうと
03:27
that are so much
more competent than we are
69
207720
2056
03:29
that the slightest divergence
between their goals and our own
70
209800
3776
人間と機械の目的の
ほんのわずかなズレによって
人類が破滅しかねないと
いうことです
03:33
could destroy us.
71
213600
1200
03:35
Just think about how we relate to ants.
72
215960
2080
人類がアリのような存在になると
考えるといいです
03:38
We don't hate them.
73
218600
1656
我々は アリが
嫌いなわけではなく
03:40
We don't go out of our way to harm them.
74
220280
2056
わざわざ 潰しに
行きはしません
03:42
In fact, sometimes
we take pains not to harm them.
75
222360
2376
潰してしまわないように
気を遣いさえして
03:44
We step over them on the sidewalk.
76
224760
2016
アリを避けて歩きます
03:46
But whenever their presence
77
226800
2136
でもアリの存在が
03:48
seriously conflicts with one of our goals,
78
228960
2496
我々の目的と衝突した時—
03:51
let's say when constructing
a building like this one,
79
231480
2477
たとえばこんな建造物を
作るという場合には
03:53
we annihilate them without a qualm.
80
233981
1960
良心の呵責なしに
アリを全滅させてしまいます
03:56
The concern is that we will
one day build machines
81
236480
2936
私が懸念するのは
意識的にせよ無意識にせよ
03:59
that, whether they're conscious or not,
82
239440
2736
人類をそのように軽く扱う機械を
我々がいつか作ってしまうことです
04:02
could treat us with similar disregard.
83
242200
2000
04:05
Now, I suspect this seems
far-fetched to many of you.
84
245760
2760
考えすぎだと 多くの方は
思っていることでしょう
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
85
249360
6336
超知的AIの実現可能性を
疑問視し
ましてや不可避などとは
思わない人もいるでしょう
04:15
much less inevitable.
86
255720
1656
04:17
But then you must find something wrong
with one of the following assumptions.
87
257400
3620
でも それなら これから挙げる仮定に
間違いを見つけてほしいものです
04:21
And there are only three of them.
88
261044
1572
仮定は3つだけです
04:23
Intelligence is a matter of information
processing in physical systems.
89
263800
4719
知性とは物質的なシステムにおける
情報処理である
04:29
Actually, this is a little bit more
than an assumption.
90
269320
2615
実際これは
仮定以上のものです
04:31
We have already built
narrow intelligence into our machines,
91
271959
3457
狭い意味での知性なら
もう機械で作り出されており
04:35
and many of these machines perform
92
275440
2016
そのような機械はすでに
04:37
at a level of superhuman
intelligence already.
93
277480
2640
人間を超える水準に
達しています
04:40
And we know that mere matter
94
280840
2576
そして様々な分野にわたって
柔軟に思考できる能力である
「汎用知能」は
04:43
can give rise to what is called
"general intelligence,"
95
283440
2616
物質で構成可能なことを
我々は知っています
04:46
an ability to think flexibly
across multiple domains,
96
286080
3656
04:49
because our brains have managed it. Right?
97
289760
3136
なぜなら人間の脳が
そうだからです
04:52
I mean, there's just atoms in here,
98
292920
3936
ここにあるのは
ただの原子の塊です
04:56
and as long as we continue
to build systems of atoms
99
296880
4496
より知的な振る舞いをする
原子でできたシステムの構築を
続けていくなら
05:01
that display more and more
intelligent behavior,
100
301400
2696
何かで中断させられない限りは
05:04
we will eventually,
unless we are interrupted,
101
304120
2536
05:06
we will eventually
build general intelligence
102
306680
3376
いつか汎用知能を
機械で作り出すことに
なるでしょう
05:10
into our machines.
103
310080
1296
05:11
It's crucial to realize
that the rate of progress doesn't matter,
104
311400
3656
重要なのは ここで進歩のスピードは
問題ではないことです
どんな進歩であれ
そこに至るのに十分だからです
05:15
because any progress
is enough to get us into the end zone.
105
315080
3176
ムーアの法則の持続も
指数爆発的な進歩も必要ありません
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
106
318280
3776
ただ続けていくだけで
いいのです
05:22
We just need to keep going.
107
322080
1600
05:25
The second assumption
is that we will keep going.
108
325480
2920
第2の仮定は
人間が進み続けていくこと
我々が知的な機械の
改良を続けていくことです
05:29
We will continue to improve
our intelligent machines.
109
329000
2760
知性の価値を考えてください
05:33
And given the value of intelligence --
110
333000
4376
05:37
I mean, intelligence is either
the source of everything we value
111
337400
3536
知性は 我々が価値を置くもの
すべての源泉
05:40
or we need it to safeguard
everything we value.
112
340960
2776
価値を置くものを守るために
必要なものです
05:43
It is our most valuable resource.
113
343760
2256
我々が持つ
最も貴重なリソースです
我々は それを必要としています
05:46
So we want to do this.
114
346040
1536
05:47
We have problems
that we desperately need to solve.
115
347600
3336
我々は解決すべき問題を
抱えています
05:50
We want to cure diseases
like Alzheimer's and cancer.
116
350960
3200
アルツハイマーやガンのような病気を
治したいと思っています
05:54
We want to understand economic systems.
We want to improve our climate science.
117
354960
3936
経済の仕組みを理解したい
気象科学をもっと良くしたいと思っています
05:58
So we will do this, if we can.
118
358920
2256
だから 可能であれば
やるはずです
06:01
The train is already out of the station,
and there's no brake to pull.
119
361200
3286
列車はすでに駅を出発していて
ブレーキはありません
06:05
Finally, we don't stand
on a peak of intelligence,
120
365880
5456
3番目は 人間は知性の
頂点にはおらず
その近くにすら
いないということ
06:11
or anywhere near it, likely.
121
371360
1800
06:13
And this really is the crucial insight.
122
373640
1896
これは重要な洞察であり
06:15
This is what makes
our situation so precarious,
123
375560
2416
我々の状況を
危うくするものです
これはまた リスクについての我々の勘が
当てにならない理由でもあります
06:18
and this is what makes our intuitions
about risk so unreliable.
124
378000
4040
史上最も頭の良い人間について
考えてみましょう
06:23
Now, just consider the smartest person
who has ever lived.
125
383120
2720
06:26
On almost everyone's shortlist here
is John von Neumann.
126
386640
3416
ほぼ必ず上がってくる名前に
フォン・ノイマンがあります
ノイマンの周囲には
06:30
I mean, the impression that von Neumann
made on the people around him,
127
390080
3336
当時の 最も優れた数学者や
物理学者がいたわけですが
06:33
and this included the greatest
mathematicians and physicists of his time,
128
393440
4056
人々がノイマンから受けた印象については
いろいろ記述されています
06:37
is fairly well-documented.
129
397520
1936
06:39
If only half the stories
about him are half true,
130
399480
3776
ノイマンにまつわる話で 半分でも
正しいものが 半分だけだったとしても
06:43
there's no question
131
403280
1216
疑いなく彼は
06:44
he's one of the smartest people
who has ever lived.
132
404520
2456
これまでに生きた最も頭の良い
人間の1人です
知能の分布を考えてみましょう
06:47
So consider the spectrum of intelligence.
133
407000
2520
06:50
Here we have John von Neumann.
134
410320
1429
ここにフォン・ノイマンがいて
06:53
And then we have you and me.
135
413560
1334
この辺に私や皆さんがいて
この辺にニワトリがいます
06:56
And then we have a chicken.
136
416120
1296
06:57
(Laughter)
137
417440
1936
(笑)
06:59
Sorry, a chicken.
138
419400
1216
失敬 ニワトリはこの辺です
07:00
(Laughter)
139
420640
1256
(笑)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
140
421920
3736
元々滅入る話をさらに滅入るものに
することもないでしょう
07:05
(Laughter)
141
425680
1600
(笑)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
142
428339
3477
知能の分布には
今の我々に想像できるよりも
07:11
extends much further
than we currently conceive,
143
431840
3120
はるかに大きな広がりが
あることでしょう
07:15
and if we build machines
that are more intelligent than we are,
144
435880
3216
そして我々が
人間よりも知的な機械を作ったなら
それはこの知能の地平を
07:19
they will very likely
explore this spectrum
145
439120
2296
07:21
in ways that we can't imagine,
146
441440
1856
我々の想像が
及ばないくらい遠くまで
07:23
and exceed us in ways
that we can't imagine.
147
443320
2520
進んでいくことでしょう
重要なのは スピードの点だけを取っても
それは確かだということです
07:27
And it's important to recognize that
this is true by virtue of speed alone.
148
447000
4336
07:31
Right? So imagine if we just built
a superintelligent AI
149
451360
5056
スタンフォードやMITの
平均的な研究者並みの
知能を持つ
07:36
that was no smarter
than your average team of researchers
150
456440
3456
超知的AIができたとしましょう
07:39
at Stanford or MIT.
151
459920
2296
電子回路は
生化学的回路より
07:42
Well, electronic circuits
function about a million times faster
152
462240
2976
100万倍も高速に稼働します
07:45
than biochemical ones,
153
465240
1256
07:46
so this machine should think
about a million times faster
154
466520
3136
その機械は
それを作り出した頭脳よりも
07:49
than the minds that built it.
155
469680
1816
100万倍速く
働くということです
07:51
So you set it running for a week,
156
471520
1656
だから1週間稼働させておくと
07:53
and it will perform 20,000 years
of human-level intellectual work,
157
473200
4560
人間並みの知的作業を
2万年分こなすことになります
07:58
week after week after week.
158
478400
1960
毎週毎週です
08:01
How could we even understand,
much less constrain,
159
481640
3096
そのような進歩をする頭脳は
抑えるどころか理解することすら
おぼつかないでしょう
08:04
a mind making this sort of progress?
160
484760
2280
08:08
The other thing that's worrying, frankly,
161
488840
2136
正直言って 心配なことが
他にもあります
08:11
is that, imagine the best case scenario.
162
491000
4976
それなら最良のシナリオは
どんなものでしょう?
安全性について心配のない
超知的AIのデザインを
08:16
So imagine we hit upon a design
of superintelligent AI
163
496000
4176
思い付いたとします
08:20
that has no safety concerns.
164
500200
1376
08:21
We have the perfect design
the first time around.
165
501600
3256
完璧なデザインを
最初に手にすることができた
08:24
It's as though we've been handed an oracle
166
504880
2216
神のお告げで
与えられたかのように
まったく意図したとおりに
振る舞います
08:27
that behaves exactly as intended.
167
507120
2016
08:29
Well, this machine would be
the perfect labor-saving device.
168
509160
3720
その機械は人間の労働を不要にする
完璧な装置になります
08:33
It can design the machine
that can build the machine
169
513680
2429
どんな肉体労働もこなす
機械を作るための
機械をデザインでき
08:36
that can do any physical work,
170
516133
1763
08:37
powered by sunlight,
171
517920
1456
太陽光で稼働し
08:39
more or less for the cost
of raw materials.
172
519400
2696
原材料費くらいしか
かかりません
人間は苦役から
解放されます
08:42
So we're talking about
the end of human drudgery.
173
522120
3256
08:45
We're also talking about the end
of most intellectual work.
174
525400
2800
知的な仕事の多くすら
不要になります
そのような状況で 我々のようなサルは
何をするのでしょう?
08:49
So what would apes like ourselves
do in this circumstance?
175
529200
3056
08:52
Well, we'd be free to play Frisbee
and give each other massages.
176
532280
4080
気ままにフリスビーしたり
マッサージし合ったりでしょうか
08:57
Add some LSD and some
questionable wardrobe choices,
177
537840
2856
それにLSDと
奇抜な服を加えるなら
09:00
and the whole world
could be like Burning Man.
178
540720
2176
世界中がバーニングマンの
お祭りのようになるかもしれません
09:02
(Laughter)
179
542920
1640
(笑)
09:06
Now, that might sound pretty good,
180
546320
2000
それも結構かもしれませんが
09:09
but ask yourself what would happen
181
549280
2376
現在の政治経済状況の元で
09:11
under our current economic
and political order?
182
551680
2736
どんなことが起きるだろうか
考えてみてください
09:14
It seems likely that we would witness
183
554440
2416
経済格差や失業が
09:16
a level of wealth inequality
and unemployment
184
556880
4136
かつてない規模で生じる
可能性が高いでしょう
09:21
that we have never seen before.
185
561040
1496
09:22
Absent a willingness
to immediately put this new wealth
186
562560
2616
この新しい富を即座に
全人類に進んで
提供する気がなければ
09:25
to the service of all humanity,
187
565200
1480
09:27
a few trillionaires could grace
the covers of our business magazines
188
567640
3616
一握りの兆万長者が
ビジネス誌の表紙を飾る一方で
09:31
while the rest of the world
would be free to starve.
189
571280
2440
残りの人々は
飢えることになるでしょう
09:34
And what would the Russians
or the Chinese do
190
574320
2296
シリコンバレーの会社が
09:36
if they heard that some company
in Silicon Valley
191
576640
2616
超知的AIを展開しようと
していると聞いたら
09:39
was about to deploy a superintelligent AI?
192
579280
2736
ロシアや中国は
どうするでしょう?
その機械は 地上戦であれ
サイバー戦であれ
09:42
This machine would be capable
of waging war,
193
582040
2856
09:44
whether terrestrial or cyber,
194
584920
2216
かつてない力でもって
戦争を遂行する
能力があります
09:47
with unprecedented power.
195
587160
1680
勝者がすべてを
手にするシナリオです
09:50
This is a winner-take-all scenario.
196
590120
1856
09:52
To be six months ahead
of the competition here
197
592000
3136
競争で半年
先んじることで
少なくとも50万年分
09:55
is to be 500,000 years ahead,
198
595160
2776
09:57
at a minimum.
199
597960
1496
先を行くことが
できるのです
09:59
So it seems that even mere rumors
of this kind of breakthrough
200
599480
4736
そのような技術革新の
噂だけでも
世界中が大騒ぎに
なるでしょう
10:04
could cause our species to go berserk.
201
604240
2376
10:06
Now, one of the most frightening things,
202
606640
2896
今の時点で私が
10:09
in my view, at this moment,
203
609560
2776
いちばんゾッとするのは
10:12
are the kinds of things
that AI researchers say
204
612360
4296
AI研究者が
安心させようとして
言うたぐいのことです
10:16
when they want to be reassuring.
205
616680
1560
心配すべきでない理由として
よく言われるのは 時間です
10:19
And the most common reason
we're told not to worry is time.
206
619000
3456
10:22
This is all a long way off,
don't you know.
207
622480
2056
そんなのは ずっと先の話で
10:24
This is probably 50 or 100 years away.
208
624560
2440
50年とか100年も先の話だと
10:27
One researcher has said,
209
627720
1256
ある研究者は
「AIの安全性を懸念するのは
10:29
"Worrying about AI safety
210
629000
1576
10:30
is like worrying
about overpopulation on Mars."
211
630600
2280
火星の人口過剰を心配するようなものだ」と
言っています
これは「あなたの小さな頭を
そんなことで悩ませないで」というやつの
10:34
This is the Silicon Valley version
212
634116
1620
10:35
of "don't worry your
pretty little head about it."
213
635760
2376
シリコンバレー版です
10:38
(Laughter)
214
638160
1336
(笑)
10:39
No one seems to notice
215
639520
1896
誰も気付いていない
ように見えるのは
10:41
that referencing the time horizon
216
641440
2616
時間的スケールは
この際 無関係だと
いうことです
10:44
is a total non sequitur.
217
644080
2576
10:46
If intelligence is just a matter
of information processing,
218
646680
3256
知性の実体が
情報処理にすぎず
10:49
and we continue to improve our machines,
219
649960
2656
人類が 機械の改良を
続けていくなら
10:52
we will produce
some form of superintelligence.
220
652640
2880
いずれ何らかの形の
超知性を生み出すことになるでしょう
10:56
And we have no idea
how long it will take us
221
656320
3656
それを安全に行える
条件を作り出すのに
どれくらい時間がかかるのか
我々には 見当も付きません
11:00
to create the conditions
to do that safely.
222
660000
2400
もう一度言いましょう
11:04
Let me say that again.
223
664200
1296
11:05
We have no idea how long it will take us
224
665520
3816
それを安全に行える
条件を作り出すのに
11:09
to create the conditions
to do that safely.
225
669360
2240
どれくらい時間がかかるのか
我々には 見当も付きません
11:12
And if you haven't noticed,
50 years is not what it used to be.
226
672920
3456
今の50年というのは
かつての50年とは違っています
11:16
This is 50 years in months.
227
676400
2456
これは 50年を月の数で
表したものです
11:18
This is how long we've had the iPhone.
228
678880
1840
これはiPhoneが
登場してからの時間
11:21
This is how long "The Simpsons"
has been on television.
229
681440
2600
これは『シンプソンズ』の放送が
始まってからの時間
11:24
Fifty years is not that much time
230
684680
2376
人類最大の難問に
取り組む時間としては
11:27
to meet one of the greatest challenges
our species will ever face.
231
687080
3160
50年というのは
そんなに 長いものではありません
11:31
Once again, we seem to be failing
to have an appropriate emotional response
232
691640
4016
繰り返しになりますが
必ずやってくると思われるものに対して
11:35
to what we have every reason
to believe is coming.
233
695680
2696
我々は感情的に適切な反応を
できずにいるようです
11:38
The computer scientist Stuart Russell
has a nice analogy here.
234
698400
3976
コンピューター科学者のスチュワート・
ラッセルが うまい例えをしています
11:42
He said, imagine that we received
a message from an alien civilization,
235
702400
4896
異星の文明から
こんなメッセージを受け取ったと
想像してください
11:47
which read:
236
707320
1696
「地球の諸君
11:49
"People of Earth,
237
709040
1536
11:50
we will arrive on your planet in 50 years.
238
710600
2360
あと50年で
我々はそちらに着く
11:53
Get ready."
239
713800
1576
準備されたし」
11:55
And now we're just counting down
the months until the mothership lands?
240
715400
4256
我々は 彼らの母船が着陸する時を
ただ指折り数えて待つのでしょうか?
11:59
We would feel a little
more urgency than we do.
241
719680
3000
もう少し 切迫感を抱くのでは
ないかと思います
12:04
Another reason we're told not to worry
242
724680
1856
心配無用だとされる
別の理由は
12:06
is that these machines
can't help but share our values
243
726560
3016
そういった機械は
人間の延長であり
12:09
because they will be literally
extensions of ourselves.
244
729600
2616
人間と同じ価値観を
持つはずだというものです
12:12
They'll be grafted onto our brains,
245
732240
1816
我々の脳に接続され
人間はその辺縁系のような
存在になるのだと
12:14
and we'll essentially
become their limbic systems.
246
734080
2360
ちょっと考えてほしいんですが
12:17
Now take a moment to consider
247
737120
1416
12:18
that the safest
and only prudent path forward,
248
738560
3176
最も安全で
唯一分別のあるやり方として
勧められているのは
12:21
recommended,
249
741760
1336
その技術を直接自分の脳に
埋め込むことだと言うのです
12:23
is to implant this technology
directly into our brains.
250
743120
2800
12:26
Now, this may in fact be the safest
and only prudent path forward,
251
746600
3376
それは実際に 最も安全で
唯一分別のあるやり方なのかもしれませんが
12:30
but usually one's safety concerns
about a technology
252
750000
3056
テクノロジーに対する安全性の懸念は
ふつうであれば—
12:33
have to be pretty much worked out
before you stick it inside your head.
253
753080
3656
頭に埋め込む前に解消されている
べきではないでしょうか
12:36
(Laughter)
254
756760
2016
(笑)
12:38
The deeper problem is that
building superintelligent AI on its own
255
758800
5336
より根深い問題点は
超知的AIを作ること自体は
超知的AIを作り
12:44
seems likely to be easier
256
764160
1736
12:45
than building superintelligent AI
257
765920
1856
かつ それを人間の脳に
統合するための
12:47
and having the completed neuroscience
258
767800
1776
神経科学を
完成させることよりは
12:49
that allows us to seamlessly
integrate our minds with it.
259
769600
2680
簡単だろうことです
12:52
And given that the companies
and governments doing this work
260
772800
3176
これに取り組む国や企業は
他の国や企業と競争を
していると認識しており
12:56
are likely to perceive themselves
as being in a race against all others,
261
776000
3656
12:59
given that to win this race
is to win the world,
262
779680
3256
勝者が全世界を
手に入れられるのだとすれば—
13:02
provided you don't destroy it
in the next moment,
263
782960
2456
次の瞬間に破滅させて
いたら別ですが—
13:05
then it seems likely
that whatever is easier to do
264
785440
2616
そのような状況においては
何にせよ簡単な方が
先に成し遂げられることでしょう
13:08
will get done first.
265
788080
1200
13:10
Now, unfortunately,
I don't have a solution to this problem,
266
790560
2856
あいにく 私はこの問題への答えを
持ち合わせてはおらず
13:13
apart from recommending
that more of us think about it.
267
793440
2616
ただもっと考えてみるように
お勧めするだけです
人工知能のための
「マンハッタン計画」のようなものが
13:16
I think we need something
like a Manhattan Project
268
796080
2376
13:18
on the topic of artificial intelligence.
269
798480
2016
必要なのでは
ないかと思います
13:20
Not to build it, because I think
we'll inevitably do that,
270
800520
2736
作るためではありません
それは不可避でしょうから
13:23
but to understand
how to avoid an arms race
271
803280
3336
軍拡競争のようになるのを
いかに避けられるか探り
13:26
and to build it in a way
that is aligned with our interests.
272
806640
3496
人類の利益にかなうように
それが作られるようにするためです
13:30
When you're talking
about superintelligent AI
273
810160
2136
超知的AIが
自身を変えていけることを
考えると
13:32
that can make changes to itself,
274
812320
2256
13:34
it seems that we only have one chance
to get the initial conditions right,
275
814600
4616
それを正しく作れるチャンスは
1度しかないでしょう
13:39
and even then we will need to absorb
276
819240
2056
しかもその上で
それを正しくやるための
13:41
the economic and political
consequences of getting them right.
277
821320
3040
政治的・経済的な帰結を
受け入れる必要があります
13:45
But the moment we admit
278
825760
2056
知性の源は情報処理だと—
13:47
that information processing
is the source of intelligence,
279
827840
4000
知性の基礎をなしているのは
13:52
that some appropriate computational system
is what the basis of intelligence is,
280
832720
4800
ある種の計算システムである
ということを認め
13:58
and we admit that we will improve
these systems continuously,
281
838360
3760
人類がそういうシステムを継続的に
改良していくだろうことを認め
14:03
and we admit that the horizon
of cognition very likely far exceeds
282
843280
4456
そして認知の地平は
我々に今分かっているよりも
はるか遠くまで
続いているであろうことを認めるとき
14:07
what we currently know,
283
847760
1200
我々はある種の神を
作ろうとしていることを
14:10
then we have to admit
284
850120
1216
14:11
that we are in the process
of building some sort of god.
285
851360
2640
認めないわけには
いかないでしょう
その神が一緒にやっていける相手か
確認したいなら
14:15
Now would be a good time
286
855400
1576
14:17
to make sure it's a god we can live with.
287
857000
1953
今がその時です
ありがとうございました
14:20
Thank you very much.
288
860120
1536
14:21
(Applause)
289
861680
5093
(拍手)
New videos
このウェブサイトについて
このサイトでは英語学習に役立つYouTube動画を紹介します。世界中の一流講師による英語レッスンを見ることができます。各ビデオのページに表示される英語字幕をダブルクリックすると、そこからビデオを再生することができます。字幕はビデオの再生と同期してスクロールします。ご意見・ご要望がございましたら、こちらのお問い合わせフォームよりご連絡ください。