How civilization could destroy itself -- and 4 ways we could prevent it | Nick Bostrom

翻訳: Yasushi Aoki 校正: Masako Kigami

Chris Anderson: Nick Bostrom.

(クリス・アンダーソン) ニック・ボストロムさん

So, you have already given us so many crazy ideas out there.

あなたはこれまで私達に 様々なすごいアイデアを示してきました

I think a couple of decades ago,

20年ほど前には

you made the case that we might all be living in a simulation,

我々がシミュレーションの中に 生きている可能性を示し

or perhaps probably were.

More recently,

もっと最近では

you've painted the most vivid examples of how artificial general intelligence

汎用人工知能が どのように酷い結果をもたらしうるか

could go horribly wrong.

鮮やかに描き出しています

And now this year,

今年は「脆弱世界仮説」なるものを

you're about to publish

a paper that presents something called the vulnerable world hypothesis.

論文で発表しようとしています

And our job this evening is to give the illustrated guide to that.

それを分かりやすく解説してもらおう というのが今晩の趣旨です

So let's do that.

では始めましょう

What is that hypothesis?

いったい どんな仮説なんでしょう？

Nick Bostrom: It's trying to think about

(ニック・ボストロム) 現在の人間のあり方の

a sort of structural feature of the current human condition.

構造的特徴を 考察しようというものです

You like the urn metaphor,

壺のメタファーが お気に召したようなので

so I'm going to use that to explain it.

それを使って説明しましょう

So picture a big urn filled with balls

アイデアや 方法や 存在しうる技術を表す玉が詰まった

representing ideas, methods, possible technologies.

大きな壺を思い描いてください

You can think of the history of human creativity

人類の創造性の歴史は

as the process of reaching into this urn and pulling out one ball after another,

この壺に手を入れて 玉を取り出していくことだとみなせ

and the net effect so far has been hugely beneficial, right?

その結果はこれまでのところ 全体として とても有益でした

We've extracted a great many white balls,

たくさんの白い玉が取り出され

some various shades of gray, mixed blessings.

良い面も悪い面もある 灰色の玉もありました

We haven't so far pulled out the black ball --

黒い玉は まだ取り出されていません

a technology that invariably destroys the civilization that discovers it.

それを取り出した文明は必然的に滅びるような テクノロジーということです

So the paper tries to think about what could such a black ball be.

黒い玉として どのようなものが考えられるかを 論文では探っています

CA: So you define that ball

(アンダーソン) 黒い玉は

as one that would inevitably bring about civilizational destruction.

文明の崩壊を必然的にもたらすものと 定義しているんですね

NB: Unless we exit what I call the semi-anarchic default condition.

(ボストロム) 「半無秩序的既定条件」と 呼んでいるものを脱しない限りは

But sort of, by default.

そうなります

CA: So, you make the case compelling

(アンダーソン) これまで我々は 幸運だっただけで

by showing some sort of counterexamples

where you believe that so far we've actually got lucky,

その「死の玉」を そうとは知らずに 取り出していたかもしれないことを

that we might have pulled out that death ball

without even knowing it.

例を使って示されていますね

So there's this quote, what's this quote?

引用が出ていますが これは何ですか？

NB: Well, I guess it's just meant to illustrate

(ボストロム) 根本的な発見が 何をもたらすか

the difficulty of foreseeing

what basic discoveries will lead to.

予見するのは難しいことを 言っています

We just don't have that capability.

我々にそういう能力はないのです

Because we have become quite good at pulling out balls,

玉を取り出すのは上手くても

but we don't really have the ability to put the ball back into the urn, right.

玉を壺に戻すことは できないのです

We can invent, but we can't un-invent.

発明はできても その逆はできません

So our strategy, such as it is,

それに対する 我々の戦略といえば

is to hope that there is no black ball in the urn.

壺の中に黒い玉がないことを 祈るだけです

CA: So once it's out, it's out, and you can't put it back in,

(アンダーソン) 玉を取り出したら 元に戻すことはできず

and you think we've been lucky.

我々はこれまで 幸運だっただけだと ―

So talk through a couple of these examples.

例を使って議論しましょう

You talk about different types of vulnerability.

いろいろな種類の危険性を 挙げておられますね

NB: So the easiest type to understand

(ボストロム) 一番分かりやすいのは

is a technology that just makes it very easy

大規模な破壊を容易に引き起こせる テクノロジーです

to cause massive amounts of destruction.

Synthetic biology might be a fecund source of that kind of black ball,

合成生物学などは そういう黒い玉の 豊かな源になるでしょうが

but many other possible things we could --

他にもいろいろ考えられます

think of geoengineering, really great, right?

地球工学とか

地球温暖化への 対抗手段になりますが

We could combat global warming,

but you don't want it to get too easy either,

あまり容易にできても困ります

you don't want any random person and his grandmother

そのへんにいる人や そのおばあちゃんに

地球の気候を大きく変えられるように なってほしくはありません

to have the ability to radically alter the earth's climate.

Or maybe lethal autonomous drones,

あるいは自律的暗殺ドローン ―

massed-produced, mosquito-sized killer bot swarms.

大量生産された蚊ほどの大きさの 殺人ロボットの群れとか

Nanotechnology, artificial general intelligence.

ナノテクノロジーや 汎用人工知能もそうです

CA: You argue in the paper

(アンダーソン) 核エネルギーで爆弾を 作れることが発見されたとき

that it's a matter of luck that when we discovered

that nuclear power could create a bomb,

それが誰でも容易に 手に入るものでなかったのは

it might have been the case

that you could have created a bomb

幸運だっただけという 議論をされていますね

with much easier resources, accessible to anyone.

NB: Yeah, so think back to the 1930s

(ボストロム) 1930年代に 核物理学の発展があったとき

where for the first time we make some breakthroughs in nuclear physics,

頭のいい人たちは気づきました

some genius figures out that it's possible to create a nuclear chain reaction

連鎖反応を引き起こすことが可能で

and then realizes that this could lead to the bomb.

それは爆弾になり得ると

And we do some more work,

その後研究が進められ

it turns out that what you require to make a nuclear bomb

核爆弾を作るには

高度に濃縮したウランやプルトニウムが 必要だと分かりましたが

is highly enriched uranium or plutonium,

which are very difficult materials to get.

それは入手困難なものです

You need ultracentrifuges,

超遠心分離機や 原子炉や

you need reactors, like, massive amounts of energy.

膨大なエネルギーが 必要になります

But suppose it had turned out instead

しかし 原子の力を 容易に解き放てる方法が

there had been an easy way to unlock the energy of the atom.

もしあったとしたら どうでしょう

電子レンジで 砂を焼くみたいなことで

That maybe by baking sand in the microwave oven

or something like that

核爆発を起こせたとしたら

you could have created a nuclear detonation.

So we know that that's physically impossible.

物理学的にあり得ないと 今では分かっていますが

But before you did the relevant physics

そういう物理学研究をする前に どんな結果になるか

how could you have known how it would turn out?

どうして分かるでしょう？

CA: Although, couldn't you argue

(アンダーソン) 生命が進化するためには

that for life to evolve on Earth

地球が安定した環境である 必要があり

that implied sort of stable environment,

that if it was possible to create massive nuclear reactions relatively easy,

大規模な核反応が 容易に起こせたとしたら

地球は安定し得ず

the Earth would never have been stable,

我々はそもそも存在しなかったはず という議論もできるのでは？

that we wouldn't be here at all.

NB: Yeah, unless there were something that is easy to do on purpose

(ボストロム) 意図的になら 簡単にできるけど

but that wouldn't happen by random chance.

偶然には起きないようなことも 考えられます

So, like things we can easily do,

ブロックを10個積み上げるというのは 簡単にできますが

we can stack 10 blocks on top of one another,

but in nature, you're not going to find, like, a stack of 10 blocks.

自然に積みあがった10個のブロックというのは 見つからないでしょう

CA: OK, so this is probably the one

(アンダーソン) これは私達の多くが すごく懸念していることで

that many of us worry about most,

and yes, synthetic biology is perhaps the quickest route

近い将来 そういうことが 最も起きそうに思えるのが

that we can foresee in our near future to get us here.

合成生物学ですね

NB: Yeah, and so think about what that would have meant

(ボストロム) その意味するところを 考えてみましょう

if, say, anybody by working in their kitchen for an afternoon

誰でも午後にちょっと 台所で作業すると

都市を壊滅させられる のだとしたら

could destroy a city.

It's hard to see how modern civilization as we know it

その上で我々の知る現代文明が どう生き残れるものか

could have survived that.

想像しにくいでしょう

Because in any population of a million people,

どんな集団でも 百万人もいれば

there will always be some who would, for whatever reason,

そういう破壊的な力を 理由はどうあれ

choose to use that destructive power.

使おうとする者が いるだろうからです

So if that apocalyptic residual

そういう終末論的な人が

would choose to destroy a city, or worse,

都市を破壊することに決めたら

then cities would get destroyed.

破壊されることになるでしょう

CA: So here's another type of vulnerability.

(アンダーソン) こちらは別種の危険性ですが

Talk about this.

これについて話しましょう

NB: Yeah, so in addition to these kind of obvious types of black balls

(ボストロム) 多くのものを吹き飛ばすことを 可能にする黒い玉という

that would just make it possible to blow up a lot of things,

分かりやすい危険性に加え

other types would act by creating bad incentives

人に有害なことを行わせる まずい動機を生み出すという

for humans to do things that are harmful.

危険性もあります

So, the Type-2a, we might call it that,

これを 2a型と呼びましょう

is to think about some technology that incentivizes great powers

大きな力を破壊に使うよう動機づけるような テクノロジーを考えてみてください

to use their massive amounts of force to create destruction.

核兵器は実際 これに近かったと思います

So, nuclear weapons were actually very close to this, right?

What we did, we spent over 10 trillion dollars

人類は10兆ドルかけて ７万発の核弾頭を作り

to build 70,000 nuclear warheads

and put them on hair-trigger alert.

いつでも撃てる 状態にしました

And there were several times during the Cold War

冷戦中に互いを 吹き飛ばしそうになったことが

we almost blew each other up.

何度かありました

It's not because a lot of people felt this would be a great idea,

10兆ドルかけて 自らを吹き飛ばすのが

いい考えだと みんな思ったわけではありません

let's all spend 10 trillion dollars to blow ourselves up,

but the incentives were such that we were finding ourselves --

そうなった動機というのは ―

もっと酷いことにも なり得ました

this could have been worse.

安全に先制攻撃することが 可能だったとしてみましょう

Imagine if there had been a safe first strike.

Then it might have been very tricky,

危機的な状況になったとき

in a crisis situation,

核ミサイルの発射を抑えるのは

to refrain from launching all their nuclear missiles.

難しかったかもしれません

If nothing else, because you would fear that the other side might do it.

相手がそうする 恐れがあるからです

(アンダーソン) 双方とも壊滅するのが 確かだったからこそ

CA: Right, mutual assured destruction

kept the Cold War relatively stable,

冷戦は比較的安定していたのであって

without that, we might not be here now.

そうでなければ我々はここに いなかったかもしれないと

NB: It could have been more unstable than it was.

(ボストロム) もっと不安定だった かもしれません

And there could be other properties of technology.

テクノロジーには 別の特質もあります

もし兵器が核ほど 破壊的なものでなかったら

It could have been harder to have arms treaties,

if instead of nuclear weapons

軍縮協定を結ぶのは 難しかったかもしれません

there had been some smaller thing or something less distinctive.

CA: And as well as bad incentives for powerful actors,

(アンダーソン) 強大な勢力が まずい動機を持つこと同様に

you also worry about bad incentives for all of us, in Type-2b here.

みんながまずい動機を持つことも 懸念されてますね　それがこの2b型です

NB: Yeah, so, here we might take the case of global warming.

(ボストロム) 地球温暖化の場合を 考えてみましょう

There are a lot of little conveniences

私達がする ちょっとした利便で

that cause each one of us to do things

個々の影響は小さいものが たくさんあります

that individually have no significant effect, right?

But if billions of people do it,

でもそれを何十億という人がやると

cumulatively, it has a damaging effect.

全体として大きな害を生じてしまう

Now, global warming could have been a lot worse than it is.

地球温暖化はもっと酷いものでも あり得ました

So we have the climate sensitivity parameter, right.

気候感度パラメータというのがあります

It's a parameter that says how much warmer does it get

温室効果ガスをこれだけ出すと

if you emit a certain amount of greenhouse gases.

温度がどれくらい上がるかを示す パラメータです

But, suppose that it had been the case

我々が排出している 温室効果ガスによって起きる

that with the amount of greenhouse gases we emitted,

instead of the temperature rising by, say,

2100年の気温上昇が

between three and 4.5 degrees by 2100,

3～4.5度というのではなく

suppose it had been 15 degrees or 20 degrees.

15～20度だったとしたら

Like, then we might have been in a very bad situation.

非常にまずい状況でしょう

Or suppose that renewable energy had just been a lot harder to do.

あるいは再生可能エネルギーの実現が ずっと難しかったとしたら

あるいは化石燃料がずっと豊富に 存在していたとしたら

Or that there had been more fossil fuels in the ground.

CA: Couldn't you argue that if in that case of --

(アンダーソン) このままいくと 近い将来に10度上がるのだとしたら

if what we are doing today

had resulted in 10 degrees difference in the time period that we could see,

人類は重い腰を上げて 何かするのでは？

actually humanity would have got off its ass and done something about it.

We're stupid, but we're not maybe that stupid.

我々は愚かですが そこまで愚かではありません

Or maybe we are.

いや愚かなのかも

NB: I wouldn't bet on it.

(ボストロム) 私はそれに 賭けようとは思いません

(Laughter)

(笑)

You could imagine other features.

いろいろなことが 考えられます

So, right now, it's a little bit difficult to switch to renewables and stuff, right,

今は再生可能エネルギーに切り替えるのは ちょっと大変ですが

but it can be done.

可能なことです

But it might just have been, with slightly different physics,

でも物理的なことが 何か違って

it could have been much more expensive to do these things.

そういうものがずっと 高くついたかもしれない

CA: And what's your view, Nick?

(アンダーソン) どう考えておられますか？

Do you think, putting these possibilities together,

そういった可能性を 考え合わせると

that this earth, humanity that we are,

世界は危険だと 言えるのでしょうか？

we count as a vulnerable world?

That there is a death ball in our future?

人類の未来には 死の玉があるのでしょうか？

NB: It's hard to say.

(ボストロム) 難しいですが

I mean, I think there might well be various black balls in the urn,

壺の中には いろんな黒い玉が

入っていそうに思えます

that's what it looks like.

There might also be some golden balls

また黒い玉から守ってくれる

that would help us protect against black balls.

金色の玉もあるかもしれません

And I don't know which order they will come out.

どちらが先に出てくるか 分かりませんが

CA: I mean, one possible philosophical critique of this idea

(アンダーソン) この考えに対する 哲学的な批判は

is that it implies a view that the future is essentially settled.

未来が決まっているかのようだ ということでしょう

That there either is that ball there or it's not.

その玉があるかないかしかない

And in a way,

未来がそんなものだとは 思いたくありません

that's not a view of the future that I want to believe.

未来というのは 決まっておらず

I want to believe that the future is undetermined,

that our decisions today will determine

我々が今行う決定によって

what kind of balls we pull out of that urn.

どんな玉を取り出すことになるか 決まるのだと思いたいです

NB: I mean, if we just keep inventing,

(ボストロム) 発明を続けていけば

like, eventually we will pull out all the balls.

やがてすべての玉を 取り出す出すことになるでしょう

I mean, I think there's a kind of weak form of technological determinism

もっともだと思える 弱い形の技術的決定論があり

that is quite plausible,

like, you're unlikely to encounter a society

たとえば石斧とジェット機を使っている 文明というのは考えにくいです

that uses flint axes and jet planes.

But you can almost think of a technology as a set of affordances.

テクノロジーは一組のアフォーダンスとして 考えることができます

So technology is the thing that enables us to do various things

テクノロジーは 我々に様々なことができるようにし

and achieve various effects in the world.

世界にいろいろな効果を もたらします

How we'd then use that, of course depends on human choice.

それをどう使うかは 人間が選択することですが

But if we think about these three types of vulnerability,

これら３種の危険性を 考えるとき

they make quite weak assumptions about how we would choose to use them.

我々がそれをどう使うかについて 確度の高い想定ができます

So a Type-1 vulnerability, again, this massive, destructive power,

１型の危険性は 大きな破壊力ですが

it's a fairly weak assumption

何百万人もいれば 破壊的な仕方で それを使う者が出てくるというのは

to think that in a population of millions of people

there would be some that would choose to use it destructively.

きわめてありそうなことです

CA: For me, the most single disturbing argument

(アンダーソン) 私にとって 最も気がかりな議論は

壺の中を覗いてみる限り 破滅はどうも起こりそうということです

is that we actually might have some kind of view into the urn

that makes it actually very likely that we're doomed.

Namely, if you believe in accelerating power,

力が加速的に 増大していくと思うなら ―

that technology inherently accelerates,

テクノロジーは本質的に 加速するものですが

that we build the tools that make us more powerful,

我々をより強力にしてくれる 道具を作り続けると

then at some point you get to a stage

どこかの時点で１人の人間が 全滅を引き起こせるようになり

where a single individual can take us all down,

and then it looks like we're screwed.

災難は避けがたいと

Isn't that argument quite alarming?

不安になる話ですよね？

NB: Ah, yeah.

(ボストロム) まあ確かに

(Laughter)

(笑)

我々はもっと力を手にし

I think --

Yeah, we get more and more power,

and [it's] easier and easier to use those powers,

その力を使うのは より簡単になるでしょうが

but we can also invent technologies that kind of help us control

そういう力を人々がどう使うかを コントロールするような技術だって

how people use those powers.

作れるでしょう

CA: So let's talk about that, let's talk about the response.

(アンダーソン) それについて話しましょう

Suppose that thinking about all the possibilities

合成生物学だけでなく

that are out there now --

サイバー戦争 人工知能など

it's not just synbio, it's things like cyberwarfare,

今やあらゆる可能性があり

artificial intelligence, etc., etc. --

that there might be serious doom in our future.

未来には破滅が 待っているように見える

What are the possible responses?

それに対してどうすべきか？

And you've talked about four possible responses as well.

あなたは４種の対応について 議論されてますね

NB: Restricting technological development doesn't seem promising,

(ボストロム) 技術開発全般を まったく止めてしまうような制限というのは

if we are talking about a general halt to technological progress.

有望とは思えません

I think neither feasible,

不可能か

nor would it be desirable even if we could do it.

可能だとしても 望ましくないでしょう

I think there might be very limited areas

ごく限られた領域について 技術の進歩を遅らせるというのであれば

where maybe you would want slower technological progress.

ありだと思います

You don't, I think, want faster progress in bioweapons,

生物兵器や

核兵器を容易に作れるようにする 同位体分離技術などは

or in, say, isotope separation,

that would make it easier to create nukes.

あまり進歩してほしくないでしょう

CA: I mean, I used to be fully on board with that.

(アンダーソン) 私も前は そう考えていましたが

But I would like to actually push back on that for a minute.

少し反対の立場を 取ってみましょう

Just because, first of all,

この20年くらいの歴史を見れば

if you look at the history of the last couple of decades,

you know, it's always been push forward at full speed,

常に全速力で前進していて

it's OK, that's our only choice.

それが唯一の選択肢でした

But if you look at globalization and the rapid acceleration of that,

グローバリゼーションの 急速な展開を見るなら

「壊しながら速く進む」戦略や

if you look at the strategy of "move fast and break things"

and what happened with that,

それで何が起きたかを見るなら

and then you look at the potential for synthetic biology,

合成生物学の 可能性を考えるなら

I don't know that we should move forward rapidly

家庭や学校どこにでも DNAプリンターがあるような世界へと

or without any kind of restriction

to a world where you could have a DNA printer in every home

何の制限もなく急速に 進んで行くべきなのか疑問です

and high school lab.

There are some restrictions, right?

制限があるべきでしょう

NB: Possibly, there is the first part, the not feasible.

(ボストロム) 第一に可能でないこと

If you think it would be desirable to stop it,

開発を止めるのが 望ましいと思ったとしても

there's the problem of feasibility.

可能なのかという 問題があります

So it doesn't really help if one nation kind of --

一個の国がやったところで ―

CA: No, it doesn't help if one nation does,

(アンダーソン) 一つの国でやってもだめで

but we've had treaties before.

条約が必要でしょう

That's really how we survived the nuclear threat,

そうやって核の危機を乗り越えました

was by going out there

苦痛な交渉を通じてです

and going through the painful process of negotiating.

I just wonder whether the logic isn't that we, as a matter of global priority,

世界の優先事項として

合成生物学研究について 厳格なルールづくりをするための交渉を

we shouldn't go out there and try,

like, now start negotiating really strict rules

on where synthetic bioresearch is done,

始めるべきではないでしょうか

that it's not something that you want to democratize, no?

誰でもできるように したくはありません

(ボストロム) そう思います

NB: I totally agree with that --

that it would be desirable, for example,

たとえばDNA合成装置は

maybe to have DNA synthesis machines,

それぞれ実験室で 所有するのでなく

not as a product where each lab has their own device,

サービスとして 提供されるものにするとか

but maybe as a service.

Maybe there could be four or five places in the world

世界に４、５か所 設備があって

where you send in your digital blueprint and the DNA comes back, right?

設計図を送ると DNAが返ってくるというような

And then, you would have the ability,

制限が必要と思えるときには

if one day it really looked like it was necessary,

一定の経路を押さえれば済みます

we would have like, a finite set of choke points.

So I think you want to look for kind of special opportunities,

コントロールするための 手段ができます

where you could have tighter control.

(アンダーソン) 単に押し留めようとしても

CA: Your belief is, fundamentally,

we are not going to be successful in just holding back.

上手くいかないと お考えですね

Someone, somewhere -- North Korea, you know --

北朝鮮のような どこかの誰かが

someone is going to go there and discover this knowledge,

そこへ行って その知識を手にしたとしたら

if it's there to be found.

NB: That looks plausible under current conditions.

(ボストロム) 現状では 考えられることです

It's not just synthetic biology, either.

合成生物学だけでなく

I mean, any kind of profound, new change in the world

どんなものであれ 根本的に世界を変えるものは

could turn out to be a black ball.

黒い玉になりえます

CA: Let's look at another possible response.

(アンダーソン) 別の対応法を 見てみましょう

NB: This also, I think, has only limited potential.

(ボストロム) これも限定的ではありますが

So, with the Type-1 vulnerability again,

１型の危険性に対しては

I mean, if you could reduce the number of people who are incentivized

そういった技術を扱える人について

世界を破壊したいと思うような者の数を 減らすのが望ましいでしょう

to destroy the world,

if only they could get access and the means,

that would be good.

CA: In this image that you asked us to do

(アンダーソン) この絵は

顔認識機能を持つドローンが 世界を飛び回っている図で

you're imagining these drones flying around the world

with facial recognition.

When they spot someone showing signs of sociopathic behavior,

誰か反社会的性向のある人を 見つけると

they shower them with love, they fix them.

愛を降り注いで治してしまうと

NB: I think it's like a hybrid picture.

(ボストロム) 妙な取り合わせですが

Eliminate can either mean, like, incarcerate or kill,

そういう人間をなくすには 投獄や殺害だけでなく

or it can mean persuade them to a better view of the world.

世界の見方を変えるよう説得する という手もあり得ます

But the point is that,

それがうまくいけば

suppose you were extremely successful in this,

そういう人の数を 半分に減らせるかもしれません

and you reduced the number of such individuals by half.

And if you want to do it by persuasion,

説得という手段を取るなら

you are competing against all other powerful forces

人を説得しようとする 様々な強い勢力と

that are trying to persuade people,

張り合うことになります

parties, religion, education system.

政党とか 宗教とか 教育システムとか

But suppose you could reduce it by half,

ただ人数を半分にできたとしても リスクは半分にはならず

I don't think the risk would be reduced by half.

Maybe by five or 10 percent.

5%か10%減るくらいでしょう

CA: You're not recommending that we gamble humanity's future on response two.

(アンダーソン) 第２の対応法に 人類の未来を賭けるのは勧めはしないと

NB: I think it's all good to try to deter and persuade people,

(ボストロム) 説得し思いとどまらせるのは いいと思いますが

but we shouldn't rely on that as our only safeguard.

それを唯一の安全策として 依存すべきではないでしょう

CA: How about three?

(アンダーソン) ３番目は何でしょう？

NB: I think there are two general methods

(ボストロム) 様々な ありうる危険性に対して

that we could use to achieve the ability to stabilize the world

世界の安定を実現するのに使える 一般的な方法が２つあると思います

against the whole spectrum of possible vulnerabilities.

And we probably would need both.

そして その両方が 必要になるでしょう

So, one is an extremely effective ability

１つは非常に効果の高い 予防的警察機能です

to do preventive policing.

Such that you could intercept.

妨害のような

If anybody started to do this dangerous thing,

誰かが危険なことを始めたら

you could intercept them in real time, and stop them.

リアルタイムで 妨害し阻止するとか

So this would require ubiquitous surveillance,

そのためには誰もが常に 見張られているような

everybody would be monitored all the time.

偏在的監視が 必要になるでしょう

CA: This is "Minority Report," essentially, a form of.

(アンダーソン) 『マイノリティ・リポート』の世界ですね

NB: You would have maybe AI algorithms,

(ボストロム) 人工知能アルゴリズムや

big freedom centers that were reviewing this, etc., etc.

様々な査察をする自由センターみたいなものが 用いられるかもしれません

CA: You know that mass surveillance is not a very popular term right now?

(アンダーソン) 監視社会が あんまり好かれていないのは ご存じですよね？

(笑)

(Laughter)

NB: Yeah, so this little device there,

(ボストロム) 全方向カメラのついたネックレスを

imagine that kind of necklace that you would have to wear at all times

いつも身に着けるところを 想像してください

with multidirectional cameras.

But, to make it go down better,

受け入れやすいように

just call it the "freedom tag" or something like that.

「自由の証」みたいな ネーミングにするといいかもしれません

(Laughter)

(笑)

CA: OK.

(アンダーソン) だからびっくりする話だと 言うんですよ 皆さん

I mean, this is the conversation, friends,

this is why this is such a mind-blowing conversation.

(ボストロム) これに関しては 当然議論があります

NB: Actually, there's a whole big conversation on this

on its own, obviously.

大きな問題やリスクがあります

There are huge problems and risks with that, right?

We may come back to that.

それについては また話しましょう

So the other, the final,

４番目の対応法は

the other general stabilization capability

別のガバナンスの穴を 埋めるということです

is kind of plugging another governance gap.

So the surveillance would be kind of governance gap at the microlevel,

ミクロレベルでは監視は 違法性の高いことを誰もできなくするという

like, preventing anybody from ever doing something highly illegal.

ガバナンスの穴を埋める手段です

Then, there's a corresponding governance gap

それに対しマクロレベル・世界レベルの ガバナンスの穴があります

at the macro level, at the global level.

You would need the ability, reliably,

最悪の世界的協力の失敗を防ぐために この能力を確保しておく必要があります

to prevent the worst kinds of global coordination failures,

to avoid wars between great powers,

大国間の戦争

arms races,

軍拡競争

cataclysmic commons problems,

共有資源が破綻する問題

in order to deal with the Type-2a vulnerabilities.

2a型の危険性への対処です

CA: Global governance is a term

(アンダーソン) グローバル・ガバナンスというのは

that's definitely way out of fashion right now,

時代遅れの言葉に聞こえます

but could you make the case that throughout history,

人類の歴史を通じて

技術の力が増大するとき

the history of humanity

is that at every stage of technological power increase,

社会を再編し 力を集中させてきたという議論は

people have reorganized and sort of centralized the power.

おできになりますか

So, for example, when a roving band of criminals

たとえば放浪の犯罪者集団が 社会を牛耳るのに対し

could take over a society,

the response was, well, you have a nation-state

国家を作り 権力や警察や軍隊をもって

and you centralize force, a police force or an army,

so, "No, you can't do that."

「そうはさせない」と言うような

The logic, perhaps, of having a single person or a single group

１人の人間や１つの集団が 人類を払拭できるとき

able to take out humanity

means at some point we're going to have to go this route,

そういう道を取らざるを 得ないのでしょうか？

at least in some form, no?

NB: It's certainly true that the scale of political organization has increased

(ボストロム) 人類の歴史を通して

政治的組織の規模が 拡大してきたのは確かです

over the course of human history.

It used to be hunter-gatherer band, right,

かつては狩猟採集民の 集団だったのが

and then chiefdom, city-states, nations,

部族や都市国家や国家が現れ

now there are international organizations and so on and so forth.

今では国際組織があります

Again, I just want to make sure

監視社会にもグローバル・ガバナンスにも

I get the chance to stress

that obviously there are huge downsides

大きなマイナス面やリスクは 当然あります

and indeed, massive risks,

both to mass surveillance and to global governance.

I'm just pointing out that if we are lucky,

私が言いたいのは

the world could be such that these would be the only ways

それが黒い玉から世界が生き延びる 唯一の方法かもしれないということです

you could survive a black ball.

CA: The logic of this theory,

(アンダーソン) すべてを 手に入れることはできないと

認識する必要がある ということのようですね

it seems to me,

is that we've got to recognize we can't have it all.

That the sort of,

テクノロジーというのは 常に良い力で

I would say, naive dream that many of us had

止まることなく 可能な限り速く 進み続けるものと

that technology is always going to be a force for good,

keep going, don't stop, go as fast as you can

私たちの多くは 思っていますが

and not pay attention to some of the consequences,

結果に注意を払わなくてよいと 考えるのは甘く

that's actually just not an option.

そうはいかないのだと

We can have that.

もしそれを得ようとするなら

If we have that,

we're going to have to accept

別の嫌なものを 受け入れざるを得ない

some of these other very uncomfortable things with it,

and kind of be in this arms race with ourselves

自分自身との 軍拡競争のようなもので

of, you want the power, you better limit it,

力が欲しいなら 制限したほうがよく

you better figure out how to limit it.

どう制限したものか 考えなきゃいけない

NB: I think it is an option,

(ボストロム) 魅力的な選択肢です

a very tempting option, it's in a sense the easiest option

うまくいくかもしれない 最も簡単な選択肢ですが

and it might work,

but it means we are fundamentally vulnerable to extracting a black ball.

本質的に黒い玉を取り出す 危険性があります

Now, I think with a bit of coordination,

少しばかりの調整をして

like, if you did solve this macrogovernance problem,

マクロガバナンスやマイクロガバナンスの 問題を解決したなら

and the microgovernance problem,

then we could extract all the balls from the urn

壺からすべての玉を 取り出して

and we'd benefit greatly.

大いに恩恵を 受けることができます

CA: I mean, if we're living in a simulation, does it matter?

(アンダーソン) 我々がシミュレーションの中に 生きているなら どうでもよいのでは？

リブートすればいいだけなので

We just reboot.

(Laughter)

(笑)

NB: Then ... I ...

(ボストロム) いやはや

(Laughter)

(笑)

I didn't see that one coming.

そうくるとは思いませんでした

CA: So what's your view?

(アンダーソン) どう見ておられますか？

Putting all the pieces together, how likely is it that we're doomed?

すべて考え合わせて 我々がもうおしまいだという見込みは？

(Laughter)

(笑)

I love how people laugh when you ask that question.

この質問でみんな笑ってくれるのは いいですね

NB: On an individual level,

(ボストロム) 個人のレベルでは

we seem to kind of be doomed anyway, just with the time line,

我々はどの道おしまいです

いずれ年を取り衰えていきます

we're rotting and aging and all kinds of things, right?

(Laughter)

(笑)

It's actually a little bit tricky.

ちょっと難しいのは

If you want to set up so that you can attach a probability,

確率を出すためには

まず誰なのかを 問う必要があることです

first, who are we?

If you're very old, probably you'll die of natural causes,

高齢なら自然に死ぬでしょうし

if you're very young, you might have a 100-year --

若いならまだ100年くらい あるかもしれず

the probability might depend on who you ask.

誰に聞くかで確率は 変わってきます

Then the threshold, like, what counts as civilizational devastation?

文明の崩壊と考えられる 基準は何か？

In the paper I don't require an existential catastrophe

論文では 大災害は 必要になりませんでした

in order for it to count.

This is just a definitional matter,

定義の問題で

I say a billion dead,

10億人が死ぬとか

or a reduction of world GDP by 50 percent,

世界のGDPが50%下がるとか

but depending on what you say the threshold is,

何を閾値とするかで

you get a different probability estimate.

確率的な見込みも 変わりますが

But I guess you could put me down as a frightened optimist.

あなたは私を怯えた楽観主義者と みなせるでしょう

(Laughter)

(笑)

CA: You're a frightened optimist,

(アンダーソン) 怯えた楽観主義者のあなたは

and I think you've just created a large number of other frightened ...

たくさんの怯えた人々を 生み出したところです

people.

(Laughter)

(笑)

NB: In the simulation.

(ボストロム) シミュレーションの中で

(アンダーソン) シミュレーションの中で

CA: In a simulation.

Nick Bostrom, your mind amazes me,

ニック・ボストロムさん あなたの頭脳には感服します

thank you so much for scaring the living daylights out of us.

我々を恐怖に陥れてくれて ありがとうございました

(拍手)

(Applause)