What would happen if we upload our brains to computers? | Robin Hanson

翻訳: Eriko T 校正: Masaki Yanagishita

Someday, we may have robots as smart as people,

いつかロボット達は人間のような 知性を持つようになるかも知れません

artificial intelligence, AI.

人工知能、AIです

How could that happen?

どうやって？

One route is that we'll just keep accumulating better software,

ひとつには 過去70年やってきたように より優れたソフトウェアを

like we've been doing for 70 years.

蓄積したりすることでしょう

At past rates of progress, that may take centuries.

今までの進化の速度だと それまでに数世紀かかるでしょう

Some say it'll happen a lot faster

私たちが新しい強力な 知性の論理を見つけたら

as we discover grand new powerful theories of intelligence.

もっと早く実現するだろう という人もいます

I'm skeptical.

私は信じていませんが

But a third scenario

しかし３つめのシナリオを

is what I'm going to talk about today.

今日はお話しします

The idea is to port the software from the human brain.

人間の脳からソフトウェアを 移植するというアイデアですが

To do this, we're going to need three technologies to be good enough,

そのためには３つの技術の成熟が必要ですが

and none of them are there yet.

そのうちのどれも実現していません

First, we're going to need lots of cheap, fast, parallel computers.

まず 多くの安価で高速な 並列計算機（コンピューター）が必要です

Second, we're going to need to scan individual human brains

２つ目には個人の脳を 空間的、化学的組成の詳細まで

in fine spatial and chemical detail,

スキャンする必要があります

to see exactly what cells are where, connected to what, of what type.

どの細胞がどこにあり どんな種類の 何と繋がっているかまでを理解する為です

And third, we're going to need computer models

３つ目はそれぞれの脳細胞が どのように働くのかを

of how each kind of brain cell works --

コンピューターモデルで表すことです

taking input signals, changing interval state

入力シグナルを受け取って インターバル状態を変えて

and sending output signals.

出力シグナルを送ります

If we have good enough models of all the kinds of brain cells

もしあらゆる脳細胞と脳の

and a good enough model of the brain,

十分に良いモデルがあれば

we can put it together to make a good enough model of an entire brain,

それらを統合して 脳全体の十分に良いモデルができ

and that model would have the same input-output behavior as the original.

そのモデルが オリジナルの脳と同じ 入出力活動をするでしょう

So if you talk to it, it might talk back.

それに話しかけると 答えを返してくれるかもしれません

If you ask it to do things, it might do them.

何かを指示すると それを遂行するかも

And if we could do that, everything would change.

もしそうなれば すべてが変わります

People have been talking about this idea for decades,

人々はこのアイデアを 「アップロード」と呼び

under the name of "uploads."

何十年も議論して来ました

I'm going to call them "ems."

それを「em」と呼びましょう [emは人の脳を模倣するモデル]

When they talk about it, they say,

人々はこう言います [emは人の脳を模倣するモデル]

"Is this even possible?

「そんなこと 本当に可能なのか？

If you made one, would it be conscious? Or is it just an empty machine?

もし実現したら それに意識はある？ それともそれは空っぽのマシン？

If you made one of me, is that me or someone else?"

自分がemになったら それは別人の人格になる？」

These are all fascinating questions that I'm going to ignore ...

こうした興味をそそる質問は 全部無視して話しますが—

(Laughter)

（笑）

because I see a neglected question:

こう問うのを忘れています

What would actually happen?

「具体的に何が起こるんだろう？」

I became obsessed with this question.

私はこの問いに夢中になりました

I spent four years trying to analyze it,

４年このことを考えて来て

using standard academic tools, to guess what would happen,

標準的な学術的ツールを用いて 何が起こるかの予測を試み

and I'm here to tell you what I found.

そうして見出した結果をお話しします

But be warned --

言っておきますが—

I'm not offering inspiration, I'm offering analysis.

私はインスピレーションではなく 分析を共有します

I see my job as telling you what's most likely to happen

私の仕事は それを避けようとしないと 何が一番起こりそうか

if we did the least to avoid it.

皆さんに伝えることだと思っています

If you aren't at least a bit disturbed by something I tell you here,

もしあなたが私の話に驚かなかったら

you're just not paying attention.

注意を払っていないということです

(Laughter)

（笑）

OK, the first thing I can tell you

ではまず

is that ems spend most of their life in virtual reality.

emは一生のほとんどを 仮想現実（VR）世界で過ごします

This is what you might look like if you were using virtual reality.

みなさんが仮想現実を使っている姿は このようなものでしょう

And this is what you might see:

そしてこんなものが見えます

sunlight glinting off of water, you might hear gulls flying above,

太陽光が水面に反射し 空にカモメの鳴き声

you might even feel the wind on your cheeks or smell seawater,

風を頰に感じ 潮の香りすらするかもしれません

with advanced hardware.

最新式のハードウエアです

Now, if you were to spend a lot of time here,

ここで多くの時間を過ごすならば

you might want a dashboard

ダッシュボードが必要です

where you could do things like make a phone call,

電話をかけたり

move to a new virtual world,

次の仮想世界に移動したり

check your bank account.

銀行口座を確認したりします

Now, while this is what you would look like in virtual reality,

みなさんは仮想現実世界ではこんな姿でしょう

this is what an em would look like in virtual reality.

これは emの仮想現実世界での姿です

It's computer hardware sitting in a server rack somewhere.

どこかのサーバーラックにある コンピューターです

But still, it could see and experience the same thing.

でもみなさんと 同じものを見て体験できます

But some things are different for ems.

ただ emにとっては違う点も いくつかあります

First, while you'll probably always notice that virtual reality isn't entirely real,

まず みなさんは仮想現実が完全には 現実とは同じでは無いと分かっているでしょうが

to an em, it can feel as real to them as this room feels to you now

みなさんがこの部屋などに感じる現実感を

or as anything ever feels.

em は感じているでしょう

And ems also have some more action possibilities.

更にemの活動にはもっと可能性があります

For example, your mind just always runs at the same speed,

例えば皆さんの思考は いつも同じ速さで走りますが

but an em can add more or less computer hardware to run faster or slower,

emはコンピューターハードウェアを 増減させて速くあるいは遅くでき

and therefore, if the world around them seems to be going too fast,

それで周囲が自分より速すぎると感じたら

they can just speed up their mind,

スピードアップすれば

and the world around them would seem to slow down.

周囲の速度も落ちてくるように思うでしょう

In addition, an em can make a copy of itself at that moment.

加えてemはその時点での 自分を複製できるので

This copy would remember everything the same,

このコピーは全てを同じく覚えているでしょう

and if it starts out with the same speed, looking at the same speed,

emが同じ処理速度で始動すると その処理速度から区別はつかず

it might even need to be told, "You are the copy."

「お前はコピーだ」と 言われないと自覚しないかも知れません

And em could make archive copies,

emはアーカイブコピーを作ることもでき

and with enough archives,

それが十分な数になると

an em can be immortal --

emは不滅になります

in principle, though not usually in practice.

理論上です 実際にそうなることはないでしょう

And an em can move its brain, the computer that represents its brain,

emはその脳を — 脳として機能するコンピューターを

from one physical location to another.

物理的に動かせます

Ems can actually move around the world at the speed of light,

emは光の速度で世界を動き回れます

and by moving to a new location,

そして新たな場所に移動し

they can interact more quickly with ems near that new location.

その地点付近のemとより速く会話できます

So far, I've been talking about what ems can do.

これまでemが出来ることについて 話してきました

What do ems choose to do?

ではemは何をすることを選ぶでしょう？

To understand that, we'll need to understand three key facts.

それを理解するために ３つの主な事実を理解する必要があります

First, ems by definition do what the human they emulate would do

同じ状況では emは手本である人間と同じ行動を

in the same situation.

選ぶものです

So their lives and behavior are very human.

ですから彼らの生活や行動は とても人間らしく

They're mainly different because they're living in a different world.

彼らが人間と違うのは 人間とは違う世界に生きているためです

Second, ems need real resources to survive.

２点目 emは生存に 物理的な資源を必要とします

You need food and shelter or you'll die.

皆さんも生きるのには家屋や食糧が必要ですね

Also, ems need computer hardware, energy, cooling, or they can't exist.

emが生きるためにはハードウェアと エネルギー、冷却装置などが必要です

For every subjective minute that an em experiences,

emの主観における１分ごとに

someone, usually that em, had to work to pay for it.

通常そのem自身が その分を稼がなければなりません

Third, ems are poor.

３点目 emにはお金がありません

(Laughter)

（笑）

The em population can grow quicker than the em economy,

emの数はem経済の成長よりも速く増え

so that means wages fall down to em subsistence levels.

これはemの最低生活可能レベルまで 賃金が下がることを意味し

That means ems have to be working most of the time.

emはほぼ常に 働かなければならないことを意味します

So that means this is what ems usually see:

つまりemが通常見る風景は このようなものです

beautiful and luxurious, but desks --

美しく豪華ですが 机しか無く—

they're working most of the time.

彼らはほとんどの時間 働いています

Now, a subsistence wage scenario, you might think, is exotic and strange,

最低生活賃金シナリオは 珍しく奇妙なものに思えるかも知れませんが

but it's actually the usual case in human history,

これは実は人類史に於いて普通のことで

and it's how pretty much all wild animals have ever lived,

あらゆる野生生物も このシナリオで生きて来ました

so we know what humans do in this situation.

だから人間がこの状況下で どう行動するか分かります

Humans basically do what it takes to survive,

人間は生き延びる為に生活します

and this is what lets me say so much about the em world.

それがemの世界についても言えます

When creatures are rich, like you,

みなさんのように豊かであれば

you have to know a lot about what they want

それらの行動を予測するのに

to figure out what they do.

それらの欲求を熟知する必要があります

When creatures are poor,

生命体が貧しい存在であれば

you know that they mostly do what it takes to survive.

大抵それらは 生き延びる為だけに行動しています

So we've been talking about the em world from the point of view of the ems --

emの世界について emの視点から語ってきましたが

now, let's step back and look at their whole world.

次は視点を変えて 彼らの世界全体を見てみましょう

First, the em world grows much faster than ours,

まず emの世界は 我々の世界よりも速く成長します

roughly a hundred times faster.

およそ100倍の速さで

So the amount of change we would experience in a century or two,

我々が１〜２世紀の間に経験する変化を

they would experience in a year or two.

彼らは１〜２年で経験します

And I'm not really willing to project this age much beyond that,

その後を予測することは止めておきます

because plausibly by then something else will happen, I don't know what.

きっと何かが起こり変化していくでしょうから 私には分かりません

Second, the typical emulation runs even faster,

次に典型的なエミュレーションは

roughly a thousand times human speed.

人間の速度のおよそ１千倍速く走るため

So for them, they experience thousands of years in this year or two,

数千年を１〜２年で経験し

and for them, the world around them is actually changing more slowly

彼らにとって世界は 皆さんが感じるよりも

than your world seems to change for you.

もっとゆっくりと過ぎて行きます

Third, ems are crammed together in a small number of very dense cities.

３つ目にemは少数の とても混み合った都市に詰め込まれています

This is not only how they see themselves in virtual reality,

これは彼らが仮想現実世界でも

it's also how they actually are physically crammed together.

実際でも 物理的に押し込められている姿です

So at em speeds, physical travel feels really painfully slow,

emの感覚では物理的な移動は 痛々しい程に遅く感じられるので

so most em cities are self-sufficient,

ほとんどのemの都市は自給自足しています

most war is cyber war,

ほとんどの戦争はサイバー戦争になり

and most of the rest of the earth away from the em cities

emの都市から離れた場所が

is left to the humans, because the ems really aren't that interested in it.

人間達の居住地として残されるでしょう emはそこに大して興味を持ちません

Speaking of humans,

人間といえば

you were wanting to hear about that.

みなさんが聞きたがっていますが

Humans must retire, at once, for good.

人間は即刻永遠に 引退しなければならないでしょう

They just can't compete.

emと競合することはできません

Now, humans start out owning all of the capital in this world.

人間は この世界の 資本のすべてを手にしていましたが

The economy grows very fast, their wealth grows very fast.

経済が非常に速く成長し 彼らの富は非常に速く成長し

Humans get rich, collectively.

人間は 集団として 豊かになります

As you may know, most humans today don't actually own that much

ご存知かも知れませんが 殆どの人は 実際には仕事をする能力のほかに

besides their ability to work,

あまり何も持っていません

so between now and then, they need to acquire sufficient assets,

今からその時までに 彼らは十分な資産を取得し保険や資産共有の

insurance or sharing arrangements,

取り決めをしなければならず

or they may starve.

さもなくば彼らは餓死します

I highly recommend avoiding this outcome.

そんな結末を避けることを強くお勧めします

(Laughter)

（笑）

Now, you might wonder,

不思議に思うかも知れません

why would ems let humans exist?

emはなぜ人間を生かしておくの？

Why not kill them, take their stuff?

人間を殺して財産を奪うこともできるのに？

But notice we have many unproductive retirees around us today,

でも人間も非生産的な退職者達を

and we don't kill them and take their stuff.

殺して財産を奪ったりしないでしょう

(Laughter)

（笑）

In part, that's because it would disrupt the institutions we share with them.

ひとつにはそんなことをすれば emと私たちが共有する社会が崩壊するからです

Other groups would wonder who's next,

他のグループは次は誰の番だと 訝しがるでしょうし

so plausibly, ems may well let humans retire in peace during the age of em.

emの時代に 人間は穏やかに退職させられるかも知れません

You should worry more that the age of em only lasts a year or two

それよりemの時代が１〜２年しか 続かない事の方を心配するべきでしょう

and you don't know what happens next.

その次に何が起こるかは分かりません

Ems are very much like humans,

emは人間によく似ていますが

but they are not like the typical human.

典型的な人間とは違い

The typical em is a copy of the few hundred most productive humans.

典型的な１つのemは 数百人の最も生産的な人間のようなものです

So in fact, they are as elite, compared to the typical human,

ですからemは普通の人間からすると—

as the typical billionaire, Nobel Prize winner,

億万長者やノーベル賞受賞者

Olympic gold medalist, head of state.

ゴールドメダリストや 国家元首並みに優れています

Ems look on humans perhaps with nostalgia and gratitude,

emはおそらく人間に対して 郷愁と感謝を感じるでしょうが

but not so much respect,

尊敬の念はそれほど感じないでしょう

which is, if you think about it, how you think about your ancestors.

考えてみると 私たちが先祖を思うようなものです

We know many things about how humans differ in terms of productivity.

皆知っている通り人間の生産性は様々です

We can just use those to predict features of ems --

これに基づいてemの機能を予測できます

for example, they tend to be smart, conscientious, hard-working,

例えば彼らは賢く、良心的で 勤勉で、結婚していて、信仰があり

married, religious, middle-aged.

中年だという傾向があります

These are features of ems.

これらはemの特徴です

Em world also contains enormous variety.

emの世界は莫大な多様性を内包しています

Not only does it continue on with most of the kinds of variety that humans do,

emは人間達のように多様性と直面します

including variety of industry and profession,

様々な産業や職業に加え

they also have many new kinds of variety,

新たな種類の多様性も持ちます

and one of the most important is mind speed.

その最も重要なものの一つは マインド・スピードです

Ems can plausibly go from human speed

emは人間の速度から

up to a million times faster than human speed,

百万倍速くも

and down to a billion times slower than human speed.

10億分の１に遅くもなれます

Faster ems tend to have markers of high status.

より速いemはより高い地位に就き

They embody more wealth. They win arguments.

富を持ち 議論に勝ち

They sit at premium locations.

絶好の場所に鎮座します

Slower ems are mostly retirees,

より遅いemの多くは退職者達で

and they are like the ghosts of our literature.

文学に登場する幽霊のような存在です

If you recall, ghosts are all around us --

思い出してください 霊はそこら中にいて

you can interact with them if you pay the price.

お金を出せば降霊だってできます

But they don't know much, they can't influence much,

でも彼らはあまり物事を知らず 影響力も無く

and they're obsessed with the past, so what's the point?

過去に囚われ— 取るに足りません

(Laughter)

（笑）

Ems also have more variety in the structure of their lives.

emの生涯には多様な形態があります

This is your life: you start and you end, really simple.

これはあなたの一生です 初めと終わりがある—単純です

This is the life of an em,

emの一生は

who every day splits off some short-term copies

毎日短命なコピーを作り出し

to do short-term tasks and then end.

それらは短期的なタスクをして命を終えます

We'll talk more about those short term versions in a moment,

この短命なemについて後ほど触れますが

but they are much more efficient

彼らははるかに効率的です

because they don't have to rest for the next day.

次の日の為に休息する必要が無いので

This em is more opportunistic.

このemは隙あらば増殖し

They make more copies of themselves when there's more demand for that.

需要次第で自身のコピーをたくさん作ります

They don't know which way the future's going.

彼らは未来がどうなるか知りもしません

This is an em designer,

これはemデザイナーで

who conceives of a large system

大きなシステムを構想し

and then breaks recursively into copies who elaborate that,

繰り返しコピーに分かれて行き

so ems can implement larger, more coherent designs.

emはより大規模で一貫性のある デザインを実現します

This an emulation plumber

これは配管工タイプです

who remembers that every day, for the last 20 years,

過去20年間毎日２時間しか働かなかった

they only ever worked two hours a day, a life of leisure.

悠々生活の記憶を持っています

But what really happened is, every day they had a thousand copies,

毎日１千のコピーを作り

each of whom did a two-hour plumbing job,

それぞれが２時間配管の仕事をして

and only one of them went on to the next day.

１つだけが次の日まで生きます

Objectively, they're working well over 99 percent of the time.

客観的に見ると 彼らは99%以上の時間働いていますが

Subjectively, they remember a life of leisure.

主観的には悠々生活を覚えています

(Laughter)

（笑）

This, again, is you. You start and you end.

またあなたの一生です 初めと終わりがあるります

This could be you if at the start of party,

これはパーティーの始まりのあなたで [忘却は『死』？]

you took a drug that meant you would not remember that party

パーティーが終われば すっかりその記憶を失うクスリを

ever after that day.

飲みました

Some people do this, I'm told.

そんなことをする人々がいるんだそうです

Toward the end of the party,

パーティーの終わりに

will you say to yourself, "I'm about to die, this is terrible.

あなたは呟きます 「もう死ぬんだ こんなの酷い

That person tomorrow isn't me, because they won't remember what I do."

明日はもう自分ではなくなる 誰も自分の事を覚えていないから」

Or you could say, "I will go on tomorrow. I just won't remember what I did."

それか こう言うでしょう「今日のことは 覚えていなくても明日もちゃんと生きるさ」

This is an em who splits off a short-term copy

このemは短命のコピーを生み出し

to do a short-term task and then end.

それは短期タスクを遂行し死にます

They have the same two attitude possibilities.

彼らには２種類の態度を取る可能性があります

They can say, "I'm a new short-term creature with a short life. I hate this."

「自分は短命な生命だ 最悪」 あるいは

Or "I'm a part of a larger creature who won't remember this part."

「自分より大きな生命体の一部で それは記憶されないんだ」

I predict they'll have that second attitude,

彼らはおそらく後者でしょう

not because it's philosophically correct, but because it helps them get along.

それが哲学的に正しいからでは無く 彼らが共存する為に有効だからです

Today, if the president says we must invade Iraq,

今日もし大統領がイラク侵略を提案すれば

and you say, "Why?"

あなたは「何故？」と思うでしょう

and they say, "State secret,"

返ってくる答えは「国家機密」

you're not sure if you can trust them,

あなたは彼らを信じて良いか分かりませんが [金庫が秘密を守る]

but for ems, a copy of the president and a copy of you can go inside a safe,

emなら大統領のemと あなたのemとが安全な部屋に入り

explain all their secret reasons,

理由を全て説明します

and then one bit comes out from your copy to yourself,

そしてあなたのコピーが １ビットの情報を出し

telling you if you were convinced.

自分が納得したかどうかを知らせます

So now you can know there is a good reason.

そうすれば正当な理由が あったことが分かります

I know you guys are all eager to evaluate this world.

皆さんはこの世界が気にいるかどうか

You're eager to decide if you love it or hate it.

結論を出したくてウズウズしていますね わかります

But think: your ancestors from thousands of years ago

でも考えてみてください 何千年も前のあなたの祖先も

would have loved or hated your world

２〜３を聞いて

based on the first few things they heard about it,

今の世界の好き嫌いを即決したでしょう

because your world is really just weird.

この世界が本当に奇妙に思えて

So before judging a strange future world, you should really learn a lot about it,

ですから奇妙な未来世界を拒絶する前に それについてまずじっくり学んでください

maybe read a whole book about it,

本を丸一冊読むとか

and then, if you don't like it, work to change it.

それでも気に入らなければ より良く変える努力をするんです

Thank you.

ありがとうございました

(Applause)

（拍手）