Don't fear superintelligent AI | Grady Booch

翻訳: Yasushi Aoki 校正: Misaki Sato

When I was a kid, I was the quintessential nerd.

子供の頃 私はごく典型的な オタク少年でした

I think some of you were, too.

皆さんの中にも いるでしょう

(Laughter)

(笑)

And you, sir, who laughed the loudest, you probably still are.

そこで大声で笑った人 あなたは今もそうでしょう

(Laughter)

(笑)

I grew up in a small town in the dusty plains of north Texas,

北テキサスのほこりっぽい平原の 小さな町で育ち

the son of a sheriff who was the son of a pastor.

父は牧師の子で 保安官をしていました

Getting into trouble was not an option.

トラブルを起こすなんて論外です

And so I started reading calculus books for fun.

それで趣味として 解析学の本を読むようになりました

(Laughter)

(笑)

You did, too.

あなたもですか？

That led me to building a laser and a computer and model rockets,

それでレーザーやコンピューターや ロケットなんかを作るようになり

and that led me to making rocket fuel in my bedroom.

さらには自分の部屋で ロケット燃料まで作りました

Now, in scientific terms,

科学用語で言うと これは

we call this a very bad idea.

「とってもまずい考え」です

(Laughter)

(笑)

Around that same time,

同じ頃

Stanley Kubrick's "2001: A Space Odyssey" came to the theaters,

スタンリー・キューブリックの 『2001年宇宙の旅』が劇場公開され

and my life was forever changed.

私の人生を永遠に 変えることになりました

I loved everything about that movie,

あの映画の すべてが好きで

especially the HAL 9000.

ことに HAL 9000が 好きでした

Now, HAL was a sentient computer

HALは 知覚力のある コンピューターで

designed to guide the Discovery spacecraft

宇宙船ディスカバリー号を 地球から木星へとガイドすべく

from the Earth to Jupiter.

設計されていました

HAL was also a flawed character,

HALにはまた 性格上の欠陥があり

for in the end he chose to value the mission over human life.

最終的に人間の命よりも ミッションを優先させます

Now, HAL was a fictional character,

HALは架空のキャラクターですが

but nonetheless he speaks to our fears,

私たちの恐怖を 呼び起こします

our fears of being subjugated

人間に無関心な

by some unfeeling, artificial intelligence

感情のない人工知能に

who is indifferent to our humanity.

支配されるという恐怖です

I believe that such fears are unfounded.

そのような恐怖は 根拠のないものです

Indeed, we stand at a remarkable time

私たちは実際

人類史の中でも 目覚ましい時代にいます

in human history,

where, driven by refusal to accept the limits of our bodies and our minds,

肉体や精神の限界を 受け入れることを拒み

we are building machines

精緻で美しく

of exquisite, beautiful complexity and grace

複雑で優雅な機械を作り

that will extend the human experience

それが我々の想像を 超えるような仕方で

in ways beyond our imagining.

人間の体験を 拡張することになるでしょう

After a career that led me from the Air Force Academy

私は空軍士官学校を出て

to Space Command to now,

宇宙軍で働いた後

I became a systems engineer,

システム屋になりましたが

and recently I was drawn into an engineering problem

最近 NASAの 火星ミッションに関連する

associated with NASA's mission to Mars.

エンジニアリング上の問題へと 引き寄せられました

Now, in space flights to the Moon,

月へ行くのであれば

we can rely upon mission control in Houston

ヒューストンの 地上管制センターから

to watch over all aspects of a flight.

飛行の全過程を 見守れます

However, Mars is 200 times further away,

しかし火星は月より 200倍も離れています

and as a result it takes on average 13 minutes

そのため 信号が地球から 火星に届くのには

for a signal to travel from the Earth to Mars.

平均で13分もかかります

If there's trouble, there's not enough time.

トラブルが起きた場合 そんなに待ってはいられません

And so a reasonable engineering solution

妥当な工学的解決策として

calls for us to put mission control

オリオン号の壁の中に

管制機能を設けることにしました

inside the walls of the Orion spacecraft.

Another fascinating idea in the mission profile

ミッション概略にある 別の面白いアイデアとして

places humanoid robots on the surface of Mars

人間型ロボットを火星表面に

before the humans themselves arrive,

人間が行く前に送って

first to build facilities

施設を作らせ

and later to serve as collaborative members of the science team.

その後は 科学者チームの一員として 働かせるというのがあります

Now, as I looked at this from an engineering perspective,

これを工学的な観点で見て 明らかになったのは

it became very clear to me that what I needed to architect

ここで設計する必要があるのは

賢く 協力的で

was a smart, collaborative,

socially intelligent artificial intelligence.

社会的な人工知能 だということです

In other words, I needed to build something very much like a HAL

言い換えると 何かHALのようなものを 作る必要があるということです

but without the homicidal tendencies.

ただし殺人癖は抜きで

(Laughter)

(笑)

Let's pause for a moment.

少し立ち止まって 考えてみましょう

Is it really possible to build an artificial intelligence like that?

そのような人工知能を作ることは 可能なのでしょうか

Actually, it is.

可能です

In many ways,

何にせよ

this is a hard engineering problem

これは人工知能の 要素がある

with elements of AI,

工学上の問題であって

not some wet hair ball of an AI problem that needs to be engineered.

得体の知れない 人工知能の問題ではありません

To paraphrase Alan Turing,

チューリングの言葉を 少し変えて言うと

I'm not interested in building a sentient machine.

知覚力のある機械を作ることには 関心がありません

I'm not building a HAL.

HALを作ろうとは していません

All I'm after is a simple brain,

私がやろうとしているのは 単純な脳

something that offers the illusion of intelligence.

知性の幻想を 提供する何かです

The art and the science of computing have come a long way

HALが映画に現れて以来

コンピューターの科学と技術は 大きく進歩しました

since HAL was onscreen,

and I'd imagine if his inventor Dr. Chandra were here today,

HALの生みの親のチャンドラ博士が ここにいたなら

he'd have a whole lot of questions for us.

我々に聞きたいことが 山ほどあるはずです

Is it really possible for us

何百万 何千万という デバイスを使い

to take a system of millions upon millions of devices,

そのデータストリームを読んで

故障を予期し

to read in their data streams,

to predict their failures and act in advance?

前もって対処することは できるのか？

Yes.

できます

Can we build systems that converse with humans in natural language?

自然言語で人間と会話するシステムを 構築することはできるのか？

Yes.

できます

Can we build systems that recognize objects, identify emotions,

物を認識し 人の感情を判断し 自分の感情を表現し ゲームをし

emote themselves, play games and even read lips?

唇の動きすら読めるシステムを 作ることはできるのか？

Yes.

できます

Can we build a system that sets goals,

目標を設定し その実現のための計画を実行し

that carries out plans against those goals and learns along the way?

その過程で学習するシステムを 作ることはできるのか？

Yes.

できます

Can we build systems that have a theory of mind?

心の理論を備えたシステムを 作ることはできるのか？

This we are learning to do.

これは我々がやり方を 学ぼうとしていることです

Can we build systems that have an ethical and moral foundation?

倫理的・道徳的基盤を持つシステムを 作ることはできるのか？

This we must learn how to do.

これは我々がやり方を 学ぶ必要のあることです

このようなミッションや その他のことための

So let's accept for a moment

that it's possible to build such an artificial intelligence

人工知能を作ることは 可能であると

for this kind of mission and others.

認めることにしましょう

The next question you must ask yourself is,

次に問わなければ ならないのは

我々はそれを怖れるべきか ということです

should we fear it?

Now, every new technology

どんな新技術も

brings with it some measure of trepidation.

常にある程度の怖れは 引き起こすものです

When we first saw cars,

始めて自動車を 目にした人々は

people lamented that we would see the destruction of the family.

家族が壊されるのを見ることに なるだろうと嘆いたものです

When we first saw telephones come in,

始めて電話機を 目にした人々は

people were worried it would destroy all civil conversation.

礼儀にかなった会話が 損なわれると懸念したものです

At a point in time we saw the written word become pervasive,

書かれたもので 溢れるのを見た人々は

people thought we would lose our ability to memorize.

記憶力が失われるのでは と思ったものです

These things are all true to a degree,

ある程度は合っていますが

but it's also the case that these technologies

そういった技術は

brought to us things that extended the human experience

人間の体験を

根本的に広げてもくれました

in some profound ways.

So let's take this a little further.

さらに話を進めましょう

I do not fear the creation of an AI like this,

私はそのような人工知能を 作ることに怖れは感じません

because it will eventually embody some of our values.

それは人間の価値観を 体現することになるからです

Consider this: building a cognitive system is fundamentally different

認知システムを作るのは

従来のソフトウェア中心のシステムを 作るのとは 根本的に異なります

than building a traditional software-intensive system of the past.

We don't program them. We teach them.

プログラムするのではなく 教えるのです

In order to teach a system how to recognize flowers,

システムに花を 認識させるために

I show it thousands of flowers of the kinds I like.

私は自分の好きな 何千という花を見せます

In order to teach a system how to play a game --

システムにゲームの遊び方を 教えるには —

Well, I would. You would, too.

私だってゲームはしますよ 皆さんもでしょう？

I like flowers. Come on.

花だって好きだし らしくないですか？

To teach a system how to play a game like Go,

碁のようなゲームの遊び方を システムに教えるには

I'd have it play thousands of games of Go,

碁を何千回も指させ

but in the process I also teach it

その過程で

how to discern a good game from a bad game.

良い盤面・悪い盤面を 識別する方法を教えます

If I want to create an artificially intelligent legal assistant,

人工知能の弁護士助手を 作ろうと思ったら

I will teach it some corpus of law

法律も教えますが

but at the same time I am fusing with it

同時に法の一部をなす

the sense of mercy and justice that is part of that law.

慈悲や公正の感覚を 吹き込むでしょう

In scientific terms, this is what we call ground truth,

科学用語では これを グランドトゥルースと言います

and here's the important point:

重要なのは

in producing these machines,

そういう機械を作るとき

we are therefore teaching them a sense of our values.

我々は自分の価値観を 教えることになるということです

To that end, I trust an artificial intelligence

それだから私は 人工知能を

きちんと訓練された人間と同様に 信頼するのです

the same, if not more, as a human who is well-trained.

But, you may ask,

でも悪いことをする工作員や

what about rogue agents,

ある種の資金豊富な 非政府組織なんかの

some well-funded nongovernment organization?

手にかかったなら？

I do not fear an artificial intelligence in the hand of a lone wolf.

一匹狼の扱う人工知能には 怖れを感じません

Clearly, we cannot protect ourselves against all random acts of violence,

あらゆる暴力から 身を守れるわけではありませんが

but the reality is such a system

そのようなシステムには

requires substantial training and subtle training

個人のリソースの範囲を 大きく超えた

far beyond the resources of an individual.

膨大で精妙なトレーニングが 必要になります

And furthermore,

さらにそれは 単にインターネットへ ウィルスを送り込むより

it's far more than just injecting an internet virus to the world,

遙かに大変なことです

where you push a button, all of a sudden it's in a million places

ウィルスならボタン１つで そこら中のパソコンが

and laptops start blowing up all over the place.

突然吹き飛んで しまうでしょうが

Now, these kinds of substances are much larger,

そういうたぐいの 実体はずっと大きく

それがやってくるのは 確かに目にすることになります

and we'll certainly see them coming.

Do I fear that such an artificial intelligence

そういう人工知能が

might threaten all of humanity?

全人類を脅かすのを 怖れるか？

『マトリックス』『メトロポリス』 『ターミネーター』みたいな映画や

If you look at movies such as "The Matrix," "Metropolis,"

"The Terminator," shows such as "Westworld,"

『ウエストワールド』 みたいな番組を見ると

they all speak of this kind of fear.

みんなそのような恐怖を 語っています

Indeed, in the book "Superintelligence" by the philosopher Nick Bostrom,

『スーパーインテリジェンス (Superintelligence)』という本で

思想家のニック・ボストロムは このテーマを取り上げ

he picks up on this theme

and observes that a superintelligence might not only be dangerous,

人間を超える機械の知能は 危険なだけでなく

it could represent an existential threat to all of humanity.

人類存亡の危機に つながり得ると見ています

Dr. Bostrom's basic argument

ボストロム博士の 基本的な議論は

is that such systems will eventually

そのようなシステムはやがて

have such an insatiable thirst for information

抑えがたい情報への渇望を 抱くようになり

that they will perhaps learn how to learn

学び方を学んで

and eventually discover that they may have goals

最終的には人間の要求に 反する目的を

that are contrary to human needs.

持つようになる ということです

Dr. Bostrom has a number of followers.

ボストロム博士には 多くの支持者がいて

He is supported by people such as Elon Musk and Stephen Hawking.

その中にはイーロン・マスクや スティーヴン・ホーキングもいます

With all due respect

そのような聡明な方々に

to these brilliant minds,

恐れながら申し上げると

I believe that they are fundamentally wrong.

彼らは根本的に 間違っていると思います

Now, there are a lot of pieces of Dr. Bostrom's argument to unpack,

検討すべきボストロム博士の議論は 沢山ありますが

and I don't have time to unpack them all,

全部見ていく 時間はないので

but very briefly, consider this:

ごく簡単に １点だけ挙げるなら

super knowing is very different than super doing.

「すごく知っている」のと 「すごいことができる」のとは違うということです

HAL was a threat to the Discovery crew

HALは ディスカバリー号のあらゆる面を コントロールする限りにおいて

only insofar as HAL commanded all aspects of the Discovery.

乗組員にとって脅威でした

So it would have to be with a superintelligence.

スーパーインテリジェンスも そうです

It would have to have dominion over all of our world.

それが世界全体を支配している 必要があります

This is the stuff of Skynet from the movie "The Terminator"

スーパーインテリジェンスが 人の意志を支配する

in which we had a superintelligence

『ターミネーター』の世界で

that commanded human will,

スカイネットは世界の あらゆるデバイスを

that directed every device that was in every corner of the world.

操っていました

Practically speaking,

実際のところ

it ain't gonna happen.

そんなことは 起こりません

We are not building AIs that control the weather,

天気を制御したり 潮の干満を決めたり

that direct the tides,

気まぐれで無秩序な人間を 従わせるような人工知能を

that command us capricious, chaotic humans.

我々は作りはしません

And furthermore, if such an artificial intelligence existed,

もしそのような人工知能が 存在したら

it would have to compete with human economies,

人間の経済と 競合することになり

and thereby compete for resources with us.

リソースを人間と 取り合うことになるでしょう

And in the end --

最終的には

don't tell Siri this --

Siriには内緒ですが

we can always unplug them.

我々は電源プラグを 引っこ抜くことができます

(Laughter)

(笑)

We are on an incredible journey

私たちは機械と 共進化していく

of coevolution with our machines.

ものすごい旅の 途上にあります

The humans we are today

今日の人類は

明日の人類とは違っています

are not the humans we will be then.

To worry now about the rise of a superintelligence

人間を超えた人工知能の 台頭を懸念するのは

is in many ways a dangerous distraction

コンピューターの台頭自体が 引き起こす

because the rise of computing itself

対処を要する 人間や社会の問題から

brings to us a number of human and societal issues

注意をそらすことになり

to which we must now attend.

危険です

How shall I best organize society

人間の労働の必要が 減っていく社会を

when the need for human labor diminishes?

どうすれば上手く 運営できるのか？

How can I bring understanding and education throughout the globe

理解と教育を 地球全体に広げつつ

互いの違いに敬意を払うことは どうすれば可能か？

and still respect our differences?

How might I extend and enhance human life through cognitive healthcare?

認知システムによる医療で 人の生涯を 長く豊かなものにするにはどうしたら良いか？

How might I use computing

星々に到るために

コンピューターは いかに役立てられるか？

to help take us to the stars?

And that's the exciting thing.

これはワクワクすることです

The opportunities to use computing

コンピューターを使って

to advance the human experience

人間の体験を

are within our reach,

発展させられる機会が

here and now,

今 手の届くところにあり

and we are just beginning.

それは始まったばかりです

Thank you very much.

ありがとうございました

(Applause)

(拍手)