How to get empowered, not overpowered, by AI | Max Tegmark

翻訳: Yumika Amemiya 校正: Tomoyuki Suzuki

After 13.8 billion years of cosmic history,

宇宙の誕生後 138億年もの時を経て

our universe has woken up

私たちの世界は覚醒し

and become aware of itself.

自らを認識しました

From a small blue planet,

小さな青い惑星から

tiny, conscious parts of our universe have begun gazing out into the cosmos

この世界のごく小さな領域の 意識あるものが 望遠鏡を使って

with telescopes,

この宇宙を見つめ始め

discovering something humbling.

自らの矮小さを発見しました

We've discovered that our universe is vastly grander

この世界は 私たちの先祖が 想像していたものより

than our ancestors imagined

遥かに壮大であることと

and that life seems to be an almost imperceptibly small perturbation

生命は感知できない程度の影響しか及ぼさず それ以外は死んだも同然の

on an otherwise dead universe.

静的な世界であると発見したのです

But we've also discovered something inspiring,

しかし 刺激的なことも発見しました

which is that the technology we're developing has the potential

私たちが開発している技術が 今までにないほどに

to help life flourish like never before,

生命の繁栄を手助けをする 可能性を秘めていることです

not just for centuries but for billions of years,

それは 何百年に限らず 何十億年と続き

and not just on earth but throughout much of this amazing cosmos.

地球上だけではなく この素晴らしい宇宙の大域に及ぶ繁栄なのです

I think of the earliest life as "Life 1.0"

私は一番最初の生命を 「ライフ 1.0」と考えます

because it was really dumb,

バクテリアのように馬鹿で

like bacteria, unable to learn anything during its lifetime.

一生の間 何も学ぶことができません

I think of us humans as "Life 2.0" because we can learn,

人類は「ライフ 2.0」と考えます 私たちは学習できるからです

which we in nerdy, geek speak,

それは オタクっぽく言えば

might think of as installing new software into our brains,

言語や技能といった 新しいソフトウェアを

like languages and job skills.

脳にインストールすることです

"Life 3.0," which can design not only its software but also its hardware

「ライフ 3.0」は ソフトウェアだけでなく ハードウェアも設計できます

of course doesn't exist yet.

もちろんまだ存在していません

But perhaps our technology has already made us "Life 2.1,"

しかし おそらく私たちは 人工膝関節 ペースメーカーや

with our artificial knees, pacemakers and cochlear implants.

人口内耳といった技術によって 既に「ライフ2.1」になっているのでしょう

So let's take a closer look at our relationship with technology, OK?

では 私たちと技術の関係性を もっと詳しく見てみましょう

As an example,

例えば

the Apollo 11 moon mission was both successful and inspiring,

アポロ11号による月への飛行計画は 成功しただけでなく刺激的でもありました

showing that when we humans use technology wisely,

この計画が示したことは 人類が賢明なやり方で技術を使えば

we can accomplish things that our ancestors could only dream of.

私たちの先祖がただ夢見ただけのことを 成し遂げられるということです

But there's an even more inspiring journey

しかし これよりさらに 刺激的な宇宙旅行があります

propelled by something more powerful than rocket engines,

ロケットエンジンより強力な 推進力を得て

where the passengers aren't just three astronauts

乗客は３人の宇宙飛行士にとどまらず

but all of humanity.

全人類なのです

Let's talk about our collective journey into the future

人工知能を伴い 私たちが集団となって 未来に旅することについて

with artificial intelligence.

お話ししましょう

My friend Jaan Tallinn likes to point out that just as with rocketry,

私の友人 ヤーン・タリンが好む議論ですが ロケットの話と似ていて

it's not enough to make our technology powerful.

技術が単に強力になれば 良いというものではなく

We also have to figure out, if we're going to be really ambitious,

もし本当に野心的になろうとするなら

how to steer it

操縦の仕方と

and where we want to go with it.

どこへ向かうべきかも 理解しないといけません

So let's talk about all three for artificial intelligence:

ではこの３つの要素を 人工知能についても議論しましょう

the power, the steering and the destination.

推進力 操縦と目的地です

Let's start with the power.

推進力から話しましょう

I define intelligence very inclusively --

私は 知能をかなり広く 定義しています

simply as our ability to accomplish complex goals,

単に 複雑な目標を 達成する能力という定義です

because I want to include both biological and artificial intelligence.

何故なら 生物が備える知能と 人工知能の両方を含めたいからです

And I want to avoid the silly carbon-chauvinism idea

肉でできていてはじめて 知的になりうるという

that you can only be smart if you're made of meat.

有機物至上主義のような 馬鹿げた考え方を避けたいのです

It's really amazing how the power of AI has grown recently.

最近のAI技術の発展には驚かされます

Just think about it.

考えてみてください

Not long ago, robots couldn't walk.

少し前まで ロボットは歩けませんでした

Now, they can do backflips.

今では バク転ができるのです

Not long ago,

少し前まで

we didn't have self-driving cars.

自動運転車はありませんでした

Now, we have self-flying rockets.

今では自動飛行するロケットがあります

Not long ago,

少し前まで

AI couldn't do face recognition.

AIは顔認証ができませんでした

Now, AI can generate fake faces

今では 偽の顔を生成し

and simulate your face saying stuff that you never said.

あなたが話す言葉を勝手に作り出し その時の表情までシミュレーションできます

Not long ago,

少し前まで

AI couldn't beat us at the game of Go.

AIは囲碁で私たちに勝てませんでしたが

Then, Google DeepMind's AlphaZero AI took 3,000 years of human Go games

Google DeepMindのAlphaZero AIは ３千年に渡る 人間による

and Go wisdom,

囲碁の対局と戦略について

ignored it all and became the world's best player by just playing against itself.

その成果を参照せず AI内部の対戦だけで 世界最強のプレイヤーになりました

And the most impressive feat here wasn't that it crushed human gamers,

そして最も印象的な出来事は 人間の棋士を倒したことではなく

but that it crushed human AI researchers

何十年もの間 ゲームをプレーするソフトを

who had spent decades handcrafting game-playing software.

自分の手で開発してきた AI研究者たちを圧倒したことです

And AlphaZero crushed human AI researchers not just in Go but even at chess,

そして AlphaZeroは囲碁だけでなく 1950年以来 AI研究者が取り組んできた

which we have been working on since 1950.

チェスでも圧倒しました

So all this amazing recent progress in AI really begs the question:

すると AIの近年の驚くべき進歩によって こんな疑問が生じます

How far will it go?

どこまで進歩するのか？

I like to think about this question

私はこの疑問を

in terms of this abstract landscape of tasks,

タスクで構成された地形として 捉えるのが好きです

where the elevation represents how hard it is for AI to do each task

標高で表しているのは AIが人間並みに作業をする場合の

at human level,

難易度で

and the sea level represents what AI can do today.

海面は現在のAIができる事を表します

The sea level is rising as AI improves,

AIが進歩するに従い 海面は上昇していきます

so there's a kind of global warming going on here in the task landscape.

このタスクの地形は 地球温暖化に似た状況になっています

And the obvious takeaway is to avoid careers at the waterfront --

はっきりしているのは 水際にある職業は避ける事です

(Laughter)

（笑）

which will soon be automated and disrupted.

間も無く自動化され消滅しますから

But there's a much bigger question as well.

しかし もっと大きな疑問もあります

How high will the water end up rising?

水面はどこまで上昇するのか？

Will it eventually rise to flood everything,

あらゆるタスクで 人間の知能レベルに追いつき

matching human intelligence at all tasks.

大地を完全に水没させるのでしょうか

This is the definition of artificial general intelligence --

これが汎用人工知能—

AGI,

AGIの定義です

which has been the holy grail of AI research since its inception.

これは AI研究が始まって以来の 究極の目標となっています

By this definition, people who say,

この定義によると

"Ah, there will always be jobs that humans can do better than machines,"

「機械より 人間の方が上手くできる仕事は 無くならない」と言う人は

are simply saying that we'll never get AGI.

AGIは実現不可能と 言っているのに過ぎないのです

Sure, we might still choose to have some human jobs

確かに AGIができても 人間は仕事を選んだり

or to give humans income and purpose with our jobs,

仕事から給料ややりがいを 得られるかもしれませんが

but AGI will in any case transform life as we know it

皆さんがお分かりのとおり いずれにしろ AGIは生活を変化させ

with humans no longer being the most intelligent.

人間はもはや最も知的な存在とは いえなくなることでしょう

Now, if the water level does reach AGI,

では もし水面が AGI まで到達すれば

then further AI progress will be driven mainly not by humans but by AI,

その先のAIの進歩は 主に人間ではなく AIによって進められます

which means that there's a possibility

ということは

that further AI progress could be way faster

その先のAIの進歩は

than the typical human research and development timescale of years,

通常何年もかかる人間による研究や開発より かなり速くなる可能性があります

raising the controversial possibility of an intelligence explosion

したがって 議論を呼ぶ「知能の爆発」が 起こる可能性が高まります

where recursively self-improving AI

再帰的に自己改善するAIによって

rapidly leaves human intelligence far behind,

人間の知能がはるか後方に取り残され

creating what's known as superintelligence.

「超知能」というものが造られるのです

Alright, reality check:

では 現実に起こり得るか 検討してみましょう

Are we going to get AGI any time soon?

AGIはすぐにでも作られるのでしょうか？

Some famous AI researchers, like Rodney Brooks,

ロドニー・ブルックスのような 有名なAI研究者は

think it won't happen for hundreds of years.

数百年以内には起こらないと言います

But others, like Google DeepMind founder Demis Hassabis,

しかし Google DeepMind の創立者 デミス・ハサビスといった人たちは

are more optimistic

もっと楽観的で

and are working to try to make it happen much sooner.

AGIをできるだけ早く 作るために努力しています

And recent surveys have shown that most AI researchers

そして 最近の調査によると ほとんどのAI研究者は

actually share Demis's optimism,

デミスの様に楽観的で

expecting that we will get AGI within decades,

AGIは数十年以内に作れると予測しています

so within the lifetime of many of us,

つまり 私たちがまだ 生きているうちにできるのです

which begs the question -- and then what?

ここで疑問が生じます― その後どうなるのか？

What do we want the role of humans to be

機械が私たちより 何でも安く上手にできるなら

if machines can do everything better and cheaper than us?

人間はどんな役割を担えばよいのでしょう？

The way I see it, we face a choice.

私たちは選択を迫られると思います

One option is to be complacent.

１つ目は満足することです

We can say, "Oh, let's just build machines that can do everything we can do

「じゃあ 私たちができる事なら 何でもできる機械を作って

and not worry about the consequences.

その後のことは心配しないでいい

Come on, if we build technology that makes all humans obsolete,

ほら 人間を時代遅れの立場に置く 技術を開発したところで

what could possibly go wrong?"

何も問題ないだろう？」と言うのです

(Laughter)

（笑）

But I think that would be embarrassingly lame.

しかし それは極めてまずいと思います

I think we should be more ambitious -- in the spirit of TED.

私は TEDの様に もっと野心的で あるべきだと思います

Let's envision a truly inspiring high-tech future

真に心を打つハイテクな未来を想像し

and try to steer towards it.

そちらへと向けて操縦してみましょう

This brings us to the second part of our rocket metaphor: the steering.

ここから ロケットのたとえの第２部 「操縦」へと話を移します

We're making AI more powerful,

どんどん強力なAIが 作られていきますが

but how can we steer towards a future

AIが人類をまごつかせるのではなく AIが人類の繁栄に役立つような

where AI helps humanity flourish rather than flounder?

そんな未来に向かうには どう操縦すればよいのでしょうか？

To help with this,

その問題解決のために

I cofounded the Future of Life Institute.

Future of Life Instituteを 共同設立しました

It's a small nonprofit promoting beneficial technology use,

小さな非営利組織で 有益な技術を促進しており

and our goal is simply for the future of life to exist

その目的はシンプルで 生命が存在できて

and to be as inspiring as possible.

できるだけ刺激的な 未来にすることです

You know, I love technology.

もちろん 私は技術を愛しています

Technology is why today is better than the Stone Age.

現代が石器時代より良いのは 技術のおかげです

And I'm optimistic that we can create a really inspiring high-tech future ...

そして真に刺激的なハイテクな未来を 作れると楽観的に考えています

if -- and this is a big if --

もし — 万が一の話ですが —

if we win the wisdom race --

もし人類が知恵の競争で勝ったら？

the race between the growing power of our technology

これは 技術が生み出す能力の成長と

and the growing wisdom with which we manage it.

人類が技術を管理するための 知恵の強化との間の競争です

But this is going to require a change of strategy

しかし 勝つには戦略を 変えなければいけません

because our old strategy has been learning from mistakes.

古い戦略とは 失敗から学ぶことだからです

We invented fire,

私たちは 火を発明し

screwed up a bunch of times --

幾度も失敗して

invented the fire extinguisher.

消火器を発明したのです

(Laughter)

（笑）

We invented the car, screwed up a bunch of times --

私たちは車を発明し 幾度も失敗して

invented the traffic light, the seat belt and the airbag,

信号とシートベルトと エアバッグを発明したのです

but with more powerful technology like nuclear weapons and AGI,

一方 核兵器やAGIのように ずっと強力な技術の場合

learning from mistakes is a lousy strategy,

失敗から学ぶというのは お粗末な戦略だとは

don't you think?

思いませんか？

(Laughter)

（笑）

It's much better to be proactive rather than reactive;

後手の対応より 先手を打つ方が ずっと良いのです

plan ahead and get things right the first time

事前に計画して一発で成功させるのです

because that might be the only time we'll get.

チャンスは一度だけかもしれませんから

But it is funny because sometimes people tell me,

でも こう言われると変な感じがします

"Max, shhh, don't talk like that.

「マックス そんな風に言うなよ そんなの―

That's Luddite scaremongering."

技術革新反対主義者のデマだぜ」と

But it's not scaremongering.

しかし デマではないのです

It's what we at MIT call safety engineering.

MITではこれを安全工学と 呼んでいます

Think about it:

考えてみてください

before NASA launched the Apollo 11 mission,

NASAがアポロ11号を打ち上げる前

they systematically thought through everything that could go wrong

彼らは 起こり得るトラブルを 全て 系統的に検討しました

when you put people on top of explosive fuel tanks

なにしろ 爆発しやすい燃料タンクの上に 人間を座らせて

and launch them somewhere where no one could help them.

誰も助けられない所に向けて 打ち上げるからです

And there was a lot that could go wrong.

起こり得るトラブルは たくさんありました

Was that scaremongering?

それはデマでしたか？

No.

いいえ

That's was precisely the safety engineering

それこそが安全工学なのです

that ensured the success of the mission,

飛行の成功を保証したのです

and that is precisely the strategy I think we should take with AGI.

私はまさにこの戦略をAGIでも 取るべきだと思います

Think through what can go wrong to make sure it goes right.

成功を保証するために 起こりそうな問題を徹底的に考えるのです

So in this spirit, we've organized conferences,

この精神をもって 会議を開きました

bringing together leading AI researchers and other thinkers

一流のAI研究者や その他の思想家と共に

to discuss how to grow this wisdom we need to keep AI beneficial.

AIが有益であり続けるために必要な 知恵を身に付ける方法を議論しました

Our last conference was in Asilomar, California last year

前回の会議はカリフォルニアの アシロマで昨年開催され

and produced this list of 23 principles

23ヶ条の原則を作成しました

which have since been signed by over 1,000 AI researchers

これは千人以上のAI研究者と 産業界の主な指導者によって

and key industry leaders,

署名されました

and I want to tell you about three of these principles.

そのうちの３ヶ条についてお話しします

One is that we should avoid an arms race and lethal autonomous weapons.

１つ目は軍拡競争と 自律型の殺人兵器を控えることです

The idea here is that any science can be used for new ways of helping people

科学は 人を助けるため もしくは 人を傷つけるための

or new ways of harming people.

新たな方法として使えます

For example, biology and chemistry are much more likely to be used

例えば 生物学と化学は 人を殺す方法としてではなく

for new medicines or new cures than for new ways of killing people,

新薬や新たな治療法の開発のために 使われる可能性の方がずっと高いです

because biologists and chemists pushed hard --

なぜなら 生物学者と化学者は

and successfully --

生物兵器と化学兵器の禁止を

for bans on biological and chemical weapons.

強く推進し 成功したからです

And in the same spirit,

同じような考えで

most AI researchers want to stigmatize and ban lethal autonomous weapons.

ほとんどのAI研究者は自律型の殺人兵器を 非難し禁止することを望んでいます

Another Asilomar AI principle

もう一つのアシロマでの原則は

is that we should mitigate AI-fueled income inequality.

AIによって引き起こされる 所得格差を和らげることです

I think that if we can grow the economic pie dramatically with AI

もしAIによって経済的な利益が 著しく増えても

and we still can't figure out how to divide this pie

誰もが豊かになるように 増益分を配分する方法が

so that everyone is better off,

見つけられなければ

then shame on us.

私たちにとって恥です

(Applause)

（拍手）

Alright, now raise your hand if your computer has ever crashed.

さて コンピューターが異常終了したことの ある人は手をあげてください

(Laughter)

（笑）

Wow, that's a lot of hands.

ずいぶん 手が上がりましたね

Well, then you'll appreciate this principle

それなら次の原則を 理解していただけるでしょう

that we should invest much more in AI safety research,

AIの安全性の研究に もっと投資するという原則です

because as we put AI in charge of even more decisions and infrastructure,

なぜなら AIを意思決定や インフラへ利用することが増えるにつれ

we need to figure out how to transform today's buggy and hackable computers

バグが多く ハッキングされやすい 現在のコンピューターを 信頼度が高く

into robust AI systems that we can really trust,

安定に動作するAIに変える方法を 見つける必要があります

because otherwise,

そうしなければ

all this awesome new technology can malfunction and harm us,

この素晴らしい新技術は 誤動作を起こして被害を与え

or get hacked and be turned against us.

ハッキングされ 私たちを攻撃するかもしれません

And this AI safety work has to include work on AI value alignment,

また安全性研究の一環として AIの価値観を 私たちの価値観と一致させる研究が必要です

because the real threat from AGI isn't malice,

AGIの真の脅威は 馬鹿げたハリウッド映画のような

like in silly Hollywood movies,

人間への敵意などではなく

but competence --

その能力にあります

AGI accomplishing goals that just aren't aligned with ours.

私たちの目標に合致しないことを 成し遂げてしまいかねないからです

For example, when we humans drove the West African black rhino extinct,

例えば 私たち人間が 西アフリカの クロサイを絶滅させたのは

we didn't do it because we were a bunch of evil rhinoceros haters, did we?

私たちはサイを狩る邪悪な 集団だったからではないですよね？

We did it because we were smarter than them

私たちは奴らより利口で

and our goals weren't aligned with theirs.

私たちの目的が相手と 一致しなかったからなのです

But AGI is by definition smarter than us,

しかし AGIは 定義上 私たちより利口なので

so to make sure that we don't put ourselves in the position of those rhinos

私たちをサイの立場に置かないためには

if we create AGI,

AGIを作る時に

we need to figure out how to make machines understand our goals,

機械に私たちの目的を理解させ

adopt our goals and retain our goals.

それを採用し 保持させる方法を 見出す必要があります

And whose goals should these be, anyway?

また これは誰の目的で あるべきなのでしょうか？

Which goals should they be?

何を目的とすべきなのでしょうか？

This brings us to the third part of our rocket metaphor: the destination.

これはロケットのたとえの第３部へと つながります　目的地です

We're making AI more powerful,

AIを強化し

trying to figure out how to steer it,

操縦方法を見出そうとしていますが

but where do we want to go with it?

どこに行こうと しているのでしょうか？

This is the elephant in the room that almost nobody talks about --

これは ほとんど誰もが話題にすることを 避けている重大な問題です

not even here at TED --

ここTEDにいる人たちでもそうです

because we're so fixated on short-term AI challenges.

短期的なAIの課題に 掛かり切りだからです

Look, our species is trying to build AGI,

さて 人類はAGIを 作ろうとしていて

motivated by curiosity and economics,

それは好奇心と経済的なことが 動機となっていますが

but what sort of future society are we hoping for if we succeed?

もしAGIが成功したら 私たちは どんな未来社会を望むのでしょう？

We did an opinion poll on this recently,

これについて 意識調査を 最近実施しましたが

and I was struck to see

私は 多くの人が

that most people actually want us to build superintelligence:

「超知能」の創造を望んでいるという 意見に驚きました

AI that's vastly smarter than us in all ways.

あらゆる面において私たちより 遥かに利口な知能を望んでいるのです

What there was the greatest agreement on was that we should be ambitious

最も意見の一致を見た点は 私たちが大志を抱き

and help life spread into the cosmos,

生命を宇宙へと 拡散させるべきということでした

but there was much less agreement about who or what should be in charge.

ただ 超知能を管理する主体については 意見が分かれました

And I was actually quite amused

面白いと思ったのは

to see that there's some some people who want it to be just machines.

機械だけで管理すればよいと 考える人がいた事です

(Laughter)

（笑）

And there was total disagreement about what the role of humans should be,

その上 人間の役割は何であるべきかに ついては 最も基本的なレベルにおいても

even at the most basic level,

全く意見が一致しませんでした

so let's take a closer look at possible futures

では 私たちが向かって行く可能性のある

that we might choose to steer toward, alright?

未来を詳しく見てみましょう

So don't get me wrong here.

誤解しないでください

I'm not talking about space travel,

私は宇宙旅行について 語ろうとしているのではなく

merely about humanity's metaphorical journey into the future.

人類の未来への道のりを 比喩的に言っているだけです

So one option that some of my AI colleagues like

私のAI研究者仲間がお気に入りの 一つの選択肢は

is to build superintelligence and keep it under human control,

超知能を造って 人間の支配下に置くというものです

like an enslaved god,

まるで奴隷にされた神の様であり

disconnected from the internet

インターネットへの接続もなく

and used to create unimaginable technology and wealth

誰であれ それを制御できる人のために 想像すらできない様な技術と富を

for whoever controls it.

創造するために使われます

But Lord Acton warned us

しかしアクトン卿は

that power corrupts, and absolute power corrupts absolutely,

権力は腐敗し 絶対的な権力は 絶対に腐敗すると警告しました

so you might worry that maybe we humans just aren't smart enough,

だから 皆さんは この様なすごい力を 扱える程には人類は利口ではない

or wise enough rather,

もしくは十分に賢くはないと

to handle this much power.

憂慮されるかもしれません

Also, aside from any moral qualms you might have

より優れた知性を 奴隷扱いするのは気がとがめるという

about enslaving superior minds,

道徳的なことはさておき

you might worry that maybe the superintelligence could outsmart us,

超知能が 想像を超えた方法で 逃げ出し 優位に立つのではと

break out and take over.

心配になるかもしれません

But I also have colleagues who are fine with AI taking over

しかし 私の同僚には AIに乗っ取られてもいい

and even causing human extinction,

さらには人類を絶滅させても いいと考える人もいます

as long as we feel the the AIs are our worthy descendants,

それも AIのことを 自分たちの子供のように相応しい子孫と

like our children.

思えればの話です

But how would we know that the AIs have adopted our best values

ただ AIが私たちの価値観を持ったことを どうしたら確認できるでしょう？

and aren't just unconscious zombies tricking us into anthropomorphizing them?

意識を持たないゾンビなのに 人間らしく見えるだけではないと？

Also, shouldn't those people who don't want human extinction

それに 人類の絶滅を望まぬ人々にも 発言権が

have a say in the matter, too?

あるべきではないでしょうか？

Now, if you didn't like either of those two high-tech options,

さて これらのハイテクな選択肢は どちらもお望みでないとしても

it's important to remember that low-tech is suicide

ローテクな選択肢は 宇宙的視野に立てば自殺行為であると

from a cosmic perspective,

知っておくことは大切です

because if we don't go far beyond today's technology,

なぜなら 現在の技術レベルを はるかに上回らない限り

the question isn't whether humanity is going to go extinct,

人類が将来 絶滅するかどうかという 問題ではなく

merely whether we're going to get taken out

技術が進んでいれば回避できるはずの

by the next killer asteroid, supervolcano

小惑星の衝突や 巨大な火山噴火といった事態で

or some other problem that better technology could have solved.

人類は滅亡するのかという 問題になってしまうからです

So, how about having our cake and eating it ...

それならば 長所を全て 生かしてはどうでしょうか

with AGI that's not enslaved

奴隷化されなくても

but treats us well because its values are aligned with ours?

私たちと同じ価値観を持ち 人間を大事にするAGIを使うのです

This is the gist of what Eliezer Yudkowsky has called "friendly AI,"

これはエリエゼル・ユドカウスキーが 「友好的なAI」と呼ぶものです

and if we can do this, it could be awesome.

そして これができれば 素晴らしいことでしょう

It could not only eliminate negative experiences like disease, poverty,

病気 貧困 犯罪など 苦痛というマイナスの経験を

crime and other suffering,

無くすことができるだけではなく

but it could also give us the freedom to choose

様々な 新しいプラスの経験から 選択する自由を

from a fantastic new diversity of positive experiences --

与えてくれるかもしれません

basically making us the masters of our own destiny.

そうなれば私たちは 自分の手で運命を決められるのです

So in summary,

では まとめます

our situation with technology is complicated,

技術に関する状況は 複雑ではありますが

but the big picture is rather simple.

全体像は 単純です

Most AI researchers expect AGI within decades,

ほとんどのAI研究者はAGIが 数十年以内にできると期待しています

and if we just bumble into this unprepared,

そして 準備がないままに つまづきながら進んで行くと

it will probably be the biggest mistake in human history --

おそらく人類史上最大の 間違いとなるでしょう

let's face it.

それは認めるべきです

It could enable brutal, global dictatorship

冷酷な 全世界的独裁政権が可能になり

with unprecedented inequality, surveillance and suffering,

前代未聞の差別 監視社会と 苦しみが産まれ

and maybe even human extinction.

さらに人類の絶滅さえ 起こるかもしれません

But if we steer carefully,

しかし注意深く操縦すれば

we could end up in a fantastic future where everybody's better off:

誰もが裕福になれる 素晴らしい未来にたどり着くかもしれません

the poor are richer, the rich are richer,

貧乏人は金持ちになり 金持ちはさらに金持ちになり

everybody is healthy and free to live out their dreams.

みんなが健康で 夢を追い求めながら 自由に人生を送れることでしょう

Now, hang on.

ちょっと考えてください

Do you folks want the future that's politically right or left?

皆さんは 政治的に右寄りの未来と 左寄りの未来なら どちらがいいですか？

Do you want the pious society with strict moral rules,

厳格な道徳的規則を持つ敬虔な社会と

or do you an hedonistic free-for-all,

快楽主義的で制約のない

more like Burning Man 24/7?

毎日がバーニングマンのような社会なら どちらがいいですか？

Do you want beautiful beaches, forests and lakes,

綺麗なビーチや森や湖がいいですか？

or would you prefer to rearrange some of those atoms with the computers,

それともコンピューターで 原子を少し置き換えた

enabling virtual experiences?

バーチャル体験がいいですか？

With friendly AI, we could simply build all of these societies

友好的なAIがあれば どの社会でも作ることができ

and give people the freedom to choose which one they want to live in

人々にどの社会に住むかの 自由を与えることができます

because we would no longer be limited by our intelligence,

なぜなら 自分たちの知能に 縛られることはなくなるからです

merely by the laws of physics.

制約は物理法則だけです

So the resources and space for this would be astronomical --

ですから このような世界の資源と空間は 天文学的になります

literally.

文字通りにです

So here's our choice.

我々は選択しなければなりません

We can either be complacent about our future,

自分の未来に満足し

taking as an article of blind faith

新しいテクノロジーなら何でも

that any new technology is guaranteed to be beneficial,

有益なことが保証されているという 根拠のない信条を持ち

and just repeat that to ourselves as a mantra over and over and over again

まるで舵のない船が 衰退に向かって漂流するように

as we drift like a rudderless ship towards our own obsolescence.

それを自分の中で 何度も繰り返し唱え続けるのか

Or we can be ambitious --

あるいは野心を持って

thinking hard about how to steer our technology

技術の操縦方法と目的地を

and where we want to go with it

真剣に考え

to create the age of amazement.

「素晴らしい時代」を築くのか

We're all here to celebrate the age of amazement,

私たちは 「素晴らしい時代」を 祝うためにここにいます

and I feel that its essence should lie in becoming not overpowered

私は その本質は 技術に圧倒されるのではなく

but empowered by our technology.

技術から力を得ることだと思います

Thank you.

ありがとうございました

(Applause)

（拍手）