The Exciting, Perilous Journey Toward AGI | Ilya Sutskever | TED

翻訳: Takako Ramsden 校正: Noriko Yasumoto

You've all experienced the progress of artificial intelligence.

皆さんはすでに 人工知能の進歩を 体験しています

Many of you may have spoken with a computer,

コンピューターに話しかけたら

and a computer understood you

コンピューターが理解して 答えてくれた経験があるでしょう

and spoke back to you.

With the rate of progress being that it is,

現在と同じペースで進歩が続くと

it's not difficult to imagine that at some point in the future,

近い未来に 人工知能が

our intelligent computers will become as smart or smarter than people.

人間の知能に追いつき 追い越すことは 想像がつきます

And it's also not difficult to imagine that when that happens,

また そうなった時に

the impact of such artificial intelligence

人工知能がもたらす影響が

is going to be truly, truly vast.

甚大になることも 想像に難くありません

And you may wonder:

そこで こんな疑問がわいてきます

Is it going to be OK when technology is so impactful?

テクノロジーにこれほどの影響力があって 大丈夫なのか？

And here my goal is to point out the existence of a force

今日の私の目標は

あまり知られていない力の存在を 皆さんにお話しすることです

that many of you may have not noticed,

that gives me hope that indeed,

この力を知れば

we will be happy with the result.

希望を抱いていただけると 思っています

So artificial intelligence.

人工知能（AI）ーー

What is it, and how does it work?

AIとは何で どう機能するのでしょうか？

Well, it turns out that it's very easy to explain

実のところ

how artificial intelligence works.

AIの説明は 非常に簡単です

Just one sentence.

（説明は）一文で十分

Artificial intelligence is nothing but digital brains

AIとは

大型コンピューター内の デジタル脳に過ぎません

inside large computers.

That's what artificial intelligence is.

それがAIです

Every single interesting AI that you've seen

素晴らしいAIでも これまでのAIは全て

is based on this idea.

このアイデアに基づいています

Over the decades,

何十年もの間

scientists and engineers have been figuring out

科学者やエンジニアによって

how such digital brains should work

デジタル脳の機能や

and how to build them, how to engineer them.

開発法や設計法が 研究されてきました

Now, I find it interesting

私が興味をひかれるのは

that the seat of intelligence in human beings is our biological brain.

人間の知能の座は 生まれ持った脳にあるということです

It is fitting that the seat of intelligence

AIの知能の座は 当然ながら

in artificial intelligence

is an artificial brain.

人工の脳にあるというわけです

Here, I'd like to take a digression and tell you about how I got into AI.

ここで 少し話題を変えて

私がAIに関心を持った理由について お話しします

There were three forces that pulled me into it.

３つのきっかけがありました

The first one was that when I was a little child,

１つ目は 子供の時のことです

at around the age of five or six,

５歳か６歳の頃

I was very struck by my own conscious experience,

あることを自覚し 衝撃を受けました

by the fact that I am me and I am experiencing things.

私が私であること 私が物事を経験していること

That when I look at things, I see them.

目を向けたものが 実際に見えることーー

Like, this feeling over time went away, though,

時間が経つにつれ この感覚は消えていきましたが

by simply mentioning it to you right now it comes back.

話すだけで 戻ってきます

But this this feeling of ...

でも この感覚ーー

That I am me, that you are you,

「私が私で あなたがあなたである」 ということは

I found it very strange and very disturbing almost.

私には奇妙で 不安にさえなりました

And so when I learned about artificial intelligence,

それで 人工知能を知った時

I thought, wow, if we could build a computer

賢いコンピューターを作ることができたら

that is intelligent,

maybe we will learn something about ourselves,

私たち人間の意識について 何かわかるかもしれないと思いました

about our own consciousness.

That was my first motivation that pulled me towards AI.

これが AIに関心を持った 最初のきっかけでした

The second motivation was more pedestrian in a way.

２つ目は もっと平凡な理由です

I was simply curious about how intelligence works.

単純に 知能の仕組みに 興味がありました

And when I was a teenager, an early teenager in the late '90s,

90年代後半 10代前半の頃

the sense that I got is that science simply did not know

科学が知能の仕組みを 全く解明していないと感じていました

how intelligence worked.

There was also a third reason,

３つ目の理由もあります

which is that it was clear to me back then

当時 すでに 確信していたことで

that artificial intelligence,

人工知能が機能すれば

if it worked, it would be incredibly impactful.

信じられないほど 影響力を持つと考えていました

Now, it wasn't at all obvious

明確なことなど何もなく

that it will be possible to make progress in artificial intelligence,

人工知能の開発が可能かどうかも わかっていませんでしたが

but if it were possible to make progress in artificial intelligence,

開発が可能であれば

that would be incredibly impactful.

甚大な影響力があると確信していました

So these were the three reasons that pulled me towards AI.

この３つが AIに関心を持った理由です

That's why I thought that's a great area to spend all my efforts on.

だからこそ 人生を賭けるほど 素晴らしい分野だと思ったのです

So now let's come back to our artificial intelligence,

では AIの話に戻りましょう

the digital brains.

デジタル脳の話です

Today, these digital brains

現在 デジタル脳は

are far less smart than our biological brains.

人間の脳に比べると 賢さは はるかに劣ります

When you speak to an AI chat bot,

AIチャットボットに話しかける時

you very quickly see that it's not all there,

全てを理解してくれていないことに すぐに気づきます

that it's, you know,

実際のところ

it understands mostly, sort of.

ほぼ 理解はしています

But you can clearly see that there are so many things it cannot do

しかし 多くのことができないのは 明らかであり

and that there are some strange gaps.

奇妙な食い違いが起こります

But this situation, I claim, is temporary.

しかし いずれは解決することだと 私は考えています

As researchers and engineers continue to work on AI,

研究者やエンジニアがAIの研究を続ければ

the day will come when the digital brains that live inside our computers

コンピューター内のデジタル脳が

will become as good and even better than our own biological brains.

人間の脳と同じくらいか それ以上の能力を持つようになるでしょう

Computers will become smarter than us.

コンピューターは 人間よりも 賢くなるのです

We call such an AI an “AGI,” artificial general intelligence.

このレベルのAIは 「汎用人工知能（AGI）」と呼ばれます

When we can say that the level at which we can teach the AI to do anything

私や他の人々ができる 全てのことを

that, for example, I can do, or someone else.

人間に教わり 習得できるレベルのAIです

So although AGI does not exist today,

現在 AGIは存在しませんが

we can still gain a little bit of an insight

AGIが完成した時に 引き起こす影響について

into the impact of AGI once it's built.

いくらか予想することはできます

It is completely obvious

言うまでもないのは

that such an AGI will have a dramatic impact

AGIが与える影響は甚大であり

on every area of life, of human activity and society.

人間の活動や社会のあらゆる領域に 変化をもたらすことです

And I want to go over a quick case study.

ここで 具体的な事例を見てみましょう

This is a narrow example of a very, very broad technology.

非常に広範な技術の中の 一つの小さな例ですが

The example I want to present is health care.

今日お話ししたい分野は医療です

Many of you may have had the experience of trying to go to a doctor.

ここにいる多くの皆さんは 医者に行こうとした経験があると思います

You need to wait for many months sometimes,

時には何ヶ月も待たなくてはいけません

and then when you do get to see a doctor, you get a small,

やっと医者に診てもらえると思っても

very limited amount of time with the doctor

医者と接する時間は ほんの短い時間です

and furthermore, the doctor, being only human,

医者は人間に過ぎないので

can have only limited knowledge of all this,

医学の全てに精通している わけではありません

all the medical knowledge that exists.

And then by the end of it, you get a very large bill.

そして結末は 非常に高額な医療費の請求です

(Laughter)

（笑）

Well, if you have an intelligent computer, an AGI, that is built to be a doctor,

賢いコンピューター つまりAGIが 医者になるように作られていれば

it will have complete and exhaustive knowledge of all medical literature.

全ての医学文献から 完全かつ網羅的な知識が持てるのです

It will have billions of hours of clinical experience,

数十億時間もの臨床経験も重ね

and it will be always available and extremely cheap.

いつでも診療可能で 非常に安価です

When this happens,

これが現実になった時の

we will look back at today's health care

現代の医療のイメージは

similarly to how we look at 16th century dentistry.

今 16世紀の歯医者を 振り返るのと同じ感覚でしょう

(Laughter)

（笑）

You know, when they tied people with belts and then have this drill,

ベルトで縛りつけられて ドリルで治療を受けるのが

that's how today's health care will look like.

現代の医療のイメージですね

And again, to emphasize, this is just one example.

これは 何度も言いますが ほんの一例です

This is just one example.

氷山の一角なのです

AGI will have dramatic and incredible impact

AGIは 途方もない規模の影響を

on every single area of human activity.

人間活動の全てに 与えることになるのです

But when you see impact this large, you may wonder, "Gosh,

しかし これほど大規模の影響が あると知ると

行き過ぎでないかと思うでしょう

isn't this technology too impactful?"

And indeed, for every positive application of AGI,

もちろん 有益な用途がある一方で

there will be a negative application as well.

有害な用途もあり得ます

This technology is also going to be different

この技術はまた

従来 慣れ親しんできたものとは異なり

from technologies that we are used to,

because it will have the ability to improve itself.

自力でアップグレードする能力を持っています

It is possible to build an AGI

次世代の AGIを造ってしまうような

that will work on the next generation of AGI.

AGIを構築することだって可能です

The closest analogue we have to this kind of rapid technological improvement

これほど急速な技術発展に 最も近い例は

is when the Industrial Revolution has taken place, where humans,

産業革命でしょう

生活環境や経済状況に大きな変化が なかった社会を

the material condition of human society, was very, very constant.

And then it was a rapid increase, rapid growth.

急激に発展させた変革です

With AGI,

AGIによって 同様の現象が起こると予想できますが

something like this could happen again, but on a shorter timescale.

今度は短期間になるでしょう

And then furthermore,

さらに 新たな懸念も生じます

there are concerns around

if an AGI ever becomes very, very powerful,

AGIは 非常に強力になると 考えられていますが

which is possible,

maybe it will want to go rogue being that it is an agent.

自律的に動作するため 悪党になる可能性もあります

So this is a concern that exists with this unprecedented,

技術としては まだ未完成で 前例がないため

not yet existing technology.

懸念を抱くのは当然です

And indeed,

確かに AGIには

you look at all the positive potential of AGI

プラスの側面が多くあると同時に

and all the concerning possibilities of AGI as well,

マイナスの側面も多くあり

and you may say, "Gosh, where is this all headed?"

「どこに向かっているんだ？」 と言いたくなるでしょう

One of my motivations in creating OpenAI was,

私がOpenAI を創設したのは

in addition to developing this technology,

技術の開発をしたい という動機のほかに

was also to address the questions

AGIが引き起こす恐れがある 難しい問題に対処しなければという

that are posed by AGI, the difficult questions,

the concerns that we raised.

思いがあったからです

In addition to working with governments

現在 行政に協力し

and helping them understand what is coming and prepare for it,

想定される事態を理解し それに備えるため サポートをしています

we are also doing a lot of research

また 多くの研究も行っており

on addressing the technological side of things,

技術面で対処できるよう取り組んでいます

so that the AI will never want to go rogue.

意思を持ったAIが 悪党にならないためです

And this is something which I’m working on as well.

以上が 技術開発以外に 今 取り組んでいることです

But I think, the thing to note,

ここで注目すべきは

because AI and AGI is really the only area of the economy

AIとAGIは 経済の中でも特殊で

where there is a lot of excitement, a lot of investment,

大きな期待から 多額の投資が行われ

everyone is working on it,

至る所で取り組まれていることです

there's a huge number of labs in the world trying to build the same thing.

同じものの構築を目指す研究所が 世界中にあふれています

Even if OpenAI takes these desirable steps that I mentioned,

OpenAIが 今言ったような 望ましいステップを踏んだとしても

what about the rest of the companies and the rest of the world?

世界中の他の企業 さらにそれ以外の人々はどうでしょうか？

And this is where I want to make my observation

ここで 最初に示した 今日の主題である

about the force that exists.

「力」の存在についての話になります

The observation is this: consider the world one year ago,

まずは ほんの１年前を 思い出してみてください

as recently as one year ago.

People weren't really talking about AI, not in the same way at all.

AIについて語る時 今と同じ内容ではなかったはずです

What happened?

何が起きたのでしょうか？

We all experienced what it's like to talk to a computer and to be understood.

コンピューターに話しかけて 理解してもらう経験はありました

The idea that computers will become really intelligent

コンピューターがとても賢くなり

and eventually more intelligent than us is becoming widespread.

そのうち 人間を抜くであろうという考えが 広まりました

It used to be a niche idea that only a few enthusiasts

この考えは かつては 一部のAIファンの間で

and hobbyists and people who were very into AI were thinking about.

盛り上がっていた話題でした

But now everyone is thinking about it.

しかし 今では 誰もが関心を持っています

And as the AI continues to make progress,

AIが進歩し続け

as technology continues to advance,

技術が発展し続けるにつれて

as more and more people see what AI can do

AIに何ができるか 将来どうなるのかを

and where it is headed towards,

より多くの人が 考えるようになり

then it will become clear just how dramatic,

劇的で驚異的となることに 気づいています

incredible and ...

almost fantastical AGI is going to be

今はまだ 空想の世界のAGIですが

and how much trepidation is appropriate.

どれほど恐れるべきなのでしょうか

And what I claim will happen is that people will start to act

私が予測しているのは 人々が 利己主義から抜け出し

in unprecedentedly collaborative way out of their own self-interest.

かつてないほど 協力し合い 行動し始めるということです

It's already happening right now.

実は もうすでに 始まっています

You see the leading AGI companies starting to collaborate

AGIの主要企業が集結し設立した

for a specific example, through the Frontier Model Forum.

フロンティア・モデル・フォーラムが その一例です

And we will expect that companies that are competitors

さらに 競合企業が協力して

AIの安全性を確保するため 技術情報を共有するでしょう

will share technical information to make their AIs safe.

We may even see governments do this.

行政も取り組むかもしれません

For another example,

OpenAIでは

at OpenAI, we really believed in how dramatic AGI is going to be.

AGIが劇的に進化することを 確信していたので

So one of the ideas that we were operating by,

経営指針の一つとして

and it's been written on our website for five years now,

５年前からウェブサイトに 書いていることですが

that when technology gets such that we are very, very close to AGI,

技術がAGIに限りなく近づいて

to computers smarter than humans,

コンピューターが人間より賢くなり

and if some other company is far ahead of us,

別の企業に大きくリードされた時

then rather than compete with them,

競争しようとするのではなく

we will help them out, join them, in a sense.

その企業に協力し 統合してもいいと考えています

And why do that?

なぜだと思いますか？

Because we feel, we appreciate

AGIが驚異的になることを

how incredibly dramatic AGI is going to be.

喜ばしく思うからです

And my claim is that with each generation of capability advancements,

AIの各世代に言えることですが

as AI gets better

AIの進歩とともに

and as all of you experience what AI can do,

全ての人々がAIの能力を経験し

as people who run AI efforts and AGI efforts

AIやAGIの運用や開発に携わる人々も

and people who work on them will experience it as well,

同じく経験をしていきます

this will change the way we see AI and AGI,

経験の積み重ねにより AIやAGIに対する考えに変化が起き

and that will change collective behavior.

協力し始めるようになるのです

And this is an important reason

これが 私が 希望を持つ理由で

why I'm hopeful

that despite the great challenges that's posed by this technology,

この技術がもたらす困難が大きくても

we will overcome them.

乗り越えられるのです

Thank you.

ご清聴ありがとうございました

(Applause)

（拍手）