How to Keep AI Under Control | Max Tegmark | TED

翻訳: sola watanabe 校正: Eriko Tsukamoto

Five years ago,

5年前

I stood on the TED stage

私はTEDのステージに立ち

and warned about the dangers of superintelligence.

超知能の危険性について 警告しましたが

I was wrong.

間違っていました

It went even worse than I thought.

想像以上に悪い方向へ 進んでいたのです

(Laughter)

(笑)

I never thought governments would let AI companies get this far

有意義な規制もない状態で 政府がAI企業に

without any meaningful regulation.

ここまで成長を許すとは 思いもしませんでした

And the progress of AI went even faster than I predicted.

AIの進歩は私の予測よりも さらに速かったのです

Look, I showed this abstract landscape of tasks

このような抽象的な風景を お見せしました

where the elevation represented how hard it was for AI

地理の高低は 人間の能力のレベルに対して

to do each task at human level.

AIが各タスクを成し遂げるのが どれほど難しいかを示しています

And the sea level represented what AI could be back then.

そして海面レベルは 当時のAIの可能性を表していました

And boy or boy, has the sea been rising fast ever since.

なんとまあ それ以来 海面はどんどん上昇していますね

But a lot of these tasks have already gone blub blub blub blub blub blub.

しかし 多くのタスクは すでに水に浸かっています ブクブク

And the water is on track to submerge all land,

そして 海水は陸地を水没させる勢いで

matching human intelligence at all cognitive tasks.

あらゆる認知活動において 人間の知能に匹敵しました

This is a definition of artificial general intelligence, AGI,

こちらは汎用人工知能(AGI)の定義です

which is the stated goal of companies like OpenAI,

そしてこれは次のような企業が 掲げている目標です OpenAI社

Google DeepMind and Anthropic.

Google DeepMind社や Anthropic社などです

And these companies are also trying to build superintelligence,

また この企業は 人間の知能を遠く置き去りにして

leaving human intelligence far behind.

超知能を構築しようとしています

And many think it'll only be a few years, maybe, from AGI to superintelligence.

AGIから超知能まで おそらく数年で 実現可能と多くの人が考えています

So when are we going to get AGI?

ではAGIはいつ実現するのでしょう?

Well, until recently, most AI researchers thought it was at least decades away.

つい最近まで AI研究者のほとんどは 少なくとも数十年先のことだと考えていました

And now Microsoft is saying, "Oh, it's almost here."

そして今 マイクロソフト社は 「もうすぐだ」と言及しています

We're seeing sparks of AGI in ChatGPT-4,

ChatGPT-4ではAGI誕生の 火花が散っていますね

and the Metaculus betting site is showing the time left to AGI

Metaculusベッティングサイトでは AGIが実現するまでの時間は

plummeting from 20 years away to three years away

あと20年から3年にまで 急激に短くなっています

in the last 18 months.

この１年半の間にです

And leading industry people are now predicting

そして業界の第一人者たちは 今 こう予測しています

that we have maybe two or three years left until we get outsmarted.

私たちが出し抜かれるまでに あと２～３年だろうと

So you better stop talking about AGI as a long-term risk,

ですからAGIを長期的なリスクと考えるのは やめたほうがいいでしょう

or someone might call you a dinosaur stuck in the past.

さもなければ あなたは過去にとらわれた 恐竜だと言われても仕方ない

It's really remarkable how AI has progressed recently.

最近のAIの進歩には 目を見張るものがあります

Not long ago, robots moved like this.

少し前までは ロボットはこのように動いていました

(Music)

(音楽)

Now they can dance.

今では踊ることができます

(Music)

(音楽)

Just last year, Midjourney produced this image.

ちょうど昨年 Midjourneyが この画像を生成しました

This year, the exact same prompt produces this.

今年 まったく同じプロンプトで こちらを生成しました

Deepfakes are getting really convincing.

ディープフェイクの説得力が 格段に増しています

(Video) Deepfake Tom Cruise: I’m going to show you some magic.

(動画) ディープフェイクのトム・クルーズ: 魔法をお見せしましょう

It's the real thing.

本物だよ

(Laughs)

(笑)

I mean ...

つまり...

It's all ...

全部は...

the real ...

本物の...

thing.

モノです

Max Tegmark: Or is it?

ホンモノでしょうか?

And Yoshua Bengio now argues

そして今 ヨシュア・ベンジオは こう主張しています

that large language models have mastered language

大規模な言語モデルは チューリングテストに合格するほど

and knowledge to the point that they pass the Turing test.

言語と知識を習得していると

I know some skeptics are saying,

懐疑論者がこう言うのも分かります

"Nah, they're just overhyped stochastic parrots

「いや それは単なる確率によるオウム返しで

that lack a model of the world,"

世界のモデル的理解がない」 という人もいるでしょうが

but they clearly have a representation of the world.

AIは明らかに世界を表現しています

In fact, we recently found that Llama-2 even has a literal map of the world in it.

実際 最近Llama-2が文字通りの 世界地図を内蔵していることが分かりました

And AI also builds

さらにAIは

geometric representations of more abstract concepts

より抽象的な概念を 幾何学的に表現することもできます

like what it thinks is true and false.

「何が真で偽か」といった判断です

So what's going to happen if we get AGI and superintelligence?

私たちがAGIと超知性を 手に入れたらどうなるのでしょう

If you only remember one thing from my talk, let it be this.

このトークで ひとつだけ覚えておいてください

AI godfather, Alan Turing predicted

AIの生みの親であるアラン・チューリングは

that the default outcome is the machines take control.

機械が支配権を握ることは 既に決まっていると予言しました

The machines take control.

機械が支配権を握るのです

I know this sounds like science fiction,

SFのように聞こえるかもしれませんが

but, you know, having AI as smart as GPT-4

GPT-4のような賢いAIも

also sounded like science fiction not long ago.

少し前まではSFのようでした

And if you think of AI,

もしあなたがAIについて考えて

if you think of superintelligence in particular, as just another technology,

特に超知能については電気のような 単なるテクノロジーに過ぎないと考えれば

like electricity,

特に超知能については電気のような 単なるテクノロジーに過ぎないと考えれば

you're probably not very worried.

心配はしないでしょう

But you see,

でもほら

Turing thinks of superintelligence more like a new species.

チューリングは超知能を 新しい種のようにとらえています

Think of it,

考えてみてください

we are building creepy, super capable,

私たちは不気味かつ とても有能な

amoral psychopaths

非道徳的なサイコパスを作っていると

that don't sleep and think much faster than us,

寝ずに 私たちよりはるかに速く思考し

can make copies of themselves

自分自身のコピーを作れます

and have nothing human about them at all.

人間らしさは全くないです

So what could possibly go wrong?

素晴らしいに決まってるでしょ?

(Laughter)

(笑)

And it's not just Turing.

チューリングだけではありません

OpenAI CEO Sam Altman, who gave us ChatGPT,

ChatGPTを開発した OpenAI社のCEO サム・アルトマンは

recently warned that it could be "lights out for all of us."

最近 「私たち全員にとっての終焉」になると 警告しました

Anthropic CEO, Dario Amodei, even put a number on this risk:

Anthropic社のCEOダリオ・アモデイは このリスクについて

10-25 percent.

10-25％という数字まで出しています

And it's not just them.

そして それは彼らだけではない

Human extinction from AI went mainstream in May

5月にAIによる人類の絶滅の話が 表に出たのは

when all the AGI CEOs and who's who of AI researchers

AGIのCEOやAI研究者たちがこぞって

came on and warned about it.

警告を発したからです

And last month, even the number one of the European Union

そして先月 欧州連合(EU)の 主要国のナンバーワンですら

warned about human extinction by AI.

AIによる人類絶滅を警告しました

So let me summarize everything I've said so far

さて ここまでの話を

in just one slide of cat memes.

猫のミームのスライド1枚に まとめてみましょう

Three years ago,

３年前

people were saying it's inevitable, superintelligence,

人々はこう言っていました 超知能は避けられない

it'll be fine,

大丈夫だ

it's decades away.

何十年も先の話だと

Last year it was more like,

昨年はさらに

It's inevitable, it'll be fine.

避けられないが大丈夫 という感じでした

Now it's more like,

今は

It's inevitable.

避けられない という状態です

(Laughter)

(笑)

But let's take a deep breath and try to raise our spirits

でも 深呼吸をして 気楽に

and cheer ourselves up,

元気を出しましょう

because the rest of my talk is going to be about the good news,

なぜなら ここからは良い話だからです

that it's not inevitable, and we can absolutely do better,

必然的ではなく 絶対にもっとうまくやれることです

alright?

よろしいですか?

(Applause)

(拍手)

So ...

つまり...

The real problem is that we lack a convincing plan for AI safety.

本当の問題は AIの安全性について 納得のいく計画がないことです

People are working hard on evals

人々はAIが危険な行動をしないか

looking for risky AI behavior, and that's good,

懸命に検証しています これは良いことですが

but clearly not good enough.

十分とは到底いえません

They're basically training AI to not say bad things

AIは基本的に悪いことを言わないように 訓練されています

rather than not do bad things.

悪事を働かないように というよりも

Moreover, evals and debugging are really just necessary,

さらに 検証とデバッグは 必要条件であって

not sufficient, conditions for safety.

安全性のためには 十分な条件とはいえません

In other words,

つまり

they can prove the presence of risk,

リスクの存在は証明できても

not the absence of risk.

リスクがない証明はできません

So let's up our game, alright?

ということで もっと頑張りましょう

Try to see how we can make provably safe AI that we can control.

管理ができて 安全が証明できるAIを どうしたらつくれるかやってみましょう

Guardrails try to physically limit harm.

ガードレールは物理的に 被害を抑えるものです

But if your adversary is superintelligence

しかし もし敵が超知能生命体や

or a human using superintelligence against you, right,

超知能生命体を利用する人間なら

trying is just not enough.

努力するだけでは足りません

You need to succeed.

成功は絶対必要です

Harm needs to be impossible.

危害がないようにする必要があります

So we need provably safe systems.

だから証明可能な安全システムが必要なのです

Provable, not in the weak sense of convincing some judge,

証明可能というのは 裁判官を納得するという弱い意味ではなく

but in the strong sense of there being something that's impossible

物理的に不可能だという

according to the laws of physics.

強い意味においてです

Because no matter how smart an AI is,

なぜなら AIがどんなに賢くても

it can't violate the laws of physics and do what's provably impossible.

物理の法則に反し おそらく不可能なことはできません

Steve Omohundro and I wrote a paper about this,

スティーブ・オモハンドロと私は このことについて論文を書き

and we're optimistic that this vision can really work.

このビジョンが本当に機能すると 楽観的に考えています

So let me tell you a little bit about how.

では その方法について少しお話ししましょう

There's a venerable field called formal verification,

形式的検証という由緒ある分野があります

which proves stuff about code.

これはコードの正誤を証明するものです

And I'm optimistic that AI will revolutionize automatic proving business

そして私は AIが自動の正誤証明を革新し

and also revolutionize program synthesis,

プログラム合成にも革命を起こすだろうと 楽観視しています

the ability to automatically write really good code.

それは本当に良いコードを 自動で書くという能力です

So here is how our vision works.

私たちのビジョンはこうです

You, the human, write a specification

人間であるあなたは仕様を書きます

that your AI tool must obey,

それは AIツールが従うべきものです

that it's impossible to log in to your laptop

正しいパスワードなしで

without the correct password,

ノートパソコンにログインできなくしたり

or that a DNA printer cannot synthesize dangerous viruses.

DNAプリンターが危険なウイルスを 合成できないようにしたりします

Then a very powerful AI creates both your AI tool

そうすると非常に強力なAIが

and a proof that your tool meets your spec.

AIツールとツールが 仕様に合致している証拠の両方を生成します

Machine learning is uniquely good at learning algorithms,

機械学習はアルゴリズムを 学習することに長けていますが

but once the algorithm has been learned,

一度 学習したアルゴリズムは

you can re-implement it in a different computational architecture

検証しやすい別の計算機アーキテクチャで

that's easier to verify.

検証することができます

Now you might worry,

こう心配するかもしれません

how on earth am I going to understand this powerful AI

この強力なAIとAIが構築したAIツールを

and the powerful AI tool it built

一体どのように理解すればいいのだろう

and the proof,

それが人間には理解できないほど

if they're all too complicated for any human to grasp?

複雑だと思うかもしれません

Here is the really great news.

ここからが本当に素晴らしい話です

You don't have to understand any of that stuff,

そんなものを理解する必要はないんです

because it's much easier to verify a proof than to discover it.

証明を発見するより検証する方が はるかに簡単だからです

So you only have to understand or trust your proof-checking code,

つまり 理解や信頼が必要なのは 証明チェックのコードだけです

which could be just a few hundred lines long.

数百行もの証明チェック・コードだけなのです

And Steve and I envision

スティーブと私はこう考えています

that such proof checkers get built into all our compute hardware,

このようなデジタル校正ソフトウェアが全て 計算ハードウェアに組み込まれたら

so it just becomes impossible to run very unsafe code.

危険なコードを実行できなくなります

What if the AI, though, isn't able to write that AI tool for you?

もしAIがあなたにそのような AIツールを書けなかったら

Then there's another possibility.

別の方法があります

You train an AI to first just learn to do what you want

まずあなたが望むことを AIに学習させます

and then you use a different AI

その後 別のAIを使用し

to extract out the learned algorithm and knowledge for you,

学習したアルゴリズムや知識を 抽出してもらいます

like an AI neuroscientist.

AI神経科学者のように

This is in the spirit of the field of mechanistic interpretability,

これは機械論的解釈可能性という 分野の精神に基づくもので

which is making really impressive rapid progress.

実に素晴らしく 急速な進歩を遂げています

Provably safe systems are clearly not impossible.

証明できる安全なシステムの構築は可能です

Let's look at a simple example

簡単な例を見てみましょう

of where we first machine-learn an algorithm from data

まずデータからアルゴリズムを機械学習し

and then distill it out in the form of code

それを仕様に沿った

that provably meets spec, OK?

コードという形で抽出します

Let’s do it with an algorithm that you probably learned in first grade,

おそらく小学校１年生で習うような アルゴリズムです

addition,

足し算は

where you loop over the digits from right to left,

右から左へ桁を反復して

and sometimes you do a carry.

ときに桁上げします

We'll do it in binary,

２進数でやってみましょう

as if you were counting on two fingers instead of ten.

あたかも10本ではなく ２本の指で数えるように

And we first train a recurrent neural network,

リカレント・ニューラル・ネットワークを 次に訓練します

never mind the details,

細かいことは気にしないで

to nail the task.

このタスクに取り組みます

So now you have this algorithm that you don't understand how it works

この仕組みを理解しなくていい アルゴリズムは

in a black box

ブラックボックスに入っています

defined by a bunch of tables of numbers that we, in nerd speak,

数字の表で定義させているもので オタク用語で

call parameters.

パラメータと呼んでいます

Then we use an AI tool we built to automatically distill out from this

次に私たちが開発したAIツールで 学習したアルゴリズムを

the learned algorithm in the form of a Python program.

Pythonプログラムで自動的に抽出します

And then we use the formal verification tool known as Daphne

次にDaphneという形式的検証の手法で

to prove that this program correctly adds up any numbers,

このプログラムが 学習データにあった数字だけでなく

not just the numbers that were in your training data.

どんな数字でも 正しく足し算できることを証明します

So in summary,

つまり

provably safe AI, I'm convinced is possible,

証明可能で安全なAIはできると 私は確信していますが

but it's going to take time and work.

それには時間と労力がかかるということです

And in the meantime,

多くの人々が期待している

let's remember that all the AI benefits

AIの利点は

that most people are excited about

ほとんどの人が 楽しみなことでもありますが

actually don't require superintelligence.

実は超知能は必要しないと 覚えておきましょう

We can have a long and amazing future with AI.

AIによって長く素晴らしい未来を 手に入れることができるのです

So let's not pause AI.

AIの開発は止めなくてもいいのです

Let's just pause the reckless race to superintelligence.

止めないといけないのは 超知能への無謀な競争です

Let's stop obsessively training ever-larger models

私たちが理解できない これまでになく 大きなモデルを執拗に訓練するのは

that we don't understand.

やめましょう

Let's heed the warning from ancient Greece

古代ギリシャからの警告に耳を傾け

and not get hubris, like in the story of Icarus.

イカロスの物語のような 思い上がりはやめましょう

Because artificial intelligence

なぜなら 人工知能は

is giving us incredible intellectual wings

素晴らしい知の翼を授けてくれます

with which we can do things beyond our wildest dreams

私たちの想像は超えられます

if we stop obsessively trying to fly to the sun.

太陽に向かって 無理やり飛ぼうとしなければです

Thank you.

ありがとうございます

(Applause)

(拍手)