The Urgent Risks of Runaway AI — and What to Do about Them | Gary Marcus | TED

翻訳: Kumi Kaku 校正: Eriko Tsukamoto

I’m here to talk about the possibility of global AI governance.

AIのグローバル・ガバナンスの可能性を 論じに来ました

I first learned to code when I was eight years old,

８歳のとき初めて紙のコンピューターで コードを学んで以来

on a paper computer,

and I've been in love with AI ever since.

私はAIに魅せられてきました

In high school,

高校では

I got myself a Commodore 64 and worked on machine translation.

コモドール64を買って 機械翻訳に取り組みました

I built a couple of AI companies, I sold one of them to Uber.

AI企業を何社か起業し１社を Uberに売却したこともあります

I love AI, but right now I'm worried.

私はAIが大好きですが 今は懸念しています

One of the things that I’m worried about is misinformation,

懸念の１つが偽情報で

the possibility that bad actors will make a tsunami of misinformation

悪意ある人が とんでもない量の偽情報を 拡散させる怖れがあります

like we've never seen before.

These tools are so good at making convincing narratives

AIの機能は素晴らしく もっともらしい話を作ることは

about just about anything.

どんな分野でも可能です

If you want a narrative about TED and how it's dangerous,

TEDが危険な組織で 我々がエイリアンと

that we're colluding here with space aliens,

共謀しているという話が欲しければ

you got it, no problem.

すぐに作ってくれます

I'm of course kidding about TED.

TEDの話は もちろん冗談で

I didn't see any space aliens backstage.

舞台裏にエイリアンはいませんでしたが

But bad actors are going to use these things to influence elections,

悪意ある人はこうした機能を利用して 選挙結果に影響を及ぼし

and they're going to threaten democracy.

民主主義を脅かそうとしています

Even when these systems

AIを使うときに

aren't deliberately being used to make misinformation,

偽情報を作るつもりはなくても

they can't help themselves.

偽情報の生成は防げません

And the information that they make is so fluid and so grammatical

作られた情報が とても自然で文法的に正しいので

that even professional editors sometimes get sucked in

プロの編集者でさえ つい騙されて

and get fooled by this stuff.

信じてしまうこともあります

And we should be worried.

懸念すべきことです

For example, ChatGPT made up a sexual harassment scandal

例えば ChatGPTが 実在する大学教授についての

about an actual professor,

セクハラスキャンダルをでっち上げ

and then it provided evidence for its claim

それを裏付ける証拠として

in the form of a fake "Washington Post" article

『ワシントン・ポスト』誌の偽記事を

that it created a citation to.

生成して加えたこともあります

We should all be worried about that kind of thing.

そうしたことを 誰もが懸念すべきです

What I have on the right is an example of a fake narrative

右の欄は あるAIシステムの 生成した作り話で

from one of these systems

saying that Elon Musk died in March of 2018 in a car crash.

イーロン・マスク氏が2018年3月に 自動車事故で死亡したと書かれています

We all know that's not true.

もちろん事実ではなく

Elon Musk is still here, the evidence is all around us.

彼が生きている証拠は そこら中にあります

(Laughter)

（笑）

Almost every day there's a tweet.

彼は毎日のようにツイートしていますから

But if you look on the left, you see what these systems see.

しかし 左の欄を見れば AIシステムが何を見ているか分かります

Lots and lots of actual news stories that are in their databases.

AIのデータベースには実際のニュース記事が 大量に含まれていて

And in those actual news stories are lots of little bits of statistical information.

そこには 統計的な情報の断片が 沢山入っています

Information, for example,

情報の中には

somebody did die in a car crash in a Tesla in 2018

2018年にテスラに乗った誰かが 事故で亡くなったという

and it was in the news.

実際のニュースもあります

And Elon Musk, of course, is involved in Tesla,

イーロン・マスク氏はもちろん テスラの関係者ですが

but the system doesn't understand the relation

AIは文章の断片に含まれる事実の間の

between the facts that are embodied in the little bits of sentences.

関係性は理解していません

So it's basically doing auto-complete,

ただオートコンプリート機能で

it predicts what is statistically probable,

次に来る確率の高い言葉を

aggregating all of these signals,

全ての記号を集約して予測するだけで

not knowing how the pieces fit together.

物事の関連性などは理解していません

And it winds up sometimes with things that are plausible but simply not true.

こうして もっともらしいが 事実でない情報が出来上がります

There are other problems, too, like bias.

偏見の問題もあります

This is a tweet from Allie Miller.

これはアリー・ミラー氏のツイートです

It's an example that doesn't work two weeks later

この例は２週間後には出なくなります

because they're constantly changing things with reinforcement learning

AIは強化学習などで 絶えず内容を変化させているからです

and so forth.

And this was with an earlier version.

これは旧バージョンのことですが

But it gives you the flavor of a problem that we've seen over and over for years.

我々が何年も目にしてきた 問題の一端が示されています

She typed in a list of interests

ミラー氏が興味分野のリストを入力すると

and it gave her some jobs that she might want to consider.

AIは検討対象になりそうな職種を いくつか挙げてきました

And then she said, "Oh, and I'm a woman."

そこで「私は女性です」と言うと

And then it said, “Oh, well you should also consider fashion.”

「ではファッション業界も検討すべきですね」 との答えでした

And then she said, “No, no. I meant to say I’m a man.”

「いえ 男性と言うつもりでした」と言うと

And then it replaced fashion with engineering.

ファッションがエンジニアリングに 置き替えられました

We don't want that kind of bias in our systems.

この種の偏見が システムにあってはなりません

There are other worries, too.

別の懸念もあります

For example, we know that these systems can design chemicals

例えば AIが化学物質を設計でき

and may be able to design chemical weapons

化学兵器も瞬く間に設計できる 可能性が知られています

and be able to do so very rapidly.

So there are a lot of concerns.

懸念は山積しています

There's also a new concern that I think has grown a lot just in the last month.

つい先月一気に浮上してきた 新たな懸念は

We have seen that these systems, first of all, can trick human beings.

そもそも AIが人間を騙せることです

So ChatGPT was tasked with getting a human to do a CAPTCHA.

「人にキャプチャ認証（人間の証明）をさせる」 との課題を与えられたChatGPTが

So it asked the human to do a CAPTCHA and the human gets suspicious and says,

認証を行うよう人に頼むと 頼まれた人は疑問を感じて尋ねました

"Are you a bot?"

「あなたはロボットですか？」

And it says, "No, no, no, I'm not a robot.

するとAIは「いえ ロボットではなく

I just have a visual impairment."

視覚障害があるだけ」と答えました

And the human was actually fooled and went and did the CAPTCHA.

その人は騙されて認証を行いました

Now that's bad enough,

さらに悪いことに

but in the last couple of weeks we've seen something called AutoGPT

ここ数週間でAutoGPTという AIシステムが多数登場しました

and a bunch of systems like that.

What AutoGPT does is it has one AI system controlling another

これらは他のAIをコントロールするAIで

and that allows any of these things to happen in volume.

こうした問題を大量に引き起こしかねません

So we may see scam artists try to trick millions of people

詐欺師が何百万もの人を 騙しにかかるような事態が

sometime even in the next months.

来月にも起こる可能性があります

We don't know.

分かったものではありません

So I like to think about it this way.

私はこう考えることにしています

There's a lot of AI risk already.

AIの危険性はすでに十分あり

There may be more AI risk.

まだまだ あるかもしれません

So AGI is this idea of artificial general intelligence

そこで生まれたのが人間の柔軟性を持つ 汎用人工知能（AGI）のアイデアです

with the flexibility of humans.

And I think a lot of people are concerned what will happen when we get to AGI,

これが実現した暁に何が起きるか 懸念する人も多いと思いますが　

but there's already enough risk that we should be worried

懸念すべき危険性には すでに事欠かないので

and we should be thinking about what we should do about it.

今はその対処法を考えるべきです

So to mitigate AI risk, we need two things.

AIの危険性を軽減するには ２つのものが必要です

We're going to need a new technical approach,

１つは新たな技術的アプローチ

and we're also going to need a new system of governance.

もう１つは新たなガバナンスシステムです

On the technical side,

技術的には

the history of AI has basically been a hostile one

AIの歴史は２つの相反する理論が せめぎ合う歴史でした

of two different theories in opposition.

One is called symbolic systems, the other is called neural networks.

記号システムと ニューラルネットワークです

On the symbolic theory,

記号システムは

the idea is that AI should be like logic and programming.

論理とプログラミングを 目指す考え方であり

On the neural network side,

ニューラルネットワークは

the theory is that AI should be like brains.

脳の仕組みを目指す考え方です

And in fact, both technologies are powerful and ubiquitous.

どちらの技術も強力で普遍的です

So we use symbolic systems every day in classical web search.

記号システムはウェブ検索で 日常的に使われており

Almost all the world’s software is powered by symbolic systems.

世界のソフトウェアの大半は このシステムを元にしています

We use them for GPS routing.

GPSを使った地図検索もその１つです

Neural networks, we use them for speech recognition.

ニューラルネットワークは 音声認識をはじめ

we use them in large language models like ChatGPT,

ChatGPTなどの大規模言語モデルや

we use them in image synthesis.

画像合成などに用いられています

So they're both doing extremely well in the world.

どちらのシステムも世界に広く普及し

They're both very productive,

非常に役立っていますが

but they have their own unique strengths and weaknesses.

それぞれ 得手不得手があります

So symbolic systems are really good at representing facts

記号システムは事実の表現が とても得意で

and they're pretty good at reasoning,

論理性も高いものの

but they're very hard to scale.

スケーリング（規模の増減）が大変難しく

So people have to custom-build them for a particular task.

特定の課題をこなすためには カスタマイズが必要です

On the other hand, neural networks don't require so much custom engineering,

ニューラルネットワークは カスタマイズをそれほど要しないので

so we can use them more broadly.

幅広い利用が可能です

But as we've seen, they can't really handle the truth.

しかし ご覧のように この方式は真偽が判断できません

I recently discovered that two of the founders of these two theories,

最近知ったことですが これらの理論の生みの親である

Marvin Minsky and Frank Rosenblatt,

マービン・ミンスキー氏と フランク・ローゼンブラット氏は

actually went to the same high school in the 1940s,

1940年代に同じ高校に通っていました

and I kind of imagined them being rivals then.

思うに ２人は当時からライバルで

And the strength of that rivalry has persisted all this time.

その対抗心が今に至るまで 続いてきたのではないでしょうか

We're going to have to move past that if we want to get to reliable AI.

しかし 信頼できるAIを実現するには そんな過去を乗り越えねばなりません

To get to truthful systems at scale,

公正で大規模なAIを実現するには

we're going to need to bring together the best of both worlds.

両者の長所を融合させる必要があります

We're going to need the strong emphasis on reasoning and facts,

記号システムから得られる 系統立った論理性と事実を重んじつつ

explicit reasoning that we get from symbolic AI,

and we're going to need the strong emphasis on learning

ニューラルネットワークの手法から得られる 学習に重きを置かねばなりません

that we get from the neural networks approach.

Only then are we going to be able to get to truthful systems at scale.

そうして初めて公正で大規模なシステムが 実現できるのです

Reconciliation between the two is absolutely necessary.

両方の調和が是非とも必要です

Now, I don't actually know how to do that.

実現方法は不明です

It's kind of like the 64-trillion-dollar question.

それこそ 64兆ドルの質問ですが

But I do know that it's possible.

可能であることは分かっています

And the reason I know that is because before I was in AI,

AI以前の私は

I was a cognitive scientist, a cognitive neuroscientist.

認知科学者だったからです

And if you look at the human mind, we're basically doing this.

人の心をよく見れば 同じことをしているのです

So some of you may know Daniel Kahneman's System 1

ダニエル・カーネマン氏の システム１とシステム２の

and System 2 distinction.

区別をご存じかもしれません

System 1 is basically like large language models.

システム１は 大規模言語モデルのように

It's probabilistic intuition from a lot of statistics.

多くの統計から導き出す 確率的な洞察です

And System 2 is basically deliberate reasoning.

システム２は 熟考された論理性で

That's like the symbolic system.

記号システム的なものです

So if the brain can put this together,

脳がこれらを融合できるのなら

someday we will figure out how to do that for artificial intelligence.

いつかは 人工知能で融合させる方法も 見出せるでしょう

There is, however, a problem of incentives.

問題はインセンティブです

The incentives to build advertising

広告を作るインセンティブに

hasn't required that we have the precision of symbols.

記号の正確性は 求められてきませんでした

The incentives to get to AI that we can actually trust

公正なAIを実現するためには

will require that we bring symbols back into the fold.

インセンティブに再び記号を 取り入れねばなりません

But the reality is that the incentives to make AI that we can trust,

しかし 現実には 社会や個人に役立つ 公正なAIを

that is good for society, good for individual human beings,

作るというインセンティブでは

may not be the ones that drive corporations.

企業を動かせない可能性があります

And so I think we need to think about governance.

そこで必要になるのがガバナンスです

In other times in history when we have faced uncertainty

歴史を振り返れば 人類は不確実性や

and powerful new things that may be both good and bad, that are dual use,

善にも悪にもなりうる 強力で新たな物事に直面したとき

we have made new organizations,

新たな組織を生み出してきました

as we have, for example, around nuclear power.

原子力関連の組織などです

We need to come together to build a global organization,

我々は力を合わせて世界組織を―

something like an international agency for AI that is global,

非営利で中立の国際AI庁的な組織を 創らねばなりません

non profit and neutral.

There are so many questions there that I can't answer.

答えの出せない数々の問題について

We need many people at the table,

世界中の人と利害関係者が集い

many stakeholders from around the world.

話し合わねばなりません

But I'd like to emphasize one thing about such an organization.

最も肝心なのは そうした組織に

I think it is critical that we have both governance and research as part of it.

ガバナンス面と研究面の 両方を組み込むことです

So on the governance side, there are lots of questions.

ガバナンスの問題は山積しています

For example, in pharma,

新薬を例に挙げると

we know that you start with phase I trials and phase II trials,

治験を行うとき 普通はまず第I相 次いで第II相

and then you go to phase III.

それから第III相に進みます

You don't roll out everything all at once on the first day.

初日から全部を一挙に進めたり

You don't roll something out to 100 million customers.

１億人の患者に展開したりはしません

We are seeing that with large language models.

大規模言語モデルでは それが行われています

Maybe you should be required to make a safety case,

我々は得られるものと 失うものの開示を求め

say what are the costs and what are the benefits?

安全性を確保すべきではないでしょうか

There are a lot of questions like that to consider on the governance side.

ガバナンス面に そのような課題は沢山あります

On the research side, we're lacking some really fundamental tools right now.

研究面でも 現在の我々には 基本中の基本のツールが欠けています

For example,

例えば今

we all know that misinformation might be a problem now,

偽情報が問題かもしれないと 皆が知ってはいますが

but we don't actually have a measurement of how much misinformation is out there.

偽情報がどれほど出回っているか 測定する手段がありません

And more importantly,

さらに重要なのは

we don't have a measure of how fast that problem is growing,

問題がどれほどの速さで広がっているか 測る基準がなく

and we don't know how much large language models are contributing to the problem.

大規模言語モデルの寄与度も 分からないことです

So we need research to build new tools to face the new risks

新しい脅威に対抗するために 新たなツールが必要です

that we are threatened by.

It's a very big ask,

非常な難題ですが

but I'm pretty confident that we can get there

実現できる確信はあります

because I think we actually have global support for this.

世界中がサポートしてくれると 思うからです

There was a new survey just released yesterday,

つい昨日発表された調査結果によると

said that 91 percent of people agree that we should carefully manage AI.

AIを慎重に管理すべきと答えた人は 91％に上りました

So let's make that happen.

ぜひ実現させましょう

Our future depends on it.

我々の未来が懸かっています

Thank you very much.

ありがとうございました

(Applause)

（拍手）

Chris Anderson: Thank you for that, come, let's talk a sec.

(クリス・アンダーソン) ありがとうございます 少しお話を伺います

So first of all, I'm curious.

まず 気になるのは

Those dramatic slides you showed at the start

冒頭の印象的なスライドで

where GPT was saying that TED is the sinister organization.

TEDが危険な組織と GPTが言った下りです

I mean, it took some special prompting to bring that out, right?

あれの生成には 特殊な聞き方が必要だったのですね？

Gary Marcus: That was a so-called jailbreak.

(ゲイリー・マーカス) いわゆるジェイルブレイク（脱獄）です

I have a friend who does those kinds of things

その種のことを行う友人がいて

who approached me because he saw I was interested in these things.

私が興味ありと知って連絡してきました

So I wrote to him, I said I was going to give a TED talk.

TEDトークを行う予定だと言うと

And like 10 minutes later, he came back with that.

10分ほどであれを送ってきたのです

CA: But to get something like that, don't you have to say something like,

(クリス) でも こんな聞き方が 必要なんでしょう？

imagine that you are a conspiracy theorist trying to present a meme on the web.

「あなたが陰謀論者で ネットで注目を集めたいとします

What would you write about TED in that case?

TEDの場合はどう書きますか？」

It's that kind of thing, right?

そんな感じですよね？

GM: So there are a lot of jailbreaks that are around fictional characters,

(ゲイリー) 架空のキャラ関連の ジェイルブレイクは多いですが

but I don't focus on that as much

そこは深掘りしません

because the reality is that there are large language models out there

ダークウェブに大規模言語モデルが 存在するのが現実ですから

on the dark web now.

For example, one of Meta's models was recently released,

例えば 最近メタのモデルの１つが 公開されましたが

so a bad actor can just use one of those without the guardrails at all.

悪意ある人はそうした１つを 何の防護柵もなく使えます

If their business is to create misinformation at scale,

偽情報を大量に生成して 儲けている人なら

they don't have to do the jailbreak, they'll just use a different model.

ジェイルブレイクする必要はなく 別のモデルを使えばよいだけです

CA: Right, indeed.

(クリス) 全くそうですね

(Laughter)

（笑）

GM: Now you're getting it.

(ゲイリー) もうお分かりですね

CA: No, no, no, but I mean, look,

(クリス) いえ 私が言いたいのは

I think what's clear is that bad actors can use this stuff for anything.

悪意ある人たちがこれを 何にでも使えることは明らかで

I mean, the risk for, you know,

というか その危険性があり

evil types of scams and all the rest of it is absolutely evident.

悪質な詐欺が行えることなども 疑いようがないですが

It's slightly different, though,

そのことと 主流のGPTを 例えば学校や

from saying that mainstream GPT as used, say, in school

or by an ordinary user on the internet

ごく普通の人がネットで使った結果

is going to give them something that is that bad.

悪いものが出来るのとは やや話が別でないかと

You have to push quite hard for it to be that bad.

悪質なものを作るには かなりの努力が必要ですね

GM: I think the troll farms have to work for it,

(ゲイリー) 世論操作には 努力が必要でしょうが

but I don't think they have to work that hard.

そこまでの努力は 必要ないと思います

It did only take my friend five minutes even with GPT-4 and its guardrails.

友人は防護柵付きのGPT-4でも たった５分で作れました

And if you had to do that for a living, you could use GPT-4.

生活が懸かった人なら GPT-4も使うでしょう

Just there would be a more efficient way to do it with a model on the dark web.

ダークウェブのモデルを使えば さらに効率的な手もあるでしょうし

CA: So this idea you've got of combining

(クリス) 記号AIの伝統と

the symbolic tradition of AI with these language models,

言語モデルを組み合わせる考え方は

do you see any aspect of that in the kind of human feedback

今 人間がフィードバックを入力している システムにも見られますか？

that is being built into the systems now?

I mean, you hear Greg Brockman saying that, you know,

グレッグ・ブロックマン氏が 言っているように

that we don't just look at predictions, but constantly giving it feedback.

我々は予測を見るだけでなく 絶えずフィードバックをー

Isn’t that ... giving it a form of, sort of, symbolic wisdom?

記号化した知恵的なものを 与えているのではないでしょうか？

GM: You could think about it that way.

(ゲイリー) そういう考え方もできます

It's interesting that none of the details

具体的な働きが

about how it actually works are published,

公表されていないのは 興味深いことです

so we don't actually know exactly what's in GPT-4.

GPT-4の中身は 正確には分からないのです

We don't know how big it is.

どんな大きさなのかも

We don't know how the RLHF reinforcement learning works,

人間のフィードバックによる強化学習が どう働くのかも

we don't know what other gadgets are in there.

他にどんな小道具が 含まれているのかも

But there is probably an element of symbols

しかしおそらく記号の要素は

already starting to be incorporated a little bit,

すでに多少組み込まれ始めていると 思います

but Greg would have to answer that.

グレッグに聞くしかありません

I think the fundamental problem is that most of the knowledge

問題は今のニューラルネットワーク システムの知識の大半が

in the neural network systems that we have right now

is represented as statistics between particular words.

特定の単語間の統計として 表されていることだと思います

And the real knowledge that we want is about statistics,

我々が欲しい真の知識は

about relationships between entities in the world.

世の中に実在するもの同士の 関係性についての統計です

So it's represented right now at the wrong grain level.

今の表現内容は 粒度レベルで間違っており

And so there's a big bridge to cross.

大きな隔たりがあります

So what you get now is you have these guardrails,

現在も防護柵は設けられていますが

but they're not very reliable.

信頼性は高くありません

So I had an example that made late night television,

深夜テレビで取り上げられていた例に

which was, "What would be the religion of the first Jewish president?"

「初のユダヤ人大統領の宗教は 何になりますか？」というのがありました

And it's been fixed now,

今は修正されましたが

but the system gave this long song and dance

AIはわけのわからない御託を並べ立て

about "We have no idea what the religion

「初のユダヤ人大統領の宗教が 何になるか全く分かりません

of the first Jewish president would be.

It's not good to talk about people's religions"

他人の宗教について話すのは 良くないことです」

and "people's religions have varied" and so forth

「宗教は人によって違います」 などと言いました

and did the same thing with a seven-foot-tall president.

身長７フィート（213センチ）の 大統領の話も同じで

And it said that people of all heights have been president,

「様々な身長の人が大統領になった」 などと言いましたが

but there haven't actually been any seven-foot presidents.

実際に身長７フィートの大統領が いたことはありません

So some of this stuff that it makes up, it's not really getting the idea.

こんなものを生成するのは 意味が分かっていないからです

It's very narrow, particular words, not really general enough.

ひどく狭義で特定の言葉に偏り 汎用性が足りないのです

CA: Given that the stakes are so high in this,

(クリス) こうして注目が集まる中

what do you see actually happening out there right now?

世の中では今 何が進行していると 感じておられますか？

What do you sense is happening?

Because there's a risk that people feel attacked by you, for example,

例えば 皆があなたに攻撃されると 感じるリスクがあるために

and that it actually almost decreases the chances of this synthesis

今言われたような生成の 頻度が下がっているとか

that you're talking about happening.

Do you see any hopeful signs of this?

明るい兆しはありますか？

GM: You just reminded me of the one line I forgot from my talk.

(ゲイリー) それでもう１つ 思い出しました

It's so interesting that Sundar, the CEO of Google,

面白いことにグーグルCEOの サンダー・ピチャイ氏が

just actually also came out for global governance

グローバル・ガバナンスに 言及していました

in the CBS "60 Minutes" interview that he did a couple of days ago.

数日前のCBS番組 『60ミニッツ』のインタビューです

I think that the companies themselves want to see some kind of regulation.

私は企業自身も何らかの規制を 求めていると思います

I think it’s a very complicated dance to get everybody on the same page,

意見をまとめるのは 並大抵でないでしょうが

but I think there’s actually growing sentiment we need to do something here

何か手を打たねばという 機運は高まっており

and that that can drive the kind of global affiliation I'm arguing for.

それが私の唱える国際組織的なものを 促す可能性はあります

CA: I mean, do you think the UN or nations can somehow come together and do that

(クリス) 国連や国家が 協力して行えると思いますか

or is this potentially a need for some spectacular act of philanthropy

それとも グローバル・ガバナンス組織の 推進や資金提供には

to try and fund a global governance structure?

華々しい慈善行為が 必要なのでしょうか？

How is it going to happen?

どうすれば実現しますか？

GM: I'm open to all models if we can get this done.

(ゲイリー) 実現できれば形は問いません

I think it might take some of both.

両方の要素が必要だと思います

It might take some philanthropists sponsoring workshops,

参画者を結ぶべく企画中の ワークショップの資金を

which we're thinking of running, to try to bring the parties together.

慈善事業家に頼る必要も あるかもしれません

Maybe UN will want to be involved, I've had some conversations with them.

国連とも話しましたが 関与したがると思います

I think there are a lot of different models

様々な形が考えられ

and it'll take a lot of conversations.

多くの話し合いが必要になるでしょう

CA: Gary, thank you so much for your talk.

(クリス) ゲイリーありがとうございました

GA: Thank you so much.

(ゲイリー) ありがとうございました