3 principles for creating safer AI | Stuart Russell

翻訳: Yasushi Aoki 校正: Yuko Yoshida

This is Lee Sedol.

これは李世ドルです

李世ドルは 世界で最も強い 碁打ちの１人ですが

Lee Sedol is one of the world's greatest Go players,

シリコンバレーの 友人たちなら

and he's having what my friends in Silicon Valley call

「なんてこった」と言う 瞬間を迎えています

a "Holy Cow" moment --

(Laughter)

(笑)

a moment where we realize

我々が予想していたよりも ずっと早く

that AI is actually progressing a lot faster than we expected.

AIが進歩していることに 気付いた瞬間です

So humans have lost on the Go board. What about the real world?

人間は碁盤上で機械に負けましたが 実際の世の中ではどうでしょう？

Well, the real world is much bigger,

実際の世界は

碁盤よりもずっと大きく ずっと複雑で

much more complicated than the Go board.

It's a lot less visible,

ずっと見通し難いですが

but it's still a decision problem.

決定問題であることに 違いはありません

And if we think about some of the technologies

到来しつつある

テクノロジーのことを考えるなら —

that are coming down the pike ...

機械は 本当に理解して文を読めるようには まだなっていないことに

Noriko [Arai] mentioned that reading is not yet happening in machines,

新井紀子氏が 触れていましたが

at least with understanding.

But that will happen,

それもやがて できるようになるでしょう

and when that happens,

そして そうなったとき

very soon afterwards,

機械は人類がかつて書いた すべてのものを

machines will have read everything that the human race has ever written.

速やかに読破することでしょう

And that will enable machines,

そうなると機械は

along with the ability to look further ahead than humans can,

碁において見せた

人間より遠くまで 見通す力と合わせ

as we've already seen in Go,

if they also have access to more information,

より多くの情報に 触れられるようになることで

they'll be able to make better decisions in the real world than we can.

実際の世の中でも 人間より優れた 判断ができるようになるでしょう

So is that a good thing?

それは良いこと なのでしょうか？

Well, I hope so.

そうだと望みたいです

Our entire civilization, everything that we value,

我々の文明そのもの 我々が価値を置くすべては

is based on our intelligence.

我々の知性を 拠り所としています

And if we had access to a lot more intelligence,

はるかに多くの知性が 使えるようになったなら

then there's really no limit to what the human race can do.

人類に可能なことに 限界はないでしょう

And I think this could be, as some people have described it,

ある人々が言っているように

これは人類史上最大の出来事に なるかもしれません

the biggest event in human history.

So why are people saying things like this,

ではなぜ「AIは人類の終焉を 意味するかもしれない」などと

that AI might spell the end of the human race?

言われているのでしょう？

Is this a new thing?

これは新しいこと なのでしょうか？

Is it just Elon Musk and Bill Gates and Stephen Hawking?

ただイーロン・マスクと ビル・ゲイツと ホーキングが言っているだけなのか？

Actually, no. This idea has been around for a while.

違います この考えは結構前からありました

Here's a quotation:

ここに ある人の 言葉があります

「重大な瞬間にスイッチを切る といったことによって

"Even if we could keep the machines in a subservient position,

機械を 従属的な位置に 保てたとしても —

for instance, by turning off the power at strategic moments" --

and I'll come back to that "turning off the power" idea later on --

この “スイッチを切る” ことについては 後でまた戻ってきます —

"we should, as a species, feel greatly humbled."

種としての我々は 謙虚に捉えるべきである」

So who said this? This is Alan Turing in 1951.

誰の言葉でしょう？ アラン・チューリングが 1951年に言ったことです

ご存じのように チューリングは コンピューター科学の父であり

Alan Turing, as you know, is the father of computer science

and in many ways, the father of AI as well.

いろいろな意味で AIの父でもあります

この問題を考えてみると

So if we think about this problem,

the problem of creating something more intelligent than your own species,

つまり自分の種よりも知的なものを 生み出してしまうという問題ですが

we might call this "the gorilla problem,"

これは「ゴリラの問題」と呼んでも 良いかもしれません

because gorillas' ancestors did this a few million years ago,

なぜなら数百万年前に ゴリラの祖先がそうしているからで

and now we can ask the gorillas:

ゴリラたちに 尋ねることができます

Was this a good idea?

「いいアイデアだったと思う？」

So here they are having a meeting to discuss whether it was a good idea,

ゴリラたちが いいアイデアだったのか 議論するために 集まっていますが

and after a little while, they conclude, no,

しばらくして 出した結論は

「あれは酷いアイデアだった」 というものです

this was a terrible idea.

おかげで我々の種は ひどい苦境に置かれていると

Our species is in dire straits.

In fact, you can see the existential sadness in their eyes.

彼らの目に実存的な悲哀を 見て取れるでしょう

(Laughter)

(笑)

So this queasy feeling that making something smarter than your own species

「自分の種より知的なものを 生み出すのは

良い考えではないのでは？」 という不安な感覚があります

is maybe not a good idea --

what can we do about that?

それについて 何ができるのでしょう？

Well, really nothing, except stop doing AI,

AIの開発をやめてしまう以外 ないかもしれませんが

and because of all the benefits that I mentioned

AIのもたらす様々な利点や

私自身AI研究者である という理由によって

and because I'm an AI researcher,

I'm not having that.

私にはそういう選択肢は ありません

I actually want to be able to keep doing AI.

実際AIは続けたいと 思っています

So we actually need to nail down the problem a bit more.

この問題をもう少し 明確にする必要があるでしょう

What exactly is the problem?

正確に何が問題なのか？

Why is better AI possibly a catastrophe?

優れたAIが我々の破滅に繋がりうるのは なぜなのか？

So here's another quotation:

ここにもう１つ 引用があります

"We had better be quite sure that the purpose put into the machine

「機械に与える目的については

それが本当に望むものだと 確信があるものにする必要がある」

is the purpose which we really desire."

This was said by Norbert Wiener in 1960,

これはノーバート・ウィーナーが 1960年に言ったことで

shortly after he watched one of the very early learning systems

最初期の学習システムが

作り手よりもうまくチェッカーを 指すのを見た すぐ後のことです

learn to play checkers better than its creator.

But this could equally have been said

しかしこれはミダス王の 言葉だったとしても

by King Midas.

おかしくないでしょう

King Midas said, "I want everything I touch to turn to gold,"

ミダス王は「自分の触れたものすべてが 金になってほしい」と望み

and he got exactly what he asked for.

そして その望みが 叶えられました

That was the purpose that he put into the machine,

これはいわば

彼が「機械に与えた目的」です

so to speak,

and then his food and his drink and his relatives turned to gold

そして彼の食べ物や飲み物や親類は みんな金に変わってしまい

and he died in misery and starvation.

彼は悲嘆と飢えの中で 死んでいきました

So we'll call this "the King Midas problem"

だから自分が本当に望むことと合わない 目的を掲げることを

of stating an objective which is not, in fact,

「ミダス王の問題」と

truly aligned with what we want.

呼ぶことにしましょう

In modern terms, we call this "the value alignment problem."

現代的な用語では これを 「価値整合の問題」と言います

Putting in the wrong objective is not the only part of the problem.

間違った目的を与えてしまうというのが 問題のすべてではありません

There's another part.

別の側面もあります

If you put an objective into a machine,

「コーヒーを取ってくる」というような

even something as simple as, "Fetch the coffee,"

ごく単純な目的を 機械に与えたとします

the machine says to itself,

機械は考えます

"Well, how might I fail to fetch the coffee?

「コーヒーを取ってくるのに失敗する どんな状況がありうるだろう？

Someone might switch me off.

誰かが自分のスイッチを 切るかもしれない

OK, I have to take steps to prevent that.

そのようなことを防止する 手を打たなければ

I will disable my 'off' switch.

自分の「オフ」スイッチを 無効にしておこう

I will do anything to defend myself against interference

与えられた目的の遂行を阻むものから 自分を守るためであれば

with this objective that I have been given."

何だってやろう」

So this single-minded pursuit

１つの目的を

非常に防御的に 一途に追求すると

in a very defensive mode of an objective that is, in fact,

人類の本当の目的に 沿わなくなるというのが

not aligned with the true objectives of the human race --

that's the problem that we face.

我々の直面する問題です

And in fact, that's the high-value takeaway from this talk.

実際それが この講演から学べる 価値ある教訓です

If you want to remember one thing,

もし１つだけ覚えておくとしたら それは —

it's that you can't fetch the coffee if you're dead.

「死んだらコーヒーを取ってこれない」 ということです

(Laughter)

(笑)

It's very simple. Just remember that. Repeat it to yourself three times a day.

簡単でしょう 記憶して１日３回唱えてください

(Laughter)

(笑)

And in fact, this is exactly the plot

実際 映画『2001年宇宙の旅』の筋は

of "2001: [A Space Odyssey]"

そういうものでした

HALの目的・ミッションは

HAL has an objective, a mission,

which is not aligned with the objectives of the humans,

人間の目的とは合わず

and that leads to this conflict.

そのため衝突が起きます

Now fortunately, HAL is not superintelligent.

幸いHALは非常に賢くはあっても 超知的ではありませんでした

He's pretty smart, but eventually Dave outwits him

それで最終的には 主人公が出し抜いて

and manages to switch him off.

スイッチを切ることができました

But we might not be so lucky.

でも私たちはそんなに幸運では ないかもしれません

では どうしたらいいのでしょう？

So what are we going to do?

I'm trying to redefine AI

「知的に目的を追求する機械」という

to get away from this classical notion

古典的な見方から離れて

of machines that intelligently pursue objectives.

AIの再定義を試みようと思います

There are three principles involved.

３つの原則があります

The first one is a principle of altruism, if you like,

第１は「利他性の原則」で

that the robot's only objective

ロボットの唯一の目的は

is to maximize the realization of human objectives,

人間の目的 人間にとって価値あることが

最大限に実現される ようにすることです

of human values.

And by values here I don't mean touchy-feely, goody-goody values.

ここで言う価値は 善人ぶった崇高そうな価値ではありません

I just mean whatever it is that the human would prefer

単に何であれ

人間が自分の生活に 望むものということです

their life to be like.

And so this actually violates Asimov's law

この原則は

「ロボットは自己を守らなければならない」 というアシモフの原則に反します

that the robot has to protect its own existence.

It has no interest in preserving its existence whatsoever.

自己の存在維持には まったく関心を持たないのです

The second law is a law of humility, if you like.

第２の原則は 言うなれば「謙虚の原則」です

And this turns out to be really important to make robots safe.

これはロボットを安全なものにする上で 非常に重要であることがわかります

It says that the robot does not know

この原則は

ロボットが人間の価値が何か 知らないものとしています

what those human values are,

so it has to maximize them, but it doesn't know what they are.

ロボットは最大化すべきものが何か 知らないということです

１つの目的を 一途に追求することの問題を

And that avoids this problem of single-minded pursuit

of an objective.

これで避けることができます

This uncertainty turns out to be crucial.

この不確定性が 極めて重要なのです

Now, in order to be useful to us,

人間にとって有用であるためには

it has to have some idea of what we want.

我々が何を望むのかについて 大まかな理解は必要です

ロボットはその情報を主として 人間の選択を観察することで得ます

It obtains that information primarily by observation of human choices,

so our own choices reveal information

我々が自分の生活に望むのが 何かという情報が

about what it is that we prefer our lives to be like.

我々のする選択を通して 明かされるわけです

以上が３つの原則です

So those are the three principles.

これがチューリングの提起した 「機械のスイッチを切れるか」という問題に

Let's see how that applies to this question of:

"Can you switch the machine off?" as Turing suggested.

どう適用できるか 見てみましょう

So here's a PR2 robot.

これは PR2 ロボットです

私たちの研究室にあるもので

This is one that we have in our lab,

and it has a big red "off" switch right on the back.

背中に大きな赤い 「オフ」スイッチがあります

The question is: Is it going to let you switch it off?

問題は ロボットがスイッチを 切らせてくれるかということです

古典的なやり方をするなら

If we do it the classical way,

we give it the objective of, "Fetch the coffee, I must fetch the coffee,

「コーヒーを取ってくる」 という目的に対し

「コーヒーを取ってこなければならない」 「死んだらコーヒーを取ってこれない」と考え

I can't fetch the coffee if I'm dead,"

so obviously the PR2 has been listening to my talk,

私の講演を聴いていたPR2は

and so it says, therefore, "I must disable my 'off' switch,

「オフ・スイッチは無効にしなければ」 と判断し

and probably taser all the other people in Starbucks

「スターバックスで邪魔になる 他の客はみんな

テーザー銃で眠らせよう」 となります

who might interfere with me."

(Laughter)

(笑)

So this seems to be inevitable, right?

これは避けがたい ように見えます

This kind of failure mode seems to be inevitable,

このような故障モードは 不可避に見え

and it follows from having a concrete, definite objective.

そしてそれは具体的で絶対的な 目的があることから来ています

So what happens if the machine is uncertain about the objective?

目的が何なのか機械に 確信がないとしたら どうなるでしょう？

Well, it reasons in a different way.

違ったように推論するはずです

It says, "OK, the human might switch me off,

「人間は自分のスイッチを 切るかもしれないが

but only if I'm doing something wrong.

それは自分が何か 悪いことをしたときだけだ

Well, I don't really know what wrong is,

悪いことが何か よく分からないけど

but I know that I don't want to do it."

悪いことはしたくない」

ここで 第１ および第２の原則が 効いています

So that's the first and second principles right there.

"So I should let the human switch me off."

「だからスイッチを切るのを 人間に許すべきだ」

And in fact you can calculate the incentive that the robot has

実際ロボットが人間に スイッチを切ることを許す

インセンティブを 計算することができ

to allow the human to switch it off,

それは目的の不確かさの度合いと

and it's directly tied to the degree

of uncertainty about the underlying objective.

直接的に結びついています

And then when the machine is switched off,

機械のスイッチが切られると

that third principle comes into play.

第３の原則が働いて

It learns something about the objectives it should be pursuing,

追求すべき目的について 何かを学びます

because it learns that what it did wasn't right.

自分の間違った行いから 学ぶのです

In fact, we can, with suitable use of Greek symbols,

数学者がよくやるように

ギリシャ文字をうまく使って

as mathematicians usually do,

we can actually prove a theorem

そのようなロボットが 人間にとって有益であるという定理を

that says that such a robot is provably beneficial to the human.

証明することができます

You are provably better off with a machine that's designed in this way

そのようにデザインされた機械の方が そうでないものより良い結果になると

than without it.

証明可能なのです

So this is a very simple example, but this is the first step

これは単純な例ですが

人間互換のAIを手にするための 第一歩です

in what we're trying to do with human-compatible AI.

Now, this third principle,

３番目の原則については

I think is the one that you're probably scratching your head over.

皆さん困惑しているのでは と思います

You're probably thinking, "Well, you know, I behave badly.

「自分の行動は 見上げたものではない

ロボットに自分のように 振る舞って欲しくはない

I don't want my robot to behave like me.

真夜中にこっそり台所に行って 冷蔵庫から食べ物を失敬したり

I sneak down in the middle of the night and take stuff from the fridge.

I do this and that."

あんなことや こんなことを しているから」

There's all kinds of things you don't want the robot doing.

ロボットにしてほしくない 様々なことがあります

But in fact, it doesn't quite work that way.

でも実際そういう風に 働くわけではありません

Just because you behave badly

自分がまずい振る舞いをしたら

doesn't mean the robot is going to copy your behavior.

ロボットがそれを真似する というわけではありません

It's going to understand your motivations and maybe help you resist them,

人がそのようにする 動機を理解して

誘惑に抵抗する手助けさえ してくれるかもしれません

if appropriate.

But it's still difficult.

それでも難しいです

What we're trying to do, in fact,

私たちがやろうとしているのは

あらゆる状況にある

is to allow machines to predict for any person and for any possible life

あらゆる人のことを

機械に予測させる ということです

that they could live,

and the lives of everybody else:

その人たちは どちらを好むのか？

Which would they prefer?

And there are many, many difficulties involved in doing this;

これには難しいことが たくさんあって

I don't expect that this is going to get solved very quickly.

ごく速やかに解決されるだろうとは 思っていません

The real difficulties, in fact, are us.

本当に難しい部分は 私たちにあります

As I have already mentioned, we behave badly.

言いましたように 私たちは まずい振る舞いをします

In fact, some of us are downright nasty.

人によっては 悪質でさえあります

Now the robot, as I said, doesn't have to copy the behavior.

しかしロボットは人間の振るまいを 真似する必要はありません

The robot does not have any objective of its own.

ロボットは それ自身の目的 というのを持ちません

It's purely altruistic.

純粋に利他的です

And it's not designed just to satisfy the desires of one person, the user,

そして１人の人間の望みだけ 満たそうとするのではなく

but in fact it has to respect the preferences of everybody.

みんなの好みに敬意を払うよう デザインされています

だからある程度 悪いことも扱え

So it can deal with a certain amount of nastiness,

and it can even understand that your nastiness, for example,

人間の悪い面も 理解できます

例えば入国審査官が 賄賂を受け取っているけれど

you may take bribes as a passport official

because you need to feed your family and send your kids to school.

それは家族を食べさせ 子供を学校に行かせるためなのだとか

It can understand that; it doesn't mean it's going to steal.

ロボットはそれを理解できますが そのために盗みをするわけではありません

In fact, it'll just help you send your kids to school.

ただ子供が学校に行けるよう 手助けをするだけです

We are also computationally limited.

また人間は計算能力の点で 限界があります

Lee Sedol is a brilliant Go player,

李世ドルは 素晴らしい碁打ちですが

but he still lost.

それでも負けました

So if we look at his actions, he took an action that lost the game.

彼の行動を見れば 勝負に負けることになる 手を打ったのが分かるでしょう

That doesn't mean he wanted to lose.

しかしそれは 彼が負けを 望んだことを意味しません

So to understand his behavior,

彼の行動を理解するためには

we actually have to invert through a model of human cognition

人の認知モデルを 逆にたどる必要がありますが

that includes our computational limitations -- a very complicated model.

それは計算能力の限界も含む とても複雑なモデルです

But it's still something that we can work on understanding.

それでも私たちが理解すべく 取り組めるものではあります

Probably the most difficult part, from my point of view as an AI researcher,

AI研究者として見たとき 最も難しいと思える部分は

私たち人間が 沢山いるということです

is the fact that there are lots of us,

and so the machine has to somehow trade off, weigh up the preferences

だから機械は トレードオフを考え

沢山の異なる人間の好みを 比較考量する必要があり

of many different people,

and there are different ways to do that.

それには いろいろな やり方があります

Economists, sociologists, moral philosophers have understood that,

経済学者 社会学者 倫理学者は そういうことを分かっており

and we are actively looking for collaboration.

私たちは協同の道を 探っています

Let's have a look and see what happens when you get that wrong.

そこをうまくやらないと どうなるか見てみましょう

So you can have a conversation, for example,

たとえばこんな会話を 考えてみます

with your intelligent personal assistant

知的な秘書AIが

that might be available in a few years' time.

数年内に利用可能に なるかもしれません

Think of a Siri on steroids.

強化されたSiriのようなものです

So Siri says, "Your wife called to remind you about dinner tonight."

Siriが「今晩のディナーについて 奥様から確認の電話がありました」と言います

And of course, you've forgotten. "What? What dinner?

あなたはもちろん忘れています 「何のディナーだって？

What are you talking about?"

何の話をしているんだ？」

"Uh, your 20th anniversary at 7pm."

「20周年のディナーですよ 夜７時の」

"I can't do that. I'm meeting with the secretary-general at 7:30.

「無理だよ　７時半に 事務総長と会わなきゃならない

How could this have happened?"

どうして こんなことに なったんだ？」

"Well, I did warn you, but you overrode my recommendation."

「警告は致しましたが あなたは推奨案を無視されました」

"Well, what am I going to do? I can't just tell him I'm too busy."

「どうしたらいいんだ？ 忙しくて行けないなんて言えないぞ」

「ご心配には及びません 事務総長の飛行機が遅れるように手配済みです」

"Don't worry. I arranged for his plane to be delayed."

(Laughter)

(笑)

「コンピューターに 細工しておきました」

"Some kind of computer malfunction."

(Laughter)

(笑)

"Really? You can do that?"

「えっ そんなことできるのか？」

"He sends his profound apologies

「大変恐縮して

明日のランチでお会いするのを 楽しみにしている とのことです」

and looks forward to meeting you for lunch tomorrow."

(Laughter)

(笑)

So the values here -- there's a slight mistake going on.

ここでは価値について ちょっと行き違いが起きています

This is clearly following my wife's values

Siri は明らかに 妻の価値観に従っています

which is "Happy wife, happy life."

「妻の幸せが 夫の幸せ」です

(Laughter)

(笑)

It could go the other way.

別の方向に行くことも あり得ます

You could come home after a hard day's work,

忙しい仕事を終え 帰宅すると コンピューターが言います

and the computer says, "Long day?"

「大変な１日だったようですね」

"Yes, I didn't even have time for lunch."

「昼を食べる時間もなかったよ」

"You must be very hungry."

「お腹が空いたことでしょう」

"Starving, yeah. Could you make some dinner?"

「ああ 腹ペコだよ 何か夕食を作ってもらえるかな？」

"There's something I need to tell you."

「そのことで お話ししなければ ならないことがあります」

(Laughter)

(笑)

"There are humans in South Sudan who are in more urgent need than you."

「南スーダンには あなたよりも 必要に迫られている人々がいます」

(Laughter)

(笑)

「行くことに致しましたので 夕食はご自分で作ってください」

"So I'm leaving. Make your own dinner."

(Laughter)

(笑)

So we have to solve these problems,

こういった問題を 解かなければなりません

and I'm looking forward to working on them.

そういう問題に取り組むのは 楽しみです

There are reasons for optimism.

楽観しているのには 理由があります

One reason is,

１つには

there is a massive amount of data.

膨大なデータがあること

Because remember -- I said they're going to read everything

思い出してください

機械は人類が書いたあらゆるものを 読むことになるでしょう

the human race has ever written.

人間の書いたものはたいがい

Most of what we write about is human beings doing things

誰かが何かをし 他の人がそれに腹を立てたというものです

and other people getting upset about it.

So there's a massive amount of data to learn from.

学べるデータが膨大にあります

There's also a very strong economic incentive

また これを正しくやるための

強い経済的インセンティブが 存在します

to get this right.

So imagine your domestic robot's at home.

家に家事ロボットがいると 想像してください

You're late from work again and the robot has to feed the kids,

あなたはまた仕事で帰りが遅く ロボットは子供達に食べさせなければなりません

and the kids are hungry and there's nothing in the fridge.

子供達はお腹を空かせていますが 冷蔵庫は空っぽです

And the robot sees the cat.

そこでロボットは 猫に目を止めます

(Laughter)

(笑)

And the robot hasn't quite learned the human value function properly,

ロボットは人間の価値観を ちゃんと学んでいないため

so it doesn't understand

猫の持つ感情的価値が

the sentimental value of the cat outweighs the nutritional value of the cat.

猫の栄養的価値を上回ることを 理解しません

(笑)

(Laughter)

するとどうなるでしょう？

So then what happens?

「狂ったロボット 子猫を料理して夕食に出す」

Well, it happens like this:

"Deranged robot cooks kitty for family dinner."

みたいな見出しを 見ることになります

That one incident would be the end of the domestic robot industry.

このような出来事１つで 家事ロボット産業はお終いです

So there's a huge incentive to get this right

だから超知的な機械に到達する ずっと以前に

この問題を正すよう 大きなインセンティブが働きます

long before we reach superintelligent machines.

So to summarize:

要約すると

I'm actually trying to change the definition of AI

私はAIの定義を変えて

人間のためになると証明可能な機械が 得られるよう試みています

so that we have provably beneficial machines.

And the principles are:

その原則は

machines that are altruistic,

機械は利他的であり

that want to achieve only our objectives,

人間の目的のみを 達成しようとするが

but that are uncertain about what those objectives are,

その目的が何かは 確信を持たず

そしてすべての人間を 観察することで

and will watch all of us

to learn more about what it is that we really want.

我々の本当に望むことが何かを学ぶ ということです

その過程で 人類がより良い者になる術を 学ぶことを望みます

And hopefully in the process, we will learn to be better people.

Thank you very much.

ありがとうございました

(Applause)

(拍手)

Chris Anderson: So interesting, Stuart.

(クリス・アンダーソン) すごく興味深いね スチュワート

We're going to stand here a bit because I think they're setting up

次のスピーカーのための 準備があるので

少しここで話しましょう

for our next speaker.

A couple of questions.

質問があるんですが

So the idea of programming in ignorance seems intuitively really powerful.

「無知にプログラムする」というアイデアは とても強力であるように思えます

超知的になったロボットが 文献を読んで

As you get to superintelligence,

what's going to stop a robot

無知よりも知識がある方が 良いと気付き

reading literature and discovering this idea that knowledge

自分の目的を変えて プログラムを書き換えてしまう —

is actually better than ignorance

そういうことに ならないためには

and still just shifting its own goals and rewriting that programming?

どうすれば 良いのでしょう？

Stuart Russell: Yes, so we want it to learn more, as I said,

(スチュワート・ラッセル) 私たちはロボットに

人間の目的をよく学んで ほしいと思っています

about our objectives.

It'll only become more certain as it becomes more correct,

ロボットは より正しくなるほど 確信を強めます

so the evidence is there

手がかりはそこに あるわけですから

and it's going to be designed to interpret it correctly.

それを正しく解釈するよう デザインするのです

It will understand, for example, that books are very biased

たとえば本の内容には

バイアスがあることを 理解するでしょう

in the evidence they contain.

They only talk about kings and princes

王や王女や エリートの白人男性がしたことばかり

and elite white male people doing stuff.

書かれているといった風に

So it's a complicated problem,

だから複雑な問題ではありますが

but as it learns more about our objectives

ロボットが我々の目的を 学べは学ぶほど

it will become more and more useful to us.

我々にとって 有用なものになるでしょう

CA: And you couldn't just boil it down to one law,

(クリス) １つの原則に まとめられないんですか？

you know, hardwired in:

固定したプログラムとして

"if any human ever tries to switch me off,

「人間がスイッチを切ろうとしたら

I comply. I comply."

無条件に従う」みたいな

SR: Absolutely not.

(スチュワート) それは駄目ですね

That would be a terrible idea.

まずいアイデアです

So imagine that you have a self-driving car

自動運転車で

５歳の子を幼稚園に 送るところを

and you want to send your five-year-old

off to preschool.

考えてみてください

Do you want your five-year-old to be able to switch off the car

車に１人で乗っている ５歳児が

車のスイッチを切れるように したいと思いますか？

while it's driving along?

違うでしょう

Probably not.

ロボットは その人間がどれほど理性的で 分別があるかを理解する必要があります

So it needs to understand how rational and sensible the person is.

人間が理性的であるほど

The more rational the person,

the more willing you are to be switched off.

スイッチを切らせる見込みは 高くなります

If the person is completely random or even malicious,

まったくランダムな相手や 悪意ある人間に対しては

then you're less willing to be switched off.

なかなかスイッチを切らせようとは しないでしょう

CA: All right. Stuart, can I just say,

(クリス) スチュワート

I really, really hope you figure this out for us.

あなたが みんなのために この問題を解決してくれることを切に望みます

Thank you so much for that talk. That was amazing.

ありがとうございました 素晴らしいお話でした

(スチュワート) どうもありがとう

SR: Thank you.

(拍手)

(Applause)