How to Get Inside the "Brain" of AI | Alona Fyshe | TED

翻訳: Yuji Fujita

People are funny.

人間は面白いもので

We're constantly trying to understand and interpret

常に身の回りにある物事を理解し

the world around us.

解釈しようとします

I live in a house with two black cats, and let me tell you,

私は2匹の黒猫と暮らしていますが

every time I see a black, bunched up sweater out of the corner of my eye,

黒いセーターが少しでも目に入るたび こう思うのです

I think it's a cat.

ああうちの猫だと

見えるものが全てとは限りません

It's not just the things we see.

Sometimes we attribute more intelligence than might actually be there.

時として私たちは実際以上に膨大な知能を 持ち合わせています

Maybe you've seen the dogs on TikTok.

Tick Tok などで犬を見たことが あるかと思います

They have these little buttons that say things like "walk" or "treat."

犬は「散歩」や「おやつ」と書かれている 小さなボタンで

They can push them to communicate some things with their owners,

飼い主と意思の疎通を図ることができます

and their owners think they use them

飼い主はそのボタンで

to communicate some pretty impressive things.

ペットと印象深いやり取りができたと 思うのです

But do the dogs know what they're saying?

しかし 犬は本当に言ったことを 理解しているのでしょうか

Or perhaps you've heard the story of Clever Hans the horse,

または賢馬ハンスの話を耳にしたことが ありませんか

and he could do math.

彼は計算が得意でした

And not just like, simple math problems, really complicated ones,

その計算問題というのは単純なものに限らず

like, if the eighth day of the month falls on a Tuesday,

例えば「ある月の8日が火曜日だとしたら 次週の金曜日は何日？」

what's the date of the following Friday?

というような複雑なものもありました

It's like, pretty impressive for a horse.

お馬さんにしては中々やりますね

Unfortunately, Hans wasn't doing math,

しかしながら彼は計算ができる訳では なかったのです。

but what he was doing was equally impressive.

それでも彼の行動は逸話同様に目を見張るもの でした

Hans had learned to watch the people in the room

ハンスはその場にいる人を観察して

to tell when he should tap his hoof.

蹄を叩くタイミングを判断していました

So he communicated his answers by tapping his hoof.

それで彼は蹄を使って答えを伝えたのです

It turns out that if you know the answer

to "if the eighth day of the month falls on a Tuesday,

what's the date of the following Friday,"

you will subconsciously change your posture

once the horse has given the correct 18 taps.

So Hans couldn't do math,

but he had learned to watch the people in the room who could do math,

彼は答えが分かる人の僅かな反応を 読み取っていました

which, I mean, still pretty impressive for a horse.

いずれにせよ お馬さんにしては凄いこと なのです

But this is an old picture,

しかしそれは昔のことで

and we would not fall for Clever Hans today.

もうこの手にひっかかるようなことは ないはずです

Or would we?

自信がありませんか？

Well, I work in AI,

ところで 私はAI業界に携わっていますが、

and let me tell you, things are wild.

状況は目まぐるしく変化しています

There have been multiple examples of people being completely convinced

ＡＩが自分たちを完全に理解していると 信じている人たちがいるケースも

that AI understands them.

いくつかあるくらいです

In 2022,

2022年には

a Google engineer thought that Google’s AI was sentient.

AIには感情があると考える Googleエンジニアさえ出てきました

And you may have had a really human-like conversation

皆さんもChatGPTなどで人間味のある やり取りを

with something like ChatGPT.

経験したことがあるかもしれません

But models we're training today are so much better

ですが 今学習しているAIは5年前のものと

than the models we had even five years ago.

比べ物にならないほど進化しています

It really is remarkable.

本当に驚くべきことです

So at this super crazy moment in time,

こんなとんでもない時代に

let’s ask the super crazy question:

とんでもない問いかけをしてみます

Does AI understand us,

AIは私たちを理解しているのでしょうか

or are we having our own Clever Hans moment?

あるいはハンスのような一面を 持っているのでしょうか？

Some philosophers think that computers will never understand language.

一部の思想家たちはコンピューターは 言葉を理解できないと考えて

To illustrate this, they developed something they call

それを説明するために 中国語の部屋という

the Chinese room argument.

思考実験を行いました

In the Chinese room, there is a person, hypothetical person,

仮定として その部屋の中には ひとりの人間がいます

who does not understand Chinese,

その人は中国語が分かりません

but he has along with him a set of instructions

しかし彼の手元にはマニュアルがあったので

that tell him how to respond in Chinese to any Chinese sentence.

あらゆる中国語の文章に 対応することができました

Here's how the Chinese room works.

部屋の仕組みはこの通りです

A piece of paper comes in through a slot in the door,

ドアの差入れ口から入ってきた紙には

has something written in Chinese on it.

中国語で色々と書かれており

The person uses their instructions to figure out how to respond.

部屋の中にいる人は手元のマニュアルを 駆使して答えを探ります

They write the response down on a piece of paper

そしてその紙に正答を書いたら

and then send it back out through the door.

ドアの方へと返却するのです

To somebody who speaks Chinese,

部屋の外で立っている

standing outside this room,

中国語話者は

it might seem like the person inside the room speaks Chinese.

部屋の中の人は中国語を話せると思うでしょう

But we know they do not,

しかし私たちはそうでないことを知っています

because no knowledge of Chinese is required to follow the instructions.

マニュアルに従うのに中国語の知識など 必要ないのですから

Performance on this task does not show that you know Chinese.

つまり中国語の能力があることを 証明できないのです

So what does that tell us about AI?

ではAIはどうでしょうか

Well, when you and I stand outside of the room,

私たちが普段デバイスの外側から

when we speak to one of these AIs like ChatGPT,

ChatGPTなどのAIに話しかけるとき

we are the person standing outside the room.

私たちは部屋の外側に立つ人間になるわけです

We're feeding in English sentences,

英文を送信すれば

we're getting English sentences back.

英文での返答が届くのです

It really looks like the models understand us.

いかにも我々の言っていることが分かるように 思えます

It really looks like they know English.

いかにも英語を理解しているようです

But under the hood,

しかし見えないだけで

these models are just following a set of instructions, albeit complex.

単にマニュアルに従っているだけなのかも しれません

How do we know if AI understands us?

ではAIはどうなのか 知る方法はあるのでしょうか

To answer that question, let's go back to the Chinese room again.

それに答えるため 一度中国語の部屋に戻って 考えてみましょう

Let's say we have two Chinese rooms.

今回は部屋が2つあるとします

In one Chinese room is somebody who actually speaks Chinese,

一方の部屋には中国語を話せる人が

and in the other room is our impostor.

他方には偽の中国語話者がいます

When the person who actually speaks Chinese gets a piece of paper

前者の人が中国語で色々と書かれた紙を 渡された場合

that says something in Chinese in it, they can read it, no problem.

問題なく理解することができますよね

But when our imposter gets it again,

しかし後者がその用紙を渡されたとき

he has to use his set of instructions to figure out how to respond.

その人は手元のマニュアルで 答えを導き出さなければなりません

From the outside, it might be impossible to distinguish these two rooms,

外側の人からすればどちらがなりすまし なのかは分かりませんが

but we know inside something really different is happening.

部屋の中では全く違うことが起こっている ことは明白です

To illustrate that,

その違いを説明するために

let's say inside the minds of our two people,

両者がスクラッチパッドを持っていると 仮定します

inside of our two rooms,

is a little scratch pad.

And everything they have to remember in order to do this task

作業をするうえで覚えなければならないことは

has to be written on that little scratch pad.

全てここに書いておかなければなりません。

If we could see what was written on that scratch pad,

スクラッチパッドに書かれた内容を確認できれば

we would be able to tell how different their approach to the task is.

一連の作業に対するアプローチの違いを見い出せるはずです

So though the input and the output of these two rooms

両者のインプットとアウトプットは一致していても

might be exactly the same,

インプットしてからアウトプットまでの過程は全く異なってくるのです

the process of getting from input to output -- completely different.

So again, what does that tell us about AI?

では改めてＡＩについて考えてみましょうか

Again, if AI, even if it generates completely plausible dialogue,

たとえＡＩが私たちと上手く対話し

answers questions just like we would expect,

期待通り質問に答えているように見えても

it may still be an imposter of sorts.

それはある種の成り済ましなのかもしれません

If we want to know if AI understands language like we do,

AIが私たちと同様に言葉を理解しているかどうかを見るためには

we need to know what it's doing.

ＡIの動作を知らなければなりません

We need to get inside to see what it's doing.

内部に入り込んで確認するのです

Is it an imposter or not?

成り済ましなのかどうか

We need to see its scratch pad,

まずはＡＩのスクラッチパッドを確認し

and we need to be able to compare it

実際に言語を理解できる誰かのものと比較しなければなりません

to the scratch pad of somebody who actually understands language.

But like scratch pads in brains,

とはいってもスクラッチパッドは

that's not something we can actually see, right?

実際に見ることができないはずですよね

Well, it turns out that we can kind of see scratch pads in brains.

ですが私たちにも見えることが判明しているのです

Using something like fMRI or EEG,

fMRIやEEGを使うことで

we can take what are like little snapshots of the brain while it’s reading.

読書をしている最中の脳画像を撮ることができます

So have people read words or stories and then take pictures of their brain.

被験者には文字や小説を読んでもらい その時の脳の様子を撮影するのです

And those brain images are like fuzzy,

撮られた脳画像は解像度が低く

out-of-focus pictures of the scratch pad of the brain.

少しピンボケした脳内のスクラッチパッドのようになっています

They tell us a little bit about how the brain is processing

これらは文字を読む過程で脳がどのように情報を処理し

and representing information while you read.

再現するのかを少しだけ示してくれます

So here are three brain images taken while a person read the word "apartment,"

これは”アパート” “家”“セロリ“という単語 を認識した時に撮った脳画像です

"house" and "celery."

You can see just with your naked eye

”アパート”と”家”の方が”セロリ”の脳画像よりも よく似ていることが肉眼からでも確認できるはずです

that the brain image for "apartment" and "house"

are more similar to each other

than they are to the brain image for "celery."

And you know, of course that apartments and houses are more similar

”アパート”と”家”の方が ”セロリ”より似ていることが分かりますね

than they are to celery, just the words.

So said another way,

the brain uses its scratchpad when reading the words "apartment" and "house"

より似たような過程で スクラッチパッドを使っているのです

in a way that's more similar than when you read the word "celery."

The scratch pad tells us a little bit

スクラッチパッドを見れば脳が どのように言語を再現するのかが分かるのです

about how the brain represents the language.

It's not a perfect picture of what the brain's doing,

これは脳の働きを完全に捉えたものではありませんが

but it's good enough.

これだけ分かれば十分です

OK, so we have scratch pads for the brain.

脳内のスクラッチパッドはこれで完璧です

Now we need a scratch pad for AI.

あとはAIのスクラッチパッドです

So inside a lot of AIs is a neural network.

AIの内部には多くのニューラルネットワークがあります

And inside of a neural network is a bunch of these little neurons.

その内部には 小さな神経細胞が張り巡らせています

So here the neurons are like these little gray circles.

このように グレーの丸い形をしているのが神経細胞です

And we would like to know

そして我々が知りたいのは

what is the scratch pad of a neural network?

そこにあるスクラッチパッドの正体です

Well, when we feed in a word into a neural network,

ニュートラルネットワークに単語を送ると

each of the little neurons computes a number.

各々の神経細胞が数を計算をします

Those little numbers I'm representing here with colors.

ここで今色をつけたのが数字です

So every neuron computes this little number,

それぞれのニューロンがこの小さな数字を計算し

and those numbers tell us something

そこからニュートラルネットワークが

about how the neural network is processing language.

言語をいかにして処理しているのかが分かります

Taken together,

この色の付いた小さな円を全て足し合わせると

all of those little circles paint us a picture

of how the neural network is representing language,

言語をどのように再現していたのかが分かり

and they give us the scratch pad of the neural network.

スクラッチパッドが完成します

OK, great.

よし これでいいでしょう

Now we have two scratch pads, one from the brain and one from AI.

私たちのところには脳とAIの 2つのスクラッチパッドがあります

And we want to know: Is AI doing something like what the brain is doing?

そして知りたいのはAIは脳と 同様の動きをしているのかということです

How can we test that?

どのように確かめましょうか

Here's what researchers have come up with.

研究者はこのようにしました

We're going to train a new model.

新しいモデルをトレーニングします

That new model is going to look at neural network scratch pad

新しいモデルにはニューラルネットワークの スクラッチパッドを入れる予定です

特定の単語について

for a particular word

and try to predict the brain scratch pad for the same word.

同じ単語についての 脳のスクラッチパッドを予測します

We can do it, by the way, around two.

ちなみに二つ交互にできるはずです

So let's train a new model.

それでは新しいモデルのトレーニングしましょう

It’s going to look at the neural network scratch pad for a particular word

ニューラルネットワークの スクラッチパッドで特定の単語を探します

and try to predict the brain scratchpad.

そして脳のスクラッチパッドで予測してみます

If the brain and AI are doing nothing alike,

脳とAIがまったく 同じことをしているとしたら

have nothing in common,

共通点は何もありませんが

we won't be able to do this prediction task.

この予測タスクは実行できません

It won't be possible to predict one from the other.

どちらかを 予測することは不可能です

So we've reached a fork in the road

ついに分かれ道に来ました

and you can probably tell I'm about to tell you one of two things.

私が話すことが2つのうち1つだと おわかりいただけるでしょう

I’m going to tell you AI is amazing,

AIがすごいってことをお話をしますが

or I'm going to tell you AI is an imposter.

また AIは詐欺師だとも言うつもりです

Researchers like me love to remind you

私のような研究者が 一つ申し上げたいのは

that AI is nothing like the brain.

AIは脳ではないということです

And that is true.

それは本当です

But could it also be the AI and the brain share something in common?

AIと脳には何か共通点はあるのでしょうか?

So we’ve done this scratch pad prediction task,

そこで スクラッチパッド 予測タスクを実行しました

and it turns out, 75 percent of the time

75パーセントの確率で

the predicted neural network scratchpad for a particular word

ニューラルネットワークスクラッチパッドで 予測された特定の単語は

is more similar to the true neural network scratchpad for that word

本当のニューラルネットワークスクラッチパッド の単語にとても良く似ています

than it is to the neural network scratch pad

ニューラルネットワークの スクラッチパッドよりもです

for some other randomly chosen word --

他のランダムに選ばれた単語で --

75 percent is much better than chance.

75% は偶然よりはるかに優れています

What about for more complicated things,

もっと複雑な場合はどうなるでしょうか

not just words, but sentences, even stories?

言葉だけでなく文章や物語でも？

Again, this scratch pad prediction task works.

この場合も スクラッチパッド 予測タスクは機能します

We’re able to predict the neural network scratch pad from the brain and vice versa.

ニューラル ネットワークのスクラッチパッドを 脳から予測することができ またその逆も可能です

Amazing.

すごい

So does that mean

ということは

that neural networks and AI understand language just like we do?

ニューラルネットワークやAIは 人のように言語を理解するでしょうか？

Well, truthfully, no.

実際は違います

Though these scratch pad prediction tasks show above-chance accuracy,

スクラッチパッド予測タスクは 確率を上回る精度ですが

the underlying correlations are still pretty weak.

基礎的な相関関係は まだかなり弱いのです

And though neural networks are inspired by the brain,

ニューラル ネットワークは 脳の動きをまねていますが

they don't have the same kind of structure and complexity

同じ種類の構造と複雑さではありません

that we see in the brain.

脳で見られるような

Neural networks also don't exist in the world.

ニューラルネットワークは 世の中に存在もしません

A neural network has never opened a door

ニューラルネットワークは ドアを開けてみたり

or seen a sunset, heard a baby cry.

夕日を見たり 赤ちゃんの 泣き声を聞いたりはしません

Can a neural network that doesn't actually exist in the world,

世の中に実際には存在しない ニューラルネットワークが

hasn't really experienced the world,

現実の世界を経験しないで

really understand language about the world?

世の中の言語を理解するでしょうか？

Still, these scratch pad prediction experiments have held up --

それでも スクラッチパッド 予測実験は成功しました --

multiple brain imaging experiments,

複数の脳画像実験

multiple neural networks.

複数のニューラルネットワーク

We've also found that as the neural networks get more accurate,

ニューラルネットワークの 精度が高まるにつれて

they also start to use their scratch pad in a way

スクラッチパッドを ある意味使い始めます

that becomes more brain-like.

より脳らしくなります

And it's not just language.

言語だけではなく

We've seen similar results in navigation and vision.

ナビゲーションやビジョンでも 同様の結果が見られました

So AI is not doing exactly what the brain is doing,

AI は脳が行っていることと 同じことをしているわけではありません

but it's not completely random either.

しかし 完全にランダムでもありません

So from where I sit,

私がいるところから

if we want to know if AI really understands language like we do,

AIが私たちと同じように言語 を理解できるかどうかを知りたければ

we need to get inside of the Chinese room.

中国語の部屋に 入らなければいけません

We need to know what the AI is doing,

AI が何をしているのかを 知らなければいけません

and we need to be able to compare that to what people are doing

人がやっていることと 比較する必要があります

when they understand language.

言語を理解するにあたって

AI is moving so fast.

AI の進歩は急速です

Today, I'm asking you, does AI understand language

現在の AIに言語が 理解できますかという質問は

that might seem like a silly question in ten years.

愚かな質問に 見えるかもしれません10年後には

Or ten months.

10か月後かも

(Laughter)

（笑い）

But one thing will remain true.

しかし 一つ変わらないことがあります

We are meaning-making humans,

価値を作るのは人間であり

and we are going to continue to look for meaning

価値を探し続けます

and interpret the world around us.

周りの世界の解釈ができます

And we will need to remember

気をつけないといけないのは

that if we only look at the input and output of AI,

AI のインプットとアウトプットだけを見ていると

it's very easy to be fooled.

だまされるのはとても簡単です

We need to get inside of the metaphorical room of AI

私たちはAIの”部屋”に 入らなければなりません

in order to see what's happening.

何が起こっているのかを見るためです

It's what's inside the counts.

大事なのは中身です

Thank you.

ありがとうございました

(Applause)

（拍手）