How to Get Inside the "Brain" of AI | Alona Fyshe | TED

번역: Seonghoon Lim 검토: DK Kim

People are funny.

인간은 흥미롭죠.

We're constantly trying to understand and interpret

자신을 둘러싼 세계를 끊임없이 이해하고 설명하려고 애씁니다.

the world around us.

I live in a house with two black cats, and let me tell you,

저는 검은 고양이 두 마리와 집에 함께 사는데

every time I see a black, bunched up sweater out of the corner of my eye,

구석에 검은색 스웨터 더미가 보이면 그때마다 고양이라고 생각합니다.

I think it's a cat.

(웃음)

It's not just the things we see.

눈에 보이는 게 다가 아니죠.

Sometimes we attribute more intelligence than might actually be there.

가끔 인간은 사물을 볼 때 실제보다 더 의미를 부여합니다.

Maybe you've seen the dogs on TikTok.

틱톡에 있는 강아지 영상에서

They have these little buttons that say things like "walk" or "treat."

‘산책’ , ‘간식’을 뜻하는 작은 단추들을 봤을 거예요.

강아지들은 그것으로 주인들과 소통할 수 있으며

They can push them to communicate some things with their owners,

and their owners think they use them

주인들도 그 단추로 강아지들과 꽤 잘 소통할 수 있다고 생각합니다.

to communicate some pretty impressive things.

But do the dogs know what they're saying?

그런데 강아지들이 정말 아는 걸까요?

Or perhaps you've heard the story of Clever Hans the horse,

산수를 할 줄 아는 말이라는 ‘영리한 한스’를 아실 거예요.

and he could do math.

And not just like, simple math problems, really complicated ones,

간단한 산수 문제가 아니라 정말 복잡한 문제를 압니다.

like, if the eighth day of the month falls on a Tuesday,

8일이 화요일이면 다음 주 금요일은 며칠인가 같은 문제 말이죠.

what's the date of the following Friday?

It's like, pretty impressive for a horse.

말치고는 정말 대단합니다.

Unfortunately, Hans wasn't doing math,

아쉽게도 한스가 산수를 하는 것은 아니었지만

but what he was doing was equally impressive.

그의 행동은 여전히 놀랍습니다.

Hans had learned to watch the people in the room

한스가 배운 것은

방안에 있는 사람들을 보면서 언제 발을 굴러야 할지였습니다.

to tell when he should tap his hoof.

So he communicated his answers by tapping his hoof.

때가 되면 발을 굴러서 답을 말했죠.

It turns out that if you know the answer

알고 보니 앞서 얘기한 복잡한 수학 문제의 답을 아는 사람들은

to "if the eighth day of the month falls on a Tuesday,

what's the date of the following Friday,"

한스가 발을 18번 굴러서 정답이 되면

you will subconsciously change your posture

once the horse has given the correct 18 taps.

무의식적으로 자세를 바꿨던 것이었습니다.

So Hans couldn't do math,

그러니까 한스는 수학은 못 했지만

but he had learned to watch the people in the room who could do math,

방 안에서 수학을 할 수 있는 사람을 보는 것을 학습한 겁니다.

which, I mean, still pretty impressive for a horse.

말치고는 여전히 놀랍죠.

But this is an old picture,

하지만 이건 오래된 이야기고 오늘날 우리는 안 속을 거예요.

and we would not fall for Clever Hans today.

Or would we?

아니면 속을까요?

(웃음)

Well, I work in AI,

저는 AI 분야에서 일하는데, 장담하건대 어렵습니다.

and let me tell you, things are wild.

There have been multiple examples of people being completely convinced

AI가 인간을 이해한다고 사람들이 전적으로 확신하는

that AI understands them.

사례가 여러 가지 있습니다.

In 2022,

2022년에 한 구글 엔지니어는

a Google engineer thought that Google’s AI was sentient.

구글 인공 지능이 지각이 있다고 생각했습니다.

And you may have had a really human-like conversation

여러분은 챗지피티 같은 것과 진짜 인간처럼 대화도 했을 겁니다.

with something like ChatGPT.

But models we're training today are so much better

그런데 저희가 현재 훈련 중인 모델은 5년 전 모델보다 훨씬 발전했으며

than the models we had even five years ago.

It really is remarkable.

정말 놀라운 성과죠.

So at this super crazy moment in time,

완전히 미친 듯한 이 시점에 정말 말이 안 되는 질문을 드릴게요.

let’s ask the super crazy question:

Does AI understand us,

AI는 인간을 이해할까요, 아니면 또 다른 영리한 한스일까요?

or are we having our own Clever Hans moment?

Some philosophers think that computers will never understand language.

어떤 철학자들은 컴퓨터가 절대로 언어를 이해하지 못할 거라고 합니다.

To illustrate this, they developed something they call

이를 증명하기 위해 그들은 ‘중국어 방 논증’을 만들었습니다.

the Chinese room argument.

In the Chinese room, there is a person, hypothetical person,

중국어 방에는 중국어를 모르는 사람이 있습니다.

who does not understand Chinese,

but he has along with him a set of instructions

그런데 그는 지침서가 있고

that tell him how to respond in Chinese to any Chinese sentence.

지침서에는 중국어 문장마다 어떻게 대응할지 적혀 있습니다.

Here's how the Chinese room works.

중국어 방은 이런 식으로 작동합니다.

A piece of paper comes in through a slot in the door,

문에 있는 구멍으로 종이 한 장이 들어오는데

그 종이에는 중국어로 무엇인가 적혀 있습니다.

has something written in Chinese on it.

[우리 개는 산수를 할 수 있어요]

The person uses their instructions to figure out how to respond.

사람은 설명서를 이용해서 어떻게 대답할지 알아냅니다.

They write the response down on a piece of paper

종이에 대답을 적고 문 밖으로 다시 내보냅니다.

and then send it back out through the door.

[개가 그렇다니 그거 정말 놀랍군요]

To somebody who speaks Chinese,

방 밖에 있는 중국어를 할 줄 아는 사람은

standing outside this room,

it might seem like the person inside the room speaks Chinese.

방 안에 있는 사람이 중국어를 할 줄 안다고 생각할 것입니다.

But we know they do not,

하지만, 저희는 그게 아닌 걸 알죠.

because no knowledge of Chinese is required to follow the instructions.

지침서를 보는 데는 중국어가 필요하지 않으니까요.

이 실험 결과는 그 사람이 중국어를 아는지 알려 주지 않습니다.

Performance on this task does not show that you know Chinese.

So what does that tell us about AI?

이 실험은 AI에 대해 무엇을 말해주나요?

Well, when you and I stand outside of the room,

여러분과 제가 방 밖에 있고

when we speak to one of these AIs like ChatGPT,

챗지피티 같은 AI 중에서 하나에게 말을 건다면

we are the person standing outside the room.

우리는 방 밖에 서 있는 사람이 되는 겁니다.

We're feeding in English sentences,

영어로 질문을 하면 영어로 대답을 받는 것이죠.

we're getting English sentences back.

It really looks like the models understand us.

그래서 정말로 인간을 이해하는 것처럼 보일 겁니다.

It really looks like they know English.

진짜로 영어를 아는 것처럼 보입니다.

But under the hood,

하지만 실상을 알고 보면 복잡한 지침을 따르는 것뿐입니다.

these models are just following a set of instructions, albeit complex.

How do we know if AI understands us?

AI가 그걸 이해하는지 어떻게 알까요?

To answer that question, let's go back to the Chinese room again.

이 질문에 답을 하려면 중국어 방으로 다시 돌아가서

Let's say we have two Chinese rooms.

중국어 방이 두 개 있다고 하죠.

In one Chinese room is somebody who actually speaks Chinese,

한 중국어 방에는, 실제로 중국어를 하는 사람이 있고,

다른 방에는 가짜가 있죠.

and in the other room is our impostor.

When the person who actually speaks Chinese gets a piece of paper

실제로 중국어를 하는 사람이 중국어로 써 있는 질문지를 받으면

중국어를 읽을 줄 아니까 문제가 없습니다.

that says something in Chinese in it, they can read it, no problem.

But when our imposter gets it again,

하지만, 다른 방에 있는 가짜가 질문지를 받으면,

he has to use his set of instructions to figure out how to respond.

어떻게 대답할지 지침서를 찾아봐야 하죠.

From the outside, it might be impossible to distinguish these two rooms,

밖에서는 두 방을 구분하는 게 불가능할지도 모르겠지만

but we know inside something really different is happening.

내부에서 어떤 다른 일들이 일어난다는 걸 우리는 압니다.

To illustrate that,

설명을 위해서 방에 있는 두 사람의 머리 속에

let's say inside the minds of our two people,

inside of our two rooms,

작은 메모장이 있다고 생각해 봅시다.

is a little scratch pad.

And everything they have to remember in order to do this task

이 작업을 하기 위해 기억해야 하는 모든 것들은

has to be written on that little scratch pad.

그 작은 메모장에 기록됩니다.

If we could see what was written on that scratch pad,

메모장에 무엇이 적혀 있는지 본다면

we would be able to tell how different their approach to the task is.

그들이 어떻게 다른 식으로 일하는지 알 수 있죠.

So though the input and the output of these two rooms

두 방의 질문과 대답이 정확히 같을지는 몰라도

might be exactly the same,

the process of getting from input to output -- completely different.

질문과 대답을 처리하는 과정은 완전히 다른 것이죠.

So again, what does that tell us about AI?

그러면 다시, 이것은 AI에 대해서 우리에게 무엇을 말해주나요?

Again, if AI, even if it generates completely plausible dialogue,

다시 말씀드리면, 우리가 기대하는 것과 같은

answers questions just like we would expect,

그럴싸한 대화와 대답을 구현하더라도 여전히 일종의 가짜일 수 있습니다.

it may still be an imposter of sorts.

만약 AI가 정말 우리처럼 언어를 이해하는지 알고 싶으면,

If we want to know if AI understands language like we do,

we need to know what it's doing.

AI가 하는 일을 알아야 합니다.

We need to get inside to see what it's doing.

내부로 들어가서 무엇을 하는지 봐야 합니다.

Is it an imposter or not?

사기꾼인가요, 아닌가요?

We need to see its scratch pad,

AI의 메모장을 확인한 후

and we need to be able to compare it

실제로 언어를 아는 사람의 메모장과 비교할 수 있어야 합니다.

to the scratch pad of somebody who actually understands language.

But like scratch pads in brains,

하지만 머릿속의 메모장은 실제로 확인할 수 없는 거죠?

that's not something we can actually see, right?

Well, it turns out that we can kind of see scratch pads in brains.

알고 보니 머릿속 메모장을 볼 수 있었습니다.

Using something like fMRI or EEG,

기능성 자기 공명 영상 촬영이나 뇌파계 같은 것으로

we can take what are like little snapshots of the brain while it’s reading.

글을 읽는 동안 사진과 비슷하게 머릿속을 살짝 엿볼 수 있습니다.

글이나 이야기를 읽게 하고 머릿속을 촬영합니다.

So have people read words or stories and then take pictures of their brain.

And those brain images are like fuzzy,

이러한 사진은 머릿속 메모장을 흐릿하고 초점이 빗나간 사진처럼 찍습니다.

out-of-focus pictures of the scratch pad of the brain.

They tell us a little bit about how the brain is processing

여러분이 글을 읽는 동안 머릿속에 어떠한 일이 일어나는지,

and representing information while you read.

어떤 정보를 나타내는지를 조금만 보여 주죠.

So here are three brain images taken while a person read the word "apartment,"

이 뇌 영상 세 가지는

‘아파트‘, ‘주택‘, ‘샐러리’를 읽을 때 뇌를 촬영한 것입니다.

"house" and "celery."

You can see just with your naked eye

그냥 맨눈으로 보시면

that the brain image for "apartment" and "house"

‘아파트‘와 ‘주택’은 ‘샐러리’보다

are more similar to each other

than they are to the brain image for "celery."

서로 더 비슷합니다.

And you know, of course that apartments and houses are more similar

당연히 아파트와 주택은 샐러리보다 의미가 비슷하잖아요.

than they are to celery, just the words.

So said another way,

다른 면에서 본다면,

the brain uses its scratchpad when reading the words "apartment" and "house"

뇌는 아파트와 주택을 읽을 때

샐러리를 읽을 때보다 뇌속의 메모장을 더 비슷하게 사용하죠.

in a way that's more similar than when you read the word "celery."

The scratch pad tells us a little bit

메모장은 머릿속에서 단어를 표현하는 방법을 살짝 보여줍니다.

about how the brain represents the language.

It's not a perfect picture of what the brain's doing,

뇌가 무엇을 하는지 완벽하게 보여주지는 않지만 충분하죠.

but it's good enough.

OK, so we have scratch pads for the brain.

인간의 메모장을 확인했으니까 AI의 메모장을 확인해 보죠.

Now we need a scratch pad for AI.

So inside a lot of AIs is a neural network.

AI의 내부에는 수많은 신경망이 있고

And inside of a neural network is a bunch of these little neurons.

신경망 내부에는 작은 신경 세포들이 많이 있습니다.

So here the neurons are like these little gray circles.

작은 회색 원이 신경 세포예요.

And we would like to know

어떤 것이 신경망의 메모장인지 궁금하실 거예요.

what is the scratch pad of a neural network?

Well, when we feed in a word into a neural network,

신경망에 단어를 입력하면

each of the little neurons computes a number.

작은 신경 세포들 하나하나가 숫자를 계산하죠.

Those little numbers I'm representing here with colors.

그 작은 숫자들을 색으로 나타냈습니다.

So every neuron computes this little number,

각 신경 세포는 이 숫자를 계산하고

and those numbers tell us something

이러한 숫자들로 신경망이 언어를 이해하는 방법을 알 수 있죠.

about how the neural network is processing language.

Taken together,

이 모든 것을 종합해 보면

all of those little circles paint us a picture

이 작은 원들은 신경 세포가 언어를 어떻게 이해하는지 보여주면서

of how the neural network is representing language,

and they give us the scratch pad of the neural network.

신경망의 메모장도 알려주죠.

OK, great.

인간의 뇌와 AI의 메모장, 둘 다 확인했는데요.

Now we have two scratch pads, one from the brain and one from AI.

And we want to know: Is AI doing something like what the brain is doing?

이제 AI가 인간의 뇌처럼 작동하는지 확인해보죠.

How can we test that?

어떻게 확인할 수 있을까요?

Here's what researchers have come up with.

연구자들은 이런 방법을 생각해냈습니다.

We're going to train a new model.

우리는 새 모델을 학습시킬 겁니다.

That new model is going to look at neural network scratch pad

이 새 모델은 특정 단어에 대한 신경망 메모장을 확인하고

for a particular word

and try to predict the brain scratch pad for the same word.

같은 단어에 대한 뇌 메모장을 예상해 볼 겁니다.

We can do it, by the way, around two.

참고로 두 방향 다 가능합니다.

So let's train a new model.

새 모델을 학습시켜 봅시다.

It’s going to look at the neural network scratch pad for a particular word

특정 단어의 신경망 메모장을 확인하고 두뇌 메모장을 예측하는 겁니다.

and try to predict the brain scratchpad.

두뇌와 AI의 행동에서 같은 점이 없거나

If the brain and AI are doing nothing alike,

have nothing in common,

공통점이 없다면 예측 실험을 못 하겠죠.

we won't be able to do this prediction task.

하나에서 다른 것을 예측하는 것이 불가능할 테니까요.

It won't be possible to predict one from the other.

So we've reached a fork in the road

우리는 갈림길에 이르렀고 제가 둘 중 하나를 말하리란 걸 아시겠죠.

and you can probably tell I'm about to tell you one of two things.

I’m going to tell you AI is amazing,

‘AI는 놀랍다’거나 아니면 ‘AI는 가짜다’이죠.

or I'm going to tell you AI is an imposter.

저와 같은 연구자들은 AI와 뇌는 다르다고 말하곤 합니다.

Researchers like me love to remind you

that AI is nothing like the brain.

And that is true.

그리고 그건 사실입니다.

But could it also be the AI and the brain share something in common?

그런데 AI와 뇌에 공통점이 있을 수도 있을까요?

So we’ve done this scratch pad prediction task,

그래서 메모장 예측 실험을 했고 결과는

and it turns out, 75 percent of the time

예측 실험 75%에서 특정 단어에 대한 신경망 메모장은

the predicted neural network scratchpad for a particular word

is more similar to the true neural network scratchpad for that word

무작위로 선정된 단어들에 대한 진짜 신경망 메모장보다

than it is to the neural network scratch pad

진짜 신경망과 더 비슷했습니다.

for some other randomly chosen word --

75 percent is much better than chance.

75%는 우연으로 보기 어렵죠.

What about for more complicated things,

단어가 아니라 더 복잡한 문장이나 이야기일 땐 어떨까요?

not just words, but sentences, even stories?

Again, this scratch pad prediction task works.

이때도 메모장 예측 실험은 통했죠.

We’re able to predict the neural network scratch pad from the brain and vice versa.

뇌의 신경망 메모장으로 신경망 메모장을 예측할 수 있고

반대도 가능합니다.

Amazing.

굉장하죠.

So does that mean

그렇다면 AI가 인간처럼 언어를 이해하다는 말일까요?

that neural networks and AI understand language just like we do?

Well, truthfully, no.

글쎄요, 실제로는 아닙니다.

Though these scratch pad prediction tasks show above-chance accuracy,

이러한 메모장 예측 실험은 우연을 넘는 정확성을 보여주지만

the underlying correlations are still pretty weak.

근본적인 상관관계는 상당히 빈약합니다.

And though neural networks are inspired by the brain,

또한 AI 신경망이 뇌를 모방했다 해도

they don't have the same kind of structure and complexity

거기에는 뇌에 있는 것 같은 구조와 복잡성이 없으며

that we see in the brain.

또 AI 신경망은 이 세상에 존재하는 것이 아닙니다.

Neural networks also don't exist in the world.

A neural network has never opened a door

문을 열거나 일몰을 보거나 아기 울음 소리를 들은 적이 없죠.

or seen a sunset, heard a baby cry.

Can a neural network that doesn't actually exist in the world,

실제로 존재하지도 않고 세상을 경험해보지 못한 AI 신경망이

hasn't really experienced the world,

really understand language about the world?

세상의 언어를 이해할 수 있을까요?

Still, these scratch pad prediction experiments have held up --

이 메모장 예측 실험, 즉, 다중 뇌 영상 실험, 다중 신경망은

multiple brain imaging experiments,

multiple neural networks.

그래도 성공했습니다.

We've also found that as the neural networks get more accurate,

우리는 또한 신경망이 더욱 정확해질수록

they also start to use their scratch pad in a way

메모장을 더욱 두뇌처럼 이용하기 시작한다는 것도 발견했죠.

that becomes more brain-like.

언어만이 아니고 길안내와 시각에서도 비슷한 결과를 보았습니다.

And it's not just language.

We've seen similar results in navigation and vision.

So AI is not doing exactly what the brain is doing,

따라서, AI는 정확하게 인간의 뇌처럼 작동하진 않지만

but it's not completely random either.

아주 동떨어진 것도 아닙니다.

So from where I sit,

그래서 제가 볼 때는

if we want to know if AI really understands language like we do,

정말로 AI가 인간처럼 언어를 이해하는지 알고 싶다면

we need to get inside of the Chinese room.

중국어 방 안으로 들어가 봐야 합니다.

We need to know what the AI is doing,

AI의 작동 원리를 알고 인간이 언어를 이해하는 방식과 비교해야겠죠.

and we need to be able to compare that to what people are doing

when they understand language.

AI is moving so fast.

AI는 아주 빠르게 변화합니다.

Today, I'm asking you, does AI understand language

그래서 여러분께 묻습니다. “AI는 언어를 이해할 수 있을까요?“

that might seem like a silly question in ten years.

지난 10년간 들어본 질문 중 가장 바보 같은 질문 같죠.

Or ten months.

10개월일 수도 있고요.

(Laughter)

(웃음)

But one thing will remain true.

하지만 한 가지 사실은 진실로 남을 겁니다.

We are meaning-making humans,

우리는 의미를 만드는 인간이며

and we are going to continue to look for meaning

계속해서 세상의 의미를 찾고 해석한다는 겁니다.

and interpret the world around us.

And we will need to remember

기억해야 할 것이 있습니다.

that if we only look at the input and output of AI,

AI에게 한 질문과 답만을 본다면 속아넘어가기가 아주 쉽습니다.

it's very easy to be fooled.

We need to get inside of the metaphorical room of AI

비유적인 AI의 방 안으로 들어가서

in order to see what's happening.

원리를 확인해야죠.

It's what's inside the counts.

중요한 것은 안에 들어 있는 것입니다.

Thank you.

감사합니다.

(Applause)

(박수)