How to Get Inside the "Brain" of AI | Alona Fyshe | TED

Переводчик: Alina Matveeva Редактор: Olga Mansurova

People are funny.

Мы, люди, удивительные.

We're constantly trying to understand and interpret

Мы постоянно пытаемся понять и объяснить

the world around us.

мир вокруг нас.

I live in a house with two black cats, and let me tell you,

У меня дома живут две чёрные кошки, и скажу честно,

every time I see a black, bunched up sweater out of the corner of my eye,

всякий раз, когда краем глаза я вижу чёрный скомканный свитер,

I think it's a cat.

я думаю, что это кошка.

It's not just the things we see.

Дело даже не в том, что мы видим.

Sometimes we attribute more intelligence than might actually be there.

Порой мы приписываем больше смысла тому, что там могло бы быть.

Maybe you've seen the dogs on TikTok.

Вы могли видеть тех собак с ТикТока.

They have these little buttons that say things like "walk" or "treat."

У них маленькие кнопки с надписями вроде «прогулка» или «угощение».

They can push them to communicate some things with their owners,

Собаки могут нажимать на них для общения со своими хозяевами,

and their owners think they use them

а хозяева думают, что так собаки

to communicate some pretty impressive things.

выражают нечто впечатляющее.

But do the dogs know what they're saying?

А понимают ли собаки, что сообщают?

Or perhaps you've heard the story of Clever Hans the horse,

Или, может, вы слышали историю про Умного Ганса, коня,

and he could do math.

который умел считать.

And not just like, simple math problems, really complicated ones,

Причём он решал не простые задачки, а довольно сложные.

like, if the eighth day of the month falls on a Tuesday,

Например, если восьмой день месяца выпадает на вторник,

what's the date of the following Friday?

то какая дата будет в следующую пятницу?

It's like, pretty impressive for a horse.

А это поразительно для лошади.

Unfortunately, Hans wasn't doing math,

К сожалению, Ганс не знал математики,

but what he was doing was equally impressive.

но то, что он делал, всё равно впечатляет.

Hans had learned to watch the people in the room

Ганс научился наблюдать за людьми рядом с ним,

to tell when he should tap his hoof.

и так понимал, когда должен бить копытом.

So he communicated his answers by tapping his hoof.

И ответы он передавал, как раз постукивая копытом.

It turns out that if you know the answer

Оказывается, если вам известен ответ

to "if the eighth day of the month falls on a Tuesday,

на «если восьмой день месяца выпадает на вторник,

what's the date of the following Friday,"

какая дата будет в следующую пятницу»,

you will subconsciously change your posture

вы неосознанно измените своё положение,

once the horse has given the correct 18 taps.

когда конь правильно отстучит копытом 18 раз.

So Hans couldn't do math,

И хотя Ганс не мог считать,

but he had learned to watch the people in the room who could do math,

но он научился наблюдать за людьми рядом, которые умели считать,

which, I mean, still pretty impressive for a horse.

что всё же поразительно для лошади.

But this is an old picture,

Но это давняя история,

and we would not fall for Clever Hans today.

и сегодня мы вряд ли купимся на Умного Ганса.

Or would we?

Или всё же да?

Well, I work in AI,

Я работаю с искусственным интеллектом,

and let me tell you, things are wild.

и, скажу вам, это поразительно.

There have been multiple examples of people being completely convinced

Известно много случаев, когда люди были совершенно уверены,

that AI understands them.

что ИИ их понимает.

In 2022,

В 2022 году

a Google engineer thought that Google’s AI was sentient.

некий инженер Гугла посчитал, что ИИ Гугла наделён разумом.

And you may have had a really human-like conversation

И вы тоже можете вести разговор как с реальным человеком

with something like ChatGPT.

с чем-то вроде ChatGPT.

But models we're training today are so much better

Но модели, которые мы тренируем сейчас,

than the models we had even five years ago.

в разы лучше тех, что были пять лет назад.

It really is remarkable.

Это просто замечательно.

So at this super crazy moment in time,

И в такое поистине безумное время

let’s ask the super crazy question:

давайте зададим поистине безумный вопрос:

Does AI understand us,

понимает ли нас ИИ,

or are we having our own Clever Hans moment?

или это повторение истории с Умным Гансом?

Some philosophers think that computers will never understand language.

Некоторые философы думают, что компьютеры никогда не смогут понимать язык.

To illustrate this, they developed something they call

Чтобы доказать это, они представили эксперимент,

the Chinese room argument.

названный «Китайская комната».

In the Chinese room, there is a person, hypothetical person,

В «Китайской комнате» находится гипотетический человек,

who does not understand Chinese,

который не владеет китайским,

but he has along with him a set of instructions

но у него есть набор инструкций,

that tell him how to respond in Chinese to any Chinese sentence.

объясняющих, как отвечать по-китайски на любое китайское предложение.

Here's how the Chinese room works.

«Китайская комната» работает так.

A piece of paper comes in through a slot in the door,

Через щель в двери передаётся лист бумаги,

has something written in Chinese on it.

на котором что-то написано по-китайски.

The person uses their instructions to figure out how to respond.

Человек, следуя инструкциям, определяет, как ему отвечать.

They write the response down on a piece of paper

Он записывает ответ на листке бумаги

and then send it back out through the door.

и передаёт его обратно через дверь.

To somebody who speaks Chinese,

Тому, кто знает китайский

standing outside this room,

и ждёт за дверью,

it might seem like the person inside the room speaks Chinese.

может показаться, что человек в комнате тоже знает китайский.

But we know they do not,

Но мы-то знаем, что это не так,

because no knowledge of Chinese is required to follow the instructions.

ведь чтобы следовать инструкциям, не требуется знание китайского языка.

Performance on this task does not show that you know Chinese.

Выполнение этого задания не покажет, что вы знаете китайский.

So what does that tell us about AI?

И что же тогда это говорит нам об ИИ?

Well, when you and I stand outside of the room,

Когда мы с вами стоим за дверью,

when we speak to one of these AIs like ChatGPT,

разговаривая с ИИ подобно ChatGPT,

we are the person standing outside the room.

мы и есть тот человек за пределами комнаты.

We're feeding in English sentences,

Мы передаём фразы на английском,

we're getting English sentences back.

и в ответ получаем фразы на английском.

It really looks like the models understand us.

И нам кажется, что модели ИИ нас понимают.

It really looks like they know English.

Кажется, что они знают английский язык.

But under the hood,

Но на самом деле

these models are just following a set of instructions, albeit complex.

эти модели лишь следуют инструкциям, пусть и довольно сложным.

How do we know if AI understands us?

Как же узнать, понимает ли нас ИИ?

To answer that question, let's go back to the Chinese room again.

Для ответа на этот вопрос вернёмся снова к «Китайской комнате».

Let's say we have two Chinese rooms.

Пусть будут две «Китайские комнаты».

In one Chinese room is somebody who actually speaks Chinese,

В одной «Китайской комнате» будет кто-то, знающий китайский язык,

and in the other room is our impostor.

а в другой будет наш обманщик.

When the person who actually speaks Chinese gets a piece of paper

Когда человек, знающий китайский, получает листок бумаги,

that says something in Chinese in it, they can read it, no problem.

где написано что-то по-китайски, он без проблем это прочитает.

But when our imposter gets it again,

Но когда его получает наш обманщик,

he has to use his set of instructions to figure out how to respond.

ему необходимы инструкции, чтобы определиться с ответом.

From the outside, it might be impossible to distinguish these two rooms,

Снаружи невозможно различить эти две комнаты,

but we know inside something really different is happening.

но мы знаем, что внутри них есть различия.

To illustrate that,

Для лучшего понимания

let's say inside the minds of our two people,

представим, что в головах этих двух людей

inside of our two rooms,

внутри наших двух комнат

is a little scratch pad.

есть маленькая карта памяти.

And everything they have to remember in order to do this task

И всё, что нужно помнить для выполнения задания,

has to be written on that little scratch pad.

надо записать на эту карту памяти.

If we could see what was written on that scratch pad,

Если бы мы смогли увидеть записи на этой карте,

we would be able to tell how different their approach to the task is.

то смогли бы понять, чем отличаются их подходы к выполнению задания.

So though the input and the output of these two rooms

И хотя информация на входе и выходе этих двух комнат

might be exactly the same,

может быть идентичной,

the process of getting from input to output -- completely different.

процесс её обработки будет совершенно разным.

So again, what does that tell us about AI?

Опять же, что это говорит нам об ИИ?

Again, if AI, even if it generates completely plausible dialogue,

Если ИИ даже при ведении вполне правдоподобного диалога

answers questions just like we would expect,

отвечает на вопросы согласно ожиданиям,

it may still be an imposter of sorts.

всё равно он остаётся обманщиком.

If we want to know if AI understands language like we do,

Если мы хотим знать, понимает ли ИИ язык так же, как мы,

we need to know what it's doing.

нам нужно знать, что он делает.

We need to get inside to see what it's doing.

Нам нужно увидеть это изнутри.

Is it an imposter or not?

Обманщик это или нет?

We need to see its scratch pad,

Нужно взглянуть на его карту памяти,

and we need to be able to compare it

чтобы мы могли сравнить её

to the scratch pad of somebody who actually understands language.

с картой того, кто действительно понимает язык.

But like scratch pads in brains,

Но как и память нашего мозга,

that's not something we can actually see, right?

вряд ли можно такое увидеть, правда?

Well, it turns out that we can kind of see scratch pads in brains.

Хотя оказывается, что мы можем как-то увидеть эти карты в мозге.

Using something like fMRI or EEG,

Используя что-то вроде фМРТ или ЭЭГ,

we can take what are like little snapshots of the brain while it’s reading.

можно получить небольшие снимки мозга в процессе чтения.

So have people read words or stories and then take pictures of their brain.

Когда люди читают слова или истории, можно получить снимки их мозга.

And those brain images are like fuzzy,

И эти снимки мозга похожи на размытые,

out-of-focus pictures of the scratch pad of the brain.

нечёткие картинки карты памяти мозга.

They tell us a little bit about how the brain is processing

Они в некоторой степени говорят нам, как мозг обрабатывает

and representing information while you read.

и отражает информацию, когда вы читаете.

So here are three brain images taken while a person read the word "apartment,"

Вот три снимка мозга человека в процессе чтения слов «квартира»,

"house" and "celery."

«дом» и «сельдерей».

You can see just with your naked eye

Даже невооружённым глазом видно,

that the brain image for "apartment" and "house"

что снимки мозга для слов «квартира» и «дом»

are more similar to each other

более схожи между собой,

than they are to the brain image for "celery."

чем со снимком для слова «сельдерей».

And you know, of course that apartments and houses are more similar

Понятно, конечно, что у квартир и домов между собой больше общего,

than they are to celery, just the words.

чем с сельдереем, в смысле значений слов.

So said another way,

Иначе говоря,

the brain uses its scratchpad when reading the words "apartment" and "house"

мозг использует свою карту памяти при чтении слов «квартира» и «дом»

in a way that's more similar than when you read the word "celery."

более схожим образом, чем при чтении слова «сельдерей».

The scratch pad tells us a little bit

Эта карта памяти немного говорит нам

about how the brain represents the language.

о том, как мозг отображает язык.

It's not a perfect picture of what the brain's doing,

Картинка работы мозга неидеальна,

but it's good enough.

но и этого достаточно.

OK, so we have scratch pads for the brain.

Итак, у нас есть карта памяти для мозга.

Now we need a scratch pad for AI.

Теперь нам нужна карта и для ИИ.

So inside a lot of AIs is a neural network.

Внутри многих ИИ есть нейросеть.

And inside of a neural network is a bunch of these little neurons.

А внутри нейросети находится множество маленьких нейронов.

So here the neurons are like these little gray circles.

Тут эти нейроны похожи на маленькие серые кружочки.

And we would like to know

И нам нужно узнать,

what is the scratch pad of a neural network?

какая карта памяти у нейросети?

Well, when we feed in a word into a neural network,

Когда мы отправляем слово в нейросеть,

each of the little neurons computes a number.

каждый из маленьких нейронов вычисляет номер.

Those little numbers I'm representing here with colors.

Эти номера я выделила здесь разными цветами.

So every neuron computes this little number,

Каждый нейрон вычисляет номер,

and those numbers tell us something

и эти номера говорят нам о том,

about how the neural network is processing language.

как нейросеть обрабатывает язык.

Taken together,

Все вместе

all of those little circles paint us a picture

эти крошечные кружочки рисуют картину того,

of how the neural network is representing language,

как нейросеть отображает язык,

and they give us the scratch pad of the neural network.

и представляют карту памяти нейросети.

OK, great.

Отлично.

Now we have two scratch pads, one from the brain and one from AI.

Теперь у нас есть две карты: для мозга и для нейросети.

And we want to know: Is AI doing something like what the brain is doing?

И мы хотим выяснить: ИИ оперирует так же, как и мозг?

How can we test that?

Можем ли мы это проверить?

Here's what researchers have come up with.

Вот что придумали исследователи.

We're going to train a new model.

Мы натренируем новую модель.

That new model is going to look at neural network scratch pad

Эта новая модель поищет в карте памяти нейросети

for a particular word

конкретное слово

and try to predict the brain scratch pad for the same word.

и попробует спрогнозировать то же слово для карты памяти мозга.

We can do it, by the way, around two.

Кстати, мы тоже можем это сделать.

So let's train a new model.

Давайте натренируем новую модель.

It’s going to look at the neural network scratch pad for a particular word

Она поищет в карте памяти нейросети конкретное слово

and try to predict the brain scratchpad.

и выполнит прогнозирование для мозга.

If the brain and AI are doing nothing alike,

Если мозг и ИИ оперируют по-разному,

have nothing in common,

они не схожи,

we won't be able to do this prediction task.

мы не сможем выполнить прогнозирование.

It won't be possible to predict one from the other.

Будет невозможно отличить их друг от друга.

So we've reached a fork in the road

Так что мы оказались на распутье,

and you can probably tell I'm about to tell you one of two things.

и вы уже догадываетесь, что я вам скажу одно из двух.

I’m going to tell you AI is amazing,

Либо я скажу, что ИИ великолепен,

or I'm going to tell you AI is an imposter.

либо скажу, что ИИ обманщик.

Researchers like me love to remind you

Такие исследователи, как я, любят напоминать,

that AI is nothing like the brain.

что ИИ совсем не похож на мозг.

And that is true.

И это правда.

But could it also be the AI and the brain share something in common?

Но может ли между ИИ и мозгом также быть что-то общее?

So we’ve done this scratch pad prediction task,

Мы провели прогнозирование для карты памяти,

and it turns out, 75 percent of the time

и выяснили, что в 75 процентах случаев

the predicted neural network scratchpad for a particular word

предполагаемая карта памяти нейросети для конкретного слова

is more similar to the true neural network scratchpad for that word

более схожа с настоящей картой памяти нейросети для этого слова,

than it is to the neural network scratch pad

нежели с картой памяти нейросети

for some other randomly chosen word --

для произвольного слова,

75 percent is much better than chance.

а 75 процентов лучше случайности.

What about for more complicated things,

Но что насчёт чего-то посложнее:

not just words, but sentences, even stories?

не только слова, а предложения, даже истории?

Again, this scratch pad prediction task works.

И снова работает прогнозирование для карты памяти.

We’re able to predict the neural network scratch pad from the brain and vice versa.

Прогнозируя, можно отличить карты памяти нейросети и мозга, и наоборот.

Amazing.

Удивительно.

So does that mean

Так значит ли это,

that neural networks and AI understand language just like we do?

что нейросети и ИИ понимают язык так же, как и мы?

Well, truthfully, no.

На самом деле нет.

Though these scratch pad prediction tasks show above-chance accuracy,

Хотя прогнозирование для карт памяти и показывает высокую точность,

the underlying correlations are still pretty weak.

соотношения в его основе ещё довольно слабы.

And though neural networks are inspired by the brain,

И хотя нейросети основаны на работе мозга,

they don't have the same kind of structure and complexity

у них нет структуры такого же типа и сложности,

that we see in the brain.

которые мы видим в мозге.

Neural networks also don't exist in the world.

Нейросети также не существуют в реальном мире.

A neural network has never opened a door

Нейросеть никогда не открывала дверь,

or seen a sunset, heard a baby cry.

не видела рассвет и не слышала детский плач.

Can a neural network that doesn't actually exist in the world,

Может ли нейросеть, не существующая в реальном мире,

hasn't really experienced the world,

не испытавшая его воздействия,

really understand language about the world?

реально понять язык этого мира?

Still, these scratch pad prediction experiments have held up --

Но опыты с прогнозированием для карт памяти всё же полезны,

multiple brain imaging experiments,

много опытов по картированию мозга

multiple neural networks.

и многочисленным нейросетям.

We've also found that as the neural networks get more accurate,

Мы также выяснили, что, улучшаясь, нейросети начинают

they also start to use their scratch pad in a way

использовать свою временную память также способом,

that becomes more brain-like.

похожим на работу мозга.

And it's not just language.

И не только в плане языка.

We've seen similar results in navigation and vision.

С навигацией и предвидением похожие результаты.

So AI is not doing exactly what the brain is doing,

То есть, ИИ не работает абсолютно так же как человеческий мозг,

but it's not completely random either.

но назвать его работу случайной тоже нельзя.

So from where I sit,

Итак, насколько я понимаю,

if we want to know if AI really understands language like we do,

если мы хотим выяснить, может ли ИИ понимать язык так же как и мы,

we need to get inside of the Chinese room.

нам нужно зайти внутрь «китайской комнаты».

We need to know what the AI is doing,

Мы должны знать, что именно делает ИИ,

and we need to be able to compare that to what people are doing

а также быть способны сравнить это с тем, что делают люди,

when they understand language.

когда они понимают язык.

AI is moving so fast.

ИИ очень быстро развивается.

Today, I'm asking you, does AI understand language

Сегодня я спрашиваю вас, понимает ли ИИ язык,

that might seem like a silly question in ten years.

что может стать глупым вопросом через десять лет.

Or ten months.

Или десять месяцев.

(Laughter)

(Смех)

But one thing will remain true.

Но одно останется истинным.

We are meaning-making humans,

Мы, люди, осмысляем многое,

and we are going to continue to look for meaning

и мы продолжим искать смысл

and interpret the world around us.

и пытаться понять окружающий нас мир.

And we will need to remember

И нам нужно будет помнить, что, зацикливаясь

that if we only look at the input and output of AI,

только на вводных данных и выдаваемых ИИ результатах,

it's very easy to be fooled.

мы легко себя одурачим.

We need to get inside of the metaphorical room of AI

Нам необходимо войти внутрь метафорической комнаты ИИ,

in order to see what's happening.

чтобы увидеть, что же происходит.

It's what's inside the counts.

То, что внутри, очень важно.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)