This computer is learning to read your mind | DIY Neuroscience, a TED series

Translator: Joseph Geni Reviewer: Krystian Aparta

Переводчик: Anton Zamaraev Редактор: Yulia Kallistratova

Greg Gage: Mind-reading. You've seen this in sci-fi movies:

Грег Гейдж: Вы видели, как машины читают мысли

machines that can read our thoughts.

в научно-фантастических фильмах.

However, there are devices today

Однако уже сейчас есть устройства,

that can read the electrical activity from our brains.

позволяющие считывать электрическую активность мозга.

We call this the EEG.

Они называются ЭЭГ.

Is there information contained in these brainwaves?

Содержится ли в мозговых волнах какая-нибудь информация?

And if so, could we train a computer to read our thoughts?

И если да, возможно ли научить компьютер читать мысли?

My buddy Nathan has been working to hack the EEG

Мой приятель Натан работает над расшифровкой ЭЭГ,

to build a mind-reading machine.

чтобы создать машину для чтения мыслей.

[DIY Neuroscience]

[Нейронаука на дому]

So this is how the EEG works.

Вот как работает ЭЭГ.

Inside your head is a brain,

Ваш головной мозг

and that brain is made out of billions of neurons.

состоит из миллиардов нейронов.

Each of those neurons sends an electrical message to each other.

Все эти нейроны обмениваются электрическими сообщениями.

These small messages can combine to make an electrical wave

Объединяясь, маленькие сообщения создают электрическую волну,

that we can detect on a monitor.

регистрируемую монитором.

Now traditionally, the EEG can tell us large-scale things,

Обычно ЭЭГ используется для крупномасштабных явлений,

for example if you're asleep or if you're alert.

вроде определения спит человек или нет.

But can it tell us anything else?

Но можно ли узнать что-либо ещё?

Can it actually read our thoughts?

Может ли ЭЭГ читать мысли?

We're going to test this,

Сейчас мы это проверим

and we're not going to start with some complex thoughts.

и начнём с простых мыслей.

We're going to do something very simple.

Пойдём простым путём.

Can we interpret what someone is seeing using only their brainwaves?

Возможно ли понять, что видит человек только по его мозговым волнам?

Nathan's going to begin by placing electrodes on Christy's head.

Натан начнёт с подсоединения электродов к голове Кристи.

Nathan: My life is tangled.

Натан: Не жизнь, а путаница.

(Laughter)

(Смех)

GG: And then he's going to show her a bunch of pictures

ГГ: А потом он покажет ей кучу фотографий

from four different categories.

из четырёх различных категорий.

Nathan: Face, house, scenery and weird pictures.

Натан: Лицо, дом, пейзаж и ​​странные картинки.

GG: As we show Christy hundreds of these images,

ГГ: Показывая Кристи сотни фотографий,

we are also capturing the electrical waves onto Nathan's computer.

мы будем фиксировать электрические волны на компьютере Натана.

We want to see if we can detect any visual information about the photos

Мы хотим выяснить, можно ли по мозговым волнам

получить визуальную информацию о снимках,

contained in the brainwaves,

so when we're done, we're going to see if the EEG

и по окончании эксперимента узнаем, можно ли по ЭЭГ понять,

can tell us what kind of picture Christy is looking at,

на какую категорию фотографий смотрит Кристи,

and if it does, each category should trigger a different brain signal.

и если можно, то каждая категория должна порождать разные сигналы мозга.

OK, so we collected all the raw EEG data,

Итак, мы собрали все необработанные данные ЭЭГ,

and this is what we got.

и вот что получилось.

It all looks pretty messy, so let's arrange them by picture.

Пока ещё слишком запутанно, поэтому отсортируем графики по снимкам.

Now, still a bit too noisy to see any differences,

Всё ещё слишком много шума, чтобы увидеть какие-либо различия,

but if we average the EEG across all image types

но если усреднить ЭЭГ по всем категориям фотографий,

by aligning them to when the image first appeared,

выровняв их по моменту первого появления снимка,

we can remove this noise,

то шум можно убрать,

and pretty soon, we can see some dominant patterns

и вскоре в каждой категории

станут заметны преобладающие шаблоны.

emerge for each category.

Now the signals all still look pretty similar.

Сигналы всё-таки ещё выглядят очень схожими.

Let's take a closer look.

Давайте присмотримся.

About a hundred milliseconds after the image comes on,

Примерно через 100 мс после появления изображения

we see a positive bump in all four cases,

во всех четырёх случаях заметен положительный подъём.

and we call this the P100, and what we think that is

Назовём его P100, и, видимо, это то,

is what happens in your brain when you recognize an object.

что происходит в мозге при узнавании предмета.

But damn, look at that signal for the face.

Но, чёрт возьми, взгляните на сигнал для лиц.

It looks different than the others.

Он выглядит иначе, чем остальные.

There's a negative dip about 170 milliseconds

Примерно через 170 мс после появления изображения

after the image comes on.

виден отрицательный спад.

What could be going on here?

Что здесь может происходить?

Research shows that our brain has a lot of neurons that are dedicated

Исследования показали, что наш мозг содержит большое количество нейронов

to recognizing human faces,

для узнавания лица человека,

so this N170 spike could be all those neurons

так что, возможно, скачок N170 показывает одновременную активацию

firing at once in the same location,

всех тех нейронов в одном и том же месте,

and we can detect that in the EEG.

что и отражает ЭЭГ.

So there are two takeaways here.

Отсюда можно сделать два вывода.

One, our eyes can't really detect the differences in patterns

Во-первых, человеческий глаз не может обнаружить различия в шаблонах

without averaging out the noise,

без усреднения шума,

and two, even after removing the noise,

и во-вторых, даже устранив шум,

our eyes can only pick up the signals associated with faces.

наши глаза могут выделить лишь сигналы, связанные с лицами.

So this is where we turn to machine learning.

Настало время обратиться к машинному обучению.

Now, our eyes are not very good at picking up patterns in noisy data,

Наши глаза плохо приспособлены к узнаванию шаблонов в зашумлённых данных,

but machine learning algorithms are designed to do just that,

но алгоритмы машинного обучения предназначены именно для этого,

so could we take a lot of pictures and a lot of data

так что возможно ли на множестве данных в виде фотографий

and feed it in and train a computer

обучить компьютер способности

to be able to interpret what Christy is looking at in real time?

понимать в реальном времени, что именно видит Кристи?

We're trying to code the information that's coming out of her EEG

Мы попытаемся закодировать информацию,

получаемую от ЭЭГ в реальном времени,

in real time

and predict what it is that her eyes are looking at.

и предсказать, на что смотрит Кристи.

And if it works, what we should see

Если это сработает, мы должны увидеть,

is every time that she gets a picture of scenery,

что каждый раз, когда она видит пейзаж,

it should say scenery, scenery, scenery, scenery.

компьютер должен неизменно определять пейзаж.

A face -- face, face, face, face,

А при виде лица — лицо,

but it's not quite working that way, is what we're discovering.

но мы увидим, что не всё так просто.

(Laughter)

(Смех)

OK.

ОК.

Режиссёр: Так что здесь происходит? ГГ: Думаю, мне пора менять профессию.

Director: So what's going on here? GG: We need a new career, I think.

(Laughter)

(Смех)

OK, so that was a massive failure.

ОК, это был грандиозный провал.

But we're still curious: How far could we push this technology?

Но всё-таки любопытно, что можно выжать из этой технологии?

And we looked back at what we did.

Мы пересмотрели проделанную работу

и заметили, что данные поступали на наш компьютер очень быстро,

We noticed that the data was coming into our computer very quickly,

без какого-либо уведомления о появлении изображения.

without any timing of when the images came on,

and that's the equivalent of reading a very long sentence

Это как читать очень длинное предложение

without spaces between the words.

без пробелов между словами.

It would be hard to read,

Так читать трудно,

but once we add the spaces, individual words appear

но с добавлением пробелов появляются отдельные слова,

and it becomes a lot more understandable.

и всё становится намного более понятным.

But what if we cheat a little bit?

Так что, если немного сжульничать?

By using a sensor, we can tell the computer when the image first appears.

Датчик может сообщить компьютеру, когда изображение появится впервые.

That way, the brainwave stops being a continuous stream of information,

Так мозговая волна перестанет быть непрерывным потоком информации

and instead becomes individual packets of meaning.

и вместо этого станет набором осмысленных кусочков.

Also, we're going to cheat a little bit more,

Помимо этого, мы ещё больше сжульничаем,

by limiting the categories to two.

ограничившись двумя категориями.

Let's see if we can do some real-time mind-reading.

Посмотрим, можно ли читать мысли в реальном времени.

In this new experiment,

В новом эксперименте

we're going to constrict it a little bit more

мы введём дополнительное ограничение —

so that we know the onset of the image

знание времени появления изображения —

and we're going to limit the categories to "face" or "scenery."

и ограничимся категориями «лицо» и «пейзаж».

Nathan: Face. Correct.

Натан: Лицо. Правильно.

Scenery. Correct.

Пейзаж. Правильно.

GG: So right now, every time the image comes on,

ГГ: Сейчас, каждый раз при появлении изображения,

we're taking a picture of the onset of the image

мы фиксируем момент его появления

and decoding the EEG.

и расшифровываем ЭЭГ.

It's getting correct.

И получаем правильный ответ.

Nathan: Yes. Face. Correct.

Натан: Да. Лицо. Правильно.

GG: So there is information in the EEG signal, which is cool.

ГГ: Значит, в сигнале ЭЭГ есть информация, и это круто.

We just had to align it to the onset of the image.

Просто нужно было выровнять его по началу изображения.

Nathan: Scenery. Correct.

Натан: Пейзаж. Правильно.

Face. Yeah.

Лицо. Да.

GG: This means there is some information there,

ГГ: Это значит, что волны мозга несут информацию,

so if we know at what time the picture came on,

и, если известно время появления изображения,

we can tell what type of picture it was,

можно по этим, пусть и усреднённым,

possibly, at least on average, by looking at these evoked potentials.

электрическим сигналам определить категорию фотографии.

Nathan: Exactly.

Натан: Верно.

GG: If you had told me at the beginning of this project this was possible,

ГГ: Если бы мне сказали в начале этого проекта, что такое возможно,

I would have said no way.

я бы ни за что не поверил.

I literally did not think we could do this.

Я был убеждён, что нам такое не под силу.

Did our mind-reading experiment really work?

Значит, эксперимент по чтению мыслей удался?

Yes, but we had to do a lot of cheating.

Да, но нам пришлось много жульничать.

It turns out you can find some interesting things in the EEG,

Оказалось, в ЭЭГ можно найти нечто интересное,

for example if you're looking at someone's face,

например, смотрите ли вы на чьё-то лицо или нет,

but it does have a lot of limitations.

но есть ещё много ограничений.

Perhaps advances in machine learning will make huge strides,

Возможно, машинное обучение будет развиваться семимильными шагами,

and one day we will be able to decode what's going on in our thoughts.

и когда-нибудь удастся расшифровать, что происходит в наших мыслях.

But for now, the next time a company says that they can harness your brainwaves

Но пока что, услышав утверждение, что ваши мозговые волны

способны управлять какими-то устройствами,

to be able to control devices,

it is your right, it is your duty to be skeptical.

вы вправе, и даже обязаны, отнесись к этому скептически.