See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Переводчик: Kateryna Konieva Редактор: Maxim Averin

So over the past few centuries, microscopes have revolutionized our world.

За последние несколько столетий микроскопы произвели революцию в мире.

They revealed to us a tiny world of objects, life and structures

Они открыли нам крошечный мир предметов, живых организмов и структур,

that are too small for us to see with our naked eyes.

которые слишком малы, чтобы увидеть их невооружённым глазом.

They are a tremendous contribution to science and technology.

Это огромный вклад в науку и технику.

Today I'd like to introduce you to a new type of microscope,

Сегодня я хочу представить вам новый тип микроскопа —

a microscope for changes.

микроскоп для изменений.

It doesn't use optics like a regular microscope

Он не использует оптику, как обычный микроскоп,

to make small objects bigger,

для увеличения мелких объектов.

but instead it uses a video camera and image processing

Вместо этого он использует видеокамеру и процессор обработки изображения,

to reveal to us the tiniest motions and color changes in objects and people,

чтобы показать нам мельчайшие движения и изменения цвета в предметах и людях,

changes that are impossible for us to see with our naked eyes.

изменения, которые невозможно увидеть невооружённым глазом.

And it lets us look at our world in a completely new way.

Это позволяет нам по-новому взглянуть на мир.

So what do I mean by color changes?

Что я подразумеваю под изменениями цвета?

Our skin, for example, changes its color very slightly

Наша кожа, к примеру, изменяет свой цвет едва заметно,

when the blood flows under it.

когда под ней циркулирует кровь.

That change is incredibly subtle,

Это едва уловимое изменение,

which is why, when you look at other people,

поэтому, когда вы смотрите на других людей,

when you look at the person sitting next to you,

когда вы смотрите на человека, сидящего рядом,

you don't see their skin or their face changing color.

вы не видите изменения цвета их кожи и лица.

When we look at this video of Steve here, it appears to us like a static picture,

Когда мы смотрим на это видео Стива, оно кажется нам статичным изображением,

but once we look at this video through our new, special microscope,

но как только мы посмотрим на него через наш новый особый микроскоп,

suddenly we see a completely different image.

неожиданно мы видим совершенно другую картину.

What you see here are small changes in the color of Steve's skin,

То, что мы видим здесь, — это небольшие изменения цвета кожи Стива,

magnified 100 times so that they become visible.

увеличенные в 100 раз, и теперь их можно увидеть.

We can actually see a human pulse.

Мы можем фактически разглядеть человеческий пульс.

We can see how fast Steve's heart is beating,

Мы можем увидеть, как быстро бьётся сердце Стива

but we can also see the actual way that the blood flows in his face.

и как именно кровь приливает к его лицу.

And we can do that not just to visualize the pulse,

Подобная технология применима не только для визуализации пульса,

but also to actually recover our heart rates,

но и для того, чтобы воспроизвести наш пульс

and measure our heart rates.

и измерить его.

And we can do it with regular cameras and without touching the patients.

Мы можем сделать это обычной камерой, не касаясь пациентов.

So here you see the pulse and heart rate we extracted from a neonatal baby

Здесь вы можете увидеть пульс и частоту сердечных сокращений новорождённого

from a video we took with a regular DSLR camera,

из видео, снятого на обычную цифровую зеркальную камеру,

and the heart rate measurement we get

и полученные нами показания,

is as accurate as the one you'd get with a standard monitor in a hospital.

настолько же точные, как и показания медицинских приборов.

And it doesn't even have to be a video we recorded.

И видео не обязательно должно быть записано нами.

We can do it essentially with other videos as well.

Мы с таким же успехом можем проделывать это с другими видео.

So I just took a short clip from "Batman Begins" here

Я взял короткий отрывок из фильма «Бэтмэн: Начало»,

just to show Christian Bale's pulse.

чтобы показать пульс Кристиана Бейла.

(Laughter)

(Смех)

And you know, presumably he's wearing makeup,

И вы знаете, вероятно, на нём грим,

the lighting here is kind of challenging,

и освещение не самое лучшее,

but still, just from the video, we're able to extract his pulse

тем не менее, из простого ролика мы можем получить его пульс

and show it quite well.

и достаточно наглядно его показать.

So how do we do all that?

Как же нам это удаётся?

We basically analyze the changes in the light that are recorded

В сущности, мы анализируем изменения света, зафиксированные

at every pixel in the video over time,

в каждом пикселе видео в течение записи,

and then we crank up those changes.

а затем максимально раскручиваем их.

We make them bigger so that we can see them.

Мы увеличиваем изменения, чтобы увидеть их.

The tricky part is that those signals,

Вся сложность в том, что эти сигналы,

those changes that we're after, are extremely subtle,

эти изменения, которые мы отслеживаем, едва уловимы,

so we have to be very careful when you try to separate them

и нужно быть очень внимательным, пытаясь отделить их

from noise that always exists in videos.

от шума, который всегда присутствует на видео.

So we use some clever image processing techniques

Мы используем умные технологии обработки изображения,

to get a very accurate measurement of the color at each pixel in the video,

чтобы получить очень точные данные о цвете в каждом пикселе видео

and then the way the color changes over time,

и о том, как меняется цвет с течением времени,

and then we amplify those changes.

после чего мы усиливаем эти изменения.

We make them bigger to create those types of enhanced videos, or magnified videos,

Мы увеличиваем их, чтобы получились те самые продвинутые, улучшенные видео,

that actually show us those changes.

которые показывают нам эти изменения.

But it turns out we can do that not just to show tiny changes in color,

Но мы можем не только показывать мельчайшие изменения цвета,

but also tiny motions,

но и незаметные движения,

and that's because the light that gets recorded in our cameras

потому что свет, записанный на камеру,

will change not only if the color of the object changes,

меняется не только от изменения цвета объекта,

but also if the object moves.

но и от его движения.

So this is my daughter when she was about two months old.

Это моя дочка в возрасте около 2 месяцев.

It's a video I recorded about three years ago.

Я записал это видео примерно 3 года назад.

And as new parents, we all want to make sure our babies are healthy,

Как все молодые родители, мы хотим быть уверенными,

that they're breathing, that they're alive, of course.

что наши дети здоровы, что они дышат, что они живы.

So I too got one of those baby monitors

Я тоже приобрёл видеоняню,

so that I could see my daughter when she was asleep.

чтобы видеть свою дочь, пока она спит.

And this is pretty much what you'll see with a standard baby monitor.

Вот что вы увидите с помощью обычной видеоняни.

You can see the baby's sleeping, but there's not too much information there.

Видно, что ребёнок спит, и это вся информация.

There's not too much we can see.

Чего-то большего не увидеть.

Wouldn't it be better, or more informative, or more useful,

Не было бы лучше, более информативно или полезно,

if instead we could look at the view like this.

если бы мы могли видеть изображение таким?

So here I took the motions and I magnified them 30 times,

Все движения я усилил в 30 раз,

and then I could clearly see that my daughter was indeed alive and breathing.

чтобы я мог отчётливо увидеть, что моя дочь действительно жива и дышит.

(Laughter)

(Смех)

Here is a side-by-side comparison.

Вот наглядное сравнение.

So again, in the source video, in the original video,

Повторюсь, в оригинале, в полученной записи,

there's not too much we can see,

мало что можно увидеть,

but once we magnify the motions, the breathing becomes much more visible.

но если усилить движения, дыхание видно гораздо лучше.

And it turns out, there's a lot of phenomena

Оказывается, есть множество явлений,

we can reveal and magnify with our new motion microscope.

которые можно обнаружить и усилить с помощью микроскопа отслеживания движений.

We can see how our veins and arteries are pulsing in our bodies.

Можно увидеть, как вены и артерии пульсируют в нашем теле.

We can see that our eyes are constantly moving

Можно увидеть, как наши глаза непрерывно перемещаются

in this wobbly motion.

колебательными движениями.

And that's actually my eye,

А это, собственно, мой глаз,

and again this video was taken right after my daughter was born,

и это видео было снято сразу после рождения дочери,

so you can see I wasn't getting too much sleep. (Laughter)

и вы видите, что спал я не слишком много. (Смех)

Even when a person is sitting still,

Даже когда человек сидит неподвижно,

there's a lot of information we can extract

мы можем почерпнуть много информации

about their breathing patterns, small facial expressions.

про манеру его дыхания, мелкие выражения лица.

Maybe we could use those motions

Вероятно, мы можем использовать эти движения

to tell us something about our thoughts or our emotions.

чтобы определять мысли и эмоции.

We can also magnify small mechanical movements,

Мы также можем усилить небольшие механические движения,

like vibrations in engines,

такие как вибрации двигателя,

that can help engineers detect and diagnose machinery problems,

что может помочь механикам находить и определять проблемы в механизме,

or see how our buildings and structures sway in the wind and react to forces.

или увидеть колебания зданий и конструкций под воздействием ветра и внешних сил.

Those are all things that our society knows how to measure in various ways,

Все подобные вещи в нашем обществе умеют рассчитывать множеством способов,

but measuring those motions is one thing,

но рассчитать движения — это одно,

and actually seeing those motions as they happen

а увидеть их в действии —

is a whole different thing.

это совершенно другое.

And ever since we discovered this new technology,

С тех пор как мы открыли эту новую технологию,

we made our code available online so that others could use and experiment with it.

мы сделали нашу программу доступной онлайн для тестирования другими людьми.

It's very simple to use.

Она очень проста в использовании.

It can work on your own videos.

Она может работать с вашими собственными видео.

Our collaborators at Quanta Research even created this nice website

Наши коллеги из Quanta Research даже создали замечательный сайт,

where you can upload your videos and process them online,

где вы можете загрузить своё видео и обработать его онлайн,

so even if you don't have any experience in computer science or programming,

поэтому, даже если у вас нет опыта в информатике и программировании,

you can still very easily experiment with this new microscope.

вы всё равно можете легко испробовать этот новый микроскоп.

And I'd like to show you just a couple of examples

Я покажу вам несколько примеров того,

of what others have done with it.

как его использовали другие.

So this video was made by a YouTube user called Tamez85.

Это видео снято пользователем YouTube под ником Tamez85.

I don't know who that user is,

Я не знаю этого пользователя,

but he, or she, used our code

но он, или она, использовал нашу программу,

to magnify small belly movements during pregnancy.

чтобы усилить маленькие движения живота во время беременности.

It's kind of creepy.

Выглядит жутковато.

(Laughter)

(Смех)

People have used it to magnify pulsing veins in their hands.

Люди использовали её для усиления пульсации вен в руках.

And you know it's not real science unless you use guinea pigs,

И какая настоящая наука может обойтись без морских свинок?

and apparently this guinea pig is called Tiffany,

По-видимому, эту зовут Тиффани,

and this YouTube user claims it is the first rodent on Earth

и этот пользователь YouTube заявляет, что это первый грызун на Земле,

that was motion-magnified.

чьи движения подвергались усилению.

You can also do some art with it.

Всё это применимо и в искусстве.

So this video was sent to me by a design student at Yale.

Это видео мне прислала студентка-дизайнер из Йельского университета.

She wanted to see if there's any difference

Она хотела увидеть, есть ли разница

in the way her classmates move.

в движениях её одногруппников.

She made them all stand still, and then magnified their motions.

Она попросила их не двигаться, а потом усилила скрытые движения.

It's like seeing still pictures come to life.

Мы как будто наблюдаем оживление неподвижной картины.

And the nice thing with all those examples

Приятный момент относительно всех этих примеров —

is that we had nothing to do with them.

нам не нужно с ними ничего делать.

We just provided this new tool, a new way to look at the world,

Мы просто дали новый инструмент, новый способ взглянуть на мир,

and then people find other interesting, new and creative ways of using it.

а люди находят ему другие интересные, новые и нестандартные применения.

But we didn't stop there.

Но мы не остановились на этом.

This tool not only allows us to look at the world in a new way,

Эта технология позволяет не только по-новому увидеть мир,

it also redefines what we can do

но и переосмыслить наши возможности,

and pushes the limits of what we can do with our cameras.

расширить рамки использования наших камер.

So as scientists, we started wondering,

Как учёные, мы задумались,

what other types of physical phenomena produce tiny motions

какие ещё типы физических явлений вызывают едва заметные движения,

that we could now use our cameras to measure?

которые мы теперь можем измерить с помощью нашей новой камеры?

And one such phenomenon that we focused on recently is sound.

Одно из таких явлений, на котором мы недавно сфокусировались, — это звук.

Sound, as we all know, is basically changes

Звук, как известно, состоит из колебаний давления,

in air pressure that travel through the air.

которые перемещаются в воздушной среде.

Those pressure waves hit objects and they create small vibrations in them,

Звуковые волны, достигая предметов, создают в них мелкие вибрации,

which is how we hear and how we record sound.

благодаря которым мы слышим и записываем звук.

But it turns out that sound also produces visual motions.

Но оказалось, что звук создаёт также визуальные движения.

Those are motions that are not visible to us

Они незаметны для нас,

but are visible to a camera with the right processing.

но заметны для камеры с подходящей технологией.

So here are two examples.

Приведу два примера.

This is me demonstrating my great singing skills.

Здесь я демонстрирую свои вокальные способности.

(Singing)

(Поёт)

(Laughter)

(Смех)

And I took a high-speed video of my throat while I was humming.

Я снял высокоскоростное видео своего горла, пока я пел.

Again, if you stare at that video,

Если присмотреться к этому видео,

there's not too much you'll be able to see,

ничего особенного не видно,

but once we magnify the motions 100 times, we can see all the motions and ripples

но усилив движения в 100 раз, мы увидим все движения и пульсации на шее,

in the neck that are involved in producing the sound.

которые участвуют в формировании звука.

That signal is there in that video.

Источник пения теперь заметен на видео.

We also know that singers can break a wine glass

Мы также знаем, что вокалисты способны разбить бокал,

if they hit the correct note.

если возьмут нужную ноту.

So here, we're going to play a note

На этом видео мы проиграем ноту

that's in the resonance frequency of that glass

на частоте резонанса бокала

through a loudspeaker that's next to it.

через громкоговоритель рядом с ним.

Once we play that note and magnify the motions 250 times,

Когда мы проигрываем эту ноту и усиливаем движение в 250 раз,

we can very clearly see how the glass vibrates

мы можем отчётливо видеть, как стакан вибрирует

and resonates in response to the sound.

и резонирует в ответ на звук.

It's not something you're used to seeing every day.

Такое не каждый день увидишь.

But this made us think. It gave us this crazy idea.

Но это заставило нас задуматься. Это натолкнуло нас на сумасшедшую идею.

Can we actually invert this process and recover sound from video

Можем ли мы обратить процесс и извлечь звук из видео,

by analyzing the tiny vibrations that sound waves create in objects,

анализируя предметы на мельчайшие вибрации, которые создают звуковые волны,

and essentially convert those back into the sounds that produced them.

и главное, обратить их снова в звук, который их вызвал.

In this way, we can turn everyday objects into microphones.

Таким образом, мы можем превратить повседневные предметы в микрофоны.

So that's exactly what we did.

Именно это мы и сделали.

So here's an empty bag of chips that was lying on a table,

Возьмём пустую упаковку от чипсов, лежащую на столе,

and we're going to turn that bag of chips into a microphone

теперь мы собираемся превратить эту упаковку в микрофон,

by filming it with a video camera

записав её на камеру

and analyzing the tiny motions that sound waves create in it.

и проанализировав её мельчайшие движения от звуковых волн.

So here's the sound that we played in the room.

Мы проиграли в комнате следующий звук.

(Music: "Mary Had a Little Lamb")

(Музыка: «У Мэри был барашек») [американский фольклор]

And this is a high-speed video we recorded of that bag of chips.

Мы записали высокоскоростное видео с этой упаковки чипсов.

Again it's playing.

Вы смотрите его.

There's no chance you'll be able to see anything going on in that video

Вы никогда не сможете увидеть хоть что-то происходящее на этом видео,

just by looking at it,

просто глядя на него,

but here's the sound we were able to recover just by analyzing

но послушайте звук, полученный путем простого анализа

the tiny motions in that video.

незаметных движений на видео.

(Music: "Mary Had a Little Lamb")

(Музыка: «У Мэри был барашек»)

I call it -- Thank you.

Я называю это... Спасибо.

(Applause)

(Аплодисменты)

I call it the visual microphone.

Я называю это визуальным микрофоном.

We actually extract audio signals from video signals.

Мы извлекаем звуковые сигналы из видеосигналов.

And just to give you a sense of the scale of the motions here,

И чтобы вы хорошо понимали масштабы записанных движений,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

довольно громкий звук заставит упаковку пошевелиться не более, чем на микрометр.

That's one thousandth of a millimeter.

Это одна тысячная миллиметра.

That's how tiny the motions are that we are now able to pull out

Вот насколько крошечные движения мы теперь можем выявить,

just by observing how light bounces off objects

просто наблюдая за тем, как свет отражается от предметов

and gets recorded by our cameras.

и записывается нашими камерами.

We can recover sounds from other objects, like plants.

Мы можем воспроизвести звук из других предметов, например растений.

(Music: "Mary Had a Little Lamb")

(Музыка: «У Мэри был барашек»)

And we can recover speech as well.

Кроме того, мы можем воспроизвести речь.

So here's a person speaking in a room.

На примере голоса человека в комнате.

Voice: Mary had a little lamb whose fleece was white as snow,

Голос: «У Мэри был барашек, он снега был белей,

and everywhere that Mary went, that lamb was sure to go.

идёт куда-то Мэри, и он идёт за ней».

Michael Rubinstein: And here's that speech again recovered

И вот эта же речь, восстановленная

just from this video of that same bag of chips.

по этому видео всё из той же упаковки чипсов.

Voice: Mary had a little lamb whose fleece was white as snow,

Голос: «У Мэри был барашек, он снега был белей,

and everywhere that Mary went, that lamb was sure to go.

идёт куда-то Мэри, и он идёт за ней».

MR: We used "Mary Had a Little Lamb"

Мы взяли песню «У Мэри был барашек»,

because those are said to be the first words

потому что считается, что это были первые слова,

that Thomas Edison spoke into his phonograph in 1877.

произнесённые Томасом Эдисоном в его фонограф в 1877.

It was one of the first sound recording devices in history.

Это было одно из первых звукозаписывающих устройств в истории.

It basically directed the sounds onto a diaphragm

Оно направляло звук на диафрагму,

that vibrated a needle that essentially engraved the sound on tinfoil

которая раскачивала иглу, и та оставляла след на оловянной оболочке,

that was wrapped around the cylinder.

обмотанной вокруг цилиндра.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Послушайте, как записывается и воспроизводится звук фонографом Эдисона.

(Video) Voice: Testing, testing, one two three.

(Видео) Голос: «Проверка, проверка. Раз, два, три.

Mary had a little lamb whose fleece was white as snow,

У Мэри был барашек, он снега был белей,

and everywhere that Mary went, the lamb was sure to go.

идёт куда-то Мэри, и он идёт за ней.

Testing, testing, one two three.

Проверка, проверка. Раз, два, три.

Mary had a little lamb whose fleece was white as snow,

У Мэри был барашек, он снега был белей,

and everywhere that Mary went, the lamb was sure to go.

идёт куда-то Мэри, и он идёт за ней».

MR: And now, 137 years later,

И теперь, 137 лет спустя,

we're able to get sound in pretty much similar quality

мы способны получить звук практически такого же качества,

but by just watching objects vibrate to sound with cameras,

всего лишь наблюдая через камеру, как предметы резонируют от звука.

and we can even do that when the camera

Мы можем сделать это, даже когда камера

is 15 feet away from the object, behind soundproof glass.

удалена от объекта почти на 5 метров и находится за звукоизолирующим стеклом.

So this is the sound that we were able to recover in that case.

Послушайте звук, полученный нами в этом случае.

Voice: Mary had a little lamb whose fleece was white as snow,

Голос: «У Мэри был барашек, он снега был белей,

and everywhere that Mary went, the lamb was sure to go.

Идёт куда-то Мэри, и он идёт за ней».

MR: And of course, surveillance is the first application that comes to mind.

Конечно, слежка — это первое применение, которое приходит на ум.

(Laughter)

(Смех)

But it might actually be useful for other things as well.

Но это может оказаться полезным и для других вещей.

Maybe in the future, we'll be able to use it, for example,

Может быть, в будущем мы сможем использовать это, например,

to recover sound across space,

чтобы получать звуки из космоса,

because sound can't travel in space, but light can.

потому что звук не распространяется в космосе, в отличие от света.

We've only just begun exploring

Мы только начали исследовать

other possible uses for this new technology.

другие возможные способы применения этой новой технологии.

It lets us see physical processes that we know are there

Она позволяет нам увидеть физические процессы, о которых мы знаем,

but that we've never been able to see with our own eyes until now.

но которые были не в состоянии увидеть собственными глазами до сих пор.

This is our team.

Это наша команда.

Everything I showed you today is a result of a collaboration

Всё, что я показал вам сегодня, — результат сотрудничества

with this great group of people you see here,

с этой замечательной группой людей.

and I encourage you and welcome you to check out our website,

Я призываю и приглашаю вас ознакомиться с нашим сайтом.

try it out yourself,

Заходите на него

and join us in exploring this world of tiny motions.

и присоединяйтесь к нам в исследовании этого мира крошечных движений.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)