See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Перекладач: Mariya Udud Утверджено: Hanna Leliv

So over the past few centuries, microscopes have revolutionized our world.

За останні декілька століть мікроскопи змінили наш світ.

They revealed to us a tiny world of objects, life and structures

Вони відкрили нам крихітний світ предметів, життів та структур,

that are too small for us to see with our naked eyes.

яких ми досі не могли побачити неозброєним оком через їхній малий розмір.

They are a tremendous contribution to science and technology.

Вони зробили величезний внесок у науку й технологію.

Today I'd like to introduce you to a new type of microscope,

Сьогодні я б хотів представити новий вид мікроскопа.

a microscope for changes.

Мікроскоп для спостереження за змінами.

It doesn't use optics like a regular microscope

В ньому немає лінз, як у звичайному мікроскопі,

to make small objects bigger,

які б збільшували предмети,

but instead it uses a video camera and image processing

але в нього є відеокамера та система для обробки зображень,

to reveal to us the tiniest motions and color changes in objects and people,

які виявляють найменші рухи та зміни кольору предметів та людей,

changes that are impossible for us to see with our naked eyes.

зміни, що неможливо побачити неозброєним оком.

And it lets us look at our world in a completely new way.

Він дає нам змогу поглянути на світ у зовсім інший спосіб.

So what do I mean by color changes?

Що ж я маю на увазі під змінами кольору?

Our skin, for example, changes its color very slightly

Наприклад, наша шкіра поступово змінює колір,

when the blood flows under it.

коли кров тече під нею.

That change is incredibly subtle,

Ці зміни ледь помітні,

which is why, when you look at other people,

і ось чому, коли ви дивитесь на людину,

when you look at the person sitting next to you,

що сидить поряд з вами,

you don't see their skin or their face changing color.

ви не помічаєте, як її шкіра змінює колір.

When we look at this video of Steve here, it appears to us like a static picture,

Коли ми дивимось на відео Стіва, нам здається, що він не рухається,

but once we look at this video through our new, special microscope,

але якщо ми поглянемо на це відео через наш спеціальний мікроскоп,

suddenly we see a completely different image.

раптово з'явиться зовсім інша картинка.

What you see here are small changes in the color of Steve's skin,

Все, що ми тут бачимо - це маленькі зміни в кольорі шкіри Стіва

magnified 100 times so that they become visible.

збільшені в 100 разів, аби бути помітнішими.

We can actually see a human pulse.

Ми навіть можемо розгледіти пульс людини.

We can see how fast Steve's heart is beating,

А також як швидко б'ється серце Стіва,

but we can also see the actual way that the blood flows in his face.

як кров приливає до шкіри його обличчя.

And we can do that not just to visualize the pulse,

Ми можемо зробити це не лише для того, аби уявити собі пульс,

but also to actually recover our heart rates,

а щоб відновити нормальний серцевий ритм

and measure our heart rates.

та виміряти його.

And we can do it with regular cameras and without touching the patients.

Ми можемо зробити це за допомогою звичайної камери, не торкаючись пацієнта.

So here you see the pulse and heart rate we extracted from a neonatal baby

Зараз ви бачите пульс та серцевий ритм, який ми виміряли у новонародженого

from a video we took with a regular DSLR camera,

за допомогою відео, знятого на звичайний дзеркальний фотоапарат.

and the heart rate measurement we get

Отримані показники точно співпадають з тими,

is as accurate as the one you'd get with a standard monitor in a hospital.

що ми могли б одержати зі звичайного монітора в лікарні.

And it doesn't even have to be a video we recorded.

Для цього нам навіть не потрібно знімати відео.

We can do it essentially with other videos as well.

Фактично, ми можемо зробити це і з інших відео.

So I just took a short clip from "Batman Begins" here

Зараз я покажу вам короткий уривок з фільму "Бетмен: початок",

just to show Christian Bale's pulse.

щоб ви побачили пульс Крістіана Бейла.

(Laughter)

(Сміх)

And you know, presumably he's wearing makeup,

Напевно, у нього багато гриму,

the lighting here is kind of challenging,

та й освітлення заважає.

but still, just from the video, we're able to extract his pulse

Але все рівно, з цього відео ми змогли дізнатись його пульс

and show it quite well.

і показати його вам.

So how do we do all that?

Так от, як нам це все вдається?

We basically analyze the changes in the light that are recorded

Загалом ми аналізуємо зміни світла, що записується,

at every pixel in the video over time,

у кожному пікселі відеозапису за певний відрізок часу,

and then we crank up those changes.

а потім збільшуємо ці зміни.

We make them bigger so that we can see them.

Ми збільшуємо їх настільки, щоб ми могли їх бачити.

The tricky part is that those signals,

Проблема в тому, що ті сигнали,

those changes that we're after, are extremely subtle,

ті зміни, які ми намагаємось розгледіти, є ледь помітними,

so we have to be very careful when you try to separate them

тому потрібно бути вкрай обережним, коли намагаєшся відокремити їх

from noise that always exists in videos.

від шуму, що завжди є на відео.

So we use some clever image processing techniques

Ми використовуємо розумні технології обробки відео,

to get a very accurate measurement of the color at each pixel in the video,

щоб отримати найточніші дані про колір у кожному пікселі,

and then the way the color changes over time,

і про те, як він змінюється за період часу,

and then we amplify those changes.

а потім ми посилюємо ці зміни.

We make them bigger to create those types of enhanced videos, or magnified videos,

Ми їх збільшуємо, щоб створити такий вид покращеного, або просунутого відео,

that actually show us those changes.

що зображає ці зміни.

But it turns out we can do that not just to show tiny changes in color,

Виявляється, ми можемо показати не лише найменші зміни кольору,

but also tiny motions,

а й непомітні рухи,

and that's because the light that gets recorded in our cameras

тому що колір, записаний на камеру,

will change not only if the color of the object changes,

зміниться не лише, якщо предмет змінює колір,

but also if the object moves.

а й якщо він рухається.

So this is my daughter when she was about two months old.

Це моя дочка у віці приблизно 2 місяці.

It's a video I recorded about three years ago.

Це відео я записав роки три тому.

And as new parents, we all want to make sure our babies are healthy,

Як усі молоді батьки, ми хотіли одного - бути впевненими, що наші діти здорові,

that they're breathing, that they're alive, of course.

що вони дихають, і звісно, що вони - живі.

So I too got one of those baby monitors

Я купив радіоняню,

so that I could see my daughter when she was asleep.

аби спостерігати за донькою, коли вона спить.

And this is pretty much what you'll see with a standard baby monitor.

За допомогою звичайної радіоняні ми побачимо доволі багато.

You can see the baby's sleeping, but there's not too much information there.

Ви можете спостерігати, як спить дитина,

There's not too much we can see.

але цього замало.

Wouldn't it be better, or more informative, or more useful,

Чи не було б краще чи інформативніше, або корисніше,

if instead we could look at the view like this.

якби ми могли дивитись на щось отаке.

So here I took the motions and I magnified them 30 times,

На цьому відео я зняв рухи, які я потім збільшив у 30 разів,

and then I could clearly see that my daughter was indeed alive and breathing.

після чого я зміг переконатись, що моя донька дійсно жива та дихає.

(Laughter)

(Сміх)

Here is a side-by-side comparison.

Тут ми бачимо наочне порівняння.

So again, in the source video, in the original video,

І знову ж таки, на оригінальному відео

there's not too much we can see,

ми майже нічого не помічаємо,

but once we magnify the motions, the breathing becomes much more visible.

але якщо збільшити рухи, дихання видно набагато краще.

And it turns out, there's a lot of phenomena

Насправді існує багато явищ,

we can reveal and magnify with our new motion microscope.

які можна виявити та збільшити за допомогою цього мікроскопа.

We can see how our veins and arteries are pulsing in our bodies.

Можна побачити, як вени та артерії пульсують у нашому тілі.

We can see that our eyes are constantly moving

Можна побачити, як наші очі

in this wobbly motion.

постійно коливаються.

And that's actually my eye,

А ось і моє око,

and again this video was taken right after my daughter was born,

це відео я зняв одразу ж після народження доньки.

so you can see I wasn't getting too much sleep. (Laughter)

Як бачите, я спав не дуже багато. (Сміх)

Even when a person is sitting still,

Навіть коли людина сидить нерухомо,

there's a lot of information we can extract

ми можемо отримати багато даних про її спосіб дихання,

about their breathing patterns, small facial expressions.

дрібні порухи обличчя.

Maybe we could use those motions

Можливо, ми навіть можемо використати ці дані,

to tell us something about our thoughts or our emotions.

аби прочитати думки чи емоції.

We can also magnify small mechanical movements,

Ми також можемо збільшити механічні рухи,

like vibrations in engines,

такі як вібрації двигуна,

that can help engineers detect and diagnose machinery problems,

що може допомогти механікам знайти та визначити проблеми,

or see how our buildings and structures sway in the wind and react to forces.

або як будинки та споруди хитаються від вітру, та як на них діють сили.

Those are all things that our society knows how to measure in various ways,

Людство знає безліч способів, як виміряти всі ці речі,

but measuring those motions is one thing,

але виміряти ці рухи - це одне,

and actually seeing those motions as they happen

а спостерігати за ними -

is a whole different thing.

зовсім інше.

And ever since we discovered this new technology,

З моменту, коли ми винайшли цю нову технологію,

we made our code available online so that others could use and experiment with it.

ми виклали програму онлайн, щоб інші могли користуватись нею і експериментувати.

It's very simple to use.

Вона дуже проста для користування.

It can work on your own videos.

Вона працює з вашими власними відео.

Our collaborators at Quanta Research even created this nice website

Наші колеги з Quanta Research навіть розробити чудовий сайт,

where you can upload your videos and process them online,

де ви можете завантажити власне відео та обробити його онлайн,

so even if you don't have any experience in computer science or programming,

навіть якщо у вас немає досвіду в інформатиці або програмуванні,

you can still very easily experiment with this new microscope.

ви легко зможете поекспериментувати з новим мікроскопом.

And I'd like to show you just a couple of examples

Зараз я покажу вам пару прикладів,

of what others have done with it.

як ним користувались інші.

So this video was made by a YouTube user called Tamez85.

Це відео створив користувач YouTube - Tamez85.

I don't know who that user is,

Мені невідомо, хто він,

but he, or she, used our code

але він чи вона використали нашу програму,

to magnify small belly movements during pregnancy.

щоб збільшити крихітні рухи живота під час вагітності.

It's kind of creepy.

Трохи моторошно.

(Laughter)

(Сміх)

People have used it to magnify pulsing veins in their hands.

Люди використовували цю програму, щоб збільшувати пульсування вен на руках.

And you know it's not real science unless you use guinea pigs,

І що ж це буде за наука без тестування на морських свинках?

and apparently this guinea pig is called Tiffany,

Ось цю звати Тіффані.

and this YouTube user claims it is the first rodent on Earth

Цей користувач YouTube стверджує, що це перший гризун на Землі,

that was motion-magnified.

чиї рухи було збільшено.

You can also do some art with it.

Разом з цією програмою ви можете навіть творити.

So this video was sent to me by a design student at Yale.

Це відео надіслала мені студентка факультету дизайну Уельського університету.

She wanted to see if there's any difference

Вона хотіла поглянути, чи є різниця в тому,

in the way her classmates move.

як рухаються її одногрупники.

She made them all stand still, and then magnified their motions.

Вона попросила їх не рухатись, і потім збільшила їхні рухи.

It's like seeing still pictures come to life.

Виглядає начебто оживають картинки.

And the nice thing with all those examples

Найприємніше в тих прикладах те,

is that we had nothing to do with them.

що нам нічого не потрібно робити для цього.

We just provided this new tool, a new way to look at the world,

Ми створили цей інструмент, спосіб по-новому поглянути на світ,

and then people find other interesting, new and creative ways of using it.

а люди знайшли інші цікаві, новаторські способи користування ним.

But we didn't stop there.

Ми не зупинились на цьому.

This tool not only allows us to look at the world in a new way,

Цей інструмент дає нам змогу не лише поглянути на світ по-новому,

it also redefines what we can do

а й переосмислити наші можливості

and pushes the limits of what we can do with our cameras.

та розширити межі використання наших камер.

So as scientists, we started wondering,

Як науковці, ми почали розмірковувати,

what other types of physical phenomena produce tiny motions

які ще фізичні явища створюють крихітні рухи,

that we could now use our cameras to measure?

що їх ми тепер можемо виміряти за допомогою нової камери?

And one such phenomenon that we focused on recently is sound.

І один такий феномен, на якому ми зосередилися недавно, - це звук.

Sound, as we all know, is basically changes

Звук, як ми всі знаємо, - це здебільшого зміни

in air pressure that travel through the air.

тиску повітря, що рухаються по повітрю.

Those pressure waves hit objects and they create small vibrations in them,

Ці хвилі тиску вдаряють об'єкти, і ті створюють незначні коливання,

which is how we hear and how we record sound.

що є тим, що ми чуємо, і як записуємо звук.

But it turns out that sound also produces visual motions.

Але виявляється, що звук також виробляє візуальні рухи.

Those are motions that are not visible to us

Ті рухи, що є непомітними для нас,

but are visible to a camera with the right processing.

але помітні на камері з правильною обробкою.

So here are two examples.

Ось два приклади.

This is me demonstrating my great singing skills.

Це я демонструю свої чудові здібності до співу.

(Singing)

(Спів)

(Laughter)

(Сміх)

Я зняв високошвидкісне відео свого горла, коли я наспівував.

And I took a high-speed video of my throat while I was humming.

Знову ж таки, якщо ви дивитеся на це відео,

Again, if you stare at that video,

не надто багато ви зможете побачити,

there's not too much you'll be able to see,

але як тільки ми збільшили рухи в 100 разів, ми бачимо всі рухи й пульсацію

but once we magnify the motions 100 times, we can see all the motions and ripples

в області шиї, які беруть участь у виробленні звуку.

in the neck that are involved in producing the sound.

Цей сигнал є в цьому відео.

That signal is there in that video.

Ми також знаємо, що співаки можуть розбити келих вина,

We also know that singers can break a wine glass

якщо потраплять у правильну ноту.

if they hit the correct note.

Так от, ми збираємося зіграти ноту,

So here, we're going to play a note

яка є в резонансі частоти цього скла

that's in the resonance frequency of that glass

через гучномовець, що поруч із ним.

through a loudspeaker that's next to it.

Після того ми граємо цю ноту і збільшуємо рухи в 250 разів -

Once we play that note and magnify the motions 250 times,

дуже чітко бачимо, як скло вібрує

we can very clearly see how the glass vibrates

і резонує у відповідь на звук.

and resonates in response to the sound.

Таке не побачиш щодня.

It's not something you're used to seeing every day.

Але це змусило нас задуматися. Це наштовхнуло нас на божевільну ідею.

But this made us think. It gave us this crazy idea.

Чи можемо ми повернути цей процес навспак і відновити звук з відео,

Can we actually invert this process and recover sound from video

аналізуючи найдрібніші вібрації, що їх звукові хвилі створюють в об'єктах,

by analyzing the tiny vibrations that sound waves create in objects,

і перетворити їх назад у ті звуки, що їх ми виробляємо?

and essentially convert those back into the sounds that produced them.

Таким чином, ми зможемо перетворити предмети побуту в мікрофони.

In this way, we can turn everyday objects into microphones.

Саме це ми й зробили.

So that's exactly what we did.

Ось порожній пакетик з-під чіпсів, що лежав на столі,

So here's an empty bag of chips that was lying on a table,

і ми збираємося перетворити той пакетик чіпсів у мікрофон,

and we're going to turn that bag of chips into a microphone

знімаючи його відеокамерою

by filming it with a video camera

та аналізуючи крихітні рухи, що звукові хвилі створюють в ньому.

and analyzing the tiny motions that sound waves create in it.

Ось звук, який ми грали в кімнаті.

So here's the sound that we played in the room.

(Музика: "У Мері було маленьке ягнятко")

(Music: "Mary Had a Little Lamb")

І це високошвидкісне відео ми записали з цього пакетика чіпсів.

And this is a high-speed video we recorded of that bag of chips.

Знову грає.

Again it's playing.

Ви ніяк не зможете побачити, що відбувається на цьому відео,

There's no chance you'll be able to see anything going on in that video

просто глянувши на нього,

just by looking at it,

але ось звук, який ми змогли відновити, просто проаналізувавши

but here's the sound we were able to recover just by analyzing

крихітні рухи в цьому відео.

the tiny motions in that video.

(Музика: "У Мері було маленьке ягнятко")

(Music: "Mary Had a Little Lamb")

Я називаю це ... - Дякую.

I call it -- Thank you.

(Оплески)

(Applause)

Я називаю це візуальний мікрофон.

I call it the visual microphone.

Ми вирізали аудіосигнали із відеосигналів.

We actually extract audio signals from video signals.

Щоб ви розуміли, про який масштаб рухів тут йдеться:

And just to give you a sense of the scale of the motions here,

досить гучний звук змусить пакет чіпсів порухатися не більше, ніж на мікрометр.

a pretty loud sound will cause that bag of chips to move less than a micrometer.

Це одна тисячна міліметра.

That's one thousandth of a millimeter.

Ось якими крихітні є рухи, що ми тепер в змозі виявити,

That's how tiny the motions are that we are now able to pull out

просто спостерігаючи, як світло відбивається від об'єктів

just by observing how light bounces off objects

і записується нашими камерами.

and gets recorded by our cameras.

Ми можемо відновити звук із інших об'єктів, як-от рослин.

We can recover sounds from other objects, like plants.

(Музика: "У Мері було маленьке ягнятко")

(Music: "Mary Had a Little Lamb")

Окрім того, ми можемо відновити мову.

And we can recover speech as well.

До прикладу, голос людини в кімнаті.

So here's a person speaking in a room.

Голос: "У Мері було маленьке ягнятко, чия шерсть була біла, як сніг,

Voice: Mary had a little lamb whose fleece was white as snow,

скрізь, куди Мері ходить, ягня упевнено йде за нею".

and everywhere that Mary went, that lamb was sure to go.

Майкл Рубінштейн: А ось та ж мова, відновлена

Michael Rubinstein: And here's that speech again recovered

з цього відео, з того ж таки пакетика чіпсів.

just from this video of that same bag of chips.

Голос: "У Мері було маленьке ягнятко, чия шерсть була біла, як сніг,

Voice: Mary had a little lamb whose fleece was white as snow,

скрізь, куди що Мері ходить, ягня упевнено йде за нею".

and everywhere that Mary went, that lamb was sure to go.

МР: Ми використали пісню "У Мері було маленьке ягнятко",

MR: We used "Mary Had a Little Lamb"

тому що вважається, що це були перші слова,

because those are said to be the first words

що їх Томас Едісон сказав у фонограф в 1877 році.

that Thomas Edison spoke into his phonograph in 1877.

Це був один із перших звукозаписувальних пристроїв в історії.

It was one of the first sound recording devices in history.

Він спрямовував звуки на діафрагму,

It basically directed the sounds onto a diaphragm

що змушувала вібрувати голку, і та вигравіювала звук на фользі,

that vibrated a needle that essentially engraved the sound on tinfoil

якою було обгорнуто циліндр.

that was wrapped around the cylinder.

Ось демонстрація запису і відтворення звуку з фонографа Едісона.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

(Відео) Голос: Тестування, перевірка. Один, два, три.

(Video) Voice: Testing, testing, one two three.

У Мері було маленьке ягнятко, чия шерсть була біла, як сніг,

Mary had a little lamb whose fleece was white as snow,

скрізь, куди Мері ходила, ягня впевнено йшло за нею.

and everywhere that Mary went, the lamb was sure to go.

Тестування, перевірка. Один, два, три.

Testing, testing, one two three.

У Мері було маленьке ягнятко чия шерсть була біла, як сніг,

Mary had a little lamb whose fleece was white as snow,

скрізь, куди Мері ходила, ягня упевнено йшло за нею.

and everywhere that Mary went, the lamb was sure to go.

МР: І тепер, через 137 років,

MR: And now, 137 years later,

ми в змозі отримати звук аналогічної якості,

we're able to get sound in pretty much similar quality

всього лишень спостерігаючи через камеру, як предмети вібрують від звуку,

but by just watching objects vibrate to sound with cameras,

і ми можемо зробити це, навіть якщо камера

and we can even do that when the camera

віддалена від об'єкта майже на 5 метрів, і розташована за звуконепроникним склом.

is 15 feet away from the object, behind soundproof glass.

Це звук, який ми відновили в цьому випадку.

So this is the sound that we were able to recover in that case.

Голос: У Мері було маленьке ягнятко, чия шерсть була біла, як сніг,

Voice: Mary had a little lamb whose fleece was white as snow,

скрізь, куди Мері ходила, ягня упевнено йшло за нею.

and everywhere that Mary went, the lamb was sure to go.

МР: Звичайно, найперше на думку спадає використати цей винахід для стеження.

MR: And of course, surveillance is the first application that comes to mind.

(Сміх)

(Laughter)

Але ним можна скористатися і з іншою метою.

But it might actually be useful for other things as well.

Можливо, в майбутньому ми зможемо використовувати це, наприклад,

Maybe in the future, we'll be able to use it, for example,

щоб відновлювати звук в космосі,

to recover sound across space,

бо звук не поширюється в космосі, на відміну від світла.

because sound can't travel in space, but light can.

Ми тільки почали вивчати

We've only just begun exploring

інші можливі способи застосування цієї нової технології.

other possible uses for this new technology.

Вона дає нам змогу бачити фізичні процеси, про які ми знаємо,

It lets us see physical processes that we know are there

але яких ми досі не могли побачити на власні очі.

but that we've never been able to see with our own eyes until now.

Це наша команда.

This is our team.

Все, що я показав вам сьогодні - це результат співпраці

Everything I showed you today is a result of a collaboration

з цією великою групою людей, яких ви бачите тут.

with this great group of people you see here,

Я закликаю вас і запрошую ознайомитися з нашим сайтом,

and I encourage you and welcome you to check out our website,

заходьте на нього

try it out yourself,

і приєднуйтесь до нас у вивченні світу крихітних рухів.

and join us in exploring this world of tiny motions.

Дякую.

Thank you.

(Оплески)

(Applause)