Abe Davis: New video technology that reveals an object's hidden properties

Перекладач: Tetiana Abrosimova Утверджено: Mariya Udud

Most of us think of motion as a very visual thing.

Більшість з нас сприймає рух як візуальну категорію.

If I walk across this stage or gesture with my hands while I speak,

Якщо я рухаюсь цією сценою або жестикулюю під час промови,

that motion is something that you can see.

то рух є тим, що ви можете побачити.

But there's a world of important motion that's too subtle for the human eye,

Але одночасно безліч важливих рухів є непомітними для людського ока.

and over the past few years,

За кілька останніх років

we've started to find that cameras

ми почали переконуватися,

can often see this motion even when humans can't.

що камери фіксують такі рухи, навіть коли люди їх не помічають.

Продемонструю, про що мова.

So let me show you what I mean.

On the left here, you see video of a person's wrist,

Ліворуч ви бачите відеозапис людського зап'ястка,

and on the right, you see video of a sleeping infant,

а праворуч ви бачите відеозапис дитини, яка спить,

but if I didn't tell you that these were videos,

але, якби я не сказав, що це відеозаписи,

you might assume that you were looking at two regular images,

ви б гадали, що це звичайні зображення,

because in both cases,

тому що в обох випадках

these videos appear to be almost completely still.

рух на відеозаписах виявляється майже зовсім відсутнім.

But there's actually a lot of subtle motion going on here,

Насправді, на відео відбувається безліч ледь помітних рухів,

і якби вам довелося торкнутися зап'ястка з відео ліворуч,

and if you were to touch the wrist on the left,

you would feel a pulse,

ви б відчули пульс,

and if you were to hold the infant on the right,

а якби ви тримали дитину з відео праворуч,

you would feel the rise and fall of her chest

ви б відчули, як рухається її грудна клітка

as she took each breath.

від кожного подиху.

And these motions carry a lot of significance,

Такі рухи мають велике значення,

but they're usually too subtle for us to see,

але вони надто непомітні для нашого зору,

so instead, we have to observe them

отже натомість нам треба стежити за ними

through direct contact, through touch.

через прямий контакт, через дотик.

But a few years ago,

Кілька років тому мої колеги з Массачусетського технологічного інституту

my colleagues at MIT developed what they call a motion microscope,

розробили так званий мікроскоп руху -

which is software that finds these subtle motions in video

це програмне забезпечення, яке знаходить ці непомітні рухи на відео

and amplifies them so that they become large enough for us to see.

і посилює їх настільки, щоб ми змогли їх побачити.

І якщо ми застосуємо це програмне забезпечення до відео ліворуч,

And so, if we use their software on the left video,

то побачимо пульсацію на зап'ястку,

it lets us see the pulse in this wrist,

і якби нам довелось рахувати пульс,

and if we were to count that pulse,

we could even figure out this person's heart rate.

ми б змогли навіть визначити швидкість серцебиття тієї людини.

Якщо ми застосуємо це ПЗ до відео праворуч,

And if we used the same software on the right video,

воно дасть нам змогу побачити кожен подих цієї дитини,

it lets us see each breath that this infant takes,

і ми можемо використати це як безконтактний спосіб контролю її дихання.

and we can use this as a contact-free way to monitor her breathing.

And so this technology is really powerful because it takes these phenomena

Ця технологія надзвичайно потужна, адже вона дає змогу такі феномени,

які ми зазвичай відчуваємо через дотик,

that we normally have to experience through touch

зафіксувати візуально і без втручання.

and it lets us capture them visually and non-invasively.

Так, кілька років тому я почав співпрацю з винахідниками цього ПЗ,

So a couple years ago, I started working with the folks that created that software,

і ми вирішили реалізувати чудернацьку ідею.

and we decided to pursue a crazy idea.

We thought, it's cool that we can use software

Ми бачили, як це класно використовувати ПО

to visualize tiny motions like this,

для візуалізації дрібних рухів як ось ці,

і можна сприймати це як спосіб посилити наше чуття дотику.

and you can almost think of it as a way to extend our sense of touch.

But what if we could do the same thing with our ability to hear?

А як щодо того, що ми повторили це з нашою здатністю чути?

What if we could use video to capture the vibrations of sound,

Що як ми використаємо відео для захоплювання звукових вібрацій,

which are just another kind of motion,

які є іншим видом коливань,

таким чином перетворивши все що ми бачимо на мікрофон?

and turn everything that we see into a microphone?

Now, this is a bit of a strange idea,

Так, це трохи дивна ідея,

so let me try to put it in perspective for you.

тож дозвольте мені продемонструвати її для вас.

Traditional microphones work by converting the motion

Класичні мікрофони працюють через конвертацію коливань

of an internal diaphragm into an electrical signal,

вбудованої діафрагми в електричний сигнал,

and that diaphragm is designed to move readily with sound

ця діафрагма спроектована рухатись під впливом звуку

так, щоб її коливання можна було записати і декодувати в аудіо формат.

so that its motion can be recorded and interpreted as audio.

But sound causes all objects to vibrate.

Але всі об'єкти вібрують від звука.

Those vibrations are just usually too subtle and too fast for us to see.

Такі вібрації зазвичай надто непомітні і зашвидкі для нашого ока.

So what if we record them with a high-speed camera

Що як ми запишемо їх за допомогою високошвидкісної камери,

і потім використаємо ПЗ для відокремлення дрібних коливань

and then use software to extract tiny motions

з нашого високошвидкісного відеозапису,

from our high-speed video,

і проаналізуємо, які звуки спричинили ці коливання?

and analyze those motions to figure out what sounds created them?

This would let us turn visible objects into visual microphones from a distance.

Таким чином ми перетворимо об'єкти у візуальні мікрофони на відстані.

Ми таки спробували це зробити,

And so we tried this out,

ось один з наших експериментів,

and here's one of our experiments,

where we took this potted plant that you see on the right

в якому ми використали цю рослину в горщику, ви її бачите тут праворуч,

and we filmed it with a high-speed camera

і записали на великій швидкості

while a nearby loudspeaker played this sound.

як поруч з нею з динаміків лунав цей звук.

(Музика: "Було у Мері маленьке ягня")

(Music: "Mary Had a Little Lamb")

And so here's the video that we recorded,

А ось і відео, яке ми записали,

і ми записали його на швидкості тисячі фреймів на секунду,

and we recorded it at thousands of frames per second,

але, навіть уважно поглянувши,

but even if you look very closely,

ви тільки побачите листя,

all you'll see are some leaves

that are pretty much just sitting there doing nothing,

з яким нічого не відбувається.

because our sound only moved those leaves by about a micrometer.

Тому що наш звук зрушив листя приблизно на мікрометр.

That's one ten-thousandth of a centimeter,

Це одна десятитисячна сантиметра,

що еквівалентно проміжку десь між сотою і тисячною пікселя

which spans somewhere between a hundredth and a thousandth

of a pixel in this image.

на цьому зображенні.

Ви можете напружено придивлятись,

So you can squint all you want,

but motion that small is pretty much perceptually invisible.

але таке дрібне коливання доволі непомітне для сприйняття.

Виявляється, що дещо може бути невидимим для сприйняття

But it turns out that something can be perceptually invisible

і все ж значущим за числовим значенням.

and still be numerically significant,

because with the right algorithms,

Тому що за допомогою відповідного алгоритму

we can take this silent, seemingly still video

ми можемо відтворити звук

цього, здається, німого відео.

and we can recover this sound.

(Музика: "Було у Мері маленьке ягня")

(Music: "Mary Had a Little Lamb")

(Оплески)

(Applause)

Як це зробити?

So how is this possible?

How can we get so much information out of so little motion?

Як дістати так багато інформації з дрібних коливань?

Скажімо, що листя зрушилося лише на мікрометр,

Well, let's say that those leaves move by just a single micrometer,

and let's say that that shifts our image by just a thousandth of a pixel.

а на зображенні ця зміна відбулась на тисячну пікселя.

That may not seem like much,

Це може здатися незначним,

but a single frame of video

але єдиний фрейм відеозапису

may have hundreds of thousands of pixels in it,

може охоплювати сотні тисяч пікселів,

і так, якщо ми об'єднаємо всі ці видимі дрібні коливання

and so if we combine all of the tiny motions that we see

з усього зображення,

from across that entire image,

then suddenly a thousandth of a pixel

несподівано тисячна пікселя

can start to add up to something pretty significant.

стане у підсумку доволі значущою.

On a personal note, we were pretty psyched when we figured this out.

Від себе зауважу, що ми ледь не здуріли, коли зрозуміли це.

(Сміх)

(Laughter)

But even with the right algorithm,

Але навіть з відповідним алгоритмом,

нам все ще не вистачало доволі важливого елемента пазлу.

we were still missing a pretty important piece of the puzzle.

You see, there are a lot of factors that affect when and how well

Бачите, існує багато факторів, які впливають на те, коли і як добре

цей метод спрацює.

this technique will work.

Ось об'єкт і на якій він відстані;

There's the object and how far away it is;

ось камера і лінза, яку ви використовуєте;

there's the camera and the lens that you use;

наскільки освітлений об'єкт і наскільки гучний звук.

how much light is shining on the object and how loud your sound is.

And even with the right algorithm,

І навіть з відповідним алгоритмом,

ми мусили бути обережними у перших наших спробах,

we had to be very careful with our early experiments,

because if we got any of these factors wrong,

адже з хибними факторами

неможливо було визначити, в чому полягала проблема.

there was no way to tell what the problem was.

We would just get noise back.

Ми просто отримували запис шуму.

А тому багато з перших експериментів були такими.

And so a lot of our early experiments looked like this.

And so here I am,

Ось я, а в нижньому лівому кутку

and on the bottom left, you can kind of see our high-speed camera,

ви побачите нашу високошвидкісну камеру,

which is pointed at a bag of chips,

націлену на пакет чіпсів,

and the whole thing is lit by these bright lamps.

і вся ця інсталяція освітлена потужними лампами.

And like I said, we had to be very careful in these early experiments,

Як я вже казав, ми мусили бути обережними в перших спробах,

і ось так це виглядало.

so this is how it went down.

(Video) Abe Davis: Three, two, one, go.

(Відео) Абе Давіс: Три, два, один, почали.

Було у Мері маленьке ягня! Маленьке ягня! Маленьке ягня!

Mary had a little lamb! Little lamb! Little lamb!

(Laughter)

(Сміх)

Цей експеримент виглядає дуже кумедно.

AD: So this experiment looks completely ridiculous.

(Сміх)

(Laughter)

I mean, I'm screaming at a bag of chips --

Я кричу на пакет чіпсів.

(Сміх)

(Laughter) --

and we're blasting it with so much light,

І ми зіпсували стільки світла на нього,

we literally melted the first bag we tried this on. (Laughter)

що буквально розплавили наш перший експериментальний пакет. (Сміх)

But ridiculous as this experiment looks,

Попри те, що цей експеримент такий кумедний,

it was actually really important,

важливо,

because we were able to recover this sound.

що ми змогли відновити звук.

(Аудіо) Було у Мері маленьке ягня! Маленьке ягня! Маленьке ягня!

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Оплески)

(Applause)

AD: And this was really significant,

АД: Показовим було те,

because it was the first time we recovered intelligible human speech

що ми вперше відтворили зрозуміле людське мовлення

from silent video of an object.

з німого відеозапису об'єкта.

And so it gave us this point of reference,

Це була наша точка відліку,

and gradually we could start to modify the experiment,

і поступово ми почали вносити зміни в експеримент,

використовуючи різні об'єкти або збільшуючи відстань до об'єктів,

using different objects or moving the object further away,

using less light or quieter sounds.

зменшуючи освітлення або звук.

І ми аналізували всі ці експерименти,

And we analyzed all of these experiments

until we really understood the limits of our technique,

допоки не зрозуміли обмеження нашого методу,

because once we understood those limits,

адже, зрозумівши, в чому ці обмеження полягають, ми могли визначити,

we could figure out how to push them.

як їх подолати.

And that led to experiments like this one,

І це привело нас до експериментів на кшталт ось цого.

where again, I'm going to speak to a bag of chips,

В ньому я знову говоритиму до пакета чіпсів,

but this time we've moved our camera about 15 feet away,

але цього разу ми переставили камеру на 4,5 метри далі,

outside, behind a soundproof window,

за звукоізоляційне вікно,

and the whole thing is lit by only natural sunlight.

а вся інсталяція була освітлена лише природнім сонячним світлом.

А ось і відео, яке ми відзняли.

And so here's the video that we captured.

Такий текст звучав поруч з пакетом чіпсів.

And this is what things sounded like from inside, next to the bag of chips.

(Аудіо) Було у Мері маленьке ягня, з білим мов сніг кожушком,

(Audio) Mary had a little lamb whose fleece was white as snow,

і куди б Мері собі не пішла, ягня бігло за нею хвостом.

and everywhere that Mary went, that lamb was sure to go.

АД: А це те, що нам вдалось відтворити з німого відеозапису,

AD: And here's what we were able to recover from our silent video

captured outside behind that window.

знятого з іншого боку вікна.

(Аудіо) Було у Мері маленьке ягня з білим мов сніг кожушком,

(Audio) Mary had a little lamb whose fleece was white as snow,

і куди б Мері собі не пішла, ягня бігло за нею хвостом.

and everywhere that Mary went, that lamb was sure to go.

(Оплески)

(Applause)

Існують інші способи розширити обмеження.

AD: And there are other ways that we can push these limits as well.

So here's a quieter experiment

Ось тихіший експеримент.

where we filmed some earphones plugged into a laptop computer,

Ми зробили відеозапис навушників, ввімкнених у портативний комп'ютер.

В цьому випадку нашою метою було записати музику, яка грала на комп'ютері,

and in this case, our goal was to recover the music that was playing on that laptop

from just silent video

з німого відеозапису

цих двох пластикових навушників,

of these two little plastic earphones,

and we were able to do this so well

і нам це так добре вдалось,

that I could even Shazam our results.

що я навіть зміг розпізнати результат в Shazam.

(Laughter)

(Сміх)

(Музика: "Under Pressure" група Queen)

(Music: "Under Pressure" by Queen)

(Оплески)

(Applause)

And we can also push things by changing the hardware that we use.

Ми також можемо розширювати обмеження, змінюючи обладнання, яке використовуємо.

Продемонстровані експерименти

Because the experiments I've shown you so far

were done with a camera, a high-speed camera,

було зроблено за допомогою високошвидкісної камери,

that can record video about a 100 times faster

яка записує відео в 100 разів швидше,

than most cell phones,

ніж більшість мобільних телефонів.

but we've also found a way to use this technique

Але ми також знайшли спосіб використовувати цей метод

with more regular cameras,

зі звичайними камерами,

and we do that by taking advantage of what's called a rolling shutter.

при цьому ми використовуємо ефект зсуву зображення.

You see, most cameras record images one row at a time,

Бачите, більшість камер записують зображення по одному рядку в час,

and so if an object moves during the recording of a single image,

а під час запису зображення об'єкта, який рухається,

відбувається деяка затримка в часі між рядами,

there's a slight time delay between each row,

and this causes slight artifacts

що викликає деяке розмивання,

that get coded into each frame of a video.

яке кодується в кожний фрейм відео.

And so what we found is that by analyzing these artifacts,

Проаналізувавши ці розмивання, ми з'ясували те, що

we can actually recover sound using a modified version of our algorithm.

можемо відтворити звук за допомогою модифікованої версії нашого алгоритму.

Ось експеримент, який ми провели

So here's an experiment we did

з пакетиком цукерок, під час якого

where we filmed a bag of candy

while a nearby loudspeaker played

гучномовець грав ту саму музику:

the same "Mary Had a Little Lamb" music from before,

"Було у Мері маленьке ягня",

but this time, we used just a regular store-bought camera,

але цього разу ми використовували звичайну камеру, яку можна купити в магазині,

and so in a second, I'll play for you the sound that we recovered,

а через секунду я програю для вас звук, який ми записали,

and it's going to sound distorted this time,

він буде спотворений цього разу,

but listen and see if you can still recognize the music.

але послухайте, чи ви зможете розпізнати музику.

(Аудіо: "Було у Мері маленьке ягня")

(Audio: "Mary Had a Little Lamb")

And so, again, that sounds distorted,

Знову скажу, що звук спотворений,

but what's really amazing here is that we were able to do this

але найдивовижніше в цьому те, що ми зробили це

за допомогою пристрою,

with something that you could literally run out

який є загальнодоступним.

and pick up at a Best Buy.

На цьому етапі

So at this point,

a lot of people see this work,

багато людей бачать цю роботу

and they immediately think about surveillance.

і миттєво уявляють спостереження.

And to be fair,

Чесно кажучи, не важко уявити, як можна використати цю технологію

it's not hard to imagine how you might use this technology to spy on someone.

для шпигування за кимось.

But keep in mind that there's already a lot of very mature technology

Але пам'ятайте, що вже існує багато готових технологій

для спостереження.

out there for surveillance.

In fact, people have been using lasers

Насправді, десятиліттями люди використовують лазер

to eavesdrop on objects from a distance for decades.

для прослуховування об'єктів на відстані.

But what's really new here,

Натомість інновація,

справжня відмінність полягає в тому,

what's really different,

що тепер ми маємо спосіб фотографувати вібрації об'єкта,

is that now we have a way to picture the vibrations of an object,

which gives us a new lens through which to look at the world,

що є новою лінзою бачення світу,

і через цю лінзу ми можемо

and we can use that lens

вивчати не тільки такі сили, як звук, що змушують об'єкт вібрувати,

to learn not just about forces like sound that cause an object to vibrate,

but also about the object itself.

а й сам об'єкт.

And so I want to take a step back

Я хочу повернутися назад

and think about how that might change the ways that we use video,

і звернути увагу на те, як може змінитись використання відео.

because we usually use video to look at things,

Адже ми використовуємо відео для перегляду об'єктів,

and I've just shown you how we can use it

а щойно я продемонстрував вам, як ми можемо його використати

to listen to things.

для прослуховування об'єктів.

But there's another important way that we learn about the world:

Існує ще один важливий спосіб сприйняття світу:

that's by interacting with it.

взаємодія з ним.

Ми штовхаємо і тягнемо, встромляємо і проштрикуємо речі.

We push and pull and poke and prod things.

Ми трусимо речі і дивимось на результат.

We shake things and see what happens.

And that's something that video still won't let us do,

Відео не дає нам змоги робити це

в традиційному сенсі.

at least not traditionally.

Я хочу показати вам нову розробку,

So I want to show you some new work,

вона базується на ідеї, що виникла в мене лише кілька місяців тому.

and this is based on an idea I had just a few months ago,

so this is actually the first time I've shown it to a public audience.

Я вперше демонструю її публічно.

And the basic idea is that we're going to use the vibrations in a video

Основна ідея в тому, що ми використаємо вібрації на відео,

to capture objects in a way that will let us interact with them

щоб захопити об'єкти таким чином, щоб взаємодіяти з ними,

і побачити, як вони на нас реагують.

and see how they react to us.

Отже це об'єкт,

So here's an object,

and in this case, it's a wire figure in the shape of a human,

в даному випадку це - фігурка з дроту в формі чоловічка.

and we're going to film that object with just a regular camera.

Ми зафільмуємо цей об'єкт за допомогою звичайної камери.

So there's nothing special about this camera.

В цій камері нічого особливого немає.

In fact, I've actually done this with my cell phone before.

Взагалі, раніше я робив це за допомогою свого мобільного телефону.

But we do want to see the object vibrate,

Але нам потрібно побачити, як коливається об'єкт.

so to make that happen,

Тому задля цього

we're just going to bang a little bit on the surface where it's resting

ми просто трохи постукаємо по поверхні, на якій він стоїть

while we record this video.

під час запису відео.

So that's it: just five seconds of regular video,

Отак просто: п'ять секунд звичайного відео,

поки ми стукаємо по поверхні.

while we bang on this surface,

Використаємо коливання в цьому відео

and we're going to use the vibrations in that video

to learn about the structural and material properties of our object,

для вивчення структурних і фізичних характеристик нашого об'єкта.

А потім використаємо цю інформацію, щоб створити щось нове й інтерактивне.

and we're going to use that information to create something new and interactive.

And so here's what we've created.

І ось що ми створили.

And it looks like a regular image,

Виглядає як звичайне зображення,

but this isn't an image, and it's not a video,

але це ані зображення, ані відео.

because now I can take my mouse

Тому що зараз я візьму мишку

and I can start interacting with the object.

і почну взаємодіяти з об'єктом.

And so what you see here

Те, що ви тут бачите,

is a simulation of how this object

є симулюванням того,

would respond to new forces that we've never seen before,

як цей об'єкт реагуватиме на нові сили, яких ми ніколи не бачили досі,

and we created it from just five seconds of regular video.

і це ми створили на основі 5 секунд звичайного відеозапису.

(Оплески)

(Applause)

And so this is a really powerful way to look at the world,

Це справді потужний спосіб сприйняття світу,

because it lets us predict how objects will respond

тому що він дає нам змогу спрогнозувати, як об'єкти реагуватимуть

to new situations,

на нові ситуації.

and you could imagine, for instance, looking at an old bridge

Ви можете уявити, наприклад, дивлячись на старий міст

and wondering what would happen, how would that bridge hold up

і уявляючи, що трапиться, як він буде триматись,

if I were to drive my car across it.

якби вам довелось його переїхати.

And that's a question that you probably want to answer

І це, напевно, те питання, на яке ви хочете мати відповідь,

before you start driving across that bridge.

перш ніж почнете рух через той міст.

And of course, there are going to be limitations to this technique,

Звичайно, у цього методу будуть обмеження,

так само як були обмеження у візуального мікрофону.

just like there were with the visual microphone,

Але ми відстежили, що він працює в багатьох ситуаціях,

but we found that it works in a lot of situations

коли ви, можливо, цього не очікуєте.

that you might not expect,

Особливо, коли ви працюєте з довшими відеозаписами.

especially if you give it longer videos.

So for example, here's a video that I captured

Наприклад, ось відео куща, яке я зробив

біля моєї квартири.

of a bush outside of my apartment,

and I didn't do anything to this bush,

Я нічого не робив з цим кущем,

але під час хвилинної зйомки цього відео

but by capturing a minute-long video,

a gentle breeze caused enough vibrations

легкий вітерець спричинив достатньо вібрацій,

щоб ми могли достатньо вивчити цей кущ і створити цю симуляцію.

that we could learn enough about this bush to create this simulation.

(Applause)

(Оплески)

Уявіть, що ви віддаєте це режисеру фільму

And so you could imagine giving this to a film director,

і даєте йому змогу, наприклад,

and letting him control, say,

контролювати силу і напрям вітру в кадрі, який вже було відзнято.

the strength and direction of wind in a shot after it's been recorded.

Or, in this case, we pointed our camera at a hanging curtain,

Або, в іншому випадку, ми встановили камеру перед шторою, яка висить,

and you can't even see any motion in this video,

і ви навіть не побачите будь-яких коливань на цьому відео,

but by recording a two-minute-long video,

але під час двохвилинної зйомки відео

natural air currents in this room

природні потоки повітря в кімнаті

created enough subtle, imperceptible motions and vibrations

створили достатньо дрібних непомітних рухів і коливань,

that we could learn enough to create this simulation.

які ми достатньо вивчили, аби створити цю симуляцію.

And ironically,

Як не дивно,

we're kind of used to having this kind of interactivity

ми наче застосовували таку інтерактивність

when it comes to virtual objects,

до віртуальних об'єктів,

when it comes to video games and 3D models,

коли це стосується відеоігор і 3D-моделей,

but to be able to capture this information from real objects in the real world

але отримувати цю інформацію від справжніх об'єктів в реальному світі

за допомогою простого звичайного відео

using just simple, regular video,

is something new that has a lot of potential.

є явищем новим і має значний потенціал.

So here are the amazing people who worked with me on these projects.

Ось дивовижні люди, які співпрацювали зі мною в цих проектах.

(Applause)

(Оплески)

And what I've shown you today is only the beginning.

Те, що я вам сьогодні показав, це тільки початок.

We've just started to scratch the surface

Ми тільки поверхово торкнулись

of what you can do with this kind of imaging,

можливостей такого відтворення зображень.

because it gives us a new way

Тому що воно відкриває нам новий спосіб

to capture our surroundings with common, accessible technology.

охоплювати середовище за допомогою простої, доступної технології.

Так, зазираючи в майбутнє,

And so looking to the future,

it's going to be really exciting to explore

буде цікаво дослідити,

what this can tell us about the world.

що ми дізнаємось про наш світ.

Thank you.

Дякую.

(Applause)

(Оплески)