Abe Davis: New video technology that reveals an object's hidden properties

Переводчик: Lirit Fuksman Редактор: Aleks Teri

Большинство из нас думают, что движение можно только видеть.

Most of us think of motion as a very visual thing.

If I walk across this stage or gesture with my hands while I speak,

Когда я хожу по сцене или жестикулирую, пока говорю, —

that motion is something that you can see.

это движение, которое вы видите.

But there's a world of important motion that's too subtle for the human eye,

Но есть и целый мир движений, еле заметных человеческому глазу,

and over the past few years,

и в течение последних лет

we've started to find that cameras

мы узнали, что видеокамеры

can often see this motion even when humans can't.

могут заметить такие движения, даже если их не видит человек.

So let me show you what I mean.

Сейчас я покажу, что я имею ввиду.

On the left here, you see video of a person's wrist,

Слева — видео запястья человека,

and on the right, you see video of a sleeping infant,

а справа — видео спящего ребёнка.

but if I didn't tell you that these were videos,

Но если бы я не сказал вам, что это видео,

you might assume that you were looking at two regular images,

вы могли бы подумать, что смотрите на два изображения.

because in both cases,

Потому что в обоих случаях

these videos appear to be almost completely still.

изображения на видео кажутся застывшими.

But there's actually a lot of subtle motion going on here,

На самом деле, там происходит много неуловимых движений,

and if you were to touch the wrist on the left,

и если вы могли бы коснуться запястья на видео слева,

you would feel a pulse,

то ощутили бы пульс,

and if you were to hold the infant on the right,

а если бы смогли подержать ребёнка на видео справа,

you would feel the rise and fall of her chest

то ощутили бы, как поднимается и опускается грудная клетка

as she took each breath.

с каждым вздохом.

And these motions carry a lot of significance,

И эти движения имеют большое значение,

but they're usually too subtle for us to see,

но они обычно настолько слабы, что едва видимы.

so instead, we have to observe them

Так что мы можем ощутить их,

through direct contact, through touch.

непосредственно взаимодействуя с объектом, касаясь его.

But a few years ago,

Но несколько лет назад, мои коллеги из МИТа

my colleagues at MIT developed what they call a motion microscope,

создали так называемый микроскоп движения —

which is software that finds these subtle motions in video

это компьютерная программа, которая находит малозаметные движения на видео

and amplifies them so that they become large enough for us to see.

и усиливает их так, что они становятся заметными для нас.

And so, if we use their software on the left video,

Если мы применим программу для видео слева,

it lets us see the pulse in this wrist,

то сможем увидеть пульс,

and if we were to count that pulse,

и если мы посчитаем удары,

we could even figure out this person's heart rate.

то сможем узнать частоту сердечных сокращений.

And if we used the same software on the right video,

Если мы используем программу на видео справа,

it lets us see each breath that this infant takes,

то увидим каждый вдох, который делает ребёнок,

and we can use this as a contact-free way to monitor her breathing.

мы можем видеть это без прямого контакта для проверки дыхания.

And so this technology is really powerful because it takes these phenomena

Эта технология действительно мощная, потому что использует процесс,

that we normally have to experience through touch

который мы привыкли ощущать через прикосновения,

and it lets us capture them visually and non-invasively.

и позволяет воспринимать его зрительно, без вмешательства.

So a couple years ago, I started working with the folks that created that software,

Несколько лет назад я начал работу вместе с группой, создавшей эту программу,

and we decided to pursue a crazy idea.

и мы задумали проверить сумасшедшую идею.

We thought, it's cool that we can use software

Мы подумали: здорово, что можно использовать эту программу

to visualize tiny motions like this,

для визуализации незаметных движений

and you can almost think of it as a way to extend our sense of touch.

и воспринимать их так, будто это способ расширить наши способности.

But what if we could do the same thing with our ability to hear?

А что, если мы могли бы сделать то же с нашей способностью слышать?

What if we could use video to capture the vibrations of sound,

Что, если мы могли бы использовать видео, чтобы записать вибрации звука,

which are just another kind of motion,

что тоже является лишь одной из форм движения,

and turn everything that we see into a microphone?

и превратить любые видимые объекты в микрофон?

Now, this is a bit of a strange idea,

Это немного странная идея,

so let me try to put it in perspective for you.

но давайте я поясню её более развёрнуто.

Traditional microphones work by converting the motion

Обычный микрофон устроен так, чтобы преобразовывать движение

of an internal diaphragm into an electrical signal,

внутренней мембраны в электрический сигнал,

and that diaphragm is designed to move readily with sound

и мембрана сделана так, чтобы двигаться под воздействием звука.

so that its motion can be recorded and interpreted as audio.

Дальше эти вибрации записываются и воспроизводятся как звук.

But sound causes all objects to vibrate.

Но звук заставляет все объекты колебаться.

Those vibrations are just usually too subtle and too fast for us to see.

Эти вибрации малы и слишком быстры, чтобы их заметить.

So what if we record them with a high-speed camera

А что, если мы запишем их с помощью высокоскоростной камеры,

and then use software to extract tiny motions

и используем программу для извлечения незаметных движений

from our high-speed video,

из полученного видео,

and analyze those motions to figure out what sounds created them?

и обработаем движения, чтобы понять, какие звуки их вызывают?

This would let us turn visible objects into visual microphones from a distance.

Это позволило бы нам превратить удалённые видимые объекты в микрофоны.

And so we tried this out,

Так что мы начали испытания.

and here's one of our experiments,

Вот один из наших экспериментов,

where we took this potted plant that you see on the right

где мы использовали растение в горшке, его вы видите справа.

and we filmed it with a high-speed camera

Мы снимали его на высокоскоростную камеру,

while a nearby loudspeaker played this sound.

в то время как в динамике рядом проигрывался звук.

(Music: "Mary Had a Little Lamb")

(Музыка: «У Мэри был маленький барашек») [Эдисон тоже использовал её на фонографе]

And so here's the video that we recorded,

Вот получившаяся видеозапись,

and we recorded it at thousands of frames per second,

и мы записали её на скорости тысяча кадров в секунду.

but even if you look very closely,

Но даже так, если вы всмотритесь,

all you'll see are some leaves

то увидите только листья,

that are pretty much just sitting there doing nothing,

которые, вероятней всего, совершенно не двигаются.

because our sound only moved those leaves by about a micrometer.

Всё потому, что звук отклоняет листья на микрометр —

That's one ten-thousandth of a centimeter,

это одна десятитысячная сантиметра,

which spans somewhere between a hundredth and a thousandth

что равняется примерно одной сотой или тысячной

of a pixel in this image.

от пикселя на этом изображении.

So you can squint all you want,

Так что вы можете вглядываться, сколько хотите,

but motion that small is pretty much perceptually invisible.

но движение настолько мало, что незаметно для глаза.

But it turns out that something can be perceptually invisible

В то же время то, что настолько неуловимо,

and still be numerically significant,

может быть численно оценено.

because with the right algorithms,

И используя подходящий алгоритм,

we can take this silent, seemingly still video

мы можем из этого видео без звука

and we can recover this sound.

восстановить музыку.

(Music: "Mary Had a Little Lamb")

(Музыка: «У Мэри был маленький барашек»)

(Applause)

(Аплодисменты)

So how is this possible?

Как же это возможно?

How can we get so much information out of so little motion?

Как нам удалось восстановить столько информации из столь малого движения?

Well, let's say that those leaves move by just a single micrometer,

Допустим, эти листья двигаются лишь на один микрометр,

and let's say that that shifts our image by just a thousandth of a pixel.

и скажем, что это сдвигает наше изображение на тысячную пикселя.

That may not seem like much,

Кажется, что этого мало,

but a single frame of video

но на одном кадре такого видео

may have hundreds of thousands of pixels in it,

могут быть сотни тысяч пикселей.

and so if we combine all of the tiny motions that we see

Если мы соберём все микродвижения,

from across that entire image,

найденные на изображении,

then suddenly a thousandth of a pixel

то получим тысячи пикселей

can start to add up to something pretty significant.

и можем начать составлять из них что-то более заметное.

On a personal note, we were pretty psyched when we figured this out.

Честно говоря, мы чуть было не сошли с ума, когда нашли это.

(Laughter)

(Смех)

But even with the right algorithm,

Но даже с хорошим алгоритмом

we were still missing a pretty important piece of the puzzle.

мы по-прежнему упускали важную деталь мозаики.

You see, there are a lot of factors that affect when and how well

Есть много факторов, влияющих на то, когда и как хорошо

this technique will work.

сработает эта методика.

There's the object and how far away it is;

Есть объект и расстояние до него;

there's the camera and the lens that you use;

камера и используемые объективы;

how much light is shining on the object and how loud your sound is.

свет, попадающий на объект, и громкость звука.

And even with the right algorithm,

Даже применяя правильный алгоритм,

we had to be very careful with our early experiments,

нужно быть очень внимательным с ранними экспериментами.

because if we got any of these factors wrong,

Потому что если какой-то из факторов был упущен,

there was no way to tell what the problem was.

то нет способа сказать, какой именно.

We would just get noise back.

Всё, что мы получим, — лишь шум.

And so a lot of our early experiments looked like this.

Поэтому наши первые эксперименты выглядели так.

And so here I am,

Вот я,

and on the bottom left, you can kind of see our high-speed camera,

и слева внизу одна из наших высокоскоростных камер,

which is pointed at a bag of chips,

которая направлена на пачку чипсов,

and the whole thing is lit by these bright lamps.

место съёмки освещено яркими лампами.

And like I said, we had to be very careful in these early experiments,

И как я сказал, нужно было быть внимательными на первых этапах,

so this is how it went down.

и вот как это происходило.

(Video) Abe Davis: Three, two, one, go.

(Видео) Эйб Дейвис: «Три, два, раз, запись».

Mary had a little lamb! Little lamb! Little lamb!

«У Мэри был маленький барашек! Маленький барашек! Маленький барашек!»

(Laughter)

(Смех)

AD: So this experiment looks completely ridiculous.

ЭД: Да, эксперимент выглядит нелепым.

(Laughter)

(Смех)

I mean, I'm screaming at a bag of chips --

То есть я кричу на пачку чипсов,

(Laughter) --

(Смех)

and we're blasting it with so much light,

и свет настолько яркий,

we literally melted the first bag we tried this on. (Laughter)

что мы почти расплавили упаковку чипсов, пока записывали. (Смех)

But ridiculous as this experiment looks,

Но, несмотря на нелепость эксперимента,

it was actually really important,

всё это было очень важно,

because we were able to recover this sound.

потому что мы смогли восстановить звук.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Аудио) «У Мэри был маленький барашек! Маленький барашек! Маленький барашек!»

(Applause)

(Аплодисменты)

AD: And this was really significant,

ЭД: И это было действительно значимым,

because it was the first time we recovered intelligible human speech

потому что впервые мы чётко восстановили речь человека

from silent video of an object.

из беззвучной съёмки объекта.

And so it gave us this point of reference,

Это дало нам точку отсчёта,

and gradually we could start to modify the experiment,

и мы могли начать изменять наш эксперимент,

используя разные объекты и отодвигая их дальше от камеры,

using different objects or moving the object further away,

using less light or quieter sounds.

уменьшая освещённость или используя более тихий звук.

And we analyzed all of these experiments

Мы анализировали все эти эксперименты до тех пор,

until we really understood the limits of our technique,

пока не поняли границы применения нашей методики,

because once we understood those limits,

а когда мы осознали эти границы,

we could figure out how to push them.

то смогли расширить их.

And that led to experiments like this one,

И мы провели следующий эксперимент:

where again, I'm going to speak to a bag of chips,

я снова разговаривал с упаковкой чипсов,

but this time we've moved our camera about 15 feet away,

но на этот раз мы отодвинули камеру на 4,5 метра,

outside, behind a soundproof window,

установив за звуконепроницаемым стеклом,

and the whole thing is lit by only natural sunlight.

используя лишь естественное освещение.

And so here's the video that we captured.

И вот снятое нами видео.

And this is what things sounded like from inside, next to the bag of chips.

Вот звук, записанный рядом с упаковкой чипсов.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Аудио) «У Мэри был маленький барашек, Его шерсть была белой как снег,

and everywhere that Mary went, that lamb was sure to go.

И всюду, куда Мэри шла, Барашек всегда следовал за ней».

AD: And here's what we were able to recover from our silent video

ЭД: А вот звук, который мы смогли восстановить из видео,

captured outside behind that window.

снятого за звуконепроницаемым стеклом.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Аудио) «У Мэри был маленький барашек, Его шерсть была белой как снег,

and everywhere that Mary went, that lamb was sure to go.

И всюду, куда Мэри шла, Барашек всегда следовал за ней».

(Applause)

(Аплодисменты)

AD: And there are other ways that we can push these limits as well.

ЭД: Есть другие пути расширения границ.

So here's a quieter experiment

Вот эксперимент с более тихим звуком,

where we filmed some earphones plugged into a laptop computer,

в котором мы снимали наушники, подсоединённые к ноутбуку.

and in this case, our goal was to recover the music that was playing on that laptop

Наша цель была восстановить музыку, играющую в этом ноутбуке,

from just silent video

используя беззвучную съёмку

of these two little plastic earphones,

двух пластиковых наушников.

and we were able to do this so well

Нам удалось это настолько хорошо,

that I could even Shazam our results.

что даже Shazam может распознать музыку.

(Laughter)

(Смех)

(Music: "Under Pressure" by Queen)

(Музыка: «Under Pressure» группы «Queen»)

(Applause)

(Аплодисменты)

And we can also push things by changing the hardware that we use.

Мы смогли ещё дальше сдвинуть границы, меняя аппаратуру для записи.

Because the experiments I've shown you so far

Все предыдущие эксперименты, которые я показывал,

were done with a camera, a high-speed camera,

мы проводили, используя высокоскоростную камеру,

that can record video about a 100 times faster

которая может записывать видео со скоростью в 100 раз больше,

than most cell phones,

чем камеры большинства сотовых телефонов.

but we've also found a way to use this technique

Однако мы нашли способ применить наш метод

with more regular cameras,

с помощью обычных камер,

and we do that by taking advantage of what's called a rolling shutter.

используя эффект сдвига изображения.

You see, most cameras record images one row at a time,

Большинство камер записывают изображение объекта построчно,

and so if an object moves during the recording of a single image,

и если объект движется во время записи,

there's a slight time delay between each row,

происходит запаздывание при записи строк,

and this causes slight artifacts

и это приводит к появлению искажений,

that get coded into each frame of a video.

находящихся в каждом кадре видео.

And so what we found is that by analyzing these artifacts,

Мы обнаружили, что анализируя эти искажения,

we can actually recover sound using a modified version of our algorithm.

мы можем восстановить звук, используя модификацию нашего алгоритма.

So here's an experiment we did

Мы провели следующий эксперимент,

where we filmed a bag of candy

в котором снимали упаковку конфет,

while a nearby loudspeaker played

а в динамиках рядом проигрывалась

the same "Mary Had a Little Lamb" music from before,

всё та же музыка «У Мэри был маленький барашек».

but this time, we used just a regular store-bought camera,

Однако в этот раз мы использовали обычную камеру, купленную в магазине.

and so in a second, I'll play for you the sound that we recovered,

Сейчас я проиграю восстановленный звук,

and it's going to sound distorted this time,

и он будет немного искажённым в этот раз,

but listen and see if you can still recognize the music.

но послушайте и проверьте, сможете ли вы узнать музыку.

(Audio: "Mary Had a Little Lamb")

(Аудио: «У Мэри был маленький барашек»)

And so, again, that sounds distorted,

И хотя звук искажён,

but what's really amazing here is that we were able to do this

но по-настоящему удивительное в этом то, что вы можете

with something that you could literally run out

проделать подобное буквально с камерой,

and pick up at a Best Buy.

купленной в обычном магазине.

So at this point,

В этот момент

a lot of people see this work,

многие из слушателей

and they immediately think about surveillance.

начинают думать про слежку, прослушку.

And to be fair,

По правде говоря,

it's not hard to imagine how you might use this technology to spy on someone.

нетрудно представить, как использовать эту технологию для слежки.

But keep in mind that there's already a lot of very mature technology

Но помните, что уже есть технологии гораздо совершеннее

out there for surveillance.

для подобной прослушки.

In fact, people have been using lasers

Давно используются лазеры,

to eavesdrop on objects from a distance for decades.

наведённые на отдалённый объект, для подслушивания.

But what's really new here,

Но новое в этом,

what's really different,

принципиально отличное заключается в том,

is that now we have a way to picture the vibrations of an object,

что этот способ, при помощи которого мы снимаем вибрацию с объекта,

which gives us a new lens through which to look at the world,

даёт нам новый ракурс, с которого мы можем взглянуть на мир.

and we can use that lens

Мы можем использовать его,

to learn not just about forces like sound that cause an object to vibrate,

чтобы узнать не только о звуке, заставляющем объект вибрировать,

but also about the object itself.

но и о самом объекте.

And so I want to take a step back

Вернёмся теперь немного назад

and think about how that might change the ways that we use video,

и подумаем, как это может изменить привычное использование видео.

because we usually use video to look at things,

Мы привыкли использовать видео, чтобы смотреть на вещи,

and I've just shown you how we can use it

а недавно я показал, как использовать видео,

to listen to things.

чтобы услышать звук.

But there's another important way that we learn about the world:

Но есть и другой важный аспект того, как мы познаём мир:

that's by interacting with it.

напрямую взаимодействуя с ним.

We push and pull and poke and prod things.

Мы толкаем, тянем, тычем в предметы.

We shake things and see what happens.

Мы трясём предметы, чтобы понять, что произойдёт.

And that's something that video still won't let us do,

И это именно то, что видео пока не даёт нам испытать,

at least not traditionally.

по крайне мере, в привычном виде.

So I want to show you some new work,

И я хочу показать вам новый проект,

and this is based on an idea I had just a few months ago,

основанный на идее, возникшей у меня пару месяцев назад,

so this is actually the first time I've shown it to a public audience.

так что это первый раз, когда я делюсь этой идей с широкой аудиторией.

And the basic idea is that we're going to use the vibrations in a video

Основная идея состоит в том, чтобы использовать вибрации в видео

to capture objects in a way that will let us interact with them

таким образом, который бы позволил нам взаимодействовать с ним

and see how they react to us.

и видеть то, как предмет реагирует на нас.

So here's an object,

Перед вами объект.

and in this case, it's a wire figure in the shape of a human,

На этот раз это проволочная фигурка человека,

and we're going to film that object with just a regular camera.

и мы снимаем этот объект обычной камерой.

So there's nothing special about this camera.

Так что нет ничего особенного в этой камере.

In fact, I've actually done this with my cell phone before.

В действительности, я проделывал это же с камерой в телефоне.

But we do want to see the object vibrate,

Нам необходимо увидеть, как объект вибрирует,

so to make that happen,

и чтобы это сделать,

we're just going to bang a little bit on the surface where it's resting

мы просто постучим по той поверхности, на которой он стоит,

while we record this video.

и запишем это на видео.

So that's it: just five seconds of regular video,

Вот и всё — пять секунд обычного видео,

while we bang on this surface,

пока стучат по поверхности.

and we're going to use the vibrations in that video

Далее мы используем вибрации объекта с видео,

to learn about the structural and material properties of our object,

чтобы понять конструктивные свойства и материал этого объекта

and we're going to use that information to create something new and interactive.

и использовать эту информацию, чтобы создать новый способ взаимодействия.

And so here's what we've created.

И вот что мы создали.

And it looks like a regular image,

Это выглядит как обычное изображение,

but this isn't an image, and it's not a video,

но это не изображение, и не видео,

because now I can take my mouse

потому что как только я беру мышь,

and I can start interacting with the object.

я могу воздействовать с объектом.

And so what you see here

То, что вы видите здесь, —

это симуляция того, как объект

is a simulation of how this object

would respond to new forces that we've never seen before,

будет реагировать на новые воздействия, которые мы ранее не оказывали.

and we created it from just five seconds of regular video.

И мы создали это, используя лишь 5 секунд обычного видео.

(Аплодисменты)

(Applause)

And so this is a really powerful way to look at the world,

И это достаточно мощный способ познания мира,

because it lets us predict how objects will respond

потому что он может предсказывать, как объект будет реагировать

to new situations,

на новые события.

and you could imagine, for instance, looking at an old bridge

Вы можете представить ситуацию, к примеру, смотря на старый мост

and wondering what would happen, how would that bridge hold up

и задаваясь вопросом: что произойдёт, выдержит ли этот мост,

if I were to drive my car across it.

если я проеду по нему на машине.

And that's a question that you probably want to answer

И это — вопрос, на который вы захотели бы получить ответ до того,

before you start driving across that bridge.

как проедете по мосту.

And of course, there are going to be limitations to this technique,

Конечно же, будут ограничения в применении такого способа,

just like there were with the visual microphone,

так же как это было в экспериментах с визуальным микрофоном.

but we found that it works in a lot of situations

В то же время, мы поняли, что метод работает во многих ситуациях,

that you might not expect,

где мы не ожидали успеха,

especially if you give it longer videos.

особенно, если использовать более длинную по времени запись.

So for example, here's a video that I captured

Вот, для примера, видео, на котором я заснял куст,

of a bush outside of my apartment,

растущий во дворе дома.

and I didn't do anything to this bush,

Я не делал ничего особенного с ним,

but by capturing a minute-long video,

а просто снимал 1 минуту.

a gentle breeze caused enough vibrations

Лёгкий ветерок создал вибрации,

that we could learn enough about this bush to create this simulation.

которых было достаточно для создания этой симуляции.

(Applause)

(Аплодисменты)

And so you could imagine giving this to a film director,

Можете представить, что даёте такой инструмент кинорежиссёру,

and letting him control, say,

и он сможет контролировать

the strength and direction of wind in a shot after it's been recorded.

силу и направление ветра в сцене, которую уже сняли.

Or, in this case, we pointed our camera at a hanging curtain,

А вот в этом случае мы снимали занавеску.

and you can't even see any motion in this video,

Здесь вы не видите даже каких-либо движений,

but by recording a two-minute-long video,

но за две минуты съёмок

natural air currents in this room

циркуляция воздуха в комнате,

created enough subtle, imperceptible motions and vibrations

создала лёгкие, едва заметные движения и вибрации,

that we could learn enough to create this simulation.

достаточные, чтобы мы смогли создать симуляцию.

And ironically,

Как ни парадоксально,

we're kind of used to having this kind of interactivity

но мы привыкли к такому способу взаимодействия,

when it comes to virtual objects,

когда речь идёт о виртуальных объектах

when it comes to video games and 3D models,

в видеоиграх и трёхмерных моделях.

but to be able to capture this information from real objects in the real world

Но возможность получить такую же информацию от объектов реального мира,

using just simple, regular video,

используя простое, обычное видео, —

is something new that has a lot of potential.

это действительно что-то новое и с большим потенциалом.

So here are the amazing people who worked with me on these projects.

Вот замечательные люди, с которыми я работал над этими проектами.

(Applause)

(Аплодисменты)

And what I've shown you today is only the beginning.

И то, что я вам показал сегодня, — это только начало.

We've just started to scratch the surface

Мы только начали по-настоящему узнавать,

of what you can do with this kind of imaging,

чего можно достигнуть, применяя такой подход.

because it gives us a new way

Это даёт нам новый способ

to capture our surroundings with common, accessible technology.

запечатлеть окружающее с помощью простых и доступных технологий.

And so looking to the future,

И заглядывая в будущее,

it's going to be really exciting to explore

будет по-настоящему интересно узнать,

what this can tell us about the world.

что эта технология сможет рассказать нам об окружающем мире.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)