See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

번역: Youn-chan Cho 검토: YERI OH

So over the past few centuries, microscopes have revolutionized our world.

지난 수 세기동안 현미경은 우리 삶에 혁명과도 같은 변화를 가져왔습니다.

현미경은 사물, 생명체, 구조물의 미시적 세계를 우리에게 보여줬습니다.

They revealed to us a tiny world of objects, life and structures

that are too small for us to see with our naked eyes.

너무 작아서 맨눈으로는 관찰이 불가능했던 것들을 말이죠.

They are a tremendous contribution to science and technology.

현미경은 과학과 기술에 위대한 공헌을 하였습니다.

Today I'd like to introduce you to a new type of microscope,

오늘 저는 새로운 형태의 현미경을 소개하고자 합니다.

a microscope for changes.

변화된 현미경을 말이죠.

It doesn't use optics like a regular microscope

이 현미경은 일반 현미경과 같은 광학렌즈를 쓰지 않습니다.

to make small objects bigger,

광학렌즈는 작은 대상을 확대해 주지만

but instead it uses a video camera and image processing

이 현미경은 대신 비디오 카메라와 영상 처리를 이용해서

to reveal to us the tiniest motions and color changes in objects and people,

사물이나 사람의 매우 미세한 움직임이나 색의 변화를 보여줍니다.

changes that are impossible for us to see with our naked eyes.

너무나 미세해서 맨눈으로는 관찰이 어려운 그러한 변화들 말이죠.

And it lets us look at our world in a completely new way.

덕분에 우리는 완전히 다른 눈으로 세상을 보게 됩니다.

So what do I mean by color changes?

색의 변화란 어떤 의미일까요?

Our skin, for example, changes its color very slightly

일례로, 피부는 혈액의 흐름에 따라

when the blood flows under it.

매우 미세한 색의 변화를 보입니다.

That change is incredibly subtle,

하지만 너무 미세한 변화여서

which is why, when you look at other people,

우리가 다른 사람들이나

when you look at the person sitting next to you,

옆에 있는 사람을 볼 때

you don't see their skin or their face changing color.

피부색이나 얼굴색의 변화를 느낄 수 없는 것입니다

When we look at this video of Steve here, it appears to us like a static picture,

여기 스티브의 비디오를 보시면 정지된 사진처럼 보이죠.

but once we look at this video through our new, special microscope,

하지만 새롭고 특별한 현미경으로 보면

suddenly we see a completely different image.

갑자기 완전히 다른 이미지를 보게 됩니다

What you see here are small changes in the color of Steve's skin,

여러분이 지금 보시는 것은 스티브의 얼굴색 변화인데

magnified 100 times so that they become visible.

100배로 확대했기 때문에 비로소 볼 수 있는 것입니다.

We can actually see a human pulse.

또 실제로 사람의 맥박이 뛰는 것을 볼 수 있습니다.

We can see how fast Steve's heart is beating,

스티브의 심장박동 속도 뿐 아니라

but we can also see the actual way that the blood flows in his face.

그의 얼굴에 혈액이 흐르는 양상까지 볼 수 있습니다.

And we can do that not just to visualize the pulse,

단순히 맥박을 시각화 하는 것이 아니라

but also to actually recover our heart rates,

실제로 심장박동을 복원하고

and measure our heart rates.

심장박동을 측정할 수 있습니다.

And we can do it with regular cameras and without touching the patients.

일반 카메라로 환자에 접촉하지 않고도 측정할 수 있습니다.

So here you see the pulse and heart rate we extracted from a neonatal baby

여기 보시면, 신생아에게서 얻은 맥박과 심장박동수를 알 수 있습니다.

from a video we took with a regular DSLR camera,

일반 DSLR 카메라로 찍은 비디오를 통해서 말이죠.

and the heart rate measurement we get

우리가 얻은 심박동 수치는

is as accurate as the one you'd get with a standard monitor in a hospital.

병원의 표준 모니터에서 얻는 수치만큼 정확합니다.

And it doesn't even have to be a video we recorded.

심지어 우리가 직접 촬영한 영상이 아닌

We can do it essentially with other videos as well.

다른 영상으로도 근본적으로 가능합니다.

So I just took a short clip from "Batman Begins" here

그래서 영화 '배트맨 비긴즈'의 한 장면을 가져왔습니다.

just to show Christian Bale's pulse.

크리스찬 베일의 맥박을 보여드리려구요.

(Laughter)

(웃음)

And you know, presumably he's wearing makeup,

아마도 분장을 한 상태일 것입니다.

the lighting here is kind of challenging,

여기 조명이 좋은 편은 아니지만

but still, just from the video, we're able to extract his pulse

그래도 영상에서 배우의 맥박을 추출할 수 있습니다.

and show it quite well.

심지어 상당히 잘 보입니다.

So how do we do all that?

그렇다면 어떻게 이게 가능할까요?

We basically analyze the changes in the light that are recorded

저희는 기본적으로 영상에서 기록되어 있는 빛의 변화를 분석합니다.

at every pixel in the video over time,

동영상의 모든 픽셀에서 말이죠.

and then we crank up those changes.

그런 뒤 이런 변화들을 증폭시킵니다.

We make them bigger so that we can see them.

우리 눈에 보일 만큼 확대하는 것이죠.

The tricky part is that those signals,

이 과정에서 까다로운 부분은

those changes that we're after, are extremely subtle,

우리가 찾는 이런 변화들이 극도로 미세하다는 점입니다.

so we have to be very careful when you try to separate them

따라서 영상에 있는 노이즈에서 변화를 분리할 때

from noise that always exists in videos.

매우 주의를 기울여야만 했습니다.

So we use some clever image processing techniques

그래서 우리는 고도의 영상 처리 기술을 이용하여

to get a very accurate measurement of the color at each pixel in the video,

영상에 있는 각 픽셀의 정확한 색상 측정값을 알아낸 후

and then the way the color changes over time,

시간에 따라 색상이 변화하는 양상을 정확히 측정해 냅니다.

and then we amplify those changes.

그리고 그 변화를 증폭시키죠.

We make them bigger to create those types of enhanced videos, or magnified videos,

그렇게 해서 이러한 향상된 영상, 증폭된 영상을 만들어 내는 것입니다.

that actually show us those changes.

이런 변화를 실제로 보여줍니다.

But it turns out we can do that not just to show tiny changes in color,

색상의 작은 변화만 보여주지 않고

but also tiny motions,

미세한 움직임도 보여줍니다.

and that's because the light that gets recorded in our cameras

왜냐하면 우리 카메라에 기록되는 빛이

will change not only if the color of the object changes,

대상의 색이 변할 때만 변하지 않고

but also if the object moves.

그 움직임에도 반응하기 때문입니다.

So this is my daughter when she was about two months old.

제 딸이 생후 2개월일 때입니다.

It's a video I recorded about three years ago.

3년 전에 제가 찍은 것인데요.

And as new parents, we all want to make sure our babies are healthy,

처음 부모가 되면 아이가 건강한지 확인하고 싶어합니다.

that they're breathing, that they're alive, of course.

아이가 숨은 잘 쉬는지, 또 살아 있는지도 말이죠.

So I too got one of those baby monitors

그래서 저도 아기 모니터를 설치해서

so that I could see my daughter when she was asleep.

아이가 잘 때도 볼 수가 있었죠.

And this is pretty much what you'll see with a standard baby monitor.

그리고 이것이 보통의 아기 모니터에서 보이는 모습입니다.

You can see the baby's sleeping, but there's not too much information there.

아이가 자는 것 외에 다른 정보는 딱히 없습니다.

There's not too much we can see.

관찰할 것이 별로 없죠.

Wouldn't it be better, or more informative, or more useful,

더 유익하고 유용한 정보가 있다면 더 좋지 않을까요?

if instead we could look at the view like this.

예를 들면 이렇게 해볼 수 있겠죠.

So here I took the motions and I magnified them 30 times,

아이의 움직임을 촬영하고 삼십 배로 확대해보았습니다.

and then I could clearly see that my daughter was indeed alive and breathing.

그제서야 제 딸이 진짜로 살아서 숨쉬고 있다는 걸 분명히 알겠더군요.

(Laughter)

(웃음)

Here is a side-by-side comparison.

둘을 나란히 놓고 비교해 봅시다.

So again, in the source video, in the original video,

다시 보시면 원래의 비디오에서는

there's not too much we can see,

보이는 것이 별로 없죠.

but once we magnify the motions, the breathing becomes much more visible.

하지만 움직임을 확대해보면 숨쉬는 모습이 확실해집니다.

And it turns out, there's a lot of phenomena

이로써 새로운 모션 현미경을 통해

we can reveal and magnify with our new motion microscope.

많은 현상들을 밝혀내고 확대할 수 있다는 것이 밝혀졌습니다.

We can see how our veins and arteries are pulsing in our bodies.

몸 속의 정맥과 동맥이 고동치는 모습도 볼 수 있고

We can see that our eyes are constantly moving

눈동자가 흔들흔들 하면서

in this wobbly motion.

끊임없이 움직이는 것도 볼 수 있죠.

And that's actually my eye,

이건 사실은 제 눈인데요.

and again this video was taken right after my daughter was born,

제 딸이 태어난 직후에 찍어서

so you can see I wasn't getting too much sleep. (Laughter)

잠을 충분이 자지 못해서 이렇습니다. (웃음)

Even when a person is sitting still,

심지어 사람이 가만히 앉아 있을 때 조차

there's a lot of information we can extract

많은 정보를 얻어 낼 수 있습니다.

about their breathing patterns, small facial expressions.

호흡패턴이나 작은 얼굴 표정에서 말이죠.

Maybe we could use those motions

어쩌면 이러한 움직임을 통해

to tell us something about our thoughts or our emotions.

사람의 생각이나 감정을 읽어 낼 수도 있습니다.

We can also magnify small mechanical movements,

또 기계의 미세한 움직임도 확대할 수 있을 겁니다.

like vibrations in engines,

엔진의 진동처럼 말이죠.

that can help engineers detect and diagnose machinery problems,

기술자들이 기계 문제를 발견하고 진단하는데 도움이 될 겁니다.

or see how our buildings and structures sway in the wind and react to forces.

건물과 구조물이 어떻게 바람에 흔들리고 힘에 반응하는지 알 수 있죠.

Those are all things that our society knows how to measure in various ways,

이것들은 이미 우리 사회가 다양한 방법으로 측정할 수 있는 것들입니다.

but measuring those motions is one thing,

하지만 이런 움직임을 측정하는 것과

and actually seeing those motions as they happen

무슨 일이 일어나는지 실제로 보는 것은

is a whole different thing.

완전히 다른 것입니다.

And ever since we discovered this new technology,

그리고 이 신기술을 발견한 이래로

we made our code available online so that others could use and experiment with it.

온라인 상에 다른 이들도 이용하고 실험해 볼 수 있도록 공개했습니다.

It's very simple to use.

사용 방법은 매우 간단합니다.

It can work on your own videos.

가지고 계신 영상에도 적용 가능합니다.

Our collaborators at Quanta Research even created this nice website

'콴타 리서치'의 공동 연구진은 심지어 웹사이트를 제작했는데

where you can upload your videos and process them online,

여기에 영상을 올려 온라인으로 처리할 수 있습니다.

so even if you don't have any experience in computer science or programming,

그렇기 때문에 컴퓨터 공학이나 프로그래밍에 경험이 없을지라도

you can still very easily experiment with this new microscope.

손쉽게 이 새로운 현미경을 시험해 볼 수 있습니다.

And I'd like to show you just a couple of examples

다른 사람들의 활용 사례를

of what others have done with it.

몇 가지 보여드리겠습니다.

So this video was made by a YouTube user called Tamez85.

Tamez85라는 유튜버의 영상인데요.

I don't know who that user is,

누군지는 모르겠지만

but he, or she, used our code

이분이 우리 코드를 이용해서

to magnify small belly movements during pregnancy.

임신 중인 복부의 작은 움직임을 확대했습니다.

It's kind of creepy.

조금 징그럽네요.

(Laughter)

(웃음)

People have used it to magnify pulsing veins in their hands.

어떤 이들은 손에 있는 핏줄의 박동을 확대해 보기도 했습니다.

And you know it's not real science unless you use guinea pigs,

그리고 기니피그가 등장하지 않는다면 진정한 과학이라고 할 수 없죠.

and apparently this guinea pig is called Tiffany,

이 기니피그는 티파니라고 하는데

and this YouTube user claims it is the first rodent on Earth

어떤 유튜버는 녀석이 모션확대경에 찍힌

that was motion-magnified.

지구 최초의 설치류라고 하더군요.

You can also do some art with it.

이걸로 예술을 할 수도 있습니다.

So this video was sent to me by a design student at Yale.

한 예일대 디자인과 학생이 저에게 보내준 영상입니다.

She wanted to see if there's any difference

이 학생은 친구들이 움직이는 방식에

in the way her classmates move.

차이가 있는지 보고 싶었답니다.

She made them all stand still, and then magnified their motions.

그래서 모두를 부동자세로 서게 한 뒤 그들의 움직임을 확대했습니다.

It's like seeing still pictures come to life.

마치 사진에서 생명이 꽃피는 걸 보는 느낌이죠.

And the nice thing with all those examples

그리고 여기서 진정 의미있는 부분은

is that we had nothing to do with them.

저희는 아무것도 하지 않았다는 겁니다.

We just provided this new tool, a new way to look at the world,

저희는 단지 세상을 보는 새로운 방법, 새로운 도구를 제공했을 뿐이고

and then people find other interesting, new and creative ways of using it.

흥미롭고, 새롭고, 창의적인 사용법은 사람들이 발견한 겁니다.

But we didn't stop there.

하지만 여기서 멈추지 않았습니다.

This tool not only allows us to look at the world in a new way,

이 도구로 우리는 세상을 새로운 시각으로 볼 뿐 아니라

it also redefines what we can do

우리의 가능성을 재정립하고

and pushes the limits of what we can do with our cameras.

카메라 활용의 한계를 뛰어넘었습니다.

So as scientists, we started wondering,

저희는 과학자로서 의문을 갖기 시작했습니다.

what other types of physical phenomena produce tiny motions

어떤 종류의 물리적 현상이 작은 움직임을 만들어내는지 말이죠.

that we could now use our cameras to measure?

우리 카메라로 측정할 수 있는 작은 움직임들 말입니다.

And one such phenomenon that we focused on recently is sound.

최근엔 소리에 초점을 두고 있습니다.

Sound, as we all know, is basically changes

소리는 다들 아시듯이

in air pressure that travel through the air.

기압에 영향을 받아 변화합니다.

Those pressure waves hit objects and they create small vibrations in them,

기압파가 어떤 물체에 부딪치면 그 안에서 작은 진동이 만들어지는데

which is how we hear and how we record sound.

이것을 우리가 듣고 녹음하는 겁니다.

But it turns out that sound also produces visual motions.

그런데 소리도 시각적 움직임을 만들어 낸다는 것이 밝혀졌습니다.

Those are motions that are not visible to us

이 움직임은 눈에는 보이지 않습니다.

but are visible to a camera with the right processing.

그러나 적절한 과정을 거친 카메라로는 볼 수 있습니다.

So here are two examples.

두 가지 예가 있습니다.

This is me demonstrating my great singing skills.

제가 엄청난 가창력을 뽐내고 있죠.

(노래)

(Singing)

(Laughter)

(웃음)

And I took a high-speed video of my throat while I was humming.

제가 흥얼거리는 동안 고속촬영한 제 목의 모습입니다.

Again, if you stare at that video,

다시 비디오를 가만히 보아도

there's not too much you'll be able to see,

보이는 것이 별로 없습니다.

but once we magnify the motions 100 times, we can see all the motions and ripples

그러나 움직임을 100배 확대하면 모든 움직임과 파문을 볼 수 있습니다.

in the neck that are involved in producing the sound.

소리를 만들어내는 목에서 말이죠.

That signal is there in that video.

이 신호는 모두 저 비디오 속에 있는 것들입니다.

We also know that singers can break a wine glass

우리는 가수들이 특정 음에 도달하면

if they hit the correct note.

와인잔을 깰 수 있음을 압니다.

So here, we're going to play a note

여기 음을 하나 틀어보겠습니다.

that's in the resonance frequency of that glass

이 음은 와인잔의 공명주파수 범위 내에 있고,

through a loudspeaker that's next to it.

옆에 있는 확성기에서 흘러나옵니다.

Once we play that note and magnify the motions 250 times,

음을 틀고 잔의 움직임을 250배로 확대해 보면

we can very clearly see how the glass vibrates

잔이 소리에 맞춰서 진동하고 공명하는 모습을

and resonates in response to the sound.

분명하게 볼 수 있습니다.

It's not something you're used to seeing every day.

우리가 일상생활에서 흔히 보는 광경은 아니지만

But this made us think. It gave us this crazy idea.

말도 안되는 생각을 하나 떠올리게 해주었습니다.

Can we actually invert this process and recover sound from video

이 과정을 역으로 적용해서 비디오에서 소리를 도출해 낼 수 있지 않을까?

by analyzing the tiny vibrations that sound waves create in objects,

음파가 물체에서 만들어내는 미세한 진동을 분석해서

and essentially convert those back into the sounds that produced them.

이 진동을 원래의 소리로 전환 시킬수 있지 않을까?

In this way, we can turn everyday objects into microphones.

이렇게 하면 일상적인 물건들을 마이크로 바꿀 수 있습니다.

So that's exactly what we did.

그래서 정말 그렇게 해봤죠.

So here's an empty bag of chips that was lying on a table,

자, 여기 탁자 위에 빈 과자봉지가 하나 있습니다.

and we're going to turn that bag of chips into a microphone

이걸 마이크로 바꿔볼게요.

by filming it with a video camera

비디오카메라로 촬영을 해서

and analyzing the tiny motions that sound waves create in it.

음파가 만들어 낸 미세한 움직임을 분석할 겁니다.

So here's the sound that we played in the room.

이게 바로 저희가 실험 공간에 틀었던 소리입니다.

(Music: "Mary Had a Little Lamb")

(음악: "Mary Had a Little Lamb")

And this is a high-speed video we recorded of that bag of chips.

그리고 이건 저 과자봉지를 고속촬영한 영상입니다.

Again it's playing.

다시 돌려봐도

There's no chance you'll be able to see anything going on in that video

그냥 보기만 해서는 저 비디오에서 무슨 일이 일어나는지

just by looking at it,

절대 알 수가 없죠.

but here's the sound we were able to recover just by analyzing

그렇지만 여기 이 소리가 바로 저 비디오의 미세한 움직임을

the tiny motions in that video.

분석해서 복구한 것입니다.

(Music: "Mary Had a Little Lamb")

(음악: "Mary Had a Little Lamb")

I call it -- Thank you.

저는 이것을.... 감사합니다.

(Applause)

(박수)

I call it the visual microphone.

저는 이것을 시각 마이크라고 부릅니다.

We actually extract audio signals from video signals.

실제로 비디오 신호로부터 오디오 신호를 추출하는 것입니다.

And just to give you a sense of the scale of the motions here,

여기서 움직임의 규모에 대한 감을 잡게 도와 드리자면

a pretty loud sound will cause that bag of chips to move less than a micrometer.

꽤 큰 소리여야 저 과자봉지를 겨우 1마이크로미터 움직일 수 있습니다.

That's one thousandth of a millimeter.

1mm의 1000분의 1이죠.

That's how tiny the motions are that we are now able to pull out

이렇게 작은 움직임들은 이제 우리가 추출할 수 있게 되었습니다.

just by observing how light bounces off objects

어떻게 빛이 물체에 반사가 되어

and gets recorded by our cameras.

카메라에 기록되는지를 통해서요.

We can recover sounds from other objects, like plants.

다른 대상, 예를 들면 식물로부터 소리를 복원할 수 있습니다.

(Music: "Mary Had a Little Lamb")

(음악: "Mary Had a Little Lamb")

And we can recover speech as well.

심지어 말소리도 복원할 수 있죠.

So here's a person speaking in a room.

한 사람이 방에서 말을 하고 있습니다.

Voice: Mary had a little lamb whose fleece was white as snow,

(목소리: 매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,)

and everywhere that Mary went, that lamb was sure to go.

(매리가 어디를 가든지, 그 양은 늘 함께 였죠)

Michael Rubinstein: And here's that speech again recovered

이건 저희가 복원한 말소리 입니다.

just from this video of that same bag of chips.

아까 과자봉지 영상에서처럼요.

Voice: Mary had a little lamb whose fleece was white as snow,

(목소리: 매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,)

and everywhere that Mary went, that lamb was sure to go.

(매리가 어디를 가든지, 그 양은 늘 함께 였죠)

MR: We used "Mary Had a Little Lamb"

굳이 이 노래를 고른 이유는

because those are said to be the first words

1877년에 토마스 에디슨이

that Thomas Edison spoke into his phonograph in 1877.

자신의 축음기에 녹음한 첫마디가 바로 이것이었기 때문입니다.

It was one of the first sound recording devices in history.

축음기는 역사상 첫 음성 기록장치 였습니다.

It basically directed the sounds onto a diaphragm

축음기는 기본적으로 소리가 진동판으로 가서

that vibrated a needle that essentially engraved the sound on tinfoil

은박지에 소리를 새겨 넣도록 바늘을 진동시키는 구조입니다.

that was wrapped around the cylinder.

이 은박지는 실린더에 감겨 있었죠.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

에디슨의 축음기로 녹음하고 재생하는 모습입니다.

(Video) Voice: Testing, testing, one two three.

(비디오) 목소리: 테스팅, 테스팅, 하나 둘 셋.

Mary had a little lamb whose fleece was white as snow,

(매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,)

and everywhere that Mary went, the lamb was sure to go.

(매리가 어디를 가든지, 그 양은 늘 함께 였죠.)

Testing, testing, one two three.

(테스팅, 테스팅, 하나 둘 셋.)

Mary had a little lamb whose fleece was white as snow,

매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,

and everywhere that Mary went, the lamb was sure to go.

매리가 어디를 가든지, 그 양은 늘 함께 였죠.

MR: And now, 137 years later,

그리고 137년이 지난 지금

we're able to get sound in pretty much similar quality

우리는 매우 유사한 음질의 소리를 들을 수 있습니다.

but by just watching objects vibrate to sound with cameras,

카메라를 통해 진동하는 물체를 보면서 말이죠.

and we can even do that when the camera

그것도 심지어 카메라가

is 15 feet away from the object, behind soundproof glass.

물체에서 4.6m나 멀리, 방음유리 너머에 있어도 가능합니다.

So this is the sound that we were able to recover in that case.

이것이 바로 그러한 조건에서 복원한 소리입니다.

Voice: Mary had a little lamb whose fleece was white as snow,

목소리: 매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,

and everywhere that Mary went, the lamb was sure to go.

매리가 어디를 가든지, 그 양은 늘 함께 였죠.

MR: And of course, surveillance is the first application that comes to mind.

처음 떠오르는 활용방법은 물론 도청이겠죠?

(Laughter)

(웃음)

But it might actually be useful for other things as well.

하지만 다른 식으로도 아주 유용하게 쓰일 수도 있습니다.

Maybe in the future, we'll be able to use it, for example,

어쩌면 미래에는 이 기술을 이용해서

to recover sound across space,

우주 너머의 소리를 복원할 수도 있을겁니다.

because sound can't travel in space, but light can.

왜냐하면 소리는 우주를 여행하지 못하지만 빛은 할 수 있으니까요.

We've only just begun exploring

이 신기술의 활용 가능성에 대한 연구는

other possible uses for this new technology.

아직 시작에 불과합니다.

It lets us see physical processes that we know are there

우리가 지금까지 알고 있었지만 눈으로 확인할 수 없었던

but that we've never been able to see with our own eyes until now.

물리적 과정들을 직접 볼 수 있게 되었습니다.

This is our team.

우리 연구팀원들입니다.

Everything I showed you today is a result of a collaboration

오늘 제가 보여드린 것은 모두 여기 보고계신

with this great group of people you see here,

훌륭한 연구진들이 협력한 결과입니다.

and I encourage you and welcome you to check out our website,

저희 웹사이트에 와보시면 좋겠습니다.

try it out yourself,

오셔서 직접 체험해 보시고

and join us in exploring this world of tiny motions.

미세한 움직임 세계를 함께 탐험해 보세요.

Thank you.

감사합니다.

(Applause)

(박수)