A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

번역: YOONA SON 검토: Jihyeon J. Kim

In the future,

미래에는

self-driving cars will be safer and more reliable than humans.

자율 주행차가 더 안전해지고 믿음직해질 것입니다.

But for this to happen,

이를 위해서는

we need technologies that allow cars to respond

자동차가 인간보다 빠르게 반응할 수 있는

faster than humans,

기술이 필요합니다.

we need algorithms that can drive better than humans

인간보다 운전을 잘하는 알고리즘이 필요하며

and we need cameras that can see more than humans can see.

인간보다 더욱 잘 볼 수 있는 카메라가 필요합니다.

For example, imagine a self-driving car is about to make a blind turn,

자율주행차가 무작정 코너를 돈다고 가정했을 때,

and there's an oncoming car

다른 차가 다가오거나

or perhaps there's a child about to run into the street.

어린 아이가 도로로 뛰어드는 일이 있기도 하죠.

Fortunately, our future car will have this superpower,

다행히도, 미래의 차는 뛰어난 성능을 갖고 있는데

a camera that can see around corners to detect these potential hazards.

모퉁이를 볼 수 있는 카메라로 잠재적 위험을 발견합니다.

For the past few years as a PhD student

지난 수년간 스탠포드 대학의

in the Stanford Computational Imaging Lab,

컴퓨터 영상 연구실에서 박사 과정을 밟으며

I've been working on a camera that can do just this --

카메라의 성능에 대해 연구해왔습니다.

a camera that can image objects hidden around corners

카메라가 모퉁이에 감춰진 물체를 감지하거나

or blocked from direct line of sight.

시야를 벗어난 물체를 감지할 수 있는지 말이죠.

So let me give you an example of what our camera can see.

카메라로 무엇을 볼 수 있는지 하나의 예시를 들겠습니다.

This is an outdoor experiment we conducted

실험은 야외에서 진행되었는데

where our camera system is scanning the side of this building with a laser,

카메라 레이저로 건물의 벽을 스캔하고 있으며

and the scene that we want to capture

포착하려는 장면은

is hidden around the corner behind this curtain.

커튼 뒤 모퉁이에 가려져 있습니다.

So our camera system can't actually see it directly.

그래서 카메라 시스템으로는 직접적으로 볼 수 없습니다.

And yet, somehow,

그렇지만 어떻게든

our camera can still capture the 3D geometry of this scene.

카메라는 이 장면을 3차원 입체로 볼 수 있죠.

So how do we do this?

어떻게 가능했을까요?

The magic happens here in this camera system.

여기 카메라 시스템에 그 비밀이 있습니다.

You can think of this as a type of high-speed camera.

보시면 고속 카메라의 한 종류라고 생각하실 텐데,

Not one that operates at 1,000 frames per second,

초당 1000개의 프레임이나

or even a million frames per second,

초당 100만 개의 프레임이 아니라

but a trillion frames per second.

초당 1조 개의 프레임을 작동시킵니다.

So fast that it can actually capture the movement of light itself.

굉장히 빨라서 빛 자체의 움직임도 파악할 수 있죠.

And to give you an example of just how fast light travels,

빛이 얼마나 빠르게 움직이는지 예시를 보여드릴게요.

let's compare it to the speed of a fast-running comic book superhero

음속의 속도보다 3배나 더 빠르게 움직일 수 있는

who can move at up to three times the speed of sound.

만화 속 재빠른 수퍼히어로와 그 속도를 비교해보죠.

It takes a pulse of light about 3.3 billionths of a second,

빛의 진동수는 1초에 33억 개 또는

or 3.3 nanoseconds,

33억 분의 1초 인데

to travel the distance of a meter.

1미터를 이동하는 속도죠.

Well, in that same time,

동시에

our superhero has moved less than the width of a human hair.

수퍼히어로가 움직인 거리는 인간 머리카락 너비보다 짧죠.

That's pretty fast.

매우 빠른 속도입니다.

But actually, we need to image much faster

그러나 센티미터 미만으로 움직이는 빛의 속도를

if we want to capture light moving at subcentimeter scales.

파악하고 싶다면 더 빠르게 이미지화 해야죠.

So our camera system can capture photons

우리 카메라 시스템은 50조 분의 1초 또는

at time frames of just 50 trillionths of a second,

1초에 50조개의 프레임으로

or 50 picoseconds.

광자를 포착할 수 있습니다.

So we take this ultra-high-speed camera

이 울트라 고속카메라로

and we pair it with a laser that sends out short pulses of light.

짧은 빛의 진동을 보내는 레이저와 비교해 보면

Each pulse travels to this visible wall

각 진동은 이 벽으로 이동하고

and some light scatters back to our camera,

일부는 카메라를 향해 뒤로 흩어집니다.

but we also use the wall to scatter light around the corner

또한 모퉁이에 숨겨진 물체로 빛을 흩어 되돌아오게 하려고

to the hidden object and back.

벽을 이용하기도 하죠.

We repeat this measurement many times

벽면 위 각각 다른 위치로부터

to capture the arrival times of many photons

각 광자의 도착 횟수를 포착하기 위해

from different locations on the wall.

측정을 수없이 반복하여

And after we capture these measurements, we can create

마침내 이 수치를 알아냈고, 초당 1조 개의 프레임의

a trillion-frame-per-second video of the wall.

영상을 만들 수 있었죠.

While this wall may look ordinary to our own eyes,

우리 눈에는 평범한 벽으로 보이지만

at a trillion frames per second, we can see something truly incredible.

초당 1조 개의 프레임으로 굉장한 걸 볼 수 있습니다.

We can actually see waves of light scattered back from the hidden scene

숨겨진 사물에서 흩어지고 다시 벽면으로 뿌려지는

and splashing against the wall.

빛의 파동을 발견할 수 있죠.

And each of these waves carries information

또한 각 파동은 숨겨진 사물이 보낸

about the hidden object that sent it.

정보를 전달합니다.

So we can take these measurements

이를 통해 수치를 파악하고

and pass them into a reconstruction algorithm

재현 알고리즘으로 보내어

to then recover the 3D geometry of this hidden scene.

숨겨진 장면을 3D 입체로 복원할 수 있습니다.

Now I want to show you one more example of an indoor scene that we captured,

다음으로 포착된 실내 장면의 예시를 보여드릴 텐데요,

this time with a variety of different hidden objects.

이번에는 다양한 숨겨진 사물의 모습입니다.

And these objects have different appearances,

사물들의 형태는 각기 다르기 때문에

so they reflect light differently.

빛 또한 다르게 반사됩니다.

For example, this glossy dragon statue reflects light differently

여기 빛나는 용 동상은 미러 디스코 볼과

than the mirror disco ball

빛이 다르게 반사됩니다.

or the white discus thrower statue.

원반을 든 사람 동상 또한 다르게 반사됩니다.

And we can actually see the differences in the reflected light

3차원 입체로 시각화하여 반사된 빛에 따른

by visualizing it as this 3D volume,

차이를 발견할 수 있었어요.

where we've just taken the video frames and stacked them together.

비디오 프레임을 촬영하고 각 프레임을 합쳐보았죠.

And time here is represented as the depth dimension of this cube.

여기에서 시간은 이 큐브의 깊이의 차원을 의미하죠.

These bright dots that you see are reflections of light

이 빛나는 점들은 디스코 볼의 각 측면에

from each of the mirrored facets of the disco ball,

비춰진 빛의 반사점이며,

scattering against the wall over time.

시간이 지남에 따라 벽면에 흩어졌죠.

The bright streaks of light that you see arriving soonest in time

가장 빨리 도착한 빛의 줄기는

are from the glossy dragon statue that's closest to the wall,

벽면에 가장 가까운 용 동상에서 나왔고,

and the other streaks of light come from reflections of light from the bookcase

책장과 다른 동상에서 반사된 빛으로부터

and from the statue.

다른 빛줄기가 나왔죠.

Now, we can also visualize these measurements frame by frame,

이제 이 수치를 프레임 단위의 영상으로

as a video,

시각화 할 수 있습니다.

to directly see the scattered light.

분산된 빛을 바로 확인할 수 있죠.

And again, here we see, first, reflections of light from the dragon,

다시, 벽에서 가장 가까운 용에서 이루어지는 빛반사를 보죠.

closest to the wall,

followed by bright dots from the disco ball

또 디스코 볼과 책장의 다른 물체에서

and other reflections from the bookcase.

나오는 밝은 점들도 보입니다.

And finally, we see the reflected waves of light from the statue.

그리고 동상에서 반사된 빛의 파동을 볼 수 있어요.

These waves of light illuminating the wall

벽면을 비추는 빛의 각 파동은

are like fireworks that last for just trillionths of a second.

초당 1조 번 지속되는 불꽃과도 같습니다.

And even though these objects reflect light differently,

이 사물들이 빛을 각 다르게 반사하더라도

we can still reconstruct their shapes.

여전히 형태를 재건할 수 있습니다.

And this is what you can see from around the corner.

이것이 모퉁이에서 보이는 모습인데요,

Now, I want to show you one more example that's slightly different.

결과가 조금 다르게 나온 예시를 보여드리고자 합니다.

In this video, you see me dressed in this reflective suit

이 영상에서 저는 빛을 반사하는 수트를 입고

and our camera system is scanning the wall at a rate of four times every second.

카메라는 초당 4번의 비율로 벽을 스캔하고 있습니다.

The suit is reflective,

저 옷은 빛을 반사하므로

so we can actually capture enough photons

실제로 많은 수의 광자를 포착할 수 있어서

that we can see where I am and what I'm doing,

제가 어디에 있고 무엇을 하는지 알 수 있죠.

without the camera actually directly imaging me.

카메라가 실제로 저를 포착하지 못하더라도 말이죠.

By capturing photons that scatter from the wall to my tracksuit,

벽에서 제 수트로 흩어지고 다시 벽과 카메라로

back to the wall and back to the camera,

흩어진 광자들을 포착하면서

we can capture this indirect video in real time.

실시간으로 간접적인 영상을 캡처할 수 있습니다.

And we think that this type of practical non-line-of-sight imaging

이러한 실제적인 비가시적 이미지화가

could be useful for applications including for self-driving cars,

자율주행차 등의 분야에 유용하게 쓰일 겁니다.

but also for biomedical imaging,

또한 우리 몸의 작은 부분들을

where we need to see into the tiny structures of the body.

살펴보는 생의학 분야에서도 마찬가지죠.

And perhaps we could also put similar camera systems on the robots

또한 다른 행성을 탐사하고자 이용되는 로봇에

that we send to explore other planets.

유사한 카메라 시스템을 적용할 수 있습니다.

Now you may have heard about seeing around corners before,

처음에 모퉁이 너머를 보는 것에 대해 말씀드렸는데

but what I showed you today would have been impossible

오늘 여러분께 보여드린 기술은 불과 2년 전에는

just two years ago.

불가능했던 것이었죠.

For example, we can now image large, room-sized hidden scenes outdoors

한 예로, 우리는 밖에 숨겨진 방만한 크기의 거대한 장면을

and at real-time rates,

실시간으로 이미지화할 수 있죠.

and we've made significant advancements towards making this a practical technology

이를 실제적 기술로 제작해 커다란 발전을 이루었는데

that you could actually see on a car someday.

언젠가 차에서도 볼 수 있을 겁니다.

But of course, there's still challenges remaining.

그러나 여전히 과제가 남아있습니다.

For example, can we image hidden scenes at long distances

예를 들면 매우 적은 광자로 거리가 먼

where we're collecting very, very few photons,

숨겨진 장면을 약하고 눈에 안전한 레이저 빛으로

with lasers that are low-power and that are eye-safe.

시각화하는 것이 가능할까요?

Or can we create images from photons

또한 모퉁이에서 한 번이 아니라

that have scattered around many more times

더 많은 횟수로 흩어지는

than just a single bounce around the corner?

광자에서 이미지를 파악할 수 있을까?

Can we take our prototype system that's, well, currently large and bulky,

우리의 크고 무거운 카메라 시제품을

and miniaturize it into something that could be useful

작게 축소하여 생의학 분야나

for biomedical imaging

주택 방범 시스템의

or perhaps a sort of improved home-security system,

발전에 유용하게 쓰일 수 있을까요?

or can we take this new imaging modality and use it for other applications?

아니면 이 새로운 영상기법을 다른 곳에 적용할 수 있을까요?

I think it's an exciting new technology

저는 이 흥미로운 기술이

and there could be other things that we haven't thought of yet

아직 생소한 다른 분야에도 유용하게 쓰여질 것이라고

to use it for.

생각하고 있습니다.

And so, well, a future with self-driving cars

또한 현재 미래의 자율주행차는

may seem distant to us now --

우리에게 먼 이야기로 느껴지겠지만

we're already developing the technologies

이미 기술이 발전되어

that could make cars safer and more intelligent.

더욱 안전하고 똑똑한 차를 제작할 수 있습니다.

And with the rapid pace of scientific discovery and innovation,

또한 과학적 발견과 혁명은 빠른 속도로 이루어지므로

you never know what new and exciting capabilities

우리가 모르는 새롭고 흥미로운 기술을

could be just around the corner.

모퉁이 너머에서 발견할 수도 있습니다.

(Applause)

(박수)