A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

Переводчик: Alyona the Translator Редактор: Maxim Averin

In the future,

В будущем

самоуправляемые автомобили будут безопаснее и надёжнее людей.

self-driving cars will be safer and more reliable than humans.

But for this to happen,

Но чтобы это произошло,

we need technologies that allow cars to respond

нужны технологии, которые позволят машинам

реагировать быстрее, чем людям.

faster than humans,

we need algorithms that can drive better than humans

Нужны алгоритмы, которые работают лучше, чем люди,

and we need cameras that can see more than humans can see.

и камеры, которые видят больше, чем люди.

For example, imagine a self-driving car is about to make a blind turn,

Представьте самоуправляемый автомобиль, делающий слепой поворот,

and there's an oncoming car

и другой приближающийся автомобиль

or perhaps there's a child about to run into the street.

или ребёнка, который хочет перебежать дорогу.

Fortunately, our future car will have this superpower,

К счастью, наш автомобиль будущего обладает суперсилой:

a camera that can see around corners to detect these potential hazards.

камерой, позволяющей заглянуть за угол и обнаружить потенциальную опасность.

For the past few years as a PhD student

Уже несколько лет, будучи аспирантом

in the Stanford Computational Imaging Lab,

в стэндфордской лаборатории вычислительной визуализации,

I've been working on a camera that can do just this --

я работаю над созданием камеры,

a camera that can image objects hidden around corners

способной видеть объекты,

скрытые за углом или находящиеся вне зоны видимости.

or blocked from direct line of sight.

So let me give you an example of what our camera can see.

Вот пример того, что может увидеть наша камера.

This is an outdoor experiment we conducted

Это наш уличный эксперимент,

where our camera system is scanning the side of this building with a laser,

в котором наша камера сканирует стену здания лазером,

and the scene that we want to capture

а пространство, которое мы хотим увидеть,

is hidden around the corner behind this curtain.

скрыто за углом, за этой ширмой,

So our camera system can't actually see it directly.

поэтому непосредственно камера его не видит.

And yet, somehow,

И тем не менее,

our camera can still capture the 3D geometry of this scene.

камера всё равно может запечатлеть 3D-конфигурацию этого пространства.

So how do we do this?

Как ей это удалось?

The magic happens here in this camera system.

Волшебство происходит здесь, в этой системе камеры.

You can think of this as a type of high-speed camera.

Представьте, что это высокоскоростная камера,

Not one that operates at 1,000 frames per second,

но снимает она со скоростью не тысяча кадров в секунду

or even a million frames per second,

или даже миллион кадров в секунду,

but a trillion frames per second.

а триллион кадров в секунду.

So fast that it can actually capture the movement of light itself.

Так быстро, что она улавливает движение самого света.

And to give you an example of just how fast light travels,

Просто чтобы вы поняли, насколько быстро движется свет:

let's compare it to the speed of a fast-running comic book superhero

давайте сравним его со скоростью бегущего супергероя,

who can move at up to three times the speed of sound.

скорость которого может составлять до трёх скоростей звука.

It takes a pulse of light about 3.3 billionths of a second,

Световому импульсу нужно около 3,3 миллиардных доли секунды,

or 3.3 nanoseconds,

или 3,3 наносекунды,

to travel the distance of a meter.

чтобы пролететь один метр.

Well, in that same time,

За то же время наш супергерой

our superhero has moved less than the width of a human hair.

пробежал расстояние меньше ширины человеческого волоса.

That's pretty fast.

Это довольно быстро.

But actually, we need to image much faster

Но нам нужно получать изображение гораздо быстрее,

if we want to capture light moving at subcentimeter scales.

чтобы запечатлеть движение света на расстоянии меньше сантиметра.

So our camera system can capture photons

Итак, система нашей камеры может увидеть движение фотонов

at time frames of just 50 trillionths of a second,

за 50 триллионных долей секунды,

or 50 picoseconds.

или за 50 пикосекунд.

So we take this ultra-high-speed camera

Возьмём эту ультравысокоскоростную камеру

and we pair it with a laser that sends out short pulses of light.

и соединим её с лазером, посылающим короткие световые импульсы.

Each pulse travels to this visible wall

Каждый импульс летит до этой стены,

and some light scatters back to our camera,

и часть света отбрасывается обратно в камеру,

but we also use the wall to scatter light around the corner

но, кроме того, стена нужна для передачи света за угол,

to the hidden object and back.

до спрятанного объекта и обратно.

We repeat this measurement many times

Мы повторяем этот процесс множество раз,

to capture the arrival times of many photons

чтобы определить время прибытия множества фотонов

from different locations on the wall.

с разных точек стены.

And after we capture these measurements, we can create

После обработки полученных показателей

a trillion-frame-per-second video of the wall.

мы можем создать видео стены с частотой триллион кадров в секунду.

While this wall may look ordinary to our own eyes,

Эта стена может показаться вполне обычной невооружённому взгляду,

at a trillion frames per second, we can see something truly incredible.

но при частоте триллион кадров в секунду мы можем увидеть нечто невероятное.

We can actually see waves of light scattered back from the hidden scene

Мы можем увидеть волны света, летящие обратно от скрытого пространства

and splashing against the wall.

и ударяющиеся об стену.

And each of these waves carries information

И каждая такая волна содержит информацию

about the hidden object that sent it.

о скрытом объекте, который её послал.

So we can take these measurements

Затем мы можем взять эти измерения

and pass them into a reconstruction algorithm

и применить к ним алгоритм воссоздания модели,

to then recover the 3D geometry of this hidden scene.

чтобы восстановить 3D-конфигурацию скрытого пространства.

Now I want to show you one more example of an indoor scene that we captured,

Приведу в пример ещё один эксперимент в помещении,

this time with a variety of different hidden objects.

на этот раз со множеством скрытых объектов.

And these objects have different appearances,

Все эти объекты выглядят по-разному,

so they reflect light differently.

поэтому и свет они отражают по-разному.

For example, this glossy dragon statue reflects light differently

Например, глянцевая статуя дракона отражает свет не так,

than the mirror disco ball

как зеркальный диско-шар

or the white discus thrower statue.

или белая статуя метателя диска.

And we can actually see the differences in the reflected light

Можно увидеть эту разницу в отражённом свете

by visualizing it as this 3D volume,

путем его визуализации в 3D-модели,

where we've just taken the video frames and stacked them together.

где мы просто взяли видео кадры и наложили их друг на друга.

And time here is represented as the depth dimension of this cube.

Значение времени находится на измерении ширины куба.

These bright dots that you see are reflections of light

Эти яркие точки — отражение света

from each of the mirrored facets of the disco ball,

от каждой зеркальной грани диско-шара,

scattering against the wall over time.

рассеивающегося со временем о стену.

The bright streaks of light that you see arriving soonest in time

Яркие пучки света, возвращающиеся раньше всех,

are from the glossy dragon statue that's closest to the wall,

отражаются от глянцевой статуи дракона, которая находится к стене ближе всего.

and the other streaks of light come from reflections of light from the bookcase

А другие пучки света отражаются от книжного шкафа

and from the statue.

и статуи.

Now, we can also visualize these measurements frame by frame,

Теперь мы также можем визуализировать измерения кадр за кадром,

as a video,

как видео,

to directly see the scattered light.

чтобы увидеть рассеянный свет.

And again, here we see, first, reflections of light from the dragon,

И снова мы увидим сперва отражение света от дракона,

closest to the wall,

он ближе всех к стене,

followed by bright dots from the disco ball

потом яркие точки от диско-шара

and other reflections from the bookcase.

и отражения от книжного шкафа.

And finally, we see the reflected waves of light from the statue.

Наконец, мы видим волны света от статуи.

These waves of light illuminating the wall

Эти волны, подсвечивающие стену,

are like fireworks that last for just trillionths of a second.

как фейерверки, длятся всего триллионную долю секунды.

And even though these objects reflect light differently,

И несмотря на то, что эти объекты отражают свет по-разному,

we can still reconstruct their shapes.

мы всё равно можем восстановить их форму.

And this is what you can see from around the corner.

Так мы получаем вид пространства за углом.

Now, I want to show you one more example that's slightly different.

Приведу немного другой пример.

In this video, you see me dressed in this reflective suit

На видео я одет в светоотражающий костюм.

and our camera system is scanning the wall at a rate of four times every second.

Наша камера сканирует стену со скоростью 4 раза в секунду.

The suit is reflective,

Костюм светоотражающий,

so we can actually capture enough photons

поэтому мы можем получить достаточно фотонов,

that we can see where I am and what I'm doing,

чтобы увидеть, где я и что делаю,

without the camera actually directly imaging me.

при том что камера напрямую меня не видит.

By capturing photons that scatter from the wall to my tracksuit,

Получая фотоны, летящие от стены до костюма,

back to the wall and back to the camera,

а потом обратно к стене и до камеры,

we can capture this indirect video in real time.

мы получаем такое косвенное видео в реальном времени.

And we think that this type of practical non-line-of-sight imaging

Мы думаем, что такой тип практичной косвенной съёмки

could be useful for applications including for self-driving cars,

может быть полезен как в самоуправляемых автомобилях,

but also for biomedical imaging,

так и для биомедицины,

where we need to see into the tiny structures of the body.

где нужно видеть мельчайшие частички нашего организма.

And perhaps we could also put similar camera systems on the robots

Мы можем также оснастить подобными камерами роботов,

that we send to explore other planets.

которых мы отправляем изучать другие планеты.

Now you may have heard about seeing around corners before,

Вероятно вы уже знали о возможности заглядывать за углы,

but what I showed you today would have been impossible

но то, что я вам сегодня показал, считалось невозможным

just two years ago.

всего два года назад.

For example, we can now image large, room-sized hidden scenes outdoors

Теперь мы можем заснять на улице скрытые пространства размером с комнату

and at real-time rates,

в реальном времени.

and we've made significant advancements towards making this a practical technology

Мы добились существенного прогресса в том, чтобы эта технология стала практичной

that you could actually see on a car someday.

и применимой однажды в автомобиле.

But of course, there's still challenges remaining.

Но, конечно, трудности всё ещё есть.

For example, can we image hidden scenes at long distances

Сможем ли мы снимать скрытые объекты на больших расстояниях,

where we're collecting very, very few photons,

с малым количеством получаемых фотонов

with lasers that are low-power and that are eye-safe.

с помощью неэнергозатратных, безопасных для зрения лазеров?

Or can we create images from photons

Или сможем ли мы получить изображение из фотонов,

that have scattered around many more times

которые рассеивались много раз,

than just a single bounce around the corner?

а не единожды о стену?

Can we take our prototype system that's, well, currently large and bulky,

Сможем ли мы взять нашу пока ещё громоздкую систему-прототип

and miniaturize it into something that could be useful

и уменьшить её так, чтобы она принесла пользу

for biomedical imaging

для биомедицины

or perhaps a sort of improved home-security system,

или для улучшенной системы безопасности дома?

or can we take this new imaging modality and use it for other applications?

Сможем ли мы применить этот новый способ съёмки в других областях?

I think it's an exciting new technology

Я думаю, что это замечательная технология,

and there could be other things that we haven't thought of yet

и, возможно, есть другие способы её применения,

to use it for.

которые мы ещё не придумали.

And so, well, a future with self-driving cars

Будущее с самоуправляемыми автомобилями

may seem distant to us now --

может казаться сейчас таким далёким.

we're already developing the technologies

Но мы уже сейчас разрабатываем технологии,

that could make cars safer and more intelligent.

которые сделают автомобили безопаснее и умнее.

And with the rapid pace of scientific discovery and innovation,

А учитывая частоту научных открытий и инноваций,

you never know what new and exciting capabilities

невозможно предугадать, какие новые прекрасные возможности

could be just around the corner.

могут поджидать вас прямо за углом.

(Applause)

(Аплодисменты)