Imaging at a trillion frames per second | Ramesh Raskar

Рамеш Раскар: Фотографируя триллион кадров в секунду

Translator: Joseph Geni Reviewer: Thu-Huong Ha

Переводчик: Kateryna Mysak Редактор: Olga Dmitrochenkova

Doc Edgerton inspired us with awe and curiosity

Док Эджертон вселил в нас трепет и любознательность,

with this photo of a bullet piercing through an apple,

представив фото пули, пронизывающей яблоко.

and exposure just a millionth of a second.

Выдержка — одна миллионная секунды.

But now, 50 years later, we can go a million times faster

Но сегодня, 50 лет спустя, мы можем быть в миллион раз быстрее.

and see the world not at a million or a billion,

Мы можем увидеть мир в кадрах не одной миллионной,

и даже не одной миллиардной,

but one trillion frames per second.

а одной триллионной секунды.

Представляю вам новый тип фотографии —

I present to you a new type of photography,

femto-photography,

фемтофотография.

a new imaging technique so fast

Эта техника настолько быстра,

that it can create slow motion videos of light in motion.

что позволяет показать движение света в кадрах замедленного действия.

And with that, we can create cameras that can look around corners,

Таким образом мы можем создать фотоаппарат,

заглядывающий за угол,

beyond line of sight,

то есть за пределы видимости,

or see inside our body without an x-ray,

или в организм без рентгена,

давая новое определение понятию «фотоаппарат».

and really challenge what we mean by a camera.

Now if I take a laser pointer and turn it on and off

Если включить и выключить лазерный указатель

in one trillionth of a second --

в одну триллионную секунды,

which is several femtoseconds --

то есть за несколько фемтосекунд,

I'll create a packet of photons barely a millimeter wide.

образуется группа фотонов

шириной менее миллиметра.

And that packet of photons, that bullet,

Эти фотоны, эта «пуля»

will travel at the speed of light,

будет двигаться со скоростью света,

and again, a million times faster than an ordinary bullet.

то есть в миллион раз быстрее, чем обычная пуля.

Now, if you take that bullet and take this packet of photons

Теперь возьмём эти фотоны, эту «пулю»

and fire into this bottle,

и запустим её в эту бутылку.

how will those photons shatter into this bottle?

Как фотоны раздробятся в бутылке?

How does light look in slow motion?

Как выглядит свет в замедленном воспроизведении?

[Light in Slow Motion ... 10 Billion x Slow]

Now, the whole event --

Весь процесс... (Аплодисменты)

(Applause)

(Аплодисменты)

Now remember, the whole event is effectively taking place

Весь процесс...

протекает менее чем за наносекунду —

in less than a nanosecond --

that's how much time it takes for light to travel.

это скорость света —

But I'm slowing down in this video by a factor of 10 billion,

но это видео замедлено в 10 миллиардов раз,

so you can see the light in motion.

чтобы мы смогли увидеть движение света.

(Laughter)

But Coca-Cola did not sponsor this research.

Нет, Coca-Cola не спонсировала это исследование. (Смех)

(Laughter)

Now, there's a lot going on in this movie,

Здесь происходит много интересного,

so let me break this down and show you what's going on.

я разъясню по частям.

So the pulse enters the bottle, our bullet,

Импульс проходит в бутылку, наша пуля,

with a packet of photons that start traveling through

группа фотонов перемещается вдоль бутылки

and that start scattering inside.

и рассеивается внутри неё.

Some of the light leaks, goes on the table,

Часть света просачивается на поверхность стола,

and you start seeing these ripples of waves.

и мы видим некую волнистую рябь.

Many of the photons eventually reach the cap

Множество фотонов достигают крышечки

and then they explode in various directions.

и затем разбиваются в разных направлениях.

As you can see, there's a bubble of air

Мы видим скопление воздуха,

and it's bouncing around inside.

отскакивающего внутри.

Meanwhile, the ripples are traveling on the table,

В это время волны двигаются по столу,

and because of the reflections at the top,

и из-за отражений вверху

you see at the back of the bottle, after several frames,

мы видим скопление отражений, после нескольких кадров,

на дне бутылки.

the reflections are focused.

Если взять обычную пулю

Now, if you take an ordinary bullet

and let it go the same distance and slow down the video --

и проделать то же самое,

again, by a factor of 10 billion --

то есть замедлить видео в 10 млрд раз,

do you know how long you'll have to sit here to watch that movie?

знаете, как долго вы будете смотреть это кино?

(Laughter)

A day, a week? Actually, a whole year.

День? Неделю? Нет! Целый год.

It'll be a very boring movie --

Довольно скучное кино. (Смех)

(Laughter)

of a slow, ordinary bullet in motion.

Фильм о простой пуле в движении.

And what about some still-life photography?

А как насчёт фото-натюрморта?

You can watch the ripples, again, washing over the table,

Мы снова видим волнистую рябь на столе,

the tomato and the wall in the back.

на помидоре и на стене.

It's like throwing a stone in a pond of water.

Это будто камень, брошенный в воду.

I thought: this is how nature paints a photo,

Я думал, что так природа пишет картины,

one femto frame at a time,

один кадр в фемтосекунду,

but of course our eye sees an integral composite.

но, конечно, наш глаз видит неразъёмную совокупность.

Но если посмотреть на помидор ещё раз,

But if you look at this tomato one more time,

you will notice, as the light washes over the tomato,

можно заметить, что после того, как свет прошёл,

помидор ещё светится. Он не темнеет.

it continues to glow.

It doesn't become dark. Why is that?

Почему? Потому что он спелый,

Because the tomato is actually ripe,

and the light is bouncing around inside the tomato,

и свет двигается внутри него

and it comes out after several trillionths of a second.

и затем лишь выходит со скоростью одной триллионной секунды.

So in the future, when this femto-camera is in your camera phone,

То есть в будущем вы сможете

пойти в супермаркет

you might be able to go to a supermarket

и с помощью фемтокамеры

and check if the fruit is ripe without actually touching it.

проверить свежесть продукта, не трогая его.

(Laughter)

Как наша команда из MIT создала этот фотоаппарат?

So how did my team at MIT create this camera?

Как фотографы мы знаем,

Now, as photographers, you know,

что чем меньше выдержка, тем меньше света,

if you take a short exposure photo, you get very little light.

но тут мы в миллиард раз быстрее,

But we're going to go a billion times faster than your shortest exposure,

чем самая короткая выдержка,

so you're going to get hardly any light.

то есть света почти не будет.

So what we do is we send that bullet --

Мы выстреливаем эту пулю,

that packet of photons -- millions of times,

эту группу фотонов миллион раз

and record again and again with very clever synchronization,

и беспрерывно записываем с помощью специальной синхронизации;

and from the gigabytes of data,

затем из гигабайтов информации

we computationally weave together

компьютер составляет видео,

to create those femto-videos I showed you.

которые вы видели.

Мы можем использовать эту информацию

And we can take all that raw data and treat it in very interesting ways.

для всевозможных целей.

So, Superman can fly.

Например, Супермен умеет летать.

Some other heroes can become invisible.

Другие герои невидимы.

But what about a new power for a future superhero:

А что сможет новый супергерой?

To see around corners.

Заглядывать за угол!

The idea is that we could shine some light on the door,

Мы можем пустить свет на дверь,

it's going to bounce, go inside the room,

свет отразится от двери в комнату,

some of that is going to reflect back on the door,

часть света вернётся на дверь

and then back to the camera.

и обратно на фотоаппарат.

And we could exploit these multiple bounces of light.

И мы можем использовать эти отражения.

And it's not science fiction. We have actually built it.

Это не фантастика. Мы создали этот аппарат.

On the left, you see our femto-camera.

Слева у нас фемтокамера.

There's a mannequin hidden behind a wall,

Манекен спрятан за стеной,

and we're going to bounce light off the door.

и мы хотим, чтобы свет отразился от двери.

So after our paper was published in Nature Communications,

Когда наш эксперимент был опубликован

в журнале «Nature Communications»,

it was highlighted by Nature.com,

о нём писали на Nature.com,

and they created this animation.

и было сделано это видео.

(Music)

(Музыка)

[A laser pulse is fired]

(Music)

Мы выпускаем фотоны света,

Ramesh Raskar: We're going to fire those bullets of light,

and they're going to hit this wall,

которые должны ударить в стену,

and because of the packet of the photons,

и так как это группа,

they will scatter in all the directions,

фотоны рассеются во всех направлениях.

and some of them will reach our hidden mannequin,

Некоторые попадут на манекен за стеной,

which in turn will again scatter that light,

затем рассыпятся снова,

и часть света снова

and again in turn, the door will reflect some of that scattered light.

отразится от двери.

And a tiny fraction of the photons will actually come back to the camera,

Лишь несколько фотонов,

вернутся к фотоаппарату; но самое интересное,

but most interestingly,

they will all arrive at a slightly different time slot.

они попадут туда в разное время.

(Music)

(Музыка)

Так как наша фемтокамера очень быстрая,

And because we have a camera that can run so fast --

our femto-camera -- it has some unique abilities.

она имеет особые возможности.

It has very good time resolution,

У неё хорошее разрешение по времени.

and it can look at the world at the speed of light.

И она может смотреть на мир со скоростью света.

And this way, we know the distances, of course to the door,

Здесь мы знаем расстояния: до двери

but also to the hidden objects,

и до спрятанных объектов,

but we don't know which point corresponds to which distance.

но мы не знаем, какая точка

соответствует какому расстоянию.

(Music)

(Музыка)

By shining one laser, we can record one raw photo,

Пуская лазерный луч, мы получим фото,

which, if you look on the screen, doesn't really make any sense.

которое как будто не имеет смысла,

But then we will take a lot of such pictures,

но если взять множество таких фото,

объединить их

dozens of such pictures, put them together,

and try to analyze the multiple bounces of light,

и попытаться проанализировать отражения света,

and from that, can we see the hidden object?

мы можем увидеть спрятанный объект.

Can we see it in full 3D?

Даже в 3D.

So this is our reconstruction.

И вот что у нас вышло. (Музыка)

(Music)

(Музыка)

(Музыка) (Аплодисменты)

(Applause)

Нам ещё предстоит поработать,

Now, we have some ways to go

before we take this outside the lab on the road,

прежде чем выпустить это в свет,

but in the future, we could create cars that avoid collisions

но, например, машины могли бы избегать столкновений,

with what's around the bend.

зная, что находится за углом,

Or we can look for survivors in hazardous conditions

или мы могли бы искать уцелевших

by looking at light reflected through open windows.

с помощью отражений от окон.

Or we can build endoscopes that can see deep inside the body around occluders,

Также можно создать эндоскоп,

чтобы видеть за блокатором,

and also for cardioscopes.

или даже кардиоскоп.

But of course, because of tissue and blood,

Но, конечно, есть преграды: кровь, ткань...

this is quite challenging,

Ещё требуются решения других задач...

so this is really a call for scientists

Но учёным стоит задуматься над возможностями фемтофотографии.

to start thinking about femto-photography

as really a new imaging modality

Это новое измерение,

to solve the next generation of health-imaging problems.

новое поколение медицинской фотографии.

Now, like Doc Edgerton, a scientist himself,

Док Эджертон — учёный, но здесь наука

science became art --

превратилась в искусство... сверхскоростной фотографии.

an art of ultra-fast photography.

Тогда я понял: гигабайты данных,

And I realized

that all the gigabytes of data that we're collecting every time,

которые мы собираем,

are not just for scientific imaging.

предназначены не только для научных изображений,

But we can also do a new form of computational photography,

но и для новой формы компьютерной фотографии

with time-lapse and color coding.

с замедленной съёмкой и кодированием цвета.

And we look at those ripples.

Посмотрите на эту рябь.

Remember:

Мы помним, что её волны составляют

The time between each of those ripples is only a few trillionths of a second.

лишь триллионную секунды.

But there's also something funny going on here.

Но есть примечательный феномен.

Посмотрите на волны под крышечкой:

When you look at the ripples under the cap,

the ripples are moving away from us.

они направлены от нас.

А должны — к нам.

The ripples should be moving towards us.

What's going on here?

В чём дело?

It turns out, because we're recording nearly at the speed of light,

Оказывается, так как мы записываем

почти со скоростью света,

we have strange effects,

создаются странные эффекты.

and Einstein would have loved to see this picture.

Эйнштейну понравилась бы эта фотография.

(Laughter)

The order at which events take place in the world

Последовательность событий в мире

appears in the camera sometimes in reversed order.

отображается в фотоаппарате немного наоборот,

So by applying the corresponding space and time warp,

и с помощью искажений времени и пространства

we can correct for this distortion.

мы можем откорректировать эту деформацию.

So whether it's for photography around corners,

Будет ли это фотография «из-за угла»,

или новый мониторинг организма,

or creating the next generation of health imaging,

or creating new visualizations,

или какая-либо ещё визуализация,

мы сделали доступной всю информацию

since our invention,

we have open-sourced all the data and details on our website,

этого изобретения на нашем вебсайте. Мы надеемся,

and our hope is that the DIY, the creative and the research communities

что изобретатели DYI, учёные и творческие люди скажут,

will show us that we should stop obsessing about the megapixels in cameras --

что пора прекратить спорить

о мегапикселях в фотоаппаратах... (Смех)

(Laughter)

and start focusing on the next dimension in imaging.

и заняться новым поколением фотографии.

It's about time.

Уже давно пора. Спасибо. (Аплодисменты)

Thank you.

(Applause)

(Аплодисменты)