Imaging at a trillion frames per second | Ramesh Raskar

Ramesh Raskar: Bildverarbeitung mit einer Billion Bildern pro Sekunde

Translator: Joseph Geni Reviewer: Thu-Huong Ha

Übersetzung: Konstantin Weil Lektorat: Katja Tongucer

Doc Edgerton inspired us with awe and curiosity

Doc Edgerton hat uns mit Ehrfurcht und Neugier erfüllt,

with this photo of a bullet piercing through an apple,

mit diesem Foto auf dem ein Projektil einen Apfel durchbohrt

and exposure just a millionth of a second.

und mit einer Belichtungszeit von nur einer millionstel Sekunde.

But now, 50 years later, we can go a million times faster

Aber jetzt, 50 Jahre später, sind wir eine Million Mal schneller

and see the world not at a million or a billion,

und sehen die Welt nicht mit einer Million

oder einer Milliarde,

but one trillion frames per second.

sondern einer Billion Bildern pro Sekunde.

Ich stelle Ihnen eine neue Art der Fotografie vor,

I present to you a new type of photography,

femto-photography,

die Femto-Fotografie,

a new imaging technique so fast

eine neue Abbildungstechnik, die so schnell ist,

that it can create slow motion videos of light in motion.

dass sie Zeitlupenaufnahmen von Licht in Bewegung erstellen kann.

And with that, we can create cameras that can look around corners,

Und damit können wir Kameras bauen,

die abseits unseres Sichtbereichs

beyond line of sight,

um Ecken schauen

or see inside our body without an x-ray,

oder ohne ein Röntgenbild in unseren Körper hineinsehen können

und wirklich in Frage stellen, was wir mit "Kamera" meinen.

and really challenge what we mean by a camera.

Now if I take a laser pointer and turn it on and off

Wenn ich jetzt einen Laserpointer nehme und ihn

in one trillionth of a second --

in einer billionstel Sekunde an- und ausschalte –

which is several femtoseconds --

das sind mehrere Femtosekunden –,

I'll create a packet of photons barely a millimeter wide.

erschaffe ich ein Paket von Photonen,

das kaum einen Millimeter breit ist

And that packet of photons, that bullet,

und dieses Photonen-Paket, dieses Projektil,

will travel at the speed of light,

wird sich in Lichtgeschwindigkeit fortbewegen,

and again, a million times faster than an ordinary bullet.

und – wie gesagt – eine Million Mal schneller als ein normales Projektil.

Now, if you take that bullet and take this packet of photons

Also, wenn Sie dieses Projektil, dieses Photonen-Paket nehmen

and fire into this bottle,

und es in diese Flasche hinein schießen,

how will those photons shatter into this bottle?

wie werden diese Photonen in der Flasche brechen?

How does light look in slow motion?

Wie sieht Licht in Zeitlupe aus?

[Light in Slow Motion ... 10 Billion x Slow]

Now, the whole event --

Also, dieses ganze Ereignis – (Applaus)

(Applause)

(Applaus)

Now remember, the whole event is effectively taking place

Also, denken Sie daran, das ganze Ereignis

dauert tatsächlich weniger als eine Nanosekunde

in less than a nanosecond --

that's how much time it takes for light to travel.

– so lang braucht das Licht, um diese Strecke zurückzulegen –,

But I'm slowing down in this video by a factor of 10 billion,

aber ich verlangsame dieses Video um den Faktor 10 Milliarden,

so you can see the light in motion.

damit Sie das Licht in Bewegung sehen können.

(Laughter)

But Coca-Cola did not sponsor this research.

Nein, Coca-Cola hat diese Forschung nicht finanziert. (Gelächter)

(Laughter)

Now, there's a lot going on in this movie,

Also, in diesem Film passiert sehr viel,

so let me break this down and show you what's going on.

also lassen Sie mich das analysieren und Ihnen zeigen was passiert.

So the pulse enters the bottle, our bullet,

Der Puls, unser Projektil, tritt in die Flasche

with a packet of photons that start traveling through

mit einem Photonenpaket ein, das beginnt, sich hindurch zu bewegen

and that start scattering inside.

und das schließlich innen bricht.

Some of the light leaks, goes on the table,

Ein Teil des Lichts dringt nach außen auf den Tisch

and you start seeing these ripples of waves.

und Sie sehen diese Ausbreitung der Wellen.

Many of the photons eventually reach the cap

Viele der Photonen erreichen letztendlich den Verschluss der Flasche

and then they explode in various directions.

und explodieren in verschiedene Richtungen.

As you can see, there's a bubble of air

Wie Sie sehen können, ist dort eine Luftblase,

and it's bouncing around inside.

die in der Flasche herumspringt.

Meanwhile, the ripples are traveling on the table,

Währenddessen breiten sich die Wellen auf dem Tisch aus

and because of the reflections at the top,

und wegen der Reflexionen von oben

you see at the back of the bottle, after several frames,

sehen Sie, dass die Reflexionen am Ende der Flasche

nach einigen Bildern fokussiert sind.

the reflections are focused.

Wenn Sie jetzt ein übliches Projektil nehmen

Now, if you take an ordinary bullet

and let it go the same distance and slow down the video --

und es dieselbe Strecke zurücklegen lassen und das Video

again, by a factor of 10 billion --

wieder um den Faktor 10 Milliarden verlangsamen, wissen Sie,

do you know how long you'll have to sit here to watch that movie?

wie lange Sie dann hier sitzen müssen, um den Film zu sehen?

(Laughter)

A day, a week? Actually, a whole year.

Einen Tag, eine Woche? Nein, ein ganzes Jahr.

It'll be a very boring movie --

Das wäre ein sehr langweiliger Film – (Gelächter) –

(Laughter)

of a slow, ordinary bullet in motion.

von einem langsamen, normalen Projektil in Bewegung.

And what about some still-life photography?

Und wie sieht es mit etwas Stillleben-Fotografie aus?

You can watch the ripples, again, washing over the table,

Sie können wieder sehen, wie diese Wellen den Tisch,

the tomato and the wall in the back.

die Tomate und die Wand im Hintergrund überspülen.

It's like throwing a stone in a pond of water.

Es ist, als wenn man einen Stein in einen Teich wirft.

I thought: this is how nature paints a photo,

Mir erschien es so, als würde die Natur so ein Foto malen,

one femto frame at a time,

jeweils ein Femto-Bild,

but of course our eye sees an integral composite.

aber natürlich sieht unser Auge ein zusammengesetztes Einzelbild.

Aber wenn Sie sich diese Tomate noch einmal ansehen,

But if you look at this tomato one more time,

you will notice, as the light washes over the tomato,

dann werden Sie erkennen, dass, wenn das Licht die Tomate überspült,

diese weiter erleuchtet bleibt. Sie wird nicht dunkel.

it continues to glow.

It doesn't become dark. Why is that?

Warum ist das so? Weil die Tomate reif ist

Because the tomato is actually ripe,

and the light is bouncing around inside the tomato,

und das Licht in ihr umher springt

and it comes out after several trillionths of a second.

und nach einigen billionstel Sekunden wieder herauskommt.

So in the future, when this femto-camera is in your camera phone,

Also, in Zukunft, wenn diese Femto-Kamera

in Ihrem Kamerahandy eingebaut ist,

you might be able to go to a supermarket

könnte es möglich sein, dass Sie in einen Supermarkt gehen

and check if the fruit is ripe without actually touching it.

und feststellen können, ob eine Frucht reif ist, ohne sie überhaupt zu berühren.

(Laughter)

Wie also hat mein Team am MIT diese Kamera gebaut?

So how did my team at MIT create this camera?

Also, als Fotografen wissen Sie,

Now, as photographers, you know,

wenn Sie ein Foto mit kurzer Belichtungszeit machen, haben Sie sehr wenig Licht,

if you take a short exposure photo, you get very little light.

aber wir belichten eine Milliarde Mal schneller

But we're going to go a billion times faster than your shortest exposure,

als Ihre kürzeste Belichtungszeit,

so you're going to get hardly any light.

also bekommen Sie so gut wie gar kein Licht.

So what we do is we send that bullet --

Also wir machen Folgendes: Wir schicken dieses Projektil,

that packet of photons -- millions of times,

dieses Photonen-Paket, millionfach

and record again and again with very clever synchronization,

und zeichnen das wieder und wieder mit sehr cleverer Synchronisation auf

and from the gigabytes of data,

und diese Gigabytes von Daten

we computationally weave together

kombinieren wir rechnerisch,

to create those femto-videos I showed you.

um diese Femto-Videos zu erstellen, die ich Ihnen gezeigt habe.

Und wir können all diese Rohdaten nehmen

And we can take all that raw data and treat it in very interesting ways.

und damit sehr interessante Dinge machen.

So, Superman can fly.

Also, Superman kann fliegen.

Some other heroes can become invisible.

Andere Helden können sich unsichtbar machen,

But what about a new power for a future superhero:

aber wie wäre es mit einer neuen Superkraft für einen künftigen Superhelden:

To see around corners.

um Ecken sehen können?

The idea is that we could shine some light on the door,

Die Idee ist, dass wir etwas Licht auf die Tür strahlen.

it's going to bounce, go inside the room,

Es wird abprallen, in den Raum gehen,

some of that is going to reflect back on the door,

ein Teil davon wird wieder zurück auf die Tür reflektiert

and then back to the camera.

und schließlich zurück zur Kamera

And we could exploit these multiple bounces of light.

und wir könnten diese mehrfachen Abpraller des Lichtes ausnutzen.

And it's not science fiction. We have actually built it.

Und das ist keine Science-Fiction. Wir haben es sogar schon gebaut.

On the left, you see our femto-camera.

Links sehen Sie unsere Femto-Kamera.

There's a mannequin hidden behind a wall,

Hinter der Wand ist eine Puppe versteckt

and we're going to bounce light off the door.

und wir werden das Licht an der Tür abprallen lassen.

So after our paper was published in Nature Communications,

Nachdem unsere Abhandlung in der "Nature Communications"

veröffentlicht worden war,

it was highlighted by Nature.com,

wurde es von Nature.com hervorgehoben

and they created this animation.

und sie haben diese Animation erstellt.

(Music)

(Musik)

[A laser pulse is fired]

(Music)

Wir werden diese Licht-Projektile abfeuern

Ramesh Raskar: We're going to fire those bullets of light,

and they're going to hit this wall,

und sie werden auf diese Wand trefffen

and because of the packet of the photons,

und dieses Photonen-Paket

they will scatter in all the directions,

wird in alle Richtungen gestreut

and some of them will reach our hidden mannequin,

und einige der Photonen werden unsere versteckte Puppe erreichen,

which in turn will again scatter that light,

die wiederum das Licht brechen lassen wird,

und dann wird wiederum die Tür einen Teil

and again in turn, the door will reflect some of that scattered light.

des gebrochenen Lichts reflektieren

And a tiny fraction of the photons will actually come back to the camera,

und ein winziger Anteil der Photonen wird dann

wieder zurück zur Kamera kommen, aber am interessantesten ist,

but most interestingly,

they will all arrive at a slightly different time slot.

sie werden alle zu einem leicht unterschiedlichen Zeitpunkt ankommen.

(Music)

(Musik)

Und weil wir eine Kamera haben, die so schnell ist –

And because we have a camera that can run so fast --

our femto-camera -- it has some unique abilities.

unsere Femto-Kamera hat einige einzigartige Fähigkeiten.

It has very good time resolution,

Sie hat eine sehr gute Zeitauflösung

and it can look at the world at the speed of light.

und sie kann die Welt in Lichtgeschwindigkeit ansehen.

And this way, we know the distances, of course to the door,

Und dadurch wissen wir natürlich die Entfernung zur Tür,

but also to the hidden objects,

aber auch die zu den versteckten Objekten,

but we don't know which point corresponds to which distance.

aber wir wissen nicht, welcher Punkt zu

welcher Entfernung gehört.

(Music)

(Musik)

By shining one laser, we can record one raw photo,

Indem wir einen Laser aufleuchten lassen, können wir ein Roh-Bild aufnehmen,

which, if you look on the screen, doesn't really make any sense.

das – wie sie auf dem Bildschirm sehen – nicht wirklich Sinn macht,

But then we will take a lot of such pictures,

aber wenn wir dann viele dieser Bilder aufnehmen,

Dutzende dieser Bilder, und sie zusammenfügen

dozens of such pictures, put them together,

and try to analyze the multiple bounces of light,

und versuchen, die verschiedenen Licht-Abpraller zu analysieren,

and from that, can we see the hidden object?

können wir dann das versteckte Objekt sehen?

Can we see it in full 3D?

Können wir es in 3D sehen?

So this is our reconstruction.

Also das hier ist unsere Rekonstruktion. (Musik)

(Music)

(Musik)

(Musik) (Applaus)

(Applause)

Wir haben noch einiges zu tun, bevor wir das

Now, we have some ways to go

before we take this outside the lab on the road,

vom Labor in die Praxis umsetzen können,

but in the future, we could create cars that avoid collisions

wir könnten Autos bauen, die Kollisionen vermeiden

with what's around the bend.

und erkennen, was hinter der Kurve ist,

Or we can look for survivors in hazardous conditions

oder wir können damit in gefährlichen Lagen nach Überlebenden suchen,

by looking at light reflected through open windows.

indem wir uns Licht ansehen, das durch offene Fenster reflektiert wird,

Or we can build endoscopes that can see deep inside the body around occluders,

oder wir können Endoskope bauen, die tief

in den Körper um Okkluder herum sehen

and also for cardioscopes.

und auch Kardioskope.

But of course, because of tissue and blood,

Aber wegen des Blutes und Gewebes ist das natürlich

this is quite challenging,

sehr herausfordernd, weshalb das wirklich

so this is really a call for scientists

ein Weckruf für Wissenschaftler ist, jetzt über Femto-Fotografie nachzudenken,

to start thinking about femto-photography

as really a new imaging modality

da ein neues bildgebendes Verfahren tatsächlich

to solve the next generation of health-imaging problems.

die nächste Generation von medizinischen Abbildungsproblemen lösen könnte.

Now, like Doc Edgerton, a scientist himself,

Also, wie bei Doc Edgerton, selbst ein Wissenschaftler,

science became art --

ist die Wissenschaft eine Kunst geworden, eine Kunst der ultra-schnellen Fotografie,

an art of ultra-fast photography.

und mir wurde klar, dass all diese Gigabytes von Daten,

And I realized

that all the gigabytes of data that we're collecting every time,

die wir jedes Mal sammeln,

are not just for scientific imaging.

nicht nur der wissenschaftlichen Bildverarbeitung nutzten.

But we can also do a new form of computational photography,

Wir können auch eine neue Form der Computer-Fotografie schaffen,

with time-lapse and color coding.

mit Zeitraffer und Farbkodierungen,

And we look at those ripples.

und wir können uns diese Wellen anschauen. Vergessen Sie nicht,

Remember:

die Zeit zwischen jeder dieser Welle ist

The time between each of those ripples is only a few trillionths of a second.

nur ein paar trillionstel Sekunden.

But there's also something funny going on here.

Aber es passiert hier auch etwas Lustiges.

Wenn Sie sich diese Wellen unter dem Flaschenverschluss anschauen,

When you look at the ripples under the cap,

the ripples are moving away from us.

sehen Sie, dass sich die Wellen von uns weg bewegen.

Die Wellen sollten sich zu uns hin bewegen.

The ripples should be moving towards us.

What's going on here?

Was passiert hier?

It turns out, because we're recording nearly at the speed of light,

Es stellte sich heraus, dass wir, weil wir fast

in Lichtgeschwindigkeit aufnehmen,

we have strange effects,

seltsame Effekte haben

and Einstein would have loved to see this picture.

und Einstein hätte dieses Bild unglaublich gerne gesehen.

(Laughter)

The order at which events take place in the world

Die Reihenfolge, in der Ereignisse in der Welt passieren,

appears in the camera sometimes in reversed order.

erscheinen in der Kamera in umgekehrter Reihenfolge,

So by applying the corresponding space and time warp,

also, indem man die entsprechende Beziehung von Raum und Zeit anwendet,

we can correct for this distortion.

können wir diese Verzerrung korrigieren.

So whether it's for photography around corners,

Also egal, ob für Fotografie um Ecken herum

oder das Erschaffen eines neuen bildgebenden Verfahrens für die Medizin

or creating the next generation of health imaging,

or creating new visualizations,

oder neue Darstellungsformen,

seit unserer Erfindung haben wir

since our invention,

we have open-sourced all the data and details on our website,

alle Daten und Details auf unserer Website offen zugänglich gemacht und hoffen,

and our hope is that the DIY, the creative and the research communities

dass die "Selbermacher", die Kreativen und die Forschungsgemeinde

will show us that we should stop obsessing about the megapixels in cameras --

uns zeigen, dass wir aufhören sollten,

uns auf die Megapixel-Zahlen in Kameras zu fixieren – (Gelächter) –

(Laughter)

and start focusing on the next dimension in imaging.

und anfangen sollten, uns auf die nächste Dimension der Darstellung zu konzentrieren.

It's about time.

Es geht um die Zeit. Danke schön. (Applaus)

Thank you.

(Applause)

(Applaus)