A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

Vertaald door: Rik Delaet Nagekeken door: Oeds Eilander

In the future,

In de toekomst zullen zelfrijdende auto's veiliger en betrouwbaarder zijn

self-driving cars will be safer and more reliable than humans.

dan mensen.

But for this to happen,

Maar dan hebben we technologieën nodig

we need technologies that allow cars to respond

die auto's sneller dan de mens laten reageren,

faster than humans,

we need algorithms that can drive better than humans

hebben we algoritmen nodig die beter kunnen rijden dan mensen

and we need cameras that can see more than humans can see.

en hebben we camera’s nodig die meer kunnen zien dan de mens.

For example, imagine a self-driving car is about to make a blind turn,

Stel je bijvoorbeeld voor

dat een zelfrijdende auto een blinde bocht gaat nemen

and there's an oncoming car

en dat er een auto aankomt

or perhaps there's a child about to run into the street.

of dat een kind de straat op loopt.

Fortunately, our future car will have this superpower,

Gelukkig zullen onze toekomstige auto’s een superkracht hebben,

a camera that can see around corners to detect these potential hazards.

een camera die rond hoeken kan kijken om mogelijke gevaren te detecteren.

For the past few years as a PhD student

De afgelopen paar jaar werkte ik als promovendus

in the Stanford Computational Imaging Lab,

bij het Stanford Computational Imaging Lab

I've been working on a camera that can do just this --

aan een camera die net dit kan doen --

a camera that can image objects hidden around corners

een camera die objecten kan zien

als ze achter hoeken of hindernissen verborgen zijn.

or blocked from direct line of sight.

So let me give you an example of what our camera can see.

Ik geef jullie een voorbeeld van wat onze camera kan zien.

This is an outdoor experiment we conducted

Dit is een experiment dat we buiten deden:

where our camera system is scanning the side of this building with a laser,

ons camerasysteem scant de zijkant van het gebouw met een laser

and the scene that we want to capture

en de scène die we willen vastleggen

is hidden around the corner behind this curtain.

is rond de hoek achter het gordijn verborgen.

So our camera system can't actually see it directly.

Ons camerasysteem kan het dus eigenlijk niet direct zien.

And yet, somehow,

En toch kan onze camera op een of andere manier

our camera can still capture the 3D geometry of this scene.

de 3D-geometrie van deze scène vastleggen.

So how do we do this?

Hoe kunnen we dit?

The magic happens here in this camera system.

De magie gebeurt hier in dit camerasysteem.

You can think of this as a type of high-speed camera.

Denk aan een soort hogesnelheidscamera.

Not one that operates at 1,000 frames per second,

Niet één die werkt met duizend frames per seconde,

or even a million frames per second,

of zelfs een miljoen frames per seconde,

but a trillion frames per second.

maar een biljoen frames per seconde.

Zo snel dat het daadwerkelijk de beweging van het licht zelf kan vastleggen.

So fast that it can actually capture the movement of light itself.

And to give you an example of just how fast light travels,

Om je een voorbeeld te geven van hoe snel licht reist,

let's compare it to the speed of a fast-running comic book superhero

laten we het vergelijken met de snelheid van een hardlopende stripboek-superheld

who can move at up to three times the speed of sound.

die drie keer zo snel als geluid kan bewegen.

It takes a pulse of light about 3.3 billionths of a second,

Het kost een lichtpuls ongeveer 3,3 miljardste van een seconde,

or 3.3 nanoseconds,

of 3,3 nanoseconden,

to travel the distance of a meter.

om een afstand van één meter af te leggen.

Well, in that same time,

In diezelfde tijd heeft onze superheld

our superhero has moved less than the width of a human hair.

minder dan de breedte van een menselijke haar afgelegd.

That's pretty fast.

Dat is behoorlijk snel.

But actually, we need to image much faster

Maar eigenlijk moet het nog veel sneller

if we want to capture light moving at subcentimeter scales.

als we licht willen vangen op subcentimeterschalen.

So our camera system can capture photons

Dus kan ons camerasysteem fotonen vastleggen

at time frames of just 50 trillionths of a second,

in tijden van slechts 50 biljoenste van een seconde,

or 50 picoseconds.

of 50 picoseconden.

So we take this ultra-high-speed camera

We nemen deze ultra-hogesnelheidscamera

and we pair it with a laser that sends out short pulses of light.

en we koppelen hem met een laser die korte lichtpulsen uitstuurt.

Each pulse travels to this visible wall

Elke puls gaat naar deze zichtbare muur

and some light scatters back to our camera,

en een beetje licht keert terug naar de camera,

but we also use the wall to scatter light around the corner

maar we gebruiken de muur ook om licht om de hoek te verstrooien --

to the hidden object and back.

naar het verborgen object en terug.

We repeat this measurement many times

We herhalen deze meting vele malen

to capture the arrival times of many photons

om de aankomsttijden van vele fotonen te vangen

from different locations on the wall.

vanuit verschillende locaties op de muur.

And after we capture these measurements, we can create

En na het vastleggen van deze metingen

kunnen we een video van de muur creëren met een biljoen beelden per seconde.

a trillion-frame-per-second video of the wall.

While this wall may look ordinary to our own eyes,

Hoewel deze muur in onze ogen gewoon kan lijken,

at a trillion frames per second, we can see something truly incredible.

kunnen we iets echt ongelooflijks zien bij een biljoen frames per seconde.

We can actually see waves of light scattered back from the hidden scene

We kunnen lichtgolven zien

die vanaf de verborgen scène verstrooid raken

and splashing against the wall.

en tegen de muur spatten.

And each of these waves carries information

Elk van deze golven draagt informatie over het verborgen object dat ze uitzond.

about the hidden object that sent it.

So we can take these measurements

Dan kunnen we deze metingen doorgeven aan een reconstructie-algoritme

and pass them into a reconstruction algorithm

to then recover the 3D geometry of this hidden scene.

om vervolgens de 3D-geometrie van deze verborgen scène te herstellen.

Now I want to show you one more example of an indoor scene that we captured,

Nu toon ik een voorbeeld van een indoorscène die we vastlegden,

this time with a variety of different hidden objects.

maar dit keer met verschillende verborgen voorwerpen.

And these objects have different appearances,

Deze objecten hebben een verschillend uiterlijk,

so they reflect light differently.

zodat ze het licht anders reflecteren.

For example, this glossy dragon statue reflects light differently

Zo weerspiegelt deze glanzende draak het licht bijvoorbeeld anders

than the mirror disco ball

dan de spiegelende discobal

or the white discus thrower statue.

of het het witte discuswerperbeeld.

And we can actually see the differences in the reflected light

We kunnen die verschillen in het gereflecteerde licht zien

by visualizing it as this 3D volume,

door het te visualiseren als dit 3D-volume,

where we've just taken the video frames and stacked them together.

waarin we de videoframes samen namen.

And time here is represented as the depth dimension of this cube.

En de tijd wordt hier voorgesteld als de dieptedimensie van deze kubus.

These bright dots that you see are reflections of light

Deze lichtpuntjes die je ziet zijn reflecties van licht

from each of the mirrored facets of the disco ball,

van elk van de gespiegelde facetten van de discobal,

scattering against the wall over time.

met de tijd verstrooid tegen de muur.

The bright streaks of light that you see arriving soonest in time

De lichte strepen licht,

die je het vroegst ziet aankomen,

are from the glossy dragon statue that's closest to the wall,

zijn afkomstig van de blinkende draak,

die het dichtst bij de muur staat,

and the other streaks of light come from reflections of light from the bookcase

en de andere stroken licht komen van reflecties van de boekenkast

and from the statue.

en van het standbeeld.

Now, we can also visualize these measurements frame by frame,

Nu kunnen we deze metingen ook frame na frame visualiseren,

as a video,

als een video,

to directly see the scattered light.

om het verstrooide licht direct te zien.

And again, here we see, first, reflections of light from the dragon,

En hier zien we wederom eerst lichtreflecties van de draak,

closest to the wall,

het dichtst bij de muur,

followed by bright dots from the disco ball

gevolgd door heldere stippen van de discobal

and other reflections from the bookcase.

en andere reflecties van de boekenkast.

And finally, we see the reflected waves of light from the statue.

En tot slot zien we de gereflecteerde lichtgolven van het standbeeld.

These waves of light illuminating the wall

Deze lichtgolven die de muur verlichten,

are like fireworks that last for just trillionths of a second.

zijn als vuurwerk dat slechts biljoensten van een seconde duurt.

And even though these objects reflect light differently,

En hoewel deze objecten licht anders reflecteren,

we can still reconstruct their shapes.

kunnen we hun vormen nog steeds reconstrueren.

And this is what you can see from around the corner.

En dit is wat je kunt zien van om de hoek.

Now, I want to show you one more example that's slightly different.

Nu wil ik jullie een voorbeeld laten zien dat ietwat anders is.

In this video, you see me dressed in this reflective suit

In deze video zie je mij in een reflecterend pak

and our camera system is scanning the wall at a rate of four times every second.

en ons camerasysteem scant de muur

met een snelheid van vier maal per seconde.

The suit is reflective,

Het pak is reflecterend

so we can actually capture enough photons

zodat we genoeg fotonen kunnen vangen

that we can see where I am and what I'm doing,

om te zien waar ik ben en wat ik doe,

without the camera actually directly imaging me.

zonder dat de camera mij rechtstreeks opneemt.

By capturing photons that scatter from the wall to my tracksuit,

Door fotonen vast te leggen die vanaf de muur verstrooien --

naar mijn trainingspak, terug naar de muur en terug naar de camera --

back to the wall and back to the camera,

we can capture this indirect video in real time.

kunnen we dit indirect in realtime op video vastleggen.

And we think that this type of practical non-line-of-sight imaging

We denken dat dit soort praktische niet-in-zichtlijnbeeldvorming

could be useful for applications including for self-driving cars,

nuttig zou kunnen zijn voor toepassingen zoals zelfrijdende auto's,

but also for biomedical imaging,

maar ook voor biomedische beeldvorming,

where we need to see into the tiny structures of the body.

waar we in kleine structuren van het lichaam moeten kunnen kijken.

And perhaps we could also put similar camera systems on the robots

Misschien kunnen we soortgelijke camerasystemen ook gebruiken

voor de robots waarmee we andere planeten verkennen.

that we send to explore other planets.

Now you may have heard about seeing around corners before,

Allicht heb je al eens gehoord over om hoeken kijken,

but what I showed you today would have been impossible

maar wat ik vandaag toonde,

zou twee jaar geleden onmogelijk zijn geweest.

just two years ago.

For example, we can now image large, room-sized hidden scenes outdoors

Zo kunnen we nu kamergrote, verborgen buitenscènes in beeld brengen

and at real-time rates,

en wel in realtime,

and we've made significant advancements towards making this a practical technology

en we hebben aanzienlijke stappen gezet naar een praktische technologie

that you could actually see on a car someday.

die je ooit op een auto zou kunnen aantreffen.

But of course, there's still challenges remaining.

Maar natuurlijk blijven er nog steeds uitdagingen.

For example, can we image hidden scenes at long distances

Kunnen we bijvoorbeeld verborgen scènes op grote afstand in beeld brengen

where we're collecting very, very few photons,

door het verzamelen van heel, heel weinig fotonen,

met lasers die laag van vermogen en veilig voor de ogen zijn?

with lasers that are low-power and that are eye-safe.

Or can we create images from photons

Of kunnen we beelden creëren met fotonen die vele malen meer verstrooid zijn

that have scattered around many more times

than just a single bounce around the corner?

dan slechts één enkele weerkaatsing om de hoek.

Can we take our prototype system that's, well, currently large and bulky,

Kunnen we ons prototype-systeem,

dat nu nog groot en log is,

and miniaturize it into something that could be useful

sterk verkleinen tot iets nuttigs voor biomedische beeldvorming

for biomedical imaging

or perhaps a sort of improved home-security system,

of misschien voor een soort verbeterd huisbeveiligingssysteem?

or can we take this new imaging modality and use it for other applications?

Of kunnen we deze nieuwe beeldvormingsmodaliteit

ook gebruiken voor andere toepassingen?

I think it's an exciting new technology

Ik vind het een spannende nieuwe techniek

and there could be other things that we haven't thought of yet

en er kunnen toepassingen zijn waar we nog niet aan hebben gedacht.

to use it for.

And so, well, a future with self-driving cars

Een toekomst met zelfrijdende auto's kan nu nog ver weg lijken --

may seem distant to us now --

we're already developing the technologies

toch ontwikkelen we al technologieën

that could make cars safer and more intelligent.

die auto's veiliger en intelligenter kunnen maken.

And with the rapid pace of scientific discovery and innovation,

Met het snelle tempo

van wetenschappelijke ontdekking en innovatie,

you never know what new and exciting capabilities

weet je nooit welke nieuwe en spannende mogelijkheden

could be just around the corner.

er om de hoek op ons wachten.

(Applause)

(Applaus)