A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

Fordító: Andi Vida Lektor: Reka Lorinczy

In the future,

A jövőben

self-driving cars will be safer and more reliable than humans.

az önvezető autók biztonságosabbak és megbízhatóbbak lesznek, mint az ember.

But for this to happen,

Ehhez azonban

we need technologies that allow cars to respond

olyan technológia kell, ami lehetővé teszi,

hogy az autók gyorsabban reagáljanak, mint az ember,

faster than humans,

we need algorithms that can drive better than humans

az algoritmusok jobban vezessenek, mint az ember,

and we need cameras that can see more than humans can see.

és a kamerák többet lássanak, mint az ember.

For example, imagine a self-driving car is about to make a blind turn,

Képzeljék el például, hogy egy önvezető autó vakon kanyarodna,

and there's an oncoming car

és szembe jön egy autó,

or perhaps there's a child about to run into the street.

vagy épp egy gyerek készül kiszaladni az utcára.

Fortunately, our future car will have this superpower,

Jövendő autónknak szerencsére lesz egy szuperereje, egy kamera,

a camera that can see around corners to detect these potential hazards.

ami képes belátni a sarkokon, feltárni a lehetséges veszélyeket.

For the past few years as a PhD student

Az utóbbi pár évben PhD-hallgatóként

in the Stanford Computational Imaging Lab,

a Stanford Computational Imaging Labor csapatában

I've been working on a camera that can do just this --

olyan kamerán dolgoztam, ami képes erre –

a camera that can image objects hidden around corners

ami képes elképzelni sarkok mögött megbúvó tárgyakat,

or blocked from direct line of sight.

vagy bármit, ami takarásban van.

So let me give you an example of what our camera can see.

Hadd mutassam be, mit láthat a kameránk.

This is an outdoor experiment we conducted

Egy kültéri kísérletet hajtottunk végre, melyben kamerarendszerünk

where our camera system is scanning the side of this building with a laser,

lézerrel tapogatja le ennek az épületnek az oldalát,

and the scene that we want to capture

és a jelenet, amit fel akarunk venni,

is hidden around the corner behind this curtain.

a függöny mögötti sarokban játszódik.

So our camera system can't actually see it directly.

Így kamerarendszerünk nem látja közvetlenül.

And yet, somehow,

Mégis, valamilyen módon

our camera can still capture the 3D geometry of this scene.

képes felvenni a jelenetet három dimenzióban.

So how do we do this?

Hát ez meg hogy lehet?

The magic happens here in this camera system.

Itt zajlik a varázslat, ebben a kamerarendszerben.

You can think of this as a type of high-speed camera.

Vegyük úgy, hogy ez egy nagy sebességű kamera.

Not one that operates at 1,000 frames per second,

Nem olyan, ami 1000 képkockát vesz fel másodpercenként,

or even a million frames per second,

még csak nem is egymilliót,

but a trillion frames per second.

hanem egybilliót!

So fast that it can actually capture the movement of light itself.

Annyira gyors, hogy a fény mozgását is képes felvenni.

And to give you an example of just how fast light travels,

Hadd mondjak egy példát, milyen gyorsan terjed a fény,

let's compare it to the speed of a fast-running comic book superhero

hasonlítsuk a sebességét egy képregényhős futóbajnokhoz,

who can move at up to three times the speed of sound.

aki a hangsebesség háromszorosánál is gyorsabban mozog.

It takes a pulse of light about 3.3 billionths of a second,

Egy fényimpulzus a másodperc 3,3 milliárd részéig tartó,

or 3.3 nanoseconds,

vagyis 3,3 nanoszekundumnyi idő alatt

to travel the distance of a meter.

jut el egy méter távolságra.

Well, in that same time,

Ugyanakkor szuperhősünk

our superhero has moved less than the width of a human hair.

egy hajszálnyi távolságot sem tett meg.

That's pretty fast.

Azért ez elég gyors.

But actually, we need to image much faster

De valójában még ennél is sokkal gyorsabb felvétel kell ahhoz,

if we want to capture light moving at subcentimeter scales.

hogy centiméternél pontosabban megörökíthessük a fényt.

So our camera system can capture photons

Kamerarendszerünk tehát

at time frames of just 50 trillionths of a second,

képkockánként 50 billiomod másodperces, azaz 50 pikoszekundumos sebességgel

or 50 picoseconds.

tudja felvenni a fotonokat.

So we take this ultra-high-speed camera

Fogjuk tehát ezt az ultragyors kamerát,

and we pair it with a laser that sends out short pulses of light.

összepárosítjuk egy lézerrel, ami rövid fényimpulzusokat bocsát ki.

Each pulse travels to this visible wall

Minden egyes impulzus eléri ezt a látható falat,

and some light scatters back to our camera,

majd valamennyi fény visszaverődik a kameránkra,

but we also use the wall to scatter light around the corner

de a fal arra is jó, hogy szétszórja a fényt a sarok körül

to the hidden object and back.

a mögötte rejlő tárgyra, majd vissza.

We repeat this measurement many times

Sokszor megismételjük ezt a mérést, hogy feljegyezzük,

to capture the arrival times of many photons

mennyi idő alatt érnek vissza a fotonok

from different locations on the wall.

a fal különböző pontjairól.

And after we capture these measurements, we can create

A mérés után készíthetünk a falról

a trillion-frame-per-second video of the wall.

egybillió képkocka per másodperces videót.

While this wall may look ordinary to our own eyes,

Szabad szemmel nem tűnik fel semmi különös a falon,

at a trillion frames per second, we can see something truly incredible.

egybillió kép per mp sebességnél azonban valami egészen hihetetlent láthatunk.

We can actually see waves of light scattered back from the hidden scene

Láthatjuk, ahogy a fényhullámok visszaverődnek a rejtett jelenetről,

and splashing against the wall.

és nekicsapódnak a falnak.

And each of these waves carries information

Minden egyes hullám információt hordoz a takarásban lévő tárgyról,

about the hidden object that sent it.

ami visszaverte a jelet.

So we can take these measurements

Méréseink eredményeit

and pass them into a reconstruction algorithm

rekonstrukciós algoritmusba tesszük,

to then recover the 3D geometry of this hidden scene.

aztán újraépítjük a kitakart díszlet három dimenziós geometriáját.

Now I want to show you one more example of an indoor scene that we captured,

Hadd mutassak még egy példát egy beltéri felvételünkről,

this time with a variety of different hidden objects.

ezúttal többféle tárgy van takarásban.

And these objects have different appearances,

Ezek a tárgyak különböző formájúak,

so they reflect light differently.

tehát eltérő módon verik vissza a fényt.

For example, this glossy dragon statue reflects light differently

Ez a fényes sárkányszobor például másképp veri vissza a fényt,

than the mirror disco ball

mint a tükrös diszkógömb,

or the white discus thrower statue.

vagy a fehér diszkoszvető szobor.

And we can actually see the differences in the reflected light

Láthatjuk is az eltérő fényvisszaverési módokat,

by visualizing it as this 3D volume,

ha láthatóvá tesszük, mint ebben a 3D-s alakzatban,

where we've just taken the video frames and stacked them together.

melyben csak egyszerűen összefűztük a képkockákat.

And time here is represented as the depth dimension of this cube.

Ezen a kockán a mélység képviseli az időt.

These bright dots that you see are reflections of light

Ezek a világos pontok fényvisszatükröződések,

from each of the mirrored facets of the disco ball,

a diszkógömb tükörlapocskáiról verődnek vissza,

scattering against the wall over time.

az idő múlásával szétszóródnak a falon.

The bright streaks of light that you see arriving soonest in time

Ezek a fénycsíkok érnek ide leghamarabb,

are from the glossy dragon statue that's closest to the wall,

a falhoz legközelebbi csillogó sárkányszoborról származnak,

and the other streaks of light come from reflections of light from the bookcase

a többi fénycsík pedig

a könyvszekrényről és a szoborról ered.

and from the statue.

Now, we can also visualize these measurements frame by frame,

Kockáról kockára jeleníthetjük meg ezeket a méréseket,

as a video,

mintha videó lenne,

to directly see the scattered light.

hogy közvetlenül láthassuk a szórt fényt.

And again, here we see, first, reflections of light from the dragon,

És mint mondtam, a falhoz legközelebbi sárkánytól származó fényvisszaverődést

closest to the wall,

láthatjuk először,

followed by bright dots from the disco ball

aztán a diszkógömb fényes pontjait,

and other reflections from the bookcase.

majd a könyvszekrényről visszaverődő többi fényt.

And finally, we see the reflected waves of light from the statue.

Végül pedig a szoborról visszaverődő fényhullámokat látjuk.

These waves of light illuminating the wall

Ezek megvilágítják a falat,

are like fireworks that last for just trillionths of a second.

egybilliomod másodpercig tartó tűzijátékok.

And even though these objects reflect light differently,

És bár ezek a tárgyak különbözőképpen tükrözik a fényt,

we can still reconstruct their shapes.

mégis újraépíthetjük az alakjukat.

And this is what you can see from around the corner.

Ezt láthatjuk a sarkon túl.

Now, I want to show you one more example that's slightly different.

Most pedig mutatok egy egészen más példát.

In this video, you see me dressed in this reflective suit

Ebben a videóban, mint látják, fényvisszaverő overall van rajtam,

and our camera system is scanning the wall at a rate of four times every second.

kamerarendszerünk a falat pásztázza másodpercenként négyszer.

The suit is reflective,

A ruhám fényvisszaverő,

so we can actually capture enough photons

így elegendő fotont örökíthetünk meg,

that we can see where I am and what I'm doing,

így láthatjuk, hol vagyok és mit csinálok,

without the camera actually directly imaging me.

anélkül, hogy a kamera közvetlenül látna engem.

By capturing photons that scatter from the wall to my tracksuit,

A fotonokat veszi fel, amik a falról visszaverődnek a ruhámra,

back to the wall and back to the camera,

vissza a falra, majd vissza a kamerába,

we can capture this indirect video in real time.

így valós időben tudjuk felvenni ezt a közvetett videót.

And we think that this type of practical non-line-of-sight imaging

És úgy véljük, ez a fajta, gyakorlatilag nem közvetlen képalkotás

could be useful for applications including for self-driving cars,

hasznosan alkalmazható, például önvezető autóknál,

but also for biomedical imaging,

vagy orvosbiológiai képalkotáshoz,

where we need to see into the tiny structures of the body.

melynek során a test legapróbb részleteibe kell bepillantanunk.

And perhaps we could also put similar camera systems on the robots

És talán olyan robotokra is szerelhetünk hasonló kamerarendszereket,

that we send to explore other planets.

melyeket más bolygók feltárására küldünk ki az űrbe.

Now you may have heard about seeing around corners before,

Nos, lehet, hogy már hallottak valamit a sarkon túli látásról,

but what I showed you today would have been impossible

de amit ma mutatok önöknek,

az két évvel ezelőtt még teljes képtelenség lett volna.

just two years ago.

For example, we can now image large, room-sized hidden scenes outdoors

Ma például nagy, szobaméretű, rejtett kültéri jeleneteket vehetünk fel

and at real-time rates,

valós időben,

and we've made significant advancements towards making this a practical technology

és jelentős előrelépéseket tettünk e technológia alkalmazása felé,

that you could actually see on a car someday.

amit a közeljövőben akár autókon is láthatnak majd.

But of course, there's still challenges remaining.

De természetesen maradtak még feladatok.

For example, can we image hidden scenes at long distances

Például nagy távolságról tudunk-e rejtett jelenetet felvenni,

where we're collecting very, very few photons,

ha ott csak igen-igen kevés fotont tudnánk begyűjteni,

with lasers that are low-power and that are eye-safe.

alacsony hatóerejű és a szemet nem károsító lézerekkel?

Or can we create images from photons

Vagy készíthetünk képet olyan fotonokkal,

that have scattered around many more times

melyek nemcsak egyszer verődnek vissza a sarkon túlról,

than just a single bounce around the corner?

hanem annál jóval többször?

Can we take our prototype system that's, well, currently large and bulky,

Hogy oldjuk meg, hogy a nagy, méretes prototípus-rendszerünket lekicsinyítsük

and miniaturize it into something that could be useful

akkorára, hogy jól használható legyen

for biomedical imaging

orvosbiológiai képalkotáshoz,

or perhaps a sort of improved home-security system,

vagy netán tökéletesebb lakásbiztonsági rendszerhez,

or can we take this new imaging modality and use it for other applications?

vagy esetleg más alkalmazásokhoz is jó lenne ez az új képalkotó módszer?

I think it's an exciting new technology

Szerintem izgalmas új technológia,

and there could be other things that we haven't thought of yet

és annyiféle alkalmazása lehet majd,

amennyit most még el sem tudunk képzelni.

to use it for.

And so, well, a future with self-driving cars

És igen, az önvezető autók jövője

may seem distant to us now --

ma talán még igen távolinak tűnik –

we're already developing the technologies

de már fejlesztjük hozzá a technológiát,

that could make cars safer and more intelligent.

amitől az autó biztonságosabb és intelligensebb lesz.

And with the rapid pace of scientific discovery and innovation,

És amilyen szédítő tempóban fejlődik a tudomány és az innováció,

you never know what new and exciting capabilities

sosem tudhatjuk, mik azok az új és izgalmas képességek,

could be just around the corner.

amik csak egy saroknyira vannak tőlünk.

(Applause)

(Taps)