A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

Translator: Sab Kasim Reviewer: Sharleen Mohd

In the future,

Pada masa hadapan,

self-driving cars will be safer and more reliable than humans.

kereta pandu sendiri akan lebih selamat dan boleh diharap berbanding manusia.

Tetapi untuk ini berlaku,

But for this to happen,

we need technologies that allow cars to respond

kita perlu teknologi yang membenarkan kereta respons

faster than humans,

lagi cepat daripada manusia,

we need algorithms that can drive better than humans

kita perlu algoritma yang boleh memandu lebih baik lagi daripada manusia

and we need cameras that can see more than humans can see.

dan kita perlu kamera yang boleh melihat lebih daripada yang dapat dilihat manusia.

For example, imagine a self-driving car is about to make a blind turn,

Sebagai contoh, bayangkan kereta pandu sendiri membuat selekoh yang tersembunyi,

and there's an oncoming car

dan ada kereta dari hadapan

or perhaps there's a child about to run into the street.

atau mungkin seorang kanak-kanak akan berlari ke jalan.

Fortunately, our future car will have this superpower,

Mujurlah, kereta masa hadapan akan mempunyai kuasa besar ini,

a camera that can see around corners to detect these potential hazards.

satu kamera yang boleh lihat di sekitar selekoh untuk mengesan potensi bahaya.

For the past few years as a PhD student

Beberapa tahun lalu sebagai pelajar PhD

in the Stanford Computational Imaging Lab,

di Makmal Pengimejan Pengiraan Stanford,

I've been working on a camera that can do just this --

saya buat kajian ke atas kamera yang boleh lakukan ini --

a camera that can image objects hidden around corners

satu kamera yang boleh mengimejkan objek yang tersembunyi di selekoh

or blocked from direct line of sight.

atau tersekat dari penglihatan langsung.

So let me give you an example of what our camera can see.

Jadi biar saya beri satu contoh apakah yang boleh dilihat kamera kami.

This is an outdoor experiment we conducted

Ini adalah satu experimen yang kami lakukan di luar

where our camera system is scanning the side of this building with a laser,

di mana sistem kamera kami mengimbas tepi bangunan ini dengan cahaya laser,

and the scene that we want to capture

dan adegan yang kami mahu rakam

is hidden around the corner behind this curtain.

tersembunyi di sekitar sudut di belakang tirai ini.

So our camera system can't actually see it directly.

Jadi sistem kamera kami tidaklah boleh melihat secara langsung.

And yet, somehow,

Namun, entah bagaimana,

our camera can still capture the 3D geometry of this scene.

kamera kami masih dapat merakam geometri 3D adegan ini.

So how do we do this?

Jadi cara kami lakukan ini?

The magic happens here in this camera system.

Keajaibannya berlaku di sini dalam sistem kamera ini.

You can think of this as a type of high-speed camera.

Anda boleh fikirkannya sebagai sejenis kamera berkelajuan tinggi.

Not one that operates at 1,000 frames per second,

Bukan salah satu yang beroperasi pada 1,000 bingkai sesaat,

or even a million frames per second,

atau bahkan satu juta bingkai sesaat,

but a trillion frames per second.

tetapi satu trilion bingkai sesaat.

So fast that it can actually capture the movement of light itself.

Sangat pantas sehingga sebenarnya ia dapat merakam pergerakan cahaya itu sendiri.

And to give you an example of just how fast light travels,

Dan untuk memberi anda satu contoh bagaimana pantasnya cahaya bergerak,

let's compare it to the speed of a fast-running comic book superhero

mari kami bandingkannya dengan kelajuan superhero buku komik yang pantas

who can move at up to three times the speed of sound.

yang boleh bergerak sehingga tiga kali kelajuan bunyi.

It takes a pulse of light about 3.3 billionths of a second,

Ia mengambil kira-kira 3.3 bilion daripada satu saat untuk denyutan cahaya,

or 3.3 nanoseconds,

atau 3.3 nanosaat,

to travel the distance of a meter.

untuk bergerak jarak satu meter.

Well, in that same time,

Baiklah, pada masa yang sama itu,

our superhero has moved less than the width of a human hair.

superhero kita telah bergerak kurang daripada lebar saiz rambut manusia.

That's pretty fast.

Itu sangat pantas.

But actually, we need to image much faster

Tapi sebenarnya, kami perlu mengimej lebih pantas

if we want to capture light moving at subcentimeter scales.

jika mahu merakam gambar cahaya bergerak pada skala subsentimeter.

So our camera system can capture photons

Jadi sistem kamera kami boleh merakam foton

at time frames of just 50 trillionths of a second,

pada masa bingkai hanya 50 trilion dari satu saat,

or 50 picoseconds.

atau 50 picosaat.

So we take this ultra-high-speed camera

Jadi kami mengambil kamera berkelajuan tinggi ini

and we pair it with a laser that sends out short pulses of light.

dan kami gandingkan dengan laser yang menghantar denyutan pendek cahaya.

Each pulse travels to this visible wall

Setiap denyutan cahaya bergerak ke dinding ketara ini

and some light scatters back to our camera,

dan ada cahaya bertaburan kembali ke kamera,

but we also use the wall to scatter light around the corner

tapi kami juga gunakan dinding untuk menabur cahaya di sekitar sudut

to the hidden object and back.

kepada objek tersembunyi dan balik.

We repeat this measurement many times

Kami mengulangi pengukuran ini berkali-kali

to capture the arrival times of many photons

untuk merakam masa ketibaan daripada banyak foton

from different locations on the wall.

dari lokasi yang berbeza di dinding.

And after we capture these measurements, we can create

Dan selepas kita mendapat ukuran ini, kita boleh mewujudkan

a trillion-frame-per-second video of the wall.

bingkai video satu trillion setiap saat di dinding itu.

While this wall may look ordinary to our own eyes,

Walaupun dinding ini kelihatan biasa dipandangan kita,

at a trillion frames per second, we can see something truly incredible.

pada satu trilion bingkai sesaat, kita melihat sesuatu yang memang luar biasa.

We can actually see waves of light scattered back from the hidden scene

Kita sebenarnya boleh melihat gelombang cahaya bertaburan dari adegan tersembunyi

and splashing against the wall.

dan percikan ke dinding itu.

And each of these waves carries information

Dan setiap gelombang ini membawa maklumat

about the hidden object that sent it.

mengenai objek tersembunyi yang menghantarnya.

So we can take these measurements

Jadi kita boleh ambil ukuran ini

and pass them into a reconstruction algorithm

dan masukkan ke algoritma pembinaan semula

to then recover the 3D geometry of this hidden scene.

untuk memulihkan geometri 3D dari adegan tersembunyi ini.

Now I want to show you one more example of an indoor scene that we captured,

Sekarang saya tunjuk anda contoh daripada adegan yang kami rakam di dalam,

this time with a variety of different hidden objects.

kali ini dengan pelbagai objek tersembunyi yang berbeza.

And these objects have different appearances,

Dan benda ini mempunyai penampilan berbeza,

so they reflect light differently.

jadi mereka pantulkan cahaya berbeza.

For example, this glossy dragon statue reflects light differently

Sebagai contoh, patung naga berkilat ini memantulkan cahaya dengan cara berbeza

than the mirror disco ball

daripada bola cermin disko

or the white discus thrower statue.

atau patung pelempar cakera putih.

And we can actually see the differences in the reflected light

Dan kita sebenarnya boleh melihat perbezaannya dalam cahaya pantulan

by visualizing it as this 3D volume,

dengan menggambarkannya sebagai isipadu 3D,

where we've just taken the video frames and stacked them together.

di mana kita baru mengambil bingkai video dan menyusunkannya bersama.

And time here is represented as the depth dimension of this cube.

Dan masa di sini diwakili sebagai dimensi kedalaman kiub ini.

These bright dots that you see are reflections of light

Titik-titik terang yang anda lihat adalah pantulan cahaya

from each of the mirrored facets of the disco ball,

dari setiap faset cermin bola disko,

scattering against the wall over time.

bertaburan menghadap dinding beransur-ansur.

The bright streaks of light that you see arriving soonest in time

Pancaran cahaya terang yang anda lihat tiba pantas dalam masa terdekat

are from the glossy dragon statue that's closest to the wall,

adalah dari patung naga berkilat yang paling dekat dengan dinding,

and the other streaks of light come from reflections of light from the bookcase

dan pancaran cahaya yang lain datang dari refleksi cahaya dari rak buku

and from the statue.

dan dari patung itu.

Now, we can also visualize these measurements frame by frame,

Kini, kita boleh juga menggambarkan ukuran ini mengikut setiap satu bingkai,

as a video,

sebagai video,

to directly see the scattered light.

untuk melihat langsung cahaya bertabur.

And again, here we see, first, reflections of light from the dragon,

Dan lagi, di sini kita lihat, pertama, refleksi cahaya dari naga,

closest to the wall,

paling rapat di dinding,

followed by bright dots from the disco ball

diikuti dengan titik terang dari bola disko

and other reflections from the bookcase.

dan pantulan lain dari rak buku.

And finally, we see the reflected waves of light from the statue.

Dan akhirnya, kita melihat pantulan gelombang cahaya dari patung itu.

These waves of light illuminating the wall

Gelombang cahaya ini menerangi dinding

are like fireworks that last for just trillionths of a second.

seperti bunga api yang hanya bertahan selama trilion sesaat.

And even though these objects reflect light differently,

Dan walaupun benda-benda ini memantulkan cahaya dengan cara berbeza,

we can still reconstruct their shapes.

kami masih boleh membina semula bentuk mereka.

And this is what you can see from around the corner.

Dan inilah yang dapat anda lihat dari sekitar sudut.

Now, I want to show you one more example that's slightly different.

Sekarang, saya ingin tunjukkan anda satu lagi contoh yang agak berbeza.

In this video, you see me dressed in this reflective suit

Dalam video ini, anda melihat saya memakai pakaian reflektif ini

and our camera system is scanning the wall at a rate of four times every second.

dan sistem kamera kami mengimbas dinding pada kadar empat kali setiap saat.

The suit is reflective,

Sut ini memantul cahaya.

so we can actually capture enough photons

jadi kita boleh merakam foton yang cukup

that we can see where I am and what I'm doing,

supaya kita dapat melihat di mana saya berada dan apa yang saya lakukan,

without the camera actually directly imaging me.

tanpa kamera itu sebenarnya terus mencatatkan imej saya.

By capturing photons that scatter from the wall to my tracksuit,

Dengan merakam foton yang bertaburan dari dinding ke sut balapan saya,

back to the wall and back to the camera,

kembali ke dinding dan kembali ke kamera,

we can capture this indirect video in real time.

kita boleh merakam video ini dengan cara tidak langsung dalam masa nyata.

And we think that this type of practical non-line-of-sight imaging

Dan kita fikir jenis praktik ini tidak lihat garis terus pengimejan

could be useful for applications including for self-driving cars,

boleh juga berguna untuk aplikasi termasuk untuk kereta pandu sendiri,

but also for biomedical imaging,

tetapi juga untuk pengimejan bioperubatan,

where we need to see into the tiny structures of the body.

di mana kita perlu melihat struktur kecil di dalam badan.

And perhaps we could also put similar camera systems on the robots

Dan mungkin kita juga boleh meletakkan sistem kamera yang sama pada robot

that we send to explore other planets.

yang kita hantar untuk menjelajah planet lain.

Now you may have heard about seeing around corners before,

Kini anda ada dengar penglihatan sekitar sudut sebelum ini,

but what I showed you today would have been impossible

tetapi apa yang saya tunjuk hari ini mungkin mustahil

just two years ago.

hanya dua tahun lalu.

For example, we can now image large, room-sized hidden scenes outdoors

Contohnya, kini boleh buat imej besar, adegan tersembunyi bersaiz bilik, di luar

and at real-time rates,

dan pada kadar masa nyata,

and we've made significant advancements towards making this a practical technology

dan kami telah maju dengan ketara ke arah menjadikan ini suatu teknologi praktikal

that you could actually see on a car someday.

anda dapat lihat di kereta suatu hari nanti.

But of course, there's still challenges remaining.

Tetapi sudah tentu, masih ada cabaran yang tinggal.

For example, can we image hidden scenes at long distances

Contohnya, bolehkah kita mengimej adegan tersembunyi di jarak jauh

where we're collecting very, very few photons,

di mana kita mengutip sedikit sangat foton,

with lasers that are low-power and that are eye-safe.

dengan laser yang berkuasa rendah dan yang selamat untuk mata.

Or can we create images from photons

Atau bolehkah kita membuat imej dari foton

that have scattered around many more times

yang telah bertaburan lebih banyak lagi

than just a single bounce around the corner?

daripada hanya satu lantunan di sekeliling penjuru?

Can we take our prototype system that's, well, currently large and bulky,

Bolehkah kita ambil sistem prototaip ini yang, baiklah, pada masa ini sangat besar,

and miniaturize it into something that could be useful

dan menjadikannya kecil kepada sesuatu yang berguna

for biomedical imaging

untuk imej bioperubatan

or perhaps a sort of improved home-security system,

atau mungkin sebagai menambah baikkan sistem keselamatan rumah,

or can we take this new imaging modality and use it for other applications?

atau bolehkah kita ambil modus pengimejan baru ini dan gunakan untuk aplikasi lain?

I think it's an exciting new technology

Saya fikir ia teknologi baru menarik

and there could be other things that we haven't thought of yet

dan mungkin ada perkara lain yang belum kita fikirkan lagi

to use it for.

untuk menggunakannya.

And so, well, a future with self-driving cars

Dan jadi, baiklah, masa depan kereta pandu sendiri

may seem distant to us now --

mungkin kita nampak jauh sekarang --

we're already developing the technologies

kami sudah pun membangunkan teknologi ini

that could make cars safer and more intelligent.

yang boleh membuat kereta lebih selamat dan pintar.

And with the rapid pace of scientific discovery and innovation,

Dan dengan pantas serta pesat penemuan saintifik dan inovasi,

you never know what new and exciting capabilities

anda mungkin tidak tahu apa keupayaan yang baru dan yang menarik

could be just around the corner.

boleh terjadi dalam masa terdekat.

(Applause)

(Tepukan)