A camera that can see around corners | David Lindell

Transcriber: Ivana Korom Reviewer: Krystian Aparta

תרגום: Shimon Rottenberg עריכה: Sigal Tifferet

In the future,

בעתיד,

self-driving cars will be safer and more reliable than humans.

מכוניות ללא נהג יהיו בטוחות יותר ואמינות יותר מבני אדם.

But for this to happen,

אך כדי שזה יתאפשר,

we need technologies that allow cars to respond

אנחנו זקוקים לטכנולוגיות שיאפשרו למכוניות להגיב

faster than humans,

מהר יותר מבני אדם,

we need algorithms that can drive better than humans

אנחנו זקוקים לאלגוריתמים שנוהגים טוב יותר מבני אדם,

and we need cameras that can see more than humans can see.

ואנחנו זקוקים למצלמות שרואות יותר משרואים בני אדם.

For example, imagine a self-driving car is about to make a blind turn,

למשל, דמיינו מכונית ללא נהג שעומדת לפנות "פנייה עיוורת",

and there's an oncoming car

ומכונית אחרת מתקרבת

or perhaps there's a child about to run into the street.

או אולי ילד שעומד לרוץ לכביש.

Fortunately, our future car will have this superpower,

למרבה המזל, למכונית העתיד שלנו יהיה כוח-על,

a camera that can see around corners to detect these potential hazards.

מצלמה שרואה מעבר לפינות ומבחינה בסיכונים פוטנציאליים.

For the past few years as a PhD student

בשנים האחרונות, במסגרת הדוקטורט שלי

in the Stanford Computational Imaging Lab,

במעבדה להדמייה ממוחשבת בסטנפורד,

I've been working on a camera that can do just this --

עבדתי על מצלמה שתעשה בדיוק את זה --

a camera that can image objects hidden around corners

מצלמה שתראה עצמים שמוסתרים מעבר לפינות

or blocked from direct line of sight.

או חסומים ממבט ישיר.

So let me give you an example of what our camera can see.

אדגים לכם מה המצלמה שלנו יכולה לראות.

This is an outdoor experiment we conducted

זה ניסוי שערכנו בחוץ

where our camera system is scanning the side of this building with a laser,

שבו המצלמה סורקת בעזרת לייזר את הצד של הבניין הזה,

and the scene that we want to capture

והסצנה שאנחנו רוצים לצלם

is hidden around the corner behind this curtain.

מוסתרת מעבר לפינה מאחורי המסך הזה.

So our camera system can't actually see it directly.

כך שהמצלמה שלנו לא יכולה לקלוט אותה באופן ישיר.

And yet, somehow,

אבל איכשהו,

our camera can still capture the 3D geometry of this scene.

המצלמה בכל זאת לוכדת את הגיאומטריה התלת-מימדית של הסצנה.

So how do we do this?

אז איך אנחנו עושים זאת?

The magic happens here in this camera system.

הקסם קורה כאן במערכת הצילום הזאת.

You can think of this as a type of high-speed camera.

תחשבו על זה כעל סוג של מצלמה במהירות גבוהה.

Not one that operates at 1,000 frames per second,

לא כזו שמצלמת 1000 פריימים בשניה,

or even a million frames per second,

או אפילו מיליון פריימים בשניה,

but a trillion frames per second.

אלא טריליון פריימים בשניה.

So fast that it can actually capture the movement of light itself.

כל כך מהר שהיא יכולה ללכוד את תנועת האור עצמו.

And to give you an example of just how fast light travels,

וכדי להדגים כמה מהר האור נע,

let's compare it to the speed of a fast-running comic book superhero

נשווה אותו למהירות של גיבור-על בספר קומיקס

who can move at up to three times the speed of sound.

שיכול לרוץ עד פי שלושה ממהירות הקול.

It takes a pulse of light about 3.3 billionths of a second,

לקרן אור לוקח בערך 3.3 מיליארדיות שניה,

or 3.3 nanoseconds,

או 3.3 ננו-שניות,

to travel the distance of a meter.

לעבור מרחק של מטר אחד.

Well, in that same time,

באותו זמן,

our superhero has moved less than the width of a human hair.

גיבור העל שלנו התקדם פחות מעובי שערה.

That's pretty fast.

זה די מהיר.

But actually, we need to image much faster

אבל למעשה, אנחנו צריכים הדמיה מהירה בהרבה

if we want to capture light moving at subcentimeter scales.

אם ברצוננו ללכוד אור שנע במרחקים קטנים מסנטימטר.

So our camera system can capture photons

המערכת שלנו יכולה ללכוד פוטונים

at time frames of just 50 trillionths of a second,

בקטעי זמן של 50 טריליוניות שניה בלבד,

or 50 picoseconds.

או 50 פיקו-שניות.

So we take this ultra-high-speed camera

אז אנחנו לוקחים את המצלמה האולטרה-מהירה הזאת

and we pair it with a laser that sends out short pulses of light.

ומצמידים לה לייזר ששולח פולסי אור קצרים.

Each pulse travels to this visible wall

כל פולס נע לעבר הקיר הנראה הזה

and some light scatters back to our camera,

וחלק מהאור מוחזר למצלמה,

but we also use the wall to scatter light around the corner

אבל אנחנו משתמשים בקיר גם כדי לפזר אור מעבר לפינה

to the hidden object and back.

אל העצם המוסתר וחזרה.

We repeat this measurement many times

אנחנו חוזרים על המדידה הזאת פעמים רבות

to capture the arrival times of many photons

כדי לקלוט את זמן ההגעה של פוטונים רבים

from different locations on the wall.

ממיקומים שונים על הקיר.

And after we capture these measurements, we can create

ואחרי שקלטנו את המדידות האלו, אנחנו יכולים ליצור

a trillion-frame-per-second video of the wall.

סרטון של הקיר בעל טריליון פריימים בשניה.

While this wall may look ordinary to our own eyes,

הקיר הזה נראה רגיל לגמרי לעיניים שלנו,

at a trillion frames per second, we can see something truly incredible.

אבל בטריליון פריימים בשניה, רואים משהו ממש מדהים.

We can actually see waves of light scattered back from the hidden scene

אנחנו ממש יכולים לראות גלי אור מוחזרים מהסצנה המוסתרת

and splashing against the wall.

ומותזים על הקיר.

And each of these waves carries information

וכל גל כזה נושא מידע

about the hidden object that sent it.

על העצם המוסתר ששלח אותו.

So we can take these measurements

ואנחנו יכולים לקחת את המדידות האלה

and pass them into a reconstruction algorithm

ולהעביר אותן אל אלגוריתם שיחזור

to then recover the 3D geometry of this hidden scene.

שיבנה מחדש את הגיאומטריה התלת-מימדית של הסצנה המוסתרת.

Now I want to show you one more example of an indoor scene that we captured,

אראה לכם דוגמה נוספת של סצנת פנים שצילמנו,

this time with a variety of different hidden objects.

הפעם עם מגוון של עצמים מוסתרים.

And these objects have different appearances,

העצמים האלה הם בעלי מראה שונה אחד מהשני,

so they reflect light differently.

כך שהם מחזירים אור באופן שונה.

For example, this glossy dragon statue reflects light differently

למשל, פסל הדרקון המבריק הזה מחזיר אור באופן שונה

than the mirror disco ball

מאשר כדור הדיסקו המכוסה מראות

or the white discus thrower statue.

או פסל זורק הדיסקוס הלבן.

And we can actually see the differences in the reflected light

ואכן ניתן לראות את ההבדלים באור המוחזר

by visualizing it as this 3D volume,

על ידי הדמיית התלת-מימד הזאת,

where we've just taken the video frames and stacked them together.

שבה פשוט הערמנו יחד את הפריימים.

And time here is represented as the depth dimension of this cube.

ציר הזמן פה מיוצג על ידי מימד העומק של הקוביה.

These bright dots that you see are reflections of light

הנקודות הבהירות שרואים כאן הן החזרות אור

from each of the mirrored facets of the disco ball,

מכל אחת מהמראות שעל פני כדור הדיסקו,

scattering against the wall over time.

מתפזרות על פני הקיר במשך הזמן.

The bright streaks of light that you see arriving soonest in time

פסי האור שמגיעים הכי מוקדם בזמן

are from the glossy dragon statue that's closest to the wall,

הם מפסל הדרקון המבריק שקרוב ביותר לקיר,

and the other streaks of light come from reflections of light from the bookcase

והפסים האחרים הם החזרות אור מכוננית הספרים

and from the statue.

ומהפסל.

Now, we can also visualize these measurements frame by frame,

אנחנו יכולים גם להראות את המדידות האלה פריים אחרי פריים,

as a video,

כסרטון וידאו,

to directly see the scattered light.

כדי לראות את האור המתפזר באופן ישיר.

And again, here we see, first, reflections of light from the dragon,

שוב, אנחנו רואים קודם את החזרות האור מהדרקון,

closest to the wall,

הקרוב ביותר לקיר,

followed by bright dots from the disco ball

ואחריהן נקודות בהירות מכדור הדיסקו

and other reflections from the bookcase.

והחזרות נוספות מכוננית הספרים,

And finally, we see the reflected waves of light from the statue.

ולבסוף רואים את גלי האור המוחזרים מהפסל.

These waves of light illuminating the wall

גלי אור אלה המאירים את הקיר

are like fireworks that last for just trillionths of a second.

הם כמו זיקוקים שנמשכים טריליונית שניה בלבד.

And even though these objects reflect light differently,

ולמרות שעצמים אלה מחזירים אור באופן שונה,

we can still reconstruct their shapes.

אנחנו עדיין יכולים לשחזר את צורתם.

And this is what you can see from around the corner.

וזה מה שאתם יכולים לראות מעבר לפינה.

Now, I want to show you one more example that's slightly different.

אראה לכם עכשיו דוגמה נוספת, שונה במקצת.

In this video, you see me dressed in this reflective suit

בסרטון הזה, רואים אותי לבוש בחליפה מחזירת אור

and our camera system is scanning the wall at a rate of four times every second.

והמצלמה שלנו סורקת את הקיר בקצב של ארבע פעמים בשניה.

The suit is reflective,

החליפה מחזירה אור,

so we can actually capture enough photons

כך שאפשר לקלוט מספיק פוטונים

that we can see where I am and what I'm doing,

כדי לראות איפה אני נמצא ומה אני עושה,

without the camera actually directly imaging me.

בלי שהמצלמה ממש מכוונת אלי.

By capturing photons that scatter from the wall to my tracksuit,

על ידי קליטת פוטונים שחוזרים מהקיר אל החליפה שלי,

back to the wall and back to the camera,

וממנה חזרה לקיר וחזרה למצלמה,

we can capture this indirect video in real time.

אפשר לצלם את הסרטון העקיף הזה בזמן אמיתי.

And we think that this type of practical non-line-of-sight imaging

אנחנו מאמינים שהדמיה מעשית כזאת של עצמים שאינם בשדה הראיה

could be useful for applications including for self-driving cars,

יכולה להיות שימושית לישומים כמו מכוניות ללא נהג,

but also for biomedical imaging,

וגם להדמיה ביו-רפואית,

where we need to see into the tiny structures of the body.

שם צריך להתבונן לתוך המבנים הזעירים של הגוף.

And perhaps we could also put similar camera systems on the robots

ויתכן שנוכל להתקין מצלמות דומות ברובוטים

that we send to explore other planets.

שנשלח לחקור כוכבי לכת אחרים.

Now you may have heard about seeing around corners before,

יכול להיות שכבר שמעתם על ראיה מעבר לפינה,

but what I showed you today would have been impossible

אבל מה שהראיתי היום היה בלתי-אפשרי

just two years ago.

עד לפני שנתיים.

For example, we can now image large, room-sized hidden scenes outdoors

למשל, אנחנו יכולים היום לבצע הדמית חוץ של סצנות בגודל חדר

and at real-time rates,

ובקצבים של זמן אמיתי,

and we've made significant advancements towards making this a practical technology

והשגנו התקדמויות משמעותיות בדרך להפוך את זה לטכנולוגיה שימושית

that you could actually see on a car someday.

שבאמת תיראו יום אחד במכונית.

But of course, there's still challenges remaining.

אבל כמובן שישנם אתגרים נוספים.

For example, can we image hidden scenes at long distances

למשל, האם אנחנו יכולים לדמות סצנות מוסתרות ממרחקים גדולים

where we're collecting very, very few photons,

בהם אנו אוספים מעט מאד פוטונים,

with lasers that are low-power and that are eye-safe.

עם לייזרים בעלי הספק נמוך ובטיחותיים לעיניים.

Or can we create images from photons

והאם אנחנו יכולים ליצור תמונות מפוטונים

that have scattered around many more times

שהתפזרו בסביבה פעמים רבות יותר

than just a single bounce around the corner?

מאשר החזרה אחת מעבר לפינה?

Can we take our prototype system that's, well, currently large and bulky,

האם אנחנו יכולים לקחת את האב-טיפוס שלנו, שהוא כרגע גדול ומגושם,

and miniaturize it into something that could be useful

ולמזער אותו למשהו שיכול להיות שימושי

for biomedical imaging

בהדמיה ביו-רפואית

or perhaps a sort of improved home-security system,

או אולי סוג של מערכת אבטחה ביתית משופרת,

or can we take this new imaging modality and use it for other applications?

ואולי אפשר לקחת את רעיון ההדמיה החדש הזה ולהשתמש בו בישומים אחרים?

I think it's an exciting new technology

אני מאמין שזאת טכנולוגיה חדשה ומלהיבה

and there could be other things that we haven't thought of yet

ויכול להיות שישנם עוד דברים שעדיין לא חשבנו עליהם

to use it for.

שבהם ניתן להשתמש בה.

And so, well, a future with self-driving cars

אז עתיד עם מכוניות ללא נהג

may seem distant to us now --

נראה אולי רחוק עכשיו --

we're already developing the technologies

אנחנו כבר מפתחים את הטכנולוגיות

that could make cars safer and more intelligent.

שיהפכו את המכוניות לבטוחות וחכמות יותר.

And with the rapid pace of scientific discovery and innovation,

ועם הקצב המהיר של תגליות מדעיות וחדשנות,

you never know what new and exciting capabilities

אין לדעת אילו יכולות חדשות ומלהיבות

could be just around the corner.

מסתתרות ממש מעבר לפינה.

(Applause)

(מחיאות כפיים)