See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

מתרגם: Yubal Masalker מבקר: Ido Dekkers

So over the past few centuries, microscopes have revolutionized our world.

במהלך מאות השנים האחרונות, מיקרוסקופים הביאו למהפכה בעולם.

They revealed to us a tiny world of objects, life and structures

הם גילו לעינינו את עולם העצמים הזעירים, צורות חיים ומבנים

that are too small for us to see with our naked eyes.

הקטנים מדי מכדי שנבחין בהם בעין עירומה.

They are a tremendous contribution to science and technology.

הם מהווים תרומה אדירה למדע וטכנולוגיה.

Today I'd like to introduce you to a new type of microscope,

היום ברצוני להציג בפניכם מיקרוסקופ מסוג חדש,

a microscope for changes.

מיקרוסקופ של שינויים.

It doesn't use optics like a regular microscope

שלא כמו מיקרוסקופ רגיל, הוא אינו משתמש באופטיקה

to make small objects bigger,

כדי להגדיל עצמים קטנים,

but instead it uses a video camera and image processing

אלא הוא משתמש במצלמת וידאו ובעיבוד תמונה

to reveal to us the tiniest motions and color changes in objects and people,

כדי לחשוף בפנינו את השינויים הכי זעירים בצבע ובתנועות של חפצים ואנשים,

changes that are impossible for us to see with our naked eyes.

שינויים שבלתי-אפשרי לראותם בעין עירומה.

And it lets us look at our world in a completely new way.

זה מאפשר לנו להביט בעולם בדרך חדשה לגמרי.

So what do I mean by color changes?

מה הכוונה בשינויי צבע?

Our skin, for example, changes its color very slightly

עורנו, לדוגמא, משנה את צבעו מעט מאוד

when the blood flows under it.

כאשר הדם זורם תחתיו.

That change is incredibly subtle,

שינוי זה עדין באופן קיצוני,

which is why, when you look at other people,

ולכן, כאשר מביטים באנשים אחרים,

when you look at the person sitting next to you,

כאשר מביטים באדם היושב לידך,

you don't see their skin or their face changing color.

לא רואים את עורם או פניהם משנים צבע.

When we look at this video of Steve here, it appears to us like a static picture,

אם צופים בסרטון זה של סטיב, הוא נראה כמו תמונה עומדת,

but once we look at this video through our new, special microscope,

אבל ברגע שצופים בו דרך המיקרוסקופ החדש והמיוחד שלנו,

suddenly we see a completely different image.

לפתע רואים תמונה שונה לחלוטין.

What you see here are small changes in the color of Steve's skin,

מה שרואים זה שינויים קטנים בצבע עורו של סטיב,

magnified 100 times so that they become visible.

המוגברים פי-100 כדי שיהיו נראים לעין.

We can actually see a human pulse.

ניתן ממש לראות דופק אנושי.

We can see how fast Steve's heart is beating,

ניתן להבחין באיזה קצב פועם ליבו של סטיב,

but we can also see the actual way that the blood flows in his face.

אבל ניתן גם לראות את מסלולי זרימת הדם בפניו.

And we can do that not just to visualize the pulse,

ניתן לעשות זאת לא רק כדי לראות את הדופק,

but also to actually recover our heart rates,

אלא גם כדי לפקח ולמדוד

and measure our heart rates.

את פעימות הלב.

And we can do it with regular cameras and without touching the patients.

ניתן לבצע זאת עם מצלמות רגילות ומבלי לגעת במטופלים.

So here you see the pulse and heart rate we extracted from a neonatal baby

כאן ניתן לראות את הדופק ופעימות הלב של תינוק דרך וידאו

from a video we took with a regular DSLR camera,

שצילמנו באמצעות מצלמה דיגיטלית רגילה,

and the heart rate measurement we get

וקצב פעימות הלב שמדדנו

is as accurate as the one you'd get with a standard monitor in a hospital.

הוא מדוייק כמו זה שמדדנו בעזרת מכשיר ניטור רגיל בבית-חולים.

And it doesn't even have to be a video we recorded.

וזה לא חייב להיות וידאו שצילמנו.

We can do it essentially with other videos as well.

ניתן לעשות זאת באותה מידה עם כל וידאו אחר.

So I just took a short clip from "Batman Begins" here

נטלתי קטע קצר מסרט של באטמן רק כדי להראות

just to show Christian Bale's pulse.

את הדופק של כריסטיאן בל.

(Laughter)

(צחוק)

And you know, presumably he's wearing makeup,

כידוע, יש עליו איפור,

the lighting here is kind of challenging,

התאורה מערימה קשיים,

but still, just from the video, we're able to extract his pulse

אבל בכל זאת, אך ורק מהוידאו אנו מסוגלים לחלץ

and show it quite well.

את הדופק שלו ולהציגו די טוב.

So how do we do all that?

כיצד אנו עושים כל זאת?

We basically analyze the changes in the light that are recorded

בעיקרון אנו מנתחים את השינויים בבהירות

at every pixel in the video over time,

בכל פיקסל בוידאו לאורך זמן, ואז מגבירים

and then we crank up those changes.

את השינויים הללו.

We make them bigger so that we can see them.

אנו מגבירים אותם כדי שנוכל לראותם.

The tricky part is that those signals,

החוכמה בכל העניין היא שהאותות,

those changes that we're after, are extremely subtle,

אותם שינויים שאנו מחפשים, הם מאוד עדינים,

so we have to be very careful when you try to separate them

ולכן עלינו להיות מאוד זהירים

from noise that always exists in videos.

כאשר מנסים להפרידם מהרעש שתמיד קיים בוידאו.

So we use some clever image processing techniques

אנו משתמשים בטכניקות חכמות לעיבוד תמונה

to get a very accurate measurement of the color at each pixel in the video,

כדי להגיע למדידה מאוד מדוייקת של הצבע בכל פיקסל בוידאו,

and then the way the color changes over time,

ושל האופן בו הצבע משתנה לאורך זמן,

and then we amplify those changes.

ובסוף אנו מגבירים את השינויים הללו.

We make them bigger to create those types of enhanced videos, or magnified videos,

אנו מגבירים אותם כדי ליצור את הסרטונים המשופרים, או המוגדלים,

that actually show us those changes.

שמציגים בפנינו את השינויים.

But it turns out we can do that not just to show tiny changes in color,

אבל מתברר שניתן לעשות זאת לא רק כדי להראות שינויי צבע זעירים,

but also tiny motions,

אלא גם תנועות זעירות,

and that's because the light that gets recorded in our cameras

וזה כי האור שמצולם במצלמותינו ישתנה

will change not only if the color of the object changes,

לא רק כאשר צבע העצם משתנה,

but also if the object moves.

אלא גם כאשר העצם נע.

So this is my daughter when she was about two months old.

זו בתי בהיותה בת חודשיים.

It's a video I recorded about three years ago.

זה סרטון שצילמתי לפני כ-3 שנים.

And as new parents, we all want to make sure our babies are healthy,

בתור הורים צעירים, כולנו רוצים לוודא שהתינוקות שלנו בריאים,

that they're breathing, that they're alive, of course.

שהם נושמים, שהם בחיים.

So I too got one of those baby monitors

לכן גם אני השגתי מכשיר ניטור לתינוקות

so that I could see my daughter when she was asleep.

כדי שאוכל לראות את בתי בעודה ישנה.

And this is pretty much what you'll see with a standard baby monitor.

וזה בערך מה שתראו דרך מכשיר ניטור רגיל.

You can see the baby's sleeping, but there's not too much information there.

ניתן לראות שהתינוקת ישנה, אבל גם אין הרבה מידע.

There's not too much we can see.

לא ניתן לראות הרבה.

Wouldn't it be better, or more informative, or more useful,

לא היה יותר טוב או יותר מועיל או יותר שימושי,

if instead we could look at the view like this.

אם במקום זה יכולנו לראות תמונה כזו?

So here I took the motions and I magnified them 30 times,

כאן לקחתי את התנועות והגדלתי אותן פי-30,

and then I could clearly see that my daughter was indeed alive and breathing.

ואז יכולתי לראות בבירור שבתי חיה ונושמת.

(Laughter)

(צחוק)

Here is a side-by-side comparison.

הנה השוואה זו-מול-זו.

So again, in the source video, in the original video,

שוב, בסרטון המקורי

there's not too much we can see,

אין הרבה שאפשר לראות,

but once we magnify the motions, the breathing becomes much more visible.

אבל ברגע שמגדילים את התנועות, הנשימה הופכת לגלויה יותר לעין.

And it turns out, there's a lot of phenomena

ומתברר שיש המון תופעות

we can reveal and magnify with our new motion microscope.

שניתן לגלות ולהגדיל עם מיקרוסקופ התנועה החדש שלנו.

We can see how our veins and arteries are pulsing in our bodies.

ניתן לראות כיצד כלי-הדם פועמים בגופנו.

We can see that our eyes are constantly moving

ניתן לראות שעינינו נעות כל הזמן

in this wobbly motion.

באופן בלתי יציב.

And that's actually my eye,

זו העין שלי,

and again this video was taken right after my daughter was born,

ושוב, סרטון זה צולם מייד לאחר הולדת בתי,

so you can see I wasn't getting too much sleep. (Laughter)

וניתן לראות שחסרות לי שעות שינה. (צחוק)

Even when a person is sitting still,

אפילו כשאדם יושב ללא תנועה,

there's a lot of information we can extract

ניתן לאסוף הרבה מידע

about their breathing patterns, small facial expressions.

לגבי דפוס נשימה והבעות פנים חולפות.

Maybe we could use those motions

ייתכן וניתן יהיה להשתמש

to tell us something about our thoughts or our emotions.

בתנועות הללו כדי לדעת משהו על מחשבותינו ורגשותינו.

We can also magnify small mechanical movements,

ניתן גם להגדיל תנועות מיכניות זעירות,

like vibrations in engines,

כגון תנודות של מנועים,

that can help engineers detect and diagnose machinery problems,

העשויות לסייע למהנדסים לאתר ולנתח בעיות מכאניות,

or see how our buildings and structures sway in the wind and react to forces.

או לראות כיצד בניינים ומבנים מתנודדים ברוח ומגיבים לכוחות.

Those are all things that our society knows how to measure in various ways,

אנו יודעים כיצד למדוד את כל הדברים הללו בדרכים שונות,

but measuring those motions is one thing,

אבל למדוד את התנועות זה דבר אחד,

and actually seeing those motions as they happen

ולראות ממש את התנועות בזמן התרחשותן

is a whole different thing.

זה דבר אחר לחלוטין.

And ever since we discovered this new technology,

ומאז שגילינו טכנולוגיה חדשה זו,

we made our code available online so that others could use and experiment with it.

העלנו את קוד התוכנה לרשת כך שאחרים ישתמשו בו וינסו אותו.

It's very simple to use.

זה פשוט מאוד להשתמש בו.

It can work on your own videos.

הוא יכול לעבוד במצלמות שלכם.

Our collaborators at Quanta Research even created this nice website

שותפינו ב-Quanta Research אפילו יצרו אתר נחמד זה

where you can upload your videos and process them online,

בו ניתן להעלות סרטונים ולעבדם באופן מקוון,

so even if you don't have any experience in computer science or programming,

כך שאפילו אם מישהו חסר ניסיון במדעי מחשב או תיכנות,

you can still very easily experiment with this new microscope.

הוא יכול בקלות רבה להתנסות עם מיקרוסקופ חדש זה.

And I'd like to show you just a couple of examples

אציג לכם רק כמה דוגמאות

of what others have done with it.

של מה שאנשים עשו עם זה.

So this video was made by a YouTube user called Tamez85.

סרטון זה יצר משתמש יוטיוב בשם Tamez85.

I don't know who that user is,

איני יודע מי הוא אותו משתמש,

but he, or she, used our code

אבל הוא, או היא, השתמשו בתוכנה שלנו

to magnify small belly movements during pregnancy.

כדי להגדיל תנועות בטן קטנות בזמן היריון.

It's kind of creepy.

זה קצת מצמרר.

(Laughter)

(צחוק)

People have used it to magnify pulsing veins in their hands.

אנשים השתמשו בזה כדי להגדיל כלי-דם פועמים בידיהם.

And you know it's not real science unless you use guinea pigs,

וכידוע זה לא מדעי עד שמנסים את זה על שפן-ניסיונות,

and apparently this guinea pig is called Tiffany,

וכנראה קראו לשפן זה טיפאני,

and this YouTube user claims it is the first rodent on Earth

ומשתמש יוטיוב זה טוען שזהו המכרסם הראשון בעולם

that was motion-magnified.

שתנועותיו עברו הגדלה.

You can also do some art with it.

ניתן לעשות גם קצת אומנות.

So this video was sent to me by a design student at Yale.

סרטון זה נשלח אליי על-ידי סטודנטית לעיצוב ב-ייל.

She wanted to see if there's any difference

היא רצתה לבדוק אם יש הבדל

in the way her classmates move.

באופן בו חבריה לשיעור נעים.

She made them all stand still, and then magnified their motions.

היא ביקשה מהם לעמוד דום ואז הגדילה את תנועותיהם.

It's like seeing still pictures come to life.

זה כאילו לראות תמונות דוממות מקבלות חיים.

And the nice thing with all those examples

ומה שנחמד בכל הדוגמאות הללו

is that we had nothing to do with them.

הוא שלא היה עלינו לעשות כלום.

We just provided this new tool, a new way to look at the world,

רק סיפקנו את הכלי -- דרך חדשה להביט על העולם,

and then people find other interesting, new and creative ways of using it.

ואנשים מצאו דרכים אחרות חדשות, מעניינות ויצירתיות כדי להשתמש בזה.

But we didn't stop there.

אבל לא עצרנו כאן.

This tool not only allows us to look at the world in a new way,

כלי זה לא רק מאפשר לנו להביט על העולם בדרך חדשה,

it also redefines what we can do

אלא הוא מגדיר מחדש את מה שניתן לעשות

and pushes the limits of what we can do with our cameras.

ומרחיב את הגבולות של מה שניתן לעשות עם מצלמותינו.

So as scientists, we started wondering,

לכן בתור מדענים, התחלנו לשאול את עצמנו,

what other types of physical phenomena produce tiny motions

אלו עוד תופעות פיזיקליות יוצרות תנועות זעירות

that we could now use our cameras to measure?

שאפשר יהיה למדוד עם מצלמותינו?

And one such phenomenon that we focused on recently is sound.

ותופעה אחת כזו שהתמקדנו בה היא קול.

Sound, as we all know, is basically changes

קול, כידוע, הוא בעיקרון שינויים

in air pressure that travel through the air.

בלחץ אויר הנעים באויר.

Those pressure waves hit objects and they create small vibrations in them,

גלי לחץ הללו פוגעים בעצמים ויוצרים בהם תנודות זעירות,

which is how we hear and how we record sound.

וכך אנו שומעים קול ומקליטים אותו.

But it turns out that sound also produces visual motions.

אבל מתברר שהקול יוצר גם תנועות חזותיות.

Those are motions that are not visible to us

אלו הן תנועות הסמויות מהעין

but are visible to a camera with the right processing.

אבל מובחנות על-ידי מצלמה בעלת כושר עיבוד מתאים.

So here are two examples.

הנה שתי דוגמאות:

This is me demonstrating my great singing skills.

זה אני שמפגין כישורי שירה מרשימים.

(Singing)

(שר)

(Laughter)

(צחוק)

And I took a high-speed video of my throat while I was humming.

צילמתי סרטון במהירות גבוהה של גרוני בעודי שרתי.

Again, if you stare at that video,

שוב, אם מסתכלים על הסרטון,

there's not too much you'll be able to see,

לא ניתן לראות הרבה,

but once we magnify the motions 100 times, we can see all the motions and ripples

אבל ברגע שמגדילים את התנועות פי-100, ניתן לראות את כל

in the neck that are involved in producing the sound.

התנועות והתנודות בצוואר הקשורות ביצירת הקול.

That signal is there in that video.

האות קיים בוידאו.

We also know that singers can break a wine glass

אנו גם יודעים שזמרים מסוגלים לשבור כוס יין

if they hit the correct note.

אם הם עולים על הצליל הנכון.

So here, we're going to play a note

הנה, אנו עומדים לנגן צליל

that's in the resonance frequency of that glass

שהוא בתדירות התהודה של הכוס

through a loudspeaker that's next to it.

באמצעות רמקול לידו.

Once we play that note and magnify the motions 250 times,

ברגע שמנגנים את הצליל ומגבירים את התנועות פי-250,

we can very clearly see how the glass vibrates

ניתן לראות בבירור כיצד הכוס

and resonates in response to the sound.

רוטטת ויוצרת תהודה בתגובה לקול.

It's not something you're used to seeing every day.

זה לא משהו שנתקלים בו כל יום.

But this made us think. It gave us this crazy idea.

אבל זה גרם לנו לחשוב והעלה רעיון מטורף.

Can we actually invert this process and recover sound from video

האם ניתן להפוך את התהליך ולהפיק קול מוידאו

by analyzing the tiny vibrations that sound waves create in objects,

על-ידי ניתוח של התנודות הזעירות שגלי קול יוצרים בעצמים,

and essentially convert those back into the sounds that produced them.

ולהפוך אותן בחזרה לקולות שיצרו אותן?

In this way, we can turn everyday objects into microphones.

בדרך זו, נוכל להפוך עצמים רגילים למיקרופונים.

So that's exactly what we did.

וזה מה שבדיוק עשינו.

So here's an empty bag of chips that was lying on a table,

הנה שקית צ'יפס ריקה המונחת על שולחן,

and we're going to turn that bag of chips into a microphone

ואנו נהפוך אותה למיקרופון עלי-ידי

by filming it with a video camera

צילומה במצלמת וידאו

and analyzing the tiny motions that sound waves create in it.

וניתוח של התנודות הזעירות שגלי הקול יוצרים עליה.

So here's the sound that we played in the room.

זה הקול שניגנו בחדר.

(Music: "Mary Had a Little Lamb")

(מוזיקה)

And this is a high-speed video we recorded of that bag of chips.

וזהו וידאו שצולם במהירות גבוהה מאותה שקית צ'יפס.

Again it's playing.

הוא מנגן.

There's no chance you'll be able to see anything going on in that video

אין סיכוי שתצליחו לראות שקורה משהו בתוך הוידאו

just by looking at it,

אך ורק מהצפייה בו,

but here's the sound we were able to recover just by analyzing

אבל הנה הקול שהצלחנו להפיק רק מאנליזה

the tiny motions in that video.

של התנודות הזעירות באותו וידאו.

(Music: "Mary Had a Little Lamb")

(מוזיקה)

I call it -- Thank you.

תודה.

(Applause)

(מחיאות כפיים)

I call it the visual microphone.

אני קורא לזה מיקרופון חזותי.

We actually extract audio signals from video signals.

בעצם הפקנו קול מאותות וידאו

And just to give you a sense of the scale of the motions here,

ורק כדי לתת מושג על גודל התנודות כאן,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

קול די חזק יגרום לשקית הצ'יפס לנוע פחות ממיקרומטר.

That's one thousandth of a millimeter.

שזה אלפית המילימטר.

That's how tiny the motions are that we are now able to pull out

עד כדי כך קטנות התנועות שאנו מסוגלים היום להפיק

just by observing how light bounces off objects

רק מצפייה באור המוחזר מעצמים

and gets recorded by our cameras.

והמוקלט במצלמותינו.

We can recover sounds from other objects, like plants.

אנו מסוגלים להפיק קול מעצמים אחרים, כמו צמחים.

(Music: "Mary Had a Little Lamb")

(מוזיקה)

And we can recover speech as well.

כמו-כן אנו גם מסוגלים להפיק דיבור.

So here's a person speaking in a room.

הנה אדם המדבר בחדר.

Voice: Mary had a little lamb whose fleece was white as snow,

קול: למרי היה טלה קטן שהצמר שלו היה לבן כשלג,

and everywhere that Mary went, that lamb was sure to go.

ולכל מקום שמרי הלכה, הטלה היה הולך אחריה.

Michael Rubinstein: And here's that speech again recovered

מייקל רובינשטיין: וזהו אותו דיבור שהופק

just from this video of that same bag of chips.

מהוידאו מאותה שקית צ'יפס.

Voice: Mary had a little lamb whose fleece was white as snow,

קול: למרי היה טלה קטן שהצמר שלו היה לבן כשלג,

and everywhere that Mary went, that lamb was sure to go.

ולכל מקום שמרי הלכה, הטלה היה הולך אחריה.

MR: We used "Mary Had a Little Lamb"

מ.ר.: השתמשנו במילים הללו

because those are said to be the first words

כי אומרים שאלו היו המילים הראשונות

that Thomas Edison spoke into his phonograph in 1877.

שתומאס אדיסון אמר לתוך הפונוגרף ב-1877.

It was one of the first sound recording devices in history.

זה היה אחד ממכשירי ההקלטה הראשונים בהיסטוריה.

It basically directed the sounds onto a diaphragm

בעיקרון, הוא הסיט את הקולות אל עבר דיאפרגמה

that vibrated a needle that essentially engraved the sound on tinfoil

שהרטיטה מחט אשר חרטה את הקול על גבי נייר כסף

that was wrapped around the cylinder.

שהיה מלופף סביב גליל.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

הנה הדגמה של הקלטה וניגון של קול עם הפונוגרף של אדיסון.

(Video) Voice: Testing, testing, one two three.

קול (וידאו): בדיקה, בדיקה -- אחת, שתיים, שלוש.

Mary had a little lamb whose fleece was white as snow,

למרי היה טלה קטן שהצמר שלו היה לבן כשלג,

and everywhere that Mary went, the lamb was sure to go.

ולכל מקום שמרי הלכה, הטלה היה הולך אחריה.

Testing, testing, one two three.

בדיקה, בדיקה -- אחת, שתיים, שלוש.

Mary had a little lamb whose fleece was white as snow,

למרי היה טלה קטן שהצמר שלו היה לבן כשלג,

and everywhere that Mary went, the lamb was sure to go.

ולכל מקום שמרי הלכה, הטלה היה הולך אחריה.

MR: And now, 137 years later,

מ.ר.: והיום, 137 שנה אחרי,

we're able to get sound in pretty much similar quality

אנו יכולים להפיק קול באותה איכות

but by just watching objects vibrate to sound with cameras,

רק על-ידי צפייה בעצמים הרוטטים מקול בעזרת מצלמות,

and we can even do that when the camera

וניתן לעשות זאת אפילו כאשר

is 15 feet away from the object, behind soundproof glass.

המצלמה נמצאת במרחק 5 מטר מהעצם, מאחורי זכוכית חסינת רעש.

So this is the sound that we were able to recover in that case.

ובכן, זה הקול שאנו מסוגלים להפיק במקרה כזה.

Voice: Mary had a little lamb whose fleece was white as snow,

קול: למרי היה טלה קטן שהצמר שלו היה לבן כשלג,

and everywhere that Mary went, the lamb was sure to go.

ולכל מקום שמרי הלכה, הטלה היה הולך אחריה.

MR: And of course, surveillance is the first application that comes to mind.

מ.ר.: וכמובן, ריגול זה הדבר הראשון שעולה על הדעת.

(Laughter)

(צחוק)

But it might actually be useful for other things as well.

אבל למעשה זה יכול להיות שימושי גם לדברים אחרים.

Maybe in the future, we'll be able to use it, for example,

אולי בעתיד, נוכל להשתמש בזה לדוגמא,

to recover sound across space,

להפיק קולות מהרחק בחלל,

because sound can't travel in space, but light can.

כי קול אינו יכול לנוע בחלל, אבל אור כן.

We've only just begun exploring

רק התחלנו לגלות

other possible uses for this new technology.

שימושים אפשריים אחרים לטכנולוגיה חדשה זו.

It lets us see physical processes that we know are there

היא מאפשרת לנו לראות תהליכים פיזיקליים שאנו יודעים שהם קיימים

but that we've never been able to see with our own eyes until now.

אבל מעולם לא היינו מסוגלים לראותם בעיניים שלנו עד עכשיו.

This is our team.

זהו הצוות שלנו.

Everything I showed you today is a result of a collaboration

כל מה שהראיתי לכם היום הוא תוצאה של שיתוף-פעולה

with this great group of people you see here,

עם קבוצה נהדרת זו של אנשים,

and I encourage you and welcome you to check out our website,

ואני מעודד אתכם וקורא לכם לבקר באתרנו,

try it out yourself,

ולנסות את זה בעצמכם,

and join us in exploring this world of tiny motions.

ולהצטרף אלינו לגילוי עולם של תנועות זעירות.

Thank you.

תודה.

(Applause)

(מחיאות כפיים)