See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Översättare: Hanna Lagerquist Granskare: Annika Bidner

Under de senaste århundradena

So over the past few centuries, microscopes have revolutionized our world.

har mikroskopen revolutionerat vår värld.

They revealed to us a tiny world of objects, life and structures

De har avslöjat en liten värld av objekt, liv och strukturer

that are too small for us to see with our naked eyes.

som är för små för att vi ska kunna se dem med blotta ögat.

They are a tremendous contribution to science and technology.

De är ett enormt bidrag till forskning och teknik.

Idag skulle jag vilja introducera en ny sorts mikroskop,

Today I'd like to introduce you to a new type of microscope,

a microscope for changes.

ett mikroskop för förändringar.

It doesn't use optics like a regular microscope

Det använder inte optik som ett vanligt mikroskop

to make small objects bigger,

för att göra små objekt större.

but instead it uses a video camera and image processing

Istället använder den en videokamera och bildbehandling

to reveal to us the tiniest motions and color changes in objects and people,

för att avslöja de minsta rörelserna

och färgförändringarna hos saker och människor

changes that are impossible for us to see with our naked eyes.

förändringar som är omöjliga för oss att se med blotta ögat,

And it lets us look at our world in a completely new way.

Och det låter oss se på världen på ett helt nytt sätt,

So what do I mean by color changes?

Så vad menar jag med färgförändringar?

Our skin, for example, changes its color very slightly

Vår hud, till exempel, ändrar färg en liten aning

when the blood flows under it.

när blodet flödar under den.

That change is incredibly subtle,

Den förändringen är otroligt subtil,

which is why, when you look at other people,

så att när du tittar på andra,

when you look at the person sitting next to you,

när du tittar på personen bredvid dig,

you don't see their skin or their face changing color.

så ser du inte att deras hud eller deras ansikte ändrar färg.

When we look at this video of Steve here, it appears to us like a static picture,

När vi tittar på filmen av Steve här, så ser det ut som en statisk bild,

but once we look at this video through our new, special microscope,

men när vi tittar på den här filmen genom vårt nya specialmikroskop,

suddenly we see a completely different image.

så ser vi plötsligt en helt annan bild.

Vad ni ser här är små förändringar i färgen på Steves hud,

What you see here are small changes in the color of Steve's skin,

magnified 100 times so that they become visible.

förstorade 100 gånger så att de blir synliga.

We can actually see a human pulse.

Vi kan faktiskt se en mänsklig puls.

We can see how fast Steve's heart is beating,

Vi kan se hur fort Steves hjärta slår,

men vi kan också se på vilket sätt blodet flödar i hans ansikte.

but we can also see the actual way that the blood flows in his face.

And we can do that not just to visualize the pulse,

Och vi kan göra det, inte bara för att visualisera pulsen,

but also to actually recover our heart rates,

utan också för att hämta in vår hjärtfrekvens,

and measure our heart rates.

och mäta vår hjärtfrekvens.

And we can do it with regular cameras and without touching the patients.

Vi kan göra det här med vanliga kameror och utan att röra vid patienterna.

So here you see the pulse and heart rate we extracted from a neonatal baby

Så, här ser ni pulsen och hjärtfrekvensen hos en nyfödd bebis, som vi har tagit ut

from a video we took with a regular DSLR camera,

från en film som har spelats in med en vanlig DSLR-kamera.

and the heart rate measurement we get

Och den hjärtfrekvens vi kan mäta upp

is as accurate as the one you'd get with a standard monitor in a hospital.

är lika exakt som en som man kan mäta upp med standardutrustning på ett sjukhus.

And it doesn't even have to be a video we recorded.

Och filmen behöver inte ens ha spelats in av oss.

We can do it essentially with other videos as well.

Vi kan i huvudsak göra det även med andra filmer.

So I just took a short clip from "Batman Begins" here

Så jag tog bara ett kort klipp från "Batman begins" här

just to show Christian Bale's pulse.

bara för att visa Christian Bales puls.

(Laughter)

(Skratt)

And you know, presumably he's wearing makeup,

Och som ni vet har han antagligen smink,

the lighting here is kind of challenging,

ljussättningen här är rätt utmanande,

but still, just from the video, we're able to extract his pulse

men ändå kan vi ta ut hans puls från den här filmen

and show it quite well.

och visa upp den ganska tydligt.

So how do we do all that?

Så, hur gör vi allt det här?

We basically analyze the changes in the light that are recorded

I grund och botten analyserar vi förändringar i det inspelade ljuset

at every pixel in the video over time,

i varje pixel i filmen över tid.

and then we crank up those changes.

Och sen skruvar vi upp förändringarna.

We make them bigger so that we can see them.

Vi gör dem större så att vi kan se dem.

The tricky part is that those signals,

Det svåra är att de signalerna,

those changes that we're after, are extremely subtle,

de förändringar som vi är ute efter är extremt subtila,

so we have to be very careful when you try to separate them

så vi måste vara väldigt försiktiga när vi försöker separera dem

from noise that always exists in videos.

från störningar som alltid finns på filmer.

So we use some clever image processing techniques

Så vi använder några smarta bildbehandlingstekniker

to get a very accurate measurement of the color at each pixel in the video,

för att få ett väldigt exakt mått på färgen i varje pixel i filmen

and then the way the color changes over time,

och sen på hur färgen förändras över tid.

and then we amplify those changes.

Därefter förstärker vi de förändringarna.

We make them bigger to create those types of enhanced videos, or magnified videos,

Vi förstorar dem för att skapa den sortens förstärkta filmer

that actually show us those changes.

som faktiskt kan visa upp de förändringarna.

Men det visar sig att vi inte bara kan göra det här för

But it turns out we can do that not just to show tiny changes in color,

att visa små färgförändringar,

but also tiny motions,

utan också små rörelser,

and that's because the light that gets recorded in our cameras

och det beror på att det ljus som spelas in på våra kameror

will change not only if the color of the object changes,

inte bara ändrar sig om objektets färg ändrar sig

but also if the object moves.

utan också om objektet rör sig.

So this is my daughter when she was about two months old.

Det här är min dotter när hon var ungefär två månader gammal.

It's a video I recorded about three years ago.

Jag spelade in den här filmen för ungefär tre år sen.

And as new parents, we all want to make sure our babies are healthy,

Och som nyblivna föräldrar vill vi alla säkerställa

att våra barn mår bra, att de andas, att de lever - förstås.

that they're breathing, that they're alive, of course.

So I too got one of those baby monitors

Så även jag skaffade en sån där babyvakt

so that I could see my daughter when she was asleep.

så att jag kunde se min dotter när hon låg och sov.

And this is pretty much what you'll see with a standard baby monitor.

Och det här är ungefär vad man kan se med en vanlig babyvakt.

You can see the baby's sleeping, but there's not too much information there.

Man kan se att barnet sover, men det finns inte så mycket information att hämta.

There's not too much we can see.

Vi kan inte se särskilt mycket.

Wouldn't it be better, or more informative, or more useful,

Skulle det inte vara bättre, mer informativt, mer användbart

if instead we could look at the view like this.

om vi istället kunde se bilden så här.

So here I took the motions and I magnified them 30 times,

Så här tog jag rörelserna och förstorade dem 30 gånger,

och så kunde jag tydligt se att min dotter fortfarande var vid liv

and then I could clearly see that my daughter was indeed alive and breathing.

och andades.

(Skratt)

(Laughter)

Here is a side-by-side comparison.

Här är en jämförelse sida vid sida.

So again, in the source video, in the original video,

Så, igen, i källfilmen, i ursprungsfilmen

there's not too much we can see,

så kan vi inte se så mycket,

but once we magnify the motions, the breathing becomes much more visible.

men när vi förstorar rörelserna blir andningen mycket mer synlig.

And it turns out, there's a lot of phenomena

Det visar sig att det finns en lång rad fenomen

we can reveal and magnify with our new motion microscope.

som vi kan avslöja och förstora med vårt nya rörelsemikroskop.

We can see how our veins and arteries are pulsing in our bodies.

Vi kan se hur våra vener och artärer pulserar i våra kroppar.

We can see that our eyes are constantly moving

Vi kan se att våra ögon konstant rör sig

in this wobbly motion.

i en svajig rörelse.

And that's actually my eye,

Och det där är faktiskt mitt öga,

and again this video was taken right after my daughter was born,

och igen, den här filmades strax efter att min dotter föddes,

so you can see I wasn't getting too much sleep. (Laughter)

så det syns att jag inte fick så mycket sömn.

(Skratt)

Even when a person is sitting still,

Även när en person sitter still

there's a lot of information we can extract

så finns det massor med information att hämta

about their breathing patterns, small facial expressions.

om andningsmönster, små ansiktsuttryck.

Maybe we could use those motions

Kanske kan vi använda rörelserna

to tell us something about our thoughts or our emotions.

till att berätta något om våra tankar eller känslor.

We can also magnify small mechanical movements,

Vi kan också förstora små mekaniska rörelser,

like vibrations in engines,

som vibrationer i motorer,

that can help engineers detect and diagnose machinery problems,

som kan hjälpa maskinister att upptäcka och diagnosticera maskinproblem,

or see how our buildings and structures sway in the wind and react to forces.

eller se hur byggnader och konstruktioner rör sig i vind eller andra krafter.

Those are all things that our society knows how to measure in various ways,

Det här är saker som vi redan kan mäta på olika sätt i samhället,

but measuring those motions is one thing,

men att mäta rörelserna är en sak,

and actually seeing those motions as they happen

och att faktiskt se rörelserna medan de pågår

is a whole different thing.

är en helt annan sak.

And ever since we discovered this new technology,

Och redan när vi upptäckte den här nya tekniken

we made our code available online so that others could use and experiment with it.

gjorde vi koden tillgänglig online så att andra kunde experimentera med den.

It's very simple to use.

Den är väldigt enkel att använda.

It can work on your own videos.

Den kan fungera på dina egna filmer.

Our collaborators at Quanta Research even created this nice website

Våra partners på Quantum Research har skapat den här fina webbplatsen

where you can upload your videos and process them online,

där man kan ladda upp filmer och behandla dem online,

so even if you don't have any experience in computer science or programming,

så även om du inte har någon erfarenhet av datorvetenskap eller programmering

you can still very easily experiment with this new microscope.

så kan du ändå enkelt experimentera med det nya mikroskopet.

And I'd like to show you just a couple of examples

Och jag skulle vilja visa bara några exempel

of what others have done with it.

av vad andra har gjort med det.

So this video was made by a YouTube user called Tamez85.

Den här filmen är gjord av en YouTube-användare

som kallar sig Tamez85.

I don't know who that user is,

Jag vet inte vem användaren är,

but he, or she, used our code

men han, eller hon, har använt vår kod

to magnify small belly movements during pregnancy.

till att förstora små magrörelser under en graviditet.

It's kind of creepy.

Det är ganska läskigt.

(Laughter)

(Skratt)

People have used it to magnify pulsing veins in their hands.

Folk har använt den till att förstora pulserande vener på händerna.

And you know it's not real science unless you use guinea pigs,

Och du vet att det inte är riktig forskning om det inte innefattar marsvin,

and apparently this guinea pig is called Tiffany,

och tydligen heter det här marsvinet Tiffany,

and this YouTube user claims it is the first rodent on Earth

och den här YouTube-användaren påstår att det är den första gnagaren på jorden

that was motion-magnified.

som har fått sina rörelser förstorade.

You can also do some art with it.

Man kan också skapa konst med den.

So this video was sent to me by a design student at Yale.

Jag fick den här filmen av en designstudent från Yale.

She wanted to see if there's any difference

Hon ville se om det fanns några skillnader

in the way her classmates move.

i hur hennes klasskamrater rör sig.

She made them all stand still, and then magnified their motions.

Hon fick dem att stå still och förstorade sen rörelserna.

It's like seeing still pictures come to life.

Det är som att se stillbilder få liv.

And the nice thing with all those examples

Och det fina med de här exemplen

is that we had nothing to do with them.

är att vi inte hade något med dem att göra.

We just provided this new tool, a new way to look at the world,

Vi tillhandahöll bara ett nytt verktyg, ett nytt sätt att se på världen,

and then people find other interesting, new and creative ways of using it.

och sen hittar folk andra intressanta, nya och kreativa sätt att använda det.

But we didn't stop there.

Men vi stannade inte vid det.

This tool not only allows us to look at the world in a new way,

Det här verktyget låter oss inte bara se på världen på ett nytt sätt,

it also redefines what we can do

det omdefinierar vad vi kan göra

and pushes the limits of what we can do with our cameras.

och flyttar gränserna för vad vi kan göra med våra kameror.

Så, som vetenskapsmän började vi fundera på

So as scientists, we started wondering,

what other types of physical phenomena produce tiny motions

om det fanns andra fysiska fenomen som skapar små rörelser

som vi kunde mäta med våra kameror?

that we could now use our cameras to measure?

And one such phenomenon that we focused on recently is sound.

Och ett sånt fenomen som vi nyligen fokuserade på är ljud.

Sound, as we all know, is basically changes

Ljud är, som vi alla känner till, i huvudsak förändringar

in air pressure that travel through the air.

i lufttryck som förflyttas genom luften.

Those pressure waves hit objects and they create small vibrations in them,

De tryckvågorna träffar objekt och skapar små vibrationer i dem,

which is how we hear and how we record sound.

det är så vi hör och så vi spelar in ljud.

But it turns out that sound also produces visual motions.

Men det visar sig att ljud också producerar synliga rörelser.

Those are motions that are not visible to us

Det är rörelser som inte är synliga för oss

but are visible to a camera with the right processing.

men som är synliga för kameran, med rätt behandling.

So here are two examples.

Här är två exempel.

This is me demonstrating my great singing skills.

Det här är jag som visar upp min fantastiska sångförmåga.

(Singing)

(Sjunger)

(Laughter)

(Skratt)

And I took a high-speed video of my throat while I was humming.

Och jag gjorde en höghastighetsfilm av min hals medan jag hummade.

Again, if you stare at that video,

Igen, om du stirrar på filmen

there's not too much you'll be able to see,

så är det inte så mycket som syns,

but once we magnify the motions 100 times, we can see all the motions and ripples

men när vi förstorar rörelserna 100 gånger ser vi alla rörelser och krusningar

in the neck that are involved in producing the sound.

i halsen som är involverade i att producera ljudet.

That signal is there in that video.

Den signalen syns där i filmen.

We also know that singers can break a wine glass

Vi vet också att sångare kan spräcka ett vinglas

if they hit the correct note.

om de träffar rätt ton.

So here, we're going to play a note

Så här ska vi spela en ton

that's in the resonance frequency of that glass

som ligger inom glasets resonansfrekvens

through a loudspeaker that's next to it.

genom en högtalare precis bredvid.

Once we play that note and magnify the motions 250 times,

När vi spelar tonen och förstorar rörelserna 250 gånger,

we can very clearly see how the glass vibrates

så kan vi väldigt tydligt se hur glaset vibrerar

and resonates in response to the sound.

och resonerar som svar på ljudet.

It's not something you're used to seeing every day.

Det här är ingenting som man är van vid att se.

But this made us think. It gave us this crazy idea.

Men det fick oss att tänka till. Vi fick en galen idé.

Kan vi faktiskt invertera processen och hämta in ljud från filmen

Can we actually invert this process and recover sound from video

by analyzing the tiny vibrations that sound waves create in objects,

genom att analysera de små vibrationerna som ljudvågorna orsakar i objekten,

and essentially convert those back into the sounds that produced them.

och egentligen konvertera dem tillbaka till de ljud som producerade dem.

In this way, we can turn everyday objects into microphones.

På det här sättet kan vi omvandla vardagliga saker till mikrofoner.

So that's exactly what we did.

Så det var precis vad vi gjorde.

So here's an empty bag of chips that was lying on a table,

Här är en tom chipspåse som låg på bordet,

and we're going to turn that bag of chips into a microphone

och vi ska göra om chipspåsen till en mikrofon

by filming it with a video camera

genom att filma den med en kamera

and analyzing the tiny motions that sound waves create in it.

och analysera de små rörelserna som ljudvågorna skapar i den.

So here's the sound that we played in the room.

Här är ljudet som vi spelade i rummet.

(Music: "Mary Had a Little Lamb")

(Musik: "Mary har ett litet lamm")

And this is a high-speed video we recorded of that bag of chips.

Och här är en höghastighetsfilm av chipspåsen som vi spelade in.

Again it's playing.

Den spelar igen.

There's no chance you'll be able to see anything going on in that video

Det finns ingen möjlighet att se vad vad som händer i filmen

just by looking at it,

bara genom att titta på den,

but here's the sound we were able to recover just by analyzing

men här är ljudet som vi kunde återskapa

genom att analysera de små rörelserna i filmen.

the tiny motions in that video.

(Music: "Mary Had a Little Lamb")

(Musik: "Mary har ett litet lamm")

I call it -- Thank you.

Jag kallar det för... Tack.

(Applause)

(Applåder)

I call it the visual microphone.

Jag kallar det för den visuella mikrofonen.

We actually extract audio signals from video signals.

Vi extraherar faktiskt ljudsignaler från videosignaler.

And just to give you a sense of the scale of the motions here,

Och bara för att ge er en känsla för rörelseskalan här:

a pretty loud sound will cause that bag of chips to move less than a micrometer.

Ett ganska högt ljud skulle få chipspåsen att röra sig mindre än en mikrometer.

Det är en tusendels millimeter.

That's one thousandth of a millimeter.

That's how tiny the motions are that we are now able to pull out

Så små är de rörelser som kan vi nu dra ut

just by observing how light bounces off objects

bara genom att observera hur ljuset studsar på objekt

and gets recorded by our cameras.

och spelas in av våra kameror.

We can recover sounds from other objects, like plants.

Vi kan hämta in ljud från andra objekt, som växter.

(Musik: "Mary har ett litet lamm")

(Music: "Mary Had a Little Lamb")

And we can recover speech as well.

Och vi kan hämta in tal.

So here's a person speaking in a room.

Här talar en person i ett rum.

Voice: Mary had a little lamb whose fleece was white as snow,

Röst: Mary har ett litet lamm med ull så len och vit

and everywhere that Mary went, that lamb was sure to go.

och vart än lilla Mary går, går lammet också dit.

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: Och här är samma tal igen,

just from this video of that same bag of chips.

inhämtat från den här filmen med samma chipspåse.

Voice: Mary had a little lamb whose fleece was white as snow,

Röst: Mary har ett litet lamm med ull så len och vit

and everywhere that Mary went, that lamb was sure to go.

och vart än lilla Mary går, går lammet också dit.

MR: We used "Mary Had a Little Lamb"

MR: Vi använde "Mary har ett litet lamm"

because those are said to be the first words

därför att det påstås att de var de första orden

that Thomas Edison spoke into his phonograph in 1877.

som Thomas Edison talade in i sin fonograf 1877.

It was one of the first sound recording devices in history.

Det var en av historiens första ljudinspelningsmaskiner.

It basically directed the sounds onto a diaphragm

Den riktade helt enkelt in ljuden på ett membran som vibrerade en nål

that vibrated a needle that essentially engraved the sound on tinfoil

som egentligen graverade in ljudet på aluminiumfolie

that was wrapped around the cylinder.

som var lindad runt cylindern.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Här är en demonstration av in- och uppspelning av ljud med Edisons fonograf.

(Video) Voice: Testing, testing, one two three.

(Video) Röst: Testar, testar, ett två tre.

Mary had a little lamb whose fleece was white as snow,

Mary har ett litet lamm med ull så len och vit,

and everywhere that Mary went, the lamb was sure to go.

och vart än lilla Mary går, går lammet också dit.

Testing, testing, one two three.

Testar, testar, ett två tre.

Mary had a little lamb whose fleece was white as snow,

Mary har ett litet lamm med ull så len och vit,

and everywhere that Mary went, the lamb was sure to go.

och vart än lilla Mary går, går lammet också dit.

MR: And now, 137 years later,

MR: Och nu, 137 år senare,

we're able to get sound in pretty much similar quality

kan vi få ut ljud med i princip samma kvalitet,

but by just watching objects vibrate to sound with cameras,

men genom att bara titta på objekt som vibrerar till ljud via kameror,

and we can even do that when the camera

vi kan till och med göra det när kameran

is 15 feet away from the object, behind soundproof glass.

är 4,5 m bort från objektet bakom ljudisolerat glas.

So this is the sound that we were able to recover in that case.

Det här är det ljud vi kunde hämta in i det fallet.

Voice: Mary had a little lamb whose fleece was white as snow,

Röst: Mary har ett litet lamm med ull så len och vit,

and everywhere that Mary went, the lamb was sure to go.

och vart än lilla Mary går, går lammet också dit.

MR: And of course, surveillance is the first application that comes to mind.

MR: Och självklart är övervakning det första som dyker upp på näthinnan.

(Laughter)

(Skratt)

Men det kan faktiskt komma till nytta i andra sammanhang också.

But it might actually be useful for other things as well.

Maybe in the future, we'll be able to use it, for example,

Kanske kommer vi i framtiden till exempel kunna

to recover sound across space,

hämta in ljud genom rymden,

because sound can't travel in space, but light can.

därför att ljud kan inte färdas i rymden, men det kan ljus.

We've only just begun exploring

Vi har bara börjat att utforska

other possible uses for this new technology.

andra möjliga användningsområden för den här nya teknologin.

Det låter oss se fysiska processer som vi vet finns där

It lets us see physical processes that we know are there

but that we've never been able to see with our own eyes until now.

men som vi aldrig har kunnat observera med blotta ögat förrän nu.

This is our team.

Det här är vårt team.

Everything I showed you today is a result of a collaboration

Det som jag har visat här idag är resultatet av samarbete

with this great group of people you see here,

med den här fantastiska gruppen,

and I encourage you and welcome you to check out our website,

och jag uppmuntrar och välkomnar er att kolla in vår webbplats,

try it out yourself,

testa själva,

and join us in exploring this world of tiny motions.

och göra oss sällskap i utforskandet av de små rörelsernas värld.

Thank you.

Tack.

(Applåder)

(Applause)