See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Translator: Viktorija Grybaitė Reviewer: Monika Ciurlionyte

So over the past few centuries, microscopes have revolutionized our world.

Per pastaruosius šimtmečius mikroskopai iš pagrindų pakeitė mūsų pasaulį.

They revealed to us a tiny world of objects, life and structures

Jie atskleidė mažų dalelyčių, struktūrų pasaulį,

kurio mes negalime matyti plika akimi.

that are too small for us to see with our naked eyes.

Jie yra didžiulis įnašas šiuolaikiniam mokslui ir technologojoms.

They are a tremendous contribution to science and technology.

Today I'd like to introduce you to a new type of microscope,

Šiandien aš jums pristatysiu naujausio modelio mikroskopą.

a microscope for changes.

Mikroskopą, reaguojantį į pokyčius.

It doesn't use optics like a regular microscope

Jame, priešingai nei įprastai, nenaudojami optiniai lęšiai

to make small objects bigger,

dalelytėms išdidinti.

but instead it uses a video camera and image processing

Aparatas pasitelkia video kamerą ir vaizdo apdorojimą,

to reveal to us the tiniest motions and color changes in objects and people,

kad atskleistų smulkiausius judesius, spalvų pakitimus daiktuose bei žmonėse.

changes that are impossible for us to see with our naked eyes.

Šių judesių neįmanoma įžiūrėti plika akimi.

And it lets us look at our world in a completely new way.

Mikroskopas leidžia pažvelgti į pasaulį kitu kampu.

So what do I mean by color changes?

Taigi ką turiu omenyje, sakydamas spalvų pakitimai?

Our skin, for example, changes its color very slightly

Pavyzdžiui, mūsų oda nežymiai keičia atspalvį,

when the blood flows under it.

kai kraujas į ją atiteka.

That change is incredibly subtle,

Šis pakitimas yra neįtikėtinai subtilus.

which is why, when you look at other people,

kai žiūri į kitą žmogų,

when you look at the person sitting next to you,

sėdintį šalia tavęs,

you don't see their skin or their face changing color.

nepaisai kaip keičiasi jo veido spalva.

When we look at this video of Steve here, it appears to us like a static picture,

Žiūrint šią filmuotą medžiagą galima pamanyti, kad vaizdas statiškas,

but once we look at this video through our new, special microscope,

bet pažiūrėjus per šį, naujovišką, specialų, mikroskopą

suddenly we see a completely different image.

regime visai kitą vaizdą.

What you see here are small changes in the color of Steve's skin,

Tai, ką čia matote, yra maži odos pigmento pakitimai.

magnified 100 times so that they become visible.

Juos išdidinome 100 kartų, kad taptų matoma.

We can actually see a human pulse.

Matomas netgi žmogaus pulsas.

We can see how fast Steve's heart is beating,

Mes matome kokiu greičiu plaka Stevo širdis,

but we can also see the actual way that the blood flows in his face.

taip pat matome, kaip kraujas atiteka į jo veidą.

And we can do that not just to visualize the pulse,

Šitai daroma ne vien tam, kad pamatytume pulsą,

but also to actually recover our heart rates,

bet tam, kad atstatytume širdies ritmą,

and measure our heart rates.

ar jį išmatuotume.

And we can do it with regular cameras and without touching the patients.

Mes naudojame įprastas kameras, ir neliečiame pacientų.

So here you see the pulse and heart rate we extracted from a neonatal baby

Štai pulsas ir širdies ritmas, kuriuos išgavome iš naujagimio,

from a video we took with a regular DSLR camera,

panaudojus video, nufilmuoto su paprasta DSLR kamera.

and the heart rate measurement we get

Mes išmatavome širdies ritmą

is as accurate as the one you'd get with a standard monitor in a hospital.

tiksliai taip, kaip ligoninės kraujospūdžio aparatas.

And it doesn't even have to be a video we recorded.

Ir visai nebūtina turėti video įrašą.

We can do it essentially with other videos as well.

Iš esmės rezultatą galima išgauti ir su kitais video.

So I just took a short clip from "Batman Begins" here

Paėmiau ištrauką iš filmo „Batman Begins"

just to show Christian Bale's pulse.

tik tam, kad parodyčiau Christiano Baleso pulsą

(Laughter)

(Juokiasi.)

And you know, presumably he's wearing makeup,

Galimas daiktas, kad jis su grimu,

the lighting here is kind of challenging,

apšvietimas apsunkina padėtį.

but still, just from the video, we're able to extract his pulse

Vis tiek iš įrašo mes galime išgauti jo tikslų pulsą

and show it quite well.

ir gana aiškiai jį parodyti.

So how do we do all that?

Tai kaip visa tai padarome?

We basically analyze the changes in the light that are recorded

Analizuojame įrašytus šviesos pokyčius

kiekviename pikselyje.

at every pixel in the video over time,

Po to juos pagreitiname.

and then we crank up those changes.

We make them bigger so that we can see them.

Kad taptų matoma, viską padidiname.

The tricky part is that those signals,

Gana keblu, nes šie signalai,

those changes that we're after, are extremely subtle,

pokyčiai, kurių mes ieškome, yra nepaprastai subtilūs.

so we have to be very careful when you try to separate them

Turime būti labai atsargūs juos atskiriant

from noise that always exists in videos.

nuo triukšmo, kurio visada būna įrašuose.

So we use some clever image processing techniques

Mes naudojame išmanias vaizdo apdorojimo technikas,

to get a very accurate measurement of the color at each pixel in the video,

kad išgautume tikslius odos pigmento duomenis kiekviename pikslelyje

and then the way the color changes over time,

ir kaip oda kinta laikui bėgant.

and then we amplify those changes.

Vėliau šiuos pokyčius pabrėžiame.

We make them bigger to create those types of enhanced videos, or magnified videos,

Juos pagreitiname taip, kad susidarytų sustiprintas vaizdas,

that actually show us those changes.

kuris aiškiai rodytų pokyčius.

But it turns out we can do that not just to show tiny changes in color,

Pasirodo, kad galima parodyti ne tik mažus spalvos pakitimus,

bet ir mažyčius judesius.

but also tiny motions,

and that's because the light that gets recorded in our cameras

Taip yra todėl, kad šviesa, kurią įrašome,

will change not only if the color of the object changes,

keičiasi ne tik pačiame objekte,

but also if the object moves.

bet taip pat jam judant.

So this is my daughter when she was about two months old.

Čia mano dukra, kai jai buvo 2 mėnesiai.

It's a video I recorded about three years ago.

Medžiaga filmuota prieš trejus metus.

And as new parents, we all want to make sure our babies are healthy,

Juk visi nauji tėvai nori užtikrinti, jog vaikas auga sveikas,

that they're breathing, that they're alive, of course.

kad jis kvėpuoja ir, žinoma, yra gyvas.

So I too got one of those baby monitors

Taigi ir aš nusipirkau kūdikio monitorių,

so that I could see my daughter when she was asleep.

kad galėčiau matyti kaip mano dukra miega.

And this is pretty much what you'll see with a standard baby monitor.

Štai ką galima pamatyti su standartiniu kūdikio monitoriumi.

You can see the baby's sleeping, but there's not too much information there.

Akivaizdu, kad ji miega, bet daugiau informacijos nėra.

There's not too much we can see.

Nedaug ką galime pasakyti.

Wouldn't it be better, or more informative, or more useful,

Argi nebūtų geriau, informatyviau, naudingiau,

if instead we could look at the view like this.

jei galėtume šitaip žiūrėti į vaizdą.

So here I took the motions and I magnified them 30 times,

Judesius padidinau 30 kartų

and then I could clearly see that my daughter was indeed alive and breathing.

ir tik tada aš galėjau aiškiai matyti, kad mano dukra tikrai gyva ir kvėpuoja.

(Laughter)

(Juokiasi.)

Here is a side-by-side comparison.

Štai analogiškas palyginimas.

So again, in the source video, in the original video,

Ir vėl pradiniame video įraše

there's not too much we can see,

nedaug ką matome.

but once we magnify the motions, the breathing becomes much more visible.

Bet, kai padidiname judesius, kvėpavimas tampa aiškiai matomu.

And it turns out, there's a lot of phenomena

Ir, pasirodo, yra daug reiškinių,

kuriuos galima atskleisti ir išdidinti su naujuoju judesiniu mikroskopu.

we can reveal and magnify with our new motion microscope.

We can see how our veins and arteries are pulsing in our bodies.

Galime matyti kaip venos ir arterijos pulsuoja mūsų kūnuose,

We can see that our eyes are constantly moving

kad mūsų akys nuolat juda

in this wobbly motion.

nepastoviu virpėjimu.

And that's actually my eye,

Tai mano akis.

and again this video was taken right after my daughter was born,

Ši medžiaga nufilmuota iškart po mano dukros gimimo.

so you can see I wasn't getting too much sleep. (Laughter)

Ne per daugiausiai miegojau.

Even when a person is sitting still,

Net ir tada, kai žmogus ramiai sėdi,

there's a lot of information we can extract

galima išgauti daug informacijos

about their breathing patterns, small facial expressions.

apie jo kvėpavimą, emocijas.

Maybe we could use those motions

Gal galėtume panaudoti šiuos judesius

to tell us something about our thoughts or our emotions.

ir pasakyti daugiau apie mūsų mintis ir jausmus.

We can also magnify small mechanical movements,

Taip pat galime išdidinti mažus mechaninius judesius,

like vibrations in engines,

pavyzdžiui, variklių virpesį.

that can help engineers detect and diagnose machinery problems,

Tai padėtų inžinieriams rasti gedimą, nustatyti mechanizmo problemas

or see how our buildings and structures sway in the wind and react to forces.

arba pamatyti pastatų, konstrukcijų svyravimą, reakciją į aplinkos jėgas.

Those are all things that our society knows how to measure in various ways,

Yra įvairiausių būdų kaip šiuos dalykus apskaičiuoti,

bet apskaičiuoti yra viena,

but measuring those motions is one thing,

and actually seeing those motions as they happen

o realiai pamatyti

yra visai kas kita.

is a whole different thing.

And ever since we discovered this new technology,

Nuo tada, kai mes atradome šią naują technologiją,

we made our code available online so that others could use and experiment with it.

sistemą paleidome internete, kad kiti galėtų išbandyti ir eksperimentuoti.

It's very simple to use.

Naudotis labai paprasta.

It can work on your own videos.

Viskas veikia naudojant jūsų pačių įrašus.

Our collaborators at Quanta Research even created this nice website

„Quanta Research" organizacija sukūrė internetinį puslapį,

where you can upload your videos and process them online,

kuriame galima įkelti video ir jį apdoroti internetu.

so even if you don't have any experience in computer science or programming,

Tad net jei neturite patirties informatikoje ir programavime

you can still very easily experiment with this new microscope.

vis tiek galite lengvai eksperimentuoti su šiuo nauju mikroskopu.

And I'd like to show you just a couple of examples

Noriu parodyti keletą pavyzdžių

of what others have done with it.

kaip kiti juo naudojasi.

So this video was made by a YouTube user called Tamez85.

Šis video buvo sukurtas vieno „YouTube" vartotojo, pasivadunusio Tamez85.

I don't know who that user is,

Aš nežinau, kas šis žmogus,

but he, or she, used our code

bet jis, ar ji, pasinaudojo mūsų sistema,

to magnify small belly movements during pregnancy.

kad padidintų mažus pilvo judesius nėštumo metu.

It's kind of creepy.

Atrodo gana baisiai.

(Laughter)

(Juokiasi.)

People have used it to magnify pulsing veins in their hands.

Žmonės panaudojo sistemą, kad padidintų pulsuojančias rankų venas.

And you know it's not real science unless you use guinea pigs,

Kaip žinote, mokslas laikomas rimtu, kai nadojamos jūrų kiaulytės.

and apparently this guinea pig is called Tiffany,

Pasirodo šios vardas yra Tifanė.

and this YouTube user claims it is the first rodent on Earth

„YouTube" naudotojas teigia, kad tai pirmasis planetos graužikas,

that was motion-magnified.

kurio judesiai buvo padidinti.

You can also do some art with it.

Iš to galima netgi sukurti meną.

So this video was sent to me by a design student at Yale.

Šis video buvo atsiųstas menų fakulteto studentės iš Jeilio

She wanted to see if there's any difference

Ji norėjo pamatyti, ar yra skirtumas

in the way her classmates move.

tarp to, kaip juda jos bendraklasiai.

She made them all stand still, and then magnified their motions.

Ji liepė visiems stovėti tiesiai, o vėliau išdidino jų judesius.

It's like seeing still pictures come to life.

Lyg atgaivintų vaizdą nuotraukose.

And the nice thing with all those examples

Malonu yra tai, kad su šiais pavyzdžiais

is that we had nothing to do with them.

mes niekuo dėti.

We just provided this new tool, a new way to look at the world,

Mes tik suteikėme naują įrankį, galimybę žiūrėti į pasaulį kitaip,

and then people find other interesting, new and creative ways of using it.

tada žmonės atranda įdomius, naujus, kūrybiškus būdus, kaip juo pasinaudoti.

But we didn't stop there.

Bet mūsų veikla nesibaigia.

This tool not only allows us to look at the world in a new way,

Šis įrankis leidžia ne tik pažvelgti į pasaulį kitu kampu,

it also redefines what we can do

bet ir atnaujina mūsų galimybes

and pushes the limits of what we can do with our cameras.

ir praplečia ribas, kuriose gali būti naudojamos kameros.

So as scientists, we started wondering,

Kaip mokslininkai, mes pradėjome galvoti,

what other types of physical phenomena produce tiny motions

kokie dar fiziniai reiškiniai sukelia mažus judesius,

kuriuos dabar, pasitelkiant kameras, galėtume išmatuoti?

that we could now use our cameras to measure?

And one such phenomenon that we focused on recently is sound.

Vienas iš reiškinių, prie kurio neseniai susitelkėme, yra garsas.

Sound, as we all know, is basically changes

Garsas, kaip žinome, iš esmės ir yra pokyčiai.

in air pressure that travel through the air.

Oro slėgio, kuris keliauja erdve.

Those pressure waves hit objects and they create small vibrations in them,

Slėgio bangos atsimuša į daiktus ir sukelia mažus virpėjimus juose,

which is how we hear and how we record sound.

taip mes galime girdėti ir įrašyti garsą.

But it turns out that sound also produces visual motions.

Pasirodo, kad garsas taip pat sukelia vaizdinius judesius.

Šie judesiai nėra matomi plika akimi,

Those are motions that are not visible to us

but are visible to a camera with the right processing.

bet juos aptinka kamera, su tinkamu vaizdo apdorojimu.

So here are two examples.

Štai pora pavyzdžių:

This is me demonstrating my great singing skills.

aš, demonstruojantis savo puikius dainavimo įgūdžius,

(Dainuoja.)

(Singing)

(Laughter)

(Juokiasi.)

And I took a high-speed video of my throat while I was humming.

ir pagreitintas vaizdas, kuriame matosi gerklė, man gaudžiant.

Again, if you stare at that video,

Vėlgi, žiūrint į šį įrašą

there's not too much you'll be able to see,

nedaug kas matosi.

but once we magnify the motions 100 times, we can see all the motions and ripples

Bet padidinus 100 kartų, matomi visi judesiai ir raibuliavimai

in the neck that are involved in producing the sound.

tose kaklo srityse, kurios išskiria garsą.

That signal is there in that video.

Impulsai akivaizdūs.

Visi žinome, kad dainininkai gali sudaužyti vyno taurę,

We also know that singers can break a wine glass

if they hit the correct note.

jei pasiekia reikiamą natą.

So here, we're going to play a note

Taigi mes pagrosime natą,

that's in the resonance frequency of that glass

kurios dažnis rezonuoja taurės svyravimo dažnį.

through a loudspeaker that's next to it.

Pasitelksime šalia esantį garsiakalbį.

Once we play that note and magnify the motions 250 times,

Pagrojus šią natą ir išdidinus judesius 250 kartų

akivaizdžiai matome kaip taurė vibruoja

we can very clearly see how the glass vibrates

and resonates in response to the sound.

ir rezonuoja garsą.

It's not something you're used to seeing every day.

Ne kiekvieną dieną tai pamatysi.

But this made us think. It gave us this crazy idea.

Tai privertė mus susimąstyti ir davė beprotišką idėją.

Ar mes galime apversti šį procesą ir išgauti garsą iš vaizdo įrašo?

Can we actually invert this process and recover sound from video

Analizuojant mažas vibracijas, kurias daiktuose sukuria garso bangos,

by analyzing the tiny vibrations that sound waves create in objects,

and essentially convert those back into the sounds that produced them.

ir atverčiant jas atgal į garsą.

In this way, we can turn everyday objects into microphones.

Tokiu būdu mes galėtume kasdienius daiktus paversti mikrofonais.

So that's exactly what we did.

Būtent tai ir padarėme.

So here's an empty bag of chips that was lying on a table,

Čia tuščias traškučių pakelis.

and we're going to turn that bag of chips into a microphone

Mes ketiname jį paversti mikrofonu

by filming it with a video camera

filmuodami su video kamera

and analyzing the tiny motions that sound waves create in it.

ir analizuodami mažus judesius, kuriuos sukelia garso bangos.

So here's the sound that we played in the room.

Štai garsas, kurį skleidėme kambaryje.

(Music: "Mary Had a Little Lamb")

(Muzika.)

And this is a high-speed video we recorded of that bag of chips.

O čia pagreitintas video, kurį nurašėme nuo traškučių pakelio.

Again it's playing.

Ir jis groja.

There's no chance you'll be able to see anything going on in that video

Nėra jokios galimybės, ką nors pamatyti šiame video

just by looking at it,

tiesiog žiūrint į jį,

but here's the sound we were able to recover just by analyzing

bet štai garsas, kurį atkurėme analizuodami

mažyčius judesius jame.

the tiny motions in that video.

(Music: "Mary Had a Little Lamb")

(Muzika.)

I call it -- Thank you.

Aš tai vadinu... – Ačiū

(Applause)

(Plojimai.)

I call it the visual microphone.

Aš tai vadinu vaizdiniu mikrofonu.

We actually extract audio signals from video signals.

Mes netgi išgauname audio signalus iš video signalų.

And just to give you a sense of the scale of the motions here,

Noriu leisti jums pajusti judesių amplitudę.

a pretty loud sound will cause that bag of chips to move less than a micrometer.

Didelis garsas priverčia traškučių pakelį suvirpėti mažiau nei 1 mikrometrą.

t.y. 1 tūkstantoji milimetro dalis.

That's one thousandth of a millimeter.

That's how tiny the motions are that we are now able to pull out

Štai kokio mąsto judesius dabar mes pajėgūs išgauti

just by observing how light bounces off objects

vien stebėdami kaip šviesa atsimuša nuo paviršiaus

and gets recorded by our cameras.

ir užfiksuodami viską mūsų kamerose.

We can recover sounds from other objects, like plants.

Mes atkuriame garsus ir iš kitų objektų, pavyzdžiui, augalų.

(Music: "Mary Had a Little Lamb")

(Muzika.)

And we can recover speech as well.

Ir taip pat galime atgaminti kalbas.

So here's a person speaking in a room.

Štai žmogus, kalbantis kambaryje.

Voice: Mary had a little lamb whose fleece was white as snow,

Balsas: „Merė turėjo mažą avinėlį, kurio vilna buvo balta kaip sniegas

and everywhere that Mary went, that lamb was sure to go.

ir kur tik Merė ėjo, avinėlis sekė paskui."

Michael Rubinstein: And here's that speech again recovered

Štai ta pati kalba, atgaminta vėl

just from this video of that same bag of chips.

iš video, su tuo pačiu traškučių pakeliu.

Balsas: „Merė turėjo mažą avinėlį, kurio vilna buvo balta kaip sniegas

Voice: Mary had a little lamb whose fleece was white as snow,

ir kur tik Merė ėjo, avinėlis sekė paskui.“

and everywhere that Mary went, that lamb was sure to go.

MR: We used "Mary Had a Little Lamb"

Mes panaudojome šį tekstą,

because those are said to be the first words

nes sakoma, kad tai pirmieji žodžiai,

that Thomas Edison spoke into his phonograph in 1877.

kuriuos Tomas Edisonas ištarė į fonografą 1877.

It was one of the first sound recording devices in history.

Tai buvo vienas iš pirmųjų garso įrašymo prietaisų istorijoje.

It basically directed the sounds onto a diaphragm

Iš esmės jis nukreipė garsą į diafragmą,

kuri virpino adatą ir rėžė garsą į alavo foliją,

that vibrated a needle that essentially engraved the sound on tinfoil

apvyniotą apie cilindrą.

that was wrapped around the cylinder.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Demontruojame, kaip buvo įrašomas ir paleidžiamas garsas su Edisono fonografu.

Balsas: „bandymas, bandymas, vienas du trys".

(Video) Voice: Testing, testing, one two three.

Mary had a little lamb whose fleece was white as snow,

„Merė turėjo mažą avinėlį, kurio vilna buvo balta kaip sniegas

and everywhere that Mary went, the lamb was sure to go.

ir kur tik Merė ėjo, avinėlis sekė paskui.“

Testing, testing, one two three.

„Bandymas, bandymas, vienas du trys.“

Mary had a little lamb whose fleece was white as snow,

„Merė turėjo mažą avinėlį, kurio vilna buvo balta kaip sniegas

and everywhere that Mary went, the lamb was sure to go.

ir kur tik Merė ėjo, avinėlis sekė paskui.“

MR: And now, 137 years later,

Dabar, praėjus 137 metams,

we're able to get sound in pretty much similar quality

mes galime išgauti panašios kokybės garsą,

but by just watching objects vibrate to sound with cameras,

tiesiog stebėdami su kameromis, kaip daiktai virpa nuo garso bangų.

and we can even do that when the camera

Mes galime tai padaryti netgi jei kamera

is 15 feet away from the object, behind soundproof glass.

yra už 15 pėdų ir už garsą izoliuojančio stiklo.

So this is the sound that we were able to recover in that case.

Štai garsas, kurį galime atkurti net ir tokiu atveju.

Balsas: „Merė turėjo mažą avinėlį, kurio vilna buvo balta kaip sniegas

Voice: Mary had a little lamb whose fleece was white as snow,

ir kur tik Merė ėjo, avinėlis sekė paskui.“

and everywhere that Mary went, the lamb was sure to go.

MR: And of course, surveillance is the first application that comes to mind.

Žinoma, apsaugos kameros yra pirmasis pritaikymas, kuris šauna į galvą.

(Laughter)

(Juokiasi.)

Bet pritaikyti būtų galima ir kitose srityse.

But it might actually be useful for other things as well.

Maybe in the future, we'll be able to use it, for example,

Pavyzdžiui, gal ateityje galėsime jį panaudoti

to recover sound across space,

atkuriant ūžesį kosmose.

because sound can't travel in space, but light can.

Juk žinome, kad garsas negali sklisti kosmose, o šviesa gali.

We've only just begun exploring

Mes dar tik pradėjome tyrinėti

other possible uses for this new technology.

kitus galimus šios naujos technologijos pritaikymus.

It lets us see physical processes that we know are there

Ji leidžia pamatyti tuos fizinius reiškinius,

kurių mes iki šiol nepajėgėme įžiūrėti savo akimis.

but that we've never been able to see with our own eyes until now.

This is our team.

Štai mūsų komanda.

Everything I showed you today is a result of a collaboration

Viskas, ką jums šiandien parodžiau, yra bendro darbo vaisius

with this great group of people you see here,

šios puikios žmonių grupės.

and I encourage you and welcome you to check out our website,

Aš jus skatinu apsilankyti mūsų internetiniame puslapyje,

try it out yourself,

išbandyti jį

and join us in exploring this world of tiny motions.

ir prisijungti prie mūsų tyrinėjant mažų judesių pasaulį.

Thank you.

Ačiū.

(Applause)