See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Překladatel: Tomáš Brukner Korektor: Petra Aquamarine

So over the past few centuries, microscopes have revolutionized our world.

Během několika posledních století nám mikroskopy pomohly změnit pohled na svět.

They revealed to us a tiny world of objects, life and structures

Odhalily nám miniaturní svět věcí, života a struktur,

that are too small for us to see with our naked eyes.

které jsou příliš malé na to, abychom je prostým okem viděli.

They are a tremendous contribution to science and technology.

Jsou ohromným přínosem pro vědu a techniku.

Today I'd like to introduce you to a new type of microscope,

Dnes vám představím nový typ mikroskopu,

a microscope for changes.

mikroskop změn.

It doesn't use optics like a regular microscope

Nepoužívá, jako normální mikroskop,

to make small objects bigger,

ke zvětšení malých věcí optiku,

but instead it uses a video camera and image processing

ale videokameru a techniky zpracování obrazu

to reveal to us the tiniest motions and color changes in objects and people,

k odhalení těch nejmenších změn v pohybu a barvách věcí i lidí.

changes that are impossible for us to see with our naked eyes.

Změn tak malých, že je lidské oko nepostřehne.

And it lets us look at our world in a completely new way.

To nám umožňuje se na svět dívat úplně novým způsobem.

So what do I mean by color changes?

Co mám na mysli tou změnou barvy?

Our skin, for example, changes its color very slightly

Například naše kůže mění lehounce svou barvu,

when the blood flows under it.

když pod ní protéká krev.

That change is incredibly subtle,

Tato změna je neuvěřitelně drobná,

which is why, when you look at other people,

a proto, když se díváme na ostatní lidi,

when you look at the person sitting next to you,

když se podíváte na člověka, co sedí vedle vás,

you don't see their skin or their face changing color.

tak nezpozorujete v jeho obličeji ani na kůži žádnou změnu barvy.

When we look at this video of Steve here, it appears to us like a static picture,

Když si přehrajeme video Steva, tak nám připadá jako statický obraz;

but once we look at this video through our new, special microscope,

ale když se na toto video podíváme naším novým speciálním mikroskopem,

suddenly we see a completely different image.

najednou vidíme jinou věc.

What you see here are small changes in the color of Steve's skin,

To, co vidíme, jsou malé změny v barvě Steveova obličeje,

magnified 100 times so that they become visible.

stokrát zvětšené, a tedy pro nás viditelné.

We can actually see a human pulse.

Můžeme dokonce i vidět jeho puls.

We can see how fast Steve's heart is beating,

Můžeme nejen vidět, jak rychle Steveovo srdce bije,

but we can also see the actual way that the blood flows in his face.

ale též kudy přesně krev proudí v jeho obličeji.

And we can do that not just to visualize the pulse,

Náš mikroskop můžeme použít nejen k vizualizaci tepu,

but also to actually recover our heart rates,

ale též ke zjištění srdečního rytmu

and measure our heart rates.

a jeho změření.

And we can do it with regular cameras and without touching the patients.

A zvládáme to s pomocí normálních kamer, bez dotyku s pacientem.

So here you see the pulse and heart rate we extracted from a neonatal baby

Tady vidíte tep a srdeční rytmus, který jsme změřili u kojence

from a video we took with a regular DSLR camera,

z videa pořízeného normální DSLR kamerou.

and the heart rate measurement we get

Takto získané měření

is as accurate as the one you'd get with a standard monitor in a hospital.

je stejně přesné jako měření získané ze srdečního monitoru v nemocnici.

Dokonce to ani nemusí být video, které jsme sami nahráli.

And it doesn't even have to be a video we recorded.

We can do it essentially with other videos as well.

Zvládneme to i s cizími videi.

So I just took a short clip from "Batman Begins" here

Tady jsem jen vzal krátký záběr z filmu "Batman začíná",

just to show Christian Bale's pulse.

abych ukázal puls Christiana Balea.

(Laughter)

(Smích)

And you know, presumably he's wearing makeup,

Víte, patrně má na sobě makeup,

the lighting here is kind of challenging,

takže světlo je zde trochu problematické,

but still, just from the video, we're able to extract his pulse

ale stejně, jen z tohoto videa, jsme vyextrahovali jeho puls

and show it quite well.

a názorně ho ukázali.

So how do we do all that?

Takže jak to vše dokážeme?

We basically analyze the changes in the light that are recorded

V podstatě analyzujeme změny světla v záznamu,

at every pixel in the video over time,

pro každý pixel v průběhu času,

and then we crank up those changes.

a pak tyto změny zvětšíme.

We make them bigger so that we can see them.

Zvětšíme je, abychom je lépe viděli.

The tricky part is that those signals,

Záludná část je, že ty signály,

those changes that we're after, are extremely subtle,

ty změny, co se snažíme změřit, jsou extrémně malé,

so we have to be very careful when you try to separate them

takže je musíme opatrně oddělit

from noise that always exists in videos.

od šumu, který je vždy ve videích přítomen.

So we use some clever image processing techniques

Proto používáme chytré techniky zpracování obrazu,

to get a very accurate measurement of the color at each pixel in the video,

abychom získali velmi přesně barvu každého pixelu ve videu.

and then the way the color changes over time,

Z toho zjistíme, jak se ta barva v průběhu času mění,

and then we amplify those changes.

a nakonec tyto změny zvětšíme.

We make them bigger to create those types of enhanced videos, or magnified videos,

Zvětšíme je, abychom vytvořili takto vylepšená videa,

that actually show us those changes.

která názorně ukazují změny.

But it turns out we can do that not just to show tiny changes in color,

Ale ukázalo se, že můžeme udělat to samé nejen k zobrazení změn barev,

but also tiny motions,

ale též miniaturních pohybů.

and that's because the light that gets recorded in our cameras

A to díky tomu, že světlo, které kamera zaznamená,

will change not only if the color of the object changes,

se změní nejen tehdy, když objekt změní barvu,

but also if the object moves.

ale i když se pohne.

So this is my daughter when she was about two months old.

Tady je má dcera, když jí byly asi dva měsíce.

It's a video I recorded about three years ago.

Toto video jsem pořídil asi tak tři roky zpátky.

And as new parents, we all want to make sure our babies are healthy,

Jako čerství rodiče si chceme být jistí, že jsou naše děti zdravé,

that they're breathing, that they're alive, of course.

že dýchají a že jsou naživu.

So I too got one of those baby monitors

Pořídil jsem si baby monitor,

so that I could see my daughter when she was asleep.

abych mohl vidět dceru, když spí.

And this is pretty much what you'll see with a standard baby monitor.

Toto je v podstatě to samé, co uvidíte se standardním monitorem.

You can see the baby's sleeping, but there's not too much information there.

Vidíte, že díte spí, ale víc informací se nedozvíte.

There's not too much we can see.

Moc toho nelze vidět.

Wouldn't it be better, or more informative, or more useful,

Nebylo by lepší, víc informativní či užitečné,

if instead we could look at the view like this.

kdybychom se na to mohli podívat takto?

So here I took the motions and I magnified them 30 times,

Tady jsem zvětšil všechny pohyby třicetkrát,

and then I could clearly see that my daughter was indeed alive and breathing.

a teď můžete jasně vidět, že má dcera je skutečně živá a že dýchá.

(Laughter)

(Smích)

Here is a side-by-side comparison.

Tady je porovnání vedle sebe.

So again, in the source video, in the original video,

A znovu, v původním videu,

there's not too much we can see,

toho není příliš vidět.

but once we magnify the motions, the breathing becomes much more visible.

Ale jakmile zvětšíme změny, dýchání je mnohem viditelnější.

And it turns out, there's a lot of phenomena

A jak se ukazuje, existuje spousta věcí,

we can reveal and magnify with our new motion microscope.

které můžeme ukázat a zvětšit naším novým pohybovým mikroskopem.

We can see how our veins and arteries are pulsing in our bodies.

Můžeme vidět, jak naše žíly a cévy pulzují.

We can see that our eyes are constantly moving

Můžeme vidět, že se naše oči stále pohybují

in this wobbly motion.

v tomto viklavém pohybu.

And that's actually my eye,

Toto je mé oko.

and again this video was taken right after my daughter was born,

Video bylo též pořízeno krátce poté, co se má dcera narodila,

so you can see I wasn't getting too much sleep. (Laughter)

takže můžete vidět, že jsem toho moc nenaspal. (Smích)

Even when a person is sitting still,

I o člověku, který v klidu sedí,

there's a lot of information we can extract

je hodně informací, které můžeme získat:

about their breathing patterns, small facial expressions.

jeho vzor dýchání či malé výrazy tváře.

Maybe we could use those motions

Možná můžeme využít tyto pohyby,

to tell us something about our thoughts or our emotions.

aby nám prozradili něco o našich myšlenkách či emocích.

We can also magnify small mechanical movements,

Můžeme též zvětšit malé mechanické pohyby,

like vibrations in engines,

jako vibrace motorů,

that can help engineers detect and diagnose machinery problems,

což může pomoci inženýrům detekovat a diagnostikovat problémy se stroji,

or see how our buildings and structures sway in the wind and react to forces.

nebo vidět budovy a stavby, jak se kývají ve větru.

Those are all things that our society knows how to measure in various ways,

To jsou všechno věci, které dnes umíme měřit různými způsoby,

but measuring those motions is one thing,

ale měření pohybů je jedna věc,

and actually seeing those motions as they happen

zatímco schopnost vidět, jak se právě dějí,

is a whole different thing.

je věc úplně jiná.

And ever since we discovered this new technology,

Jakmile jsme vytvořili tuto novou technologii,

we made our code available online so that others could use and experiment with it.

zpřístupnili jsme ji online, aby i ostatní ji mohli vyzkoušet a experimentovat s ní.

It's very simple to use.

Je velmi jednoduché ji použít.

It can work on your own videos.

Umí pracovat s vašimi vlastními videi.

Our collaborators at Quanta Research even created this nice website

Naši kolegové z Quanta Research dokonce vytvořili tuto stránku,

where you can upload your videos and process them online,

kde můžete nahrát svá videa a zpracovat je online,

so even if you don't have any experience in computer science or programming,

takže i pokud nemáte žádné zkušenosti s informatikou či programováním,

you can still very easily experiment with this new microscope.

můžete snadno experimentovat s naším novým mikroskopem.

And I'd like to show you just a couple of examples

Chtěl bych vám ukázat pár příkladů toho,

of what others have done with it.

jak ostatní experimentovali.

So this video was made by a YouTube user called Tamez85.

Toto video bylo vytvořeno uživatelem YouTube s přezdívkou Tamez85.

I don't know who that user is,

Nevím, kdo ten uživatel je,

but he, or she, used our code

ale on nebo ona použil náš program

to magnify small belly movements during pregnancy.

ke zvětšení malých pohybů břicha během těhotenství.

It's kind of creepy.

Je to trochu strašidelné.

(Laughter)

(Smích)

People have used it to magnify pulsing veins in their hands.

Lidé náš program použili ke zvětšení pulzujících žil v rukách.

And you know it's not real science unless you use guinea pigs,

A jak víte, nic není skutečná věda, dokud nepoužijete morčata.

and apparently this guinea pig is called Tiffany,

Toto morče se patrně jmenuje Tiffany.

and this YouTube user claims it is the first rodent on Earth

Tento uživatel YouTube tvrdí, že je to první hlodavec na Zemi,

that was motion-magnified.

jehož pohyb byl takto zvětšen.

You can also do some art with it.

Lze vytvořit i nové umění.

So this video was sent to me by a design student at Yale.

Toto video mi zaslala studentka designu z univerzity Yale.

She wanted to see if there's any difference

Chtěla vidět, jestli jsou rozdíly v tom,

in the way her classmates move.

jak se její spolužáci pohybují.

She made them all stand still, and then magnified their motions.

Nechala je všechny v klidu stát, a pak zvětšila jejich pohyby.

It's like seeing still pictures come to life.

Je to jako vidět fotografii ožít.

And the nice thing with all those examples

A skvělá věc na všech těchto příkladech je,

is that we had nothing to do with them.

že my s nimi nemáme nic společného.

We just provided this new tool, a new way to look at the world,

My jsme jen zpřístupnili nový nástroj, nový způsob, jak se dívat na svět,

and then people find other interesting, new and creative ways of using it.

a potom lidé přišli s novými, zajímavými a kreativními způsoby, jak jej využít.

But we didn't stop there.

Ale my jsme u toho nezůstali.

This tool not only allows us to look at the world in a new way,

Tento nástroj nám nejen dává nový pohled na svět,

it also redefines what we can do

ale také redefinuje to, co umíme dělat,

and pushes the limits of what we can do with our cameras.

a posouvá limity toho, co zvládneme s kamerou.

So as scientists, we started wondering,

Takže jsme jako vědci začali bádat:

what other types of physical phenomena produce tiny motions

jaké další fyzikální jevy produkují miniaturní pohyby,

that we could now use our cameras to measure?

které by naše kamery mohly zachytit?

And one such phenomenon that we focused on recently is sound.

A jeden z těchto jevů, kterému se v poslední době věnujeme, je zvuk.

Sound, as we all know, is basically changes

Zvuk jsou ve své podstatě změny v tlaku,

in air pressure that travel through the air.

které se pohybují vzduchem.

Those pressure waves hit objects and they create small vibrations in them,

Tyto tlakové vlny narážejí do předmětů a vytváří v nich malé vibrace,

which is how we hear and how we record sound.

díky kterým slyšíme a zaznamenáváme zvuk.

But it turns out that sound also produces visual motions.

Ale ukazuje se, že zvuk produkuje i vizuální pohyby.

Those are motions that are not visible to us

Tyto pohyby nejsou viditelné pro nás,

but are visible to a camera with the right processing.

ale jsou viditelné pro kameru se správným zpracováním.

So here are two examples.

Takže tady máme dva příklady.

This is me demonstrating my great singing skills.

Tady prezentuji své skvělé pěvecké schopnosti.

(Singing)

(Zpěv)

(Laughter)

(Smích)

And I took a high-speed video of my throat while I was humming.

Vytvořil jsem vysokorychlostní video svého krku.

Again, if you stare at that video,

Pokud se na něj podíváme,

there's not too much you'll be able to see,

moc toho neuvidíme,

but once we magnify the motions 100 times, we can see all the motions and ripples

ale pokud zvětšíme pohyby stokrát, můžeme je vidět na krku spolu s vlnami,

in the neck that are involved in producing the sound.

které souvisí s tvorbou zvuku.

That signal is there in that video.

Ten signál je tam, ve videu.

We also know that singers can break a wine glass

Též víme, že zpěváci zvládnou rozbít sklenici,

if they hit the correct note.

pokud trefí správný tón.

So here, we're going to play a note

Takže tady pouštíme tón,

that's in the resonance frequency of that glass

který má rezonanční frekvenci sklenice,

through a loudspeaker that's next to it.

do reproduktoru vedle ní.

Once we play that note and magnify the motions 250 times,

Po zapnutí a zvětšení pohybů 250 krát

we can very clearly see how the glass vibrates

můžeme jasně vidět, jak sklo vibruje

and resonates in response to the sound.

a rezonuje kvůli zvuku.

It's not something you're used to seeing every day.

To není něco, co vidíte každý den.

But this made us think. It gave us this crazy idea.

Ale to nás donutilo se zamyslet. A přivedlo nás to k šílenému nápadu.

Can we actually invert this process and recover sound from video

Můžeme otočit tento proces a získat zvuk z videa tím,

by analyzing the tiny vibrations that sound waves create in objects,

že zanalyzujeme miniaturní vibrace, vytvořené zvukovými vlnami v objektech,

and essentially convert those back into the sounds that produced them.

a převést je zpět na zvuk?

In this way, we can turn everyday objects into microphones.

Tímto způsobem můžeme proměnit obyčejné věci v mikrofony.

So that's exactly what we did.

A přesně to jsme udělali.

So here's an empty bag of chips that was lying on a table,

Tady máme prázdný obal od čipsů ležící na stole

and we're going to turn that bag of chips into a microphone

a my ho proměníme v mikrofon tím,

by filming it with a video camera

že ho nahrajeme videokamerou

and analyzing the tiny motions that sound waves create in it.

a zanalyzujeme miniaturní pohyby vytvořené zvukem.

So here's the sound that we played in the room.

Tento zvuk jsme přehráli v místnosti.

(Music: "Mary Had a Little Lamb")

(Hudba: "Mary Had a Little Lamb")

And this is a high-speed video we recorded of that bag of chips.

Nahráli jsme vysokorychlostní video obalu od chipsů.

Again it's playing.

Hudba zase hraje.

There's no chance you'll be able to see anything going on in that video

Na tom videu nemáte šanci nic zpozorovat,

just by looking at it,

but here's the sound we were able to recover just by analyzing

ale tady je zvuk, který jsme zrekonstruovali z toho videa

the tiny motions in that video.

analýzou miniaturních pohybů.

(Music: "Mary Had a Little Lamb")

(Hudba: "Mary Had a Little Lamb")

I call it -- Thank you.

Říkáme tomu - díky.

(Applause)

(Potlesk)

I call it the visual microphone.

Říkáme tomu vizuální mikrofon.

We actually extract audio signals from video signals.

Opravdu extrahujeme zvukový signál ze signálu videa.

And just to give you a sense of the scale of the motions here,

Abyste měli představu o velikosti pohybů, které se zde odehrávají:

a pretty loud sound will cause that bag of chips to move less than a micrometer.

velmi hlasitý zvuk způsobí, že se ten obal pohne o méně než mikrometr.

That's one thousandth of a millimeter.

To je tisícina milimetru.

That's how tiny the motions are that we are now able to pull out

Tak miniaturní pohyby teď zvládneme rozeznat

just by observing how light bounces off objects

pouhým pozorováním odrazů světla od objektů

and gets recorded by our cameras.

našimi kamerami.

We can recover sounds from other objects, like plants.

Můžeme získat zvuk i z jiných předmětů, třeba květin.

(Music: "Mary Had a Little Lamb")

(Hudba: "Mary Had a Little Lamb")

And we can recover speech as well.

Zvládneme též extrahovat řeč.

So here's a person speaking in a room.

Tady v místnosti hovoří člověk.

Voice: Mary had a little lamb whose fleece was white as snow,

Hlas: Mary měla jehňátko s vlnou bílou jako sníh,

and everywhere that Mary went, that lamb was sure to go.

a všude kam Mary šla, jehňátko šlo s ní.

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: Tady je ta řeč získaná

just from this video of that same bag of chips.

z videa z obalu od chipsů.

Voice: Mary had a little lamb whose fleece was white as snow,

Hlas: Mary měla jehňátko s vlnou bílou jako sníh,

and everywhere that Mary went, that lamb was sure to go.

a všude kam Mary šla, jehňátko šlo s ní.

MR: We used "Mary Had a Little Lamb"

MR: Použili jsme "Mary Had a Little Lamb",

because those are said to be the first words

protože to měla být první slova,

that Thomas Edison spoke into his phonograph in 1877.

která pronesl Thomas Edison do svého fonografu v roce 1877.

It was one of the first sound recording devices in history.

Byl to první zaznamenaný zvuk v historii.

It basically directed the sounds onto a diaphragm

V podstatě navedl zvuk na membránu,

that vibrated a needle that essentially engraved the sound on tinfoil

která rozvibrovala jehlu a ta vyryla zvuk na alobal,

that was wrapped around the cylinder.

který byl obalen kolem válečku.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Zde je ukážka záznamu a přehrání zvuku Edisonovým fonografem.

(Video) Voice: Testing, testing, one two three.

(Video) Hlas: Test, test, jedna dvě tři.

Mary had a little lamb whose fleece was white as snow,

Mary měla jehňátko s vlnou bílou jako sníh,

and everywhere that Mary went, the lamb was sure to go.

a všude kam Mary šla, jehňátko šlo s ní.

Testing, testing, one two three.

Test, test, jedna dvě tři.

Mary had a little lamb whose fleece was white as snow,

Mary měla jehňátko s vlnou bílou jako sníh,

and everywhere that Mary went, the lamb was sure to go.

a všude kam Mary šla, jehňátko šlo s ní.

MR: And now, 137 years later,

MR: A nyní, o 137 let později,

we're able to get sound in pretty much similar quality

můžeme získat zvuk v podobné kvalitě

but by just watching objects vibrate to sound with cameras,

pouhým pozorováním objektů kamerou, jak kvůli zvuku vibrují,

and we can even do that when the camera

a dokonce to zvládneme s kamerou

is 15 feet away from the object, behind soundproof glass.

vzdálenou 4.5 metru, za zvukotěsným sklem.

So this is the sound that we were able to recover in that case.

V tomto případě jsme zvládli zrekonstruovat tento zvuk.

Voice: Mary had a little lamb whose fleece was white as snow,

Hlas: Mary měla jehňátko s vlnou bílou jako sníh,

and everywhere that Mary went, the lamb was sure to go.

a všude kam Mary šla, jehňátko šlo s ní.

MR: And of course, surveillance is the first application that comes to mind.

MR: První využití, které napadne každého, je odposlech.

(Laughter)

(Smích)

But it might actually be useful for other things as well.

Ale může to být dobré i pro jiné věci.

Maybe in the future, we'll be able to use it, for example,

Možná díky tomu například zvládneme v budoucnu

to recover sound across space,

zrekonstruovat zvuk napříč vesmírem,

because sound can't travel in space, but light can.

neboť zvuk se ve vesmíru nešíří, ale světlo ano.

We've only just begun exploring

Jen začínáme objevovat

other possible uses for this new technology.

další využití této nové technologie.

It lets us see physical processes that we know are there

Díky ní lze vidět fyzické procesy, o kterých víme, že existují,

but that we've never been able to see with our own eyes until now.

ale které jsme zatím nebyli schopni pozorovat vlastníma očima.

This is our team.

Toto je náš tým.

Everything I showed you today is a result of a collaboration

Vše, co jsem vám dnes ukázal, je výsledkem spolupráce

with this great group of people you see here,

s touto skvělou skupinou lidí

and I encourage you and welcome you to check out our website,

a já vám doporučuji navštívit naši internetovou stránku,

try it out yourself,

vyzkoušejte si to sami,

and join us in exploring this world of tiny motions.

a pojďte s námi objevovat svět miniaturních pohybů.

Thank you.

Díky.

(Applause)

(Potlesk)