See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Tłumaczenie: Marta Konieczna Korekta: Rysia Wand

So over the past few centuries, microscopes have revolutionized our world.

Przez ostatnie kilka stuleci

mikroskopy zrewolucjonizowały świat.

They revealed to us a tiny world of objects, life and structures

Odkryły przed nami maleńki świat obiektów,

żywych organizmów i struktur,

that are too small for us to see with our naked eyes.

zbyt małych, by dostrzec je gołym okiem.

They are a tremendous contribution to science and technology.

To olbrzymi wkład w naukę i technikę.

Today I'd like to introduce you to a new type of microscope,

Chcę przedstawić nowy typ mikroskopu,

a microscope for changes.

mikroskop śledzący zmiany.

It doesn't use optics like a regular microscope

Nie stosuje optyki, tak jak tradycyjny mikroskop,

to make small objects bigger,

by powiększać małe obiekty,

but instead it uses a video camera and image processing

zamiast tego za pomocą kamery i przetwarzania obrazów,

to reveal to us the tiniest motions and color changes in objects and people,

odkrywa najdrobniejsze ruchy i zmiany w kolorze obiektów i ludzi.

changes that are impossible for us to see with our naked eyes.

Zmiany niewidoczne dla nas gołym okiem.

And it lets us look at our world in a completely new way.

Pozwala to spojrzeć na świat w zupełnie nowy sposób.

So what do I mean by color changes?

O co chodzi ze zmianą kolorów?

Our skin, for example, changes its color very slightly

Otóż skóra nieznacznie zmienia kolor,

when the blood flows under it.

kiedy krąży pod nią krew.

That change is incredibly subtle,

Zmiany te są niebywale subtelne,

which is why, when you look at other people,

dlatego patrząc na innych,

when you look at the person sitting next to you,

na osobę siedzącą obok,

you don't see their skin or their face changing color.

nie widzimy zmian w odcieniu skóry.

When we look at this video of Steve here, it appears to us like a static picture,

To nagranie Steve'a wygląda jak statyczny obraz,

but once we look at this video through our new, special microscope,

ale gdy przepuścimy je

przez nasz nowy mikroskop,

suddenly we see a completely different image.

zobaczymy zupełnie inny obraz.

What you see here are small changes in the color of Steve's skin,

To nieznaczne zmiany w kolorze skóry,

magnified 100 times so that they become visible.

zwiększone 100 razy, żeby było je widać.

We can actually see a human pulse.

Widzimy ludzki puls.

We can see how fast Steve's heart is beating,

Widzimy, jak szybko bije serce,

but we can also see the actual way that the blood flows in his face.

a nawet w którą stronę płynie krew.

And we can do that not just to visualize the pulse,

Można to robić nie tylko w celu wizualizacji pulsu,

but also to actually recover our heart rates,

ale też by odtworzyć rytm pracy serca

and measure our heart rates.

i go zmierzyć.

And we can do it with regular cameras and without touching the patients.

Możemy to robić zwykłymi kamerami, bez dotykania pacjentów.

So here you see the pulse and heart rate we extracted from a neonatal baby

Tu widzimy puls i pracę serca noworodka

from a video we took with a regular DSLR camera,

z filmu nagranego zwykłą kamerą cyfrową.

and the heart rate measurement we get

Otrzymany pomiar pracy serca

is as accurate as the one you'd get with a standard monitor in a hospital.

jest równie dokładny, jak pomiary standardowym sprzętem szpitalnym.

And it doesn't even have to be a video we recorded.

Nie musi to być koniecznie film nagrany przez nas.

We can do it essentially with other videos as well.

Możemy to zrobić z dowolnym filmem.

So I just took a short clip from "Batman Begins" here

Oto fragment filmu "Batman: Początek",

just to show Christian Bale's pulse.

widzimy puls Christiana Bale'a.

(Laughter)

(Śmiech)

And you know, presumably he's wearing makeup,

Zapewne ma na sobie makijaż,

the lighting here is kind of challenging,

oświetlenie nie jest najlepsze,

but still, just from the video, we're able to extract his pulse

a i tak można wydobyć jego puls ze zwykłego nagrania

and show it quite well.

i pokazać go całkiem dobrze.

So how do we do all that?

Jak to robimy?

We basically analyze the changes in the light that are recorded

Głównie analizujemy zmiany światła

at every pixel in the video over time,

nagrane z czasem w każdym pikselu,

and then we crank up those changes.

a potem podkręcamy te zmiany.

We make them bigger so that we can see them.

Zwiększamy je, by były widoczne.

The tricky part is that those signals,

Najtrudniejsze jednak jest to,

those changes that we're after, are extremely subtle,

że zmiany te są niezwykle subtelne,

so we have to be very careful when you try to separate them

trzeba bardzo uważać, by oddzielić je

from noise that always exists in videos.

od szumów zawartych w każdym nagraniu.

So we use some clever image processing techniques

Stosujemy sprytne techniki przetwarzania obrazów,

to get a very accurate measurement of the color at each pixel in the video,

by uzyskać bardzo dokładne pomiary koloru każdego piksela w nagraniu,

and then the way the color changes over time,

a potem zmiany tego koloru w czasie.

and then we amplify those changes.

Następnie wzmacniamy te zmiany.

We make them bigger to create those types of enhanced videos, or magnified videos,

Zwiększamy je, by stworzyć mocno przesadzone nagrania,

that actually show us those changes.

które pokażą te zmiany.

But it turns out we can do that not just to show tiny changes in color,

Okazuje się, że można uwidocznić nie tylko zmiany koloru,

but also tiny motions,

ale też delikatne ruchy.

and that's because the light that gets recorded in our cameras

Światło zarejestrowane przez kamery

will change not only if the color of the object changes,

zmienia się nie tylko wraz z kolorem obiektu,

but also if the object moves.

ale także podczas ruchu.

So this is my daughter when she was about two months old.

Oto moja córka, kiedy miała dwa miesiące.

It's a video I recorded about three years ago.

Nagrałem ten film może trzy lata temu.

And as new parents, we all want to make sure our babies are healthy,

Młodzi rodzice martwią się o zdrowie dzieci,

that they're breathing, that they're alive, of course.

o to, czy oddychają, czy żyją.

So I too got one of those baby monitors

Dostałem taki monitor dla dzieci,

so that I could see my daughter when she was asleep.

aby obserwować córkę, kiedy śpi.

And this is pretty much what you'll see with a standard baby monitor.

To widać na standardowym monitorze.

You can see the baby's sleeping, but there's not too much information there.

Widzimy, że dziecko śpi, ale nie mamy wielu informacji.

There's not too much we can see.

Nie widać za wiele.

Wouldn't it be better, or more informative, or more useful,

Czy nie byłoby lepiej,

if instead we could look at the view like this.

gdybyśmy widzieli coś takiego?

So here I took the motions and I magnified them 30 times,

Ruchy zostały tutaj zwiększone 30 razy,

and then I could clearly see that my daughter was indeed alive and breathing.

dzięki czemu widać wyraźnie, że moja córka żyje i oddycha.

(Laughter)

(Śmiech)

Here is a side-by-side comparison.

Oto porównanie.

So again, in the source video, in the original video,

W oryginalnym filmie

there's not too much we can see,

nie widać za wiele,

but once we magnify the motions, the breathing becomes much more visible.

ale po wzmocnieniu ruchów, oddychanie jest wyraźniejsze.

And it turns out, there's a lot of phenomena

Jest wiele zjawisk,

we can reveal and magnify with our new motion microscope.

które możemy wzmacniać za pomocą tego mikroskopu.

We can see how our veins and arteries are pulsing in our bodies.

Widać jak pulsują żyły i arterie.

We can see that our eyes are constantly moving

Widać, że oczy są w ciągłym ruchu,

in this wobbly motion.

drgając na różne strony.

And that's actually my eye,

To moje oko,

and again this video was taken right after my daughter was born,

sfilmowane niedługo po narodzinach córki,

so you can see I wasn't getting too much sleep. (Laughter)

jak widać, nie spałem wtedy za dobrze. (Śmiech)

Even when a person is sitting still,

Nawet, gdy ktoś siedzi nieruchomo,

there's a lot of information we can extract

możemy wydobyć wiele informacji.

about their breathing patterns, small facial expressions.

Sposób oddychania, delikatna mimika.

Maybe we could use those motions

Może moglibyśmy użyć tego,

to tell us something about our thoughts or our emotions.

by odkrywać myśli czy emocje?

We can also magnify small mechanical movements,

Możemy zwiększyć także niewielkie ruchy mechaniczne,

like vibrations in engines,

takie jak wibracje silników,

that can help engineers detect and diagnose machinery problems,

co pomoże inżynierom wykryć problemy techniczne maszyn,

or see how our buildings and structures sway in the wind and react to forces.

albo zobaczyć reakcje budynków na wiatr i przeciążenia.

Those are all things that our society knows how to measure in various ways,

Wszystko to możemy już mierzyć na różne sposoby.

but measuring those motions is one thing,

Ale pomiary to jedno,

and actually seeing those motions as they happen

a zobaczenie ruchu na własne oczy

is a whole different thing.

to coś zupełnie innego.

And ever since we discovered this new technology,

Po odkryciu tej technologii

we made our code available online so that others could use and experiment with it.

udostępniliśmy kod w sieci, by każdy mógł poeksperymentować.

It's very simple to use.

Jest łatwy do użycia.

It can work on your own videos.

Może zadziałać na waszych nagraniach.

Our collaborators at Quanta Research even created this nice website

Nasi współpracownicy z Quantum Research stworzyli nawet stronę,

where you can upload your videos and process them online,

gdzie można umieszczać filmy i przetwarzać je online.

so even if you don't have any experience in computer science or programming,

Nawet nie znając się na programowaniu,

you can still very easily experiment with this new microscope.

i tak można eksperymentować z tą techniką.

And I'd like to show you just a couple of examples

Pokażę kilka przykładów,

of what others have done with it.

co można z nią zrobić.

So this video was made by a YouTube user called Tamez85.

Oto film użytkownika Youtube Tamez85.

I don't know who that user is,

Nie wiem, kto to,

but he, or she, used our code

ale użył, lub użyła naszego kodu,

to magnify small belly movements during pregnancy.

by zwiększyć niewielkie ruchy brzucha w ciąży.

It's kind of creepy.

Wygląda trochę przerażająco.

(Laughter)

(Śmiech)

People have used it to magnify pulsing veins in their hands.

Ludzie zwiększali pulsowanie żył w rękach.

And you know it's not real science unless you use guinea pigs,

Nie ma prawdziwej nauki bez świnek morskich.

and apparently this guinea pig is called Tiffany,

Ta tutaj nazywa się Tiffany.

and this YouTube user claims it is the first rodent on Earth

Ten użytkownik utrzymuje, że to pierwszy gryzoń na ziemi,

that was motion-magnified.

którego ruchy zwiększono.

You can also do some art with it.

Można też tworzyć dzięki temu sztukę.

So this video was sent to me by a design student at Yale.

Oto film nadesłany przez studentkę designu z Yale.

She wanted to see if there's any difference

Chciała sprawdzić, czy są jakieś różnice

in the way her classmates move.

w ruchach kolegów i koleżanek.

She made them all stand still, and then magnified their motions.

Kazała im stać nieruchomo, a potem wzmocniła ruchy.

It's like seeing still pictures come to life.

To tak, jakby obrazy nagle ożyły.

And the nice thing with all those examples

Najlepsze w tych przykładach jest to,

is that we had nothing to do with them.

że nie musieliśmy nic z nimi robić.

We just provided this new tool, a new way to look at the world,

Dostarczyliśmy tylko nowe narzędzie, nowy sposób patrzenia na świat.

and then people find other interesting, new and creative ways of using it.

Ludzie sami znajdują ciekawe i kreatywne sposoby użycia.

But we didn't stop there.

Ale to nie wszystko.

This tool not only allows us to look at the world in a new way,

To narzędzie nie tylko pozwala patrzeć na świat inaczej.

it also redefines what we can do

Zmienia definicje i zwiększa zakres tego,

and pushes the limits of what we can do with our cameras.

co można uchwycić kamerą.

So as scientists, we started wondering,

Jako naukowcy, zastanawialiśmy się,

what other types of physical phenomena produce tiny motions

jakie inne zjawiska fizyczne powodują niewielkie ruchy,

that we could now use our cameras to measure?

które teraz można by zmierzyć kamerą?

And one such phenomenon that we focused on recently is sound.

Ostatnio skupiliśmy się na dźwięku.

Sound, as we all know, is basically changes

Dźwięk to przede wszystkim

in air pressure that travel through the air.

zmiany ciśnienia w powietrzu.

Those pressure waves hit objects and they create small vibrations in them,

Fale akustyczne trafiają na obiekty, wprawiając je w niewielkie wibracje.

which is how we hear and how we record sound.

Dzięki temu słyszymy i rejestrujemy dźwięki.

But it turns out that sound also produces visual motions.

Okazuje się, że dźwięk produkuje też widzialne ruchy.

Those are motions that are not visible to us

Nie są widoczne dla nas,

but are visible to a camera with the right processing.

ale po odpowiedniej obróbce, są widoczne dla kamery.

So here are two examples.

Oto dwa przykłady.

This is me demonstrating my great singing skills.

Tutaj prezentuję wspaniałe zdolności wokalne.

(Singing)

(Śpiew)

(Laughter)

(Śmiech)

And I took a high-speed video of my throat while I was humming.

Nagrałem przyspieszone wideo grdyki podczas śpiewu.

Again, if you stare at that video,

Patrząc na nagranie,

there's not too much you'll be able to see,

nie widać za wiele.

but once we magnify the motions 100 times, we can see all the motions and ripples

Ale po zwiększeniu ruchów 100 razy, widzimy ruchy i zmarszczki na szyi

in the neck that are involved in producing the sound.

związane z produkcją dźwięku.

That signal is there in that video.

Widać ten sygnał na filmie.

We also know that singers can break a wine glass

Śpiewacy mogą rozbijać kieliszki,

if they hit the correct note.

jeśli trafią w odpowiedni dźwięk.

So here, we're going to play a note

Zagramy teraz dźwięki,

that's in the resonance frequency of that glass

odpowiadające rezonansowi tego kieliszka,

through a loudspeaker that's next to it.

za pomocą głośnika.

Once we play that note and magnify the motions 250 times,

Po zagraniu i zwiększeniu ruchów 250 razy,

we can very clearly see how the glass vibrates

wyraźnie widać, jak kieliszek wibruje

and resonates in response to the sound.

i wpada w rezonans w odpowiedzi na dźwięk.

It's not something you're used to seeing every day.

To niecodzienny widok,

But this made us think. It gave us this crazy idea.

który dał nam do myślenia. Wpadliśmy na szalony pomysł.

Can we actually invert this process and recover sound from video

Możemy odwrócić ten proces i odzyskać dźwięk z nagrania,

by analyzing the tiny vibrations that sound waves create in objects,

analizując delikatne wibracje, tworzone przez fale na obiektach,

and essentially convert those back into the sounds that produced them.

i następnie przetworzyć je na dźwięki.

In this way, we can turn everyday objects into microphones.

Dzięki temu zwykłe przedmioty można zmienić w mikrofony.

So that's exactly what we did.

To właśnie zrobiliśmy.

So here's an empty bag of chips that was lying on a table,

Na stole leży pusta paczka po czipsach.

and we're going to turn that bag of chips into a microphone

Zrobimy z niej mikrofon,

by filming it with a video camera

nagrywając ją kamerą

and analyzing the tiny motions that sound waves create in it.

i analizując delikatne ruchy, wytworzone przez fale dźwiękowe.

So here's the sound that we played in the room.

Odtworzyliśmy tam tę piosenkę.

(Music: "Mary Had a Little Lamb")

(Muzyka: "Mary małą owcę ma")

And this is a high-speed video we recorded of that bag of chips.

A to przyśpieszone wideo tej paczki czipsów.

Again it's playing.

Znów je słychać.

There's no chance you'll be able to see anything going on in that video

Gołym okiem nie widać tu niczego,

just by looking at it,

but here's the sound we were able to recover just by analyzing

ale można odtworzyć sam dźwięk,

the tiny motions in that video.

analizując lekkie ruchy widoczne na nagraniu.

(Music: "Mary Had a Little Lamb")

(Muzyka: "Mary małą owcę ma")

I call it -- Thank you.

Nazwałem to... Dziękuję

(Applause)

(Brawa)

I call it the visual microphone.

Nazwałem to wizualnym mikrofonem.

We actually extract audio signals from video signals.

Wydobywamy sygnały audio z sygnału wideo.

And just to give you a sense of the scale of the motions here,

Żeby przedstawić wam skalę tych ruchów:

a pretty loud sound will cause that bag of chips to move less than a micrometer.

głośny dźwięk sprawi, że paczka poruszy się o mikrometr.

That's one thousandth of a millimeter.

To jedna tysięczna milimetra.

That's how tiny the motions are that we are now able to pull out

Tak małe ruchy możemy wydobyć,

just by observing how light bounces off objects

obserwując światło odbite od obiektów,

and gets recorded by our cameras.

nagrane kamerą.

We can recover sounds from other objects, like plants.

To możliwe także z innymi obiektami, na przykład z roślinami.

(Music: "Mary Had a Little Lamb")

(Muzyka: "Mary małą owcę ma")

And we can recover speech as well.

A także z mową.

So here's a person speaking in a room.

Ktoś mówi w tym pokoju.

Voice: Mary had a little lamb whose fleece was white as snow,

Głos: Mary małą owcę ma, owcę ma, owcę ma,

and everywhere that Mary went, that lamb was sure to go.

która biała jest jak mgła, Ach, biała jest jak mgła.

Michael Rubinstein: And here's that speech again recovered

A tutaj ten sam głos po odzyskaniu

just from this video of that same bag of chips.

z tej samej paczki czipsów.

Voice: Mary had a little lamb whose fleece was white as snow,

Głos: Mary małą owcę ma, owcę ma, owcę ma,

and everywhere that Mary went, that lamb was sure to go.

która biała jest jak mgła, Ach, biała jest jak mgła.

MR: We used "Mary Had a Little Lamb"

Użyliśmy "Mary małą owcę ma",

because those are said to be the first words

bo to ponoć pierwsze słowa,

that Thomas Edison spoke into his phonograph in 1877.

które Thomas Edison wypowiedział do fonografu w 1877 roku.

It was one of the first sound recording devices in history.

To jedno z pierwszych nagrań głosu w historii.

It basically directed the sounds onto a diaphragm

Urządzenie kierowało dźwięki na membranę,

that vibrated a needle that essentially engraved the sound on tinfoil

która wibrując igłą, grawerowała dźwięk na folii aluminiowej,

that was wrapped around the cylinder.

owiniętej wokół cylindra.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Oto pokaz nagrywania i odtwarzania dźwięku za pomocą fonografu Edisona.

(Video) Voice: Testing, testing, one two three.

Próba, próba, raz, dwa, trzy.

Mary had a little lamb whose fleece was white as snow,

Mary małą owcę ma, owcę ma, owcę ma,

and everywhere that Mary went, the lamb was sure to go.

która biała jest jak mgła, Ach, biała jest jak mgła.

Testing, testing, one two three.

Próba, próba, raz, dwa, trzy.

Mary had a little lamb whose fleece was white as snow,

Mary małą owcę ma, owcę ma, owcę ma,

and everywhere that Mary went, the lamb was sure to go.

która biała jest jak mgła, Ach, biała jest jak mgła.

MR: And now, 137 years later,

A teraz, 137 lat później,

we're able to get sound in pretty much similar quality

możemy odtworzyć dźwięk podobnej jakości

but by just watching objects vibrate to sound with cameras,

nagrywając obiekty wibrujące od dźwięku.

and we can even do that when the camera

Da się to zrobić nawet kamerą oddaloną o kilka metrów,

is 15 feet away from the object, behind soundproof glass.

za dźwiękoszczelną szybą.

So this is the sound that we were able to recover in that case.

Taki dźwięk odtworzymy w tym wypadku.

Voice: Mary had a little lamb whose fleece was white as snow,

Mary małą owcę ma, owcę ma, owcę ma,

and everywhere that Mary went, the lamb was sure to go.

która biała jest jak mgła, Ach, biała jest jak mgła.

MR: And of course, surveillance is the first application that comes to mind.

Inwigilacja to pierwsza rzecz, która się przy tym nasuwa.

(Laughter)

(Śmiech)

But it might actually be useful for other things as well.

Ale może się to przydać i do czegoś innego.

Maybe in the future, we'll be able to use it, for example,

Może w przyszłości będzie można na przykład

to recover sound across space,

odzyskiwać dźwięki z kosmosu.

because sound can't travel in space, but light can.

Dźwięk nie podróżuje w próżni, ale światło tak.

We've only just begun exploring

Dopiero zaczynamy odkrywać

other possible uses for this new technology.

inne możliwości tej nowej techniki.

It lets us see physical processes that we know are there

Pokazuje nam procesy fizyczne, o których wiedzieliśmy,

but that we've never been able to see with our own eyes until now.

ale których dotąd nie widać było gołym okiem.

This is our team.

Oto nasza ekipa.

Everything I showed you today is a result of a collaboration

Wszystko, co dziś pokazałem, jest wynikiem współpracy

with this great group of people you see here,

tej grupy wspaniałych ludzi.

and I encourage you and welcome you to check out our website,

Zachęcam do odwiedzenia naszej strony,

try it out yourself,

spróbujcie sami jak to działa,

and join us in exploring this world of tiny motions.

dołączcie do nas, odkrywając świat maleńkich ruchów.

Thank you.

Dziękuję,

(Applause)

(Brawa)