See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Vertaald door: Huub Ramakers Nagekeken door: Axel Saffran

So over the past few centuries, microscopes have revolutionized our world.

Tijdens de laatste paar eeuwen hebben microscopen onze wereld gerevolutioneerd.

Ze onthullen een piepkleine wereld van objecten, leven en structuren aan ons

They revealed to us a tiny world of objects, life and structures

that are too small for us to see with our naked eyes.

die te klein zijn om met onze blote ogen gezien te worden.

They are a tremendous contribution to science and technology.

Ze dragen in enorme mate bij aan wetenschap en technologie.

Today I'd like to introduce you to a new type of microscope,

Vandaag wil ik jullie voorstellen aan een nieuw soort microscoop,

a microscope for changes.

een microscoop voor veranderingen.

It doesn't use optics like a regular microscope

Hij gebruikt geen optica zoals een normale microscoop

to make small objects bigger,

om kleine objecten mee te vergroten,

but instead it uses a video camera and image processing

maar in plaats daarvan wordt een videocamera en beeldverwerking gebruikt

to reveal to us the tiniest motions and color changes in objects and people,

om ons de kleinste bewegingen en kleur- mutaties in objecten en mensen te tonen,

changes that are impossible for us to see with our naked eyes.

veranderingen die onmogelijk te zien zijn met ons blote oog.

And it lets us look at our world in a completely new way.

Het laat ons de wereld op een compleet nieuwe manier bekijken.

So what do I mean by color changes?

Wat bedoel ik nou met kleurmutaties?

Our skin, for example, changes its color very slightly

Onze huid verandert bijvoorbeeld heel lichtjes van kleur

when the blood flows under it.

als er bloed onderdoor stroomt.

That change is incredibly subtle,

Die verandering is ongelooflijk subtiel

which is why, when you look at other people,

en daarom, wanneer je naar anderen kijkt,

when you look at the person sitting next to you,

als je naar degene die naast je zit kijkt,

you don't see their skin or their face changing color.

zie je niet dat hun huid of hun gezicht van kleur verandert.

When we look at this video of Steve here, it appears to us like a static picture,

Als we naar deze video van Steve kijken lijkt het een onbeweeglijk beeld,

but once we look at this video through our new, special microscope,

maar wanneer we door onze nieuwe, speciale microscoop een kijkje nemen

suddenly we see a completely different image.

zien we opeens een totaal ander beeld.

What you see here are small changes in the color of Steve's skin,

Wat je ziet zijn kleine veranderingen in de huidskleur van Steve,

magnified 100 times so that they become visible.

100x vergroot om zichtbaar te kunnen worden.

We can actually see a human pulse.

We kunnen zelfs een hartslag zien.

We can see how fast Steve's heart is beating,

We kunnen zien hoe snel zijn hartslag is,

but we can also see the actual way that the blood flows in his face.

maar ook de manier waarop het bloed in zijn gezicht stroomt.

And we can do that not just to visualize the pulse,

Behalve dat we hiermee de hartslag visualiseren

but also to actually recover our heart rates,

kunnen we er ook onze hartslag mee herstellen

and measure our heart rates.

en onze hartslag meten.

And we can do it with regular cameras and without touching the patients.

Dat kunnen we zonder reguliere camera's en zonder de patiënten aan te raken.

So here you see the pulse and heart rate we extracted from a neonatal baby

Hier zie je de polsslag en het hartritme van een neonatale baby

from a video we took with a regular DSLR camera,

in een video die gemaakt is met een normale DSLR camera

and the heart rate measurement we get

en de hartslagmeting die we verkrijgen

is as accurate as the one you'd get with a standard monitor in a hospital.

is net zo secuur als degene die met een standaardmonitor in 't ziekenhuis.

And it doesn't even have to be a video we recorded.

Het hoeft geen door ons opgenomen video te zijn.

We can do it essentially with other videos as well.

We kunnen het in principe ook bij andere video's toepassen.

So I just took a short clip from "Batman Begins" here

Ik heb hier even een kort fragment van "Batman Begins" genomen om

just to show Christian Bale's pulse.

de hartslag van Christian Bale te tonen.

(Laughter)

(Gelach)

And you know, presumably he's wearing makeup,

En weet je, hij draagt vermoedelijk make-up,

the lighting here is kind of challenging,

de belichting hier is nogal lastig

but still, just from the video, we're able to extract his pulse

en nog steeds kunnen we zijn hartslag uit de video halen

and show it quite well.

en best aardig laten zien.

So how do we do all that?

Dus hoe doen we dat nou allemaal?

We basically analyze the changes in the light that are recorded

In principe analyseren we de veranderingen in het licht

at every pixel in the video over time,

die per pixel worden gefilmd

and then we crank up those changes.

en dan vergroten we de veranderingen.

We make them bigger so that we can see them.

We vergroten ze opdat we ze kunnen waarnemen.

The tricky part is that those signals,

Het lastige is dat die signalen,

those changes that we're after, are extremely subtle,

die mutaties waar we naar zoeken, extreem subtiel zijn,

so we have to be very careful when you try to separate them

zodat we erg precies moeten zijn als we ze loskoppelen

from noise that always exists in videos.

van de ruis die altijd in dit soort video's voorkomt.

So we use some clever image processing techniques

We gebruiken dus enkele slimme beeldverwerkingstechnieken

to get a very accurate measurement of the color at each pixel in the video,

om in elke pixel van de video een precieze meting van de kleur te krijgen

and then the way the color changes over time,

en de manier waarop die kleur verandert

and then we amplify those changes.

waarna we die veranderingen versterken.

We make them bigger to create those types of enhanced videos, or magnified videos,

We maken ze groter zodat dit soort versterkte, of vergrootte video's

that actually show us those changes.

ons echt die veranderingen kunnen laten zien.

But it turns out we can do that not just to show tiny changes in color,

Het blijkt echter dat we niet alleen veranderingen in kleur kunnen tonen,

but also tiny motions,

maar ook piepkleine bewegingen,

and that's because the light that gets recorded in our cameras

omdat het licht dat in onze camera's opgeslagen wordt

will change not only if the color of the object changes,

niet alleen verandert als de kleur van het object wijzigt,

but also if the object moves.

maar ook wanneer het object beweegt.

So this is my daughter when she was about two months old.

Dit is mijn dochter, toen ze twee maanden oud was

It's a video I recorded about three years ago.

Deze video heb ik drie jaar geleden opgenomen.

And as new parents, we all want to make sure our babies are healthy,

Als nieuwe ouders willen we allemaal dat onze kinderen gezond zijn,

that they're breathing, that they're alive, of course.

dat ze ademen, dat ze leven, natuurlijk.

So I too got one of those baby monitors

Dus ik kocht ook zo'n baby-monitor

so that I could see my daughter when she was asleep.

om naar mijn dochter te kunnen kijken als ze sliep.

And this is pretty much what you'll see with a standard baby monitor.

Dit is wat je zo ongeveer ziet op een normale baby-monitor.

You can see the baby's sleeping, but there's not too much information there.

Je ziet dat de baby slaapt,

maar verder is er niet veel informatie zichtbaar.

There's not too much we can see.

Zou het niet fijner zijn, of meer informatief en bruikbaar

Wouldn't it be better, or more informative, or more useful,

if instead we could look at the view like this.

als we in plaats daarvan dit perspectief zouden hebben.

So here I took the motions and I magnified them 30 times,

Hier heb ik de bewegingen 30 keer uitvergroot

and then I could clearly see that my daughter was indeed alive and breathing.

en daardoor kon ik duidelijk zien dat mijn dochter inderdaad in leven was.

(Laughter)

(Gelach)

Here is a side-by-side comparison.

Hier kun je het naast elkaar zien.

So again, in the source video, in the original video,

Nogmaals, in de bronvideo, de oorspronkelijke video,

there's not too much we can see,

kunnen we niet erg veel zien,

but once we magnify the motions, the breathing becomes much more visible.

maar wanneer we de bewegingen versterken, wordt de ademhaling beter zichtbaar.

And it turns out, there's a lot of phenomena

Het blijkt dat we veel verschijnselen

we can reveal and magnify with our new motion microscope.

kunnen ontdekken en versterken met onze nieuwe bewegingsmicroscoop.

We can see how our veins and arteries are pulsing in our bodies.

We kunnen zien hoe onze aders en slagaders kloppen in ons lichaam.

We can see that our eyes are constantly moving

We kunnen zien dat onze ogen

voortdurend wiebelen.

in this wobbly motion.

And that's actually my eye,

Dit is mijn oog,

and again this video was taken right after my daughter was born,

opgenomen vlak nadat mijn dochter was geboren,

so you can see I wasn't getting too much sleep. (Laughter)

dus je kunt zien dat ik slaap tekort kwam. (Gelach)

Even when a person is sitting still,

Zelfs wanneer iemand stil zit,

there's a lot of information we can extract

is er veel zichtbare informatie

about their breathing patterns, small facial expressions.

over hun ademhalingspatroon en kleine gezichtsuitdrukkingen.

Maybe we could use those motions

Mogelijk kunnen we deze bewegingen

to tell us something about our thoughts or our emotions.

gebruiken om ons iets te vertellen over onze gedachten en emoties.

We can also magnify small mechanical movements,

We kunnen ook kleine mechanische bewegingen versterken,

like vibrations in engines,

zoals trillingen in motoren,

that can help engineers detect and diagnose machinery problems,

die ingenieurs helpen met het opsporen en analyseren van machinale problemen,

or see how our buildings and structures sway in the wind and react to forces.

of om te zien hoe onze bouwwerken door wind gaan wiegen en op krachten reageren.

Those are all things that our society knows how to measure in various ways,

Onze maatschappij weet hoe we dit alles op verschillende manieren dit kunnen meten,

but measuring those motions is one thing,

maar deze bewegingen meten is één ding,

and actually seeing those motions as they happen

om ze daadwerkelijk waar te nemen

is a whole different thing.

is iets heel anders.

And ever since we discovered this new technology,

Sinds dat we deze nieuwe technologie ontdekt hebben

we made our code available online so that others could use and experiment with it.

is onze code online gepubliceerd zodat anderen ermee kunnen experimenteren.

It's very simple to use.

Het is erg eenvoudig te gebruiken.

It can work on your own videos.

Het werkt ook bij je eigen video's.

Our collaborators at Quanta Research even created this nice website

Onze collega's van Quanta Research hebben deze mooie site gemaakt

where you can upload your videos and process them online,

waar je je video's online kan verwerken,

so even if you don't have any experience in computer science or programming,

zodat je zonder enige ervaring met computers of programmeren

you can still very easily experiment with this new microscope.

heel makkelijk kan experimenteren met deze microscoop.

And I'd like to show you just a couple of examples

Ik wil jullie graag een aantal voorbeelden tonen

of what others have done with it.

van wat anderen er al mee gedaan hebben.

So this video was made by a YouTube user called Tamez85.

Deze video is gemaakt door de YouTube-gebruiker Tamez85.

I don't know who that user is,

Ik heb geen idee wie 't is,

but he, or she, used our code

maar hij, of zij, heeft onze code gebruikt

to magnify small belly movements during pregnancy.

om kleine bewegingen in de buik tijdens een zwangerschap te vergroten.

It's kind of creepy.

Het is een beetje eng.

(Laughter)

(Gelach)

People have used it to magnify pulsing veins in their hands.

Men heeft het gebruikt om kloppende aderen in hun handen te vergroten.

And you know it's not real science unless you use guinea pigs,

Je weet dat het niet echt wetenschap is tenzij er cavia's gebruikt worden

and apparently this guinea pig is called Tiffany,

en blijkbaar heet deze cavia Tiffany,

and this YouTube user claims it is the first rodent on Earth

die volgens deze YouTuber het eerste knaagdier ter wereld is

that was motion-magnified.

waarvan de bewegingen vergoot zijn.

You can also do some art with it.

Je kan er ook kunst mee maken.

So this video was sent to me by a design student at Yale.

Deze video werd door een designstudent van Yale ingestuurd.

She wanted to see if there's any difference

Ze wilde weten of er een verschil te zien was

in the way her classmates move.

in hoe haar klasgenoten bewegen.

She made them all stand still, and then magnified their motions.

Ze liet ze allemaal stilstaan en vergrootte toen hun bewegingen.

It's like seeing still pictures come to life.

Het is alsof roerloze beelden tot leven komen.

And the nice thing with all those examples

Het mooie van al deze voorbeelden

is that we had nothing to do with them.

is dat wij er niks mee te maken hebben gehad.

We just provided this new tool, a new way to look at the world,

We hebben slechts deze nieuwe manier aangeleverd, een nieuwe blik op de wereld,

and then people find other interesting, new and creative ways of using it.

waarna anderen weer interessante, nieuwe en creatieve gebruiksvormen bedachten.

But we didn't stop there.

Maar daar eindigt het niet.

This tool not only allows us to look at the world in a new way,

Dit instrument zorgt niet alleen voor een andere blik op de wereld.

it also redefines what we can do

Het geeft een nieuwe definitie van wat we kunnen

and pushes the limits of what we can do with our cameras.

en verlegt de grenzen van wat er mogelijk is met onze camera's.

So as scientists, we started wondering,

Als wetenschappers begonnen we na te denken

what other types of physical phenomena produce tiny motions

over welke andere soorten fysieke verschijnselen kleine bewegingen opleveren

that we could now use our cameras to measure?

die nu met onze camera's gemeten kunnen worden.

And one such phenomenon that we focused on recently is sound.

Een van de verschijnselen waarop we ons recentelijk richtten, is geluid.

Sound, as we all know, is basically changes

Geluid, zoals je weet, is de verandering

in air pressure that travel through the air.

van luchtdruk die door de lucht beweegt.

Those pressure waves hit objects and they create small vibrations in them,

Deze drukgolven raken objecten en creëren er kleine trillingen in,

which is how we hear and how we record sound.

waardoor wij geluid kunnen horen en opnemen.

But it turns out that sound also produces visual motions.

Het blijkt echter dat geluid ook visuele bewegingen creëert.

Those are motions that are not visible to us

De bewegingen zijn niet waarneembaar voor ons,

but are visible to a camera with the right processing.

maar wel voor een camera met de juiste bewerkingen.

So here are two examples.

Hier zijn twee voorbeelden.

This is me demonstrating my great singing skills.

Dit ben ik met mijn enorme zangtalent.

(Singing)

(Zingend)

(Laughter)

(Gelach)

And I took a high-speed video of my throat while I was humming.

Dit is een hogesnelheidsvideo van mijn keel toen ik neuriede.

Again, if you stare at that video,

Nogmaals, als je naar de video kijkt

there's not too much you'll be able to see,

is er niet veel dat je kunt zien,

but once we magnify the motions 100 times, we can see all the motions and ripples

maar als we de bewegingen 100 keer groter maken, zien we alle bewegingen en golfjes

in the neck that are involved in producing the sound.

die in de nek plaatsvinden om het geluid te produceren.

That signal is there in that video.

Dat signaal is zichtbaar in die video.

We also know that singers can break a wine glass

We weten ook dat zangers een wijnglas kunnen breken

if they hit the correct note.

als ze de juist noot bereiken.

So here, we're going to play a note

Hier gaan we een noot spelen,

that's in the resonance frequency of that glass

die in de resonantiefrequentie van dat glas ligt,

through a loudspeaker that's next to it.

door middel van de luidspreker ernaast.

Once we play that note and magnify the motions 250 times,

Wanneer we die nooit spelen en de bewegingen 250 maal vergroten

we can very clearly see how the glass vibrates

kunnen we duidelijk zien dat het glas trilt

and resonates in response to the sound.

en weerklinkt als gevolg van het geluid.

It's not something you're used to seeing every day.

Dat is niet iets dat je iedere dag te zien krijgt.

But this made us think. It gave us this crazy idea.

Dit zorgde ervoor dat we gingen nadenken. Het gaf ons dit gekke idee.

Can we actually invert this process and recover sound from video

Kunnen we dit proces omdraaien en geluid uit een video herkrijgen

by analyzing the tiny vibrations that sound waves create in objects,

door de kleine trillingen te analyseren die geluidsgolven in objecten creëren

and essentially convert those back into the sounds that produced them.

en eigenlijk deze golven weer omzetten in de geluiden waardoor ze geproduceerd zijn?

In this way, we can turn everyday objects into microphones.

Op de manier kunnen we alledaagse objecten omtoveren tot microfoons.

So that's exactly what we did.

Dus dat is precies wat we gedaan hebben.

So here's an empty bag of chips that was lying on a table,

Hier zie je een lege zak chips die op tafel ligt

and we're going to turn that bag of chips into a microphone

en wij gaan die zak chips veranderen in een microfoon

by filming it with a video camera

door te filmen met een camera en

and analyzing the tiny motions that sound waves create in it.

de kleine bewegingen die geluidsgolven erin creëren te analyseren.

So here's the sound that we played in the room.

Hier is het geluid dat we in de kamer afspeelden.

(Music: "Mary Had a Little Lamb")

(Muziek: "Mary Had a Little Lamb")

And this is a high-speed video we recorded of that bag of chips.

Dit is een hogesnelheidsvideo waarin de zak chips gefilmd is.

Again it's playing.

Het speelt opnieuw.

There's no chance you'll be able to see anything going on in that video

Je kan met geen enkele mogelijkheid zien wat er in de video gebeurt

just by looking at it,

door gewoon te kijken,

but here's the sound we were able to recover just by analyzing

maar hier is het geluid dat we hebben gevonden aan de hand van

the tiny motions in that video.

een video-analyse van die kleine bewegingen.

(Music: "Mary Had a Little Lamb")

(Muziek: "Mary Had a Little Lamb")

I call it -- Thank you.

Ik noem het -- Dank u.

(Applause)

(Applaus)

I call it the visual microphone.

Ik noem het de visuele microfoon.

We actually extract audio signals from video signals.

We extraheren in feite audiosignalen uit videosignalen.

And just to give you a sense of the scale of the motions here,

Om een idee te geven van de schaal van deze bewegingen;

a pretty loud sound will cause that bag of chips to move less than a micrometer.

een vrij hard geluid zorgt ervoor dat de chips minder dan een micrometer bewegen.

That's one thousandth of a millimeter.

Dat is een duizendste van een millimeter.

That's how tiny the motions are that we are now able to pull out

Zo klein zijn de bewegingen die wij nu kunnen ontdekken

just by observing how light bounces off objects

door gewoon te bekijken hoe licht weerkaatst van objecten

and gets recorded by our cameras.

en hoe onze camera's dat vastleggen.

We can recover sounds from other objects, like plants.

We kunnen geluid herstellen vanuit andere objecten zoals planten.

(Music: "Mary Had a Little Lamb")

(Muziek: "Mary Had a Little Lamb")

And we can recover speech as well.

En we kunnen ook spraak herleiden.

So here's a person speaking in a room.

Hier is een persoon die in een kamer spreekt.

Voice: Mary had a little lamb whose fleece was white as snow,

Stem: Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: Hier is de spraak dan weer herleid

just from this video of that same bag of chips.

van de video van diezelfde zak chips.

Voice: Mary had a little lamb whose fleece was white as snow,

Stem: Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

MR: We used "Mary Had a Little Lamb"

MR: We namen "Mary Had a Little Lamb"

because those are said to be the first words

omdat dat de eerste woorden waren

that Thomas Edison spoke into his phonograph in 1877.

die Thomas Edison in 1877 in zijn grammofoon sprak.

It was one of the first sound recording devices in history.

Het was een van de eerste geluidsopnameapparaten in de geschiedenis.

It basically directed the sounds onto a diaphragm

Het stuurde de woorden eigenlijk naar een trilplaat

that vibrated a needle that essentially engraved the sound on tinfoil

die een naald deed vibreren waardoor het geluid werd gegraveerd op bladtin

that was wrapped around the cylinder.

dat om een cilinder heen was verpakt.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Nu een voorbeeld van het opnemen en af- spelen van geluid met Edison's grammofoon.

(Video) Voice: Testing, testing, one two three.

(Video) Stem: Test, test, een twee drie

Mary had a little lamb whose fleece was white as snow,

Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, the lamb was sure to go.

and everywhere that Mary went, the lamb was sure to go.

Testing, testing, one two three.

Test, test, een twee drie.

Mary had a little lamb whose fleece was white as snow,

Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, the lamb was sure to go.

and everywhere that Mary went, the lamb was sure to go.

MR: And now, 137 years later,

MR: En nu, 137 jaar later,

we're able to get sound in pretty much similar quality

kunnen we geluid opwekken in ongeveer dezelfde kwaliteit

but by just watching objects vibrate to sound with cameras,

door via camera's te kijken naar objecten die slechts trillen

and we can even do that when the camera

en dat kan zelfs als de camera

is 15 feet away from the object, behind soundproof glass.

5 meter van het object afstaat, achter geluiddicht glas.

So this is the sound that we were able to recover in that case.

Dit is het geluid dat we in zo'n geval wisten te reconstrueren/

Voice: Mary had a little lamb whose fleece was white as snow,

Stem: Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, the lamb was sure to go.

and everywhere that Mary went, the lamb was sure to go.

MR: And of course, surveillance is the first application that comes to mind.

MR: Natuurlijk is surveillance de eerste toepassing die je te binnen schiet.

(Laughter)

(Gelach)

But it might actually be useful for other things as well.

Maar het zou voor andere zaken ook erg nuttig kunnen blijken.

Maybe in the future, we'll be able to use it, for example,

Misschien kunnen we 't in de toekomst bijvoorbeeld gebruiken

to recover sound across space,

om geluid in de ruimte te reconstrueren,

because sound can't travel in space, but light can.

want geluid kan niet door de ruimte heen, maar licht kan dat wel.

We've only just begun exploring

We zijn pas net begonnen met het ontdekken van

other possible uses for this new technology.

andere mogelijke gebruiksvormen voor deze nieuwe technologie.

It lets us see physical processes that we know are there

Het toont fysieke processen waarvan we weten dat ze er zijn,

but that we've never been able to see with our own eyes until now.

maar die we nog niet met onze blote ogen konden waarnemen.

This is our team.

Dit is ons team.

Everything I showed you today is a result of a collaboration

Alles wat jullie vandaag zagen is het gevolg van

with this great group of people you see here,

de samenwerking van deze groep mensen.

and I encourage you and welcome you to check out our website,

Ik wil jullie aansporen om onze website te bekijken,

het zelf te proberen

try it out yourself,

and join us in exploring this world of tiny motions.

en met ons de wereld van kleine bewegingen te verkennen.

Thank you.

Dankjewel.

(Applaus)

(Applause)