Abe Davis: New video technology that reveals an object's hidden properties

Vertaald door: Rik Delaet Nagekeken door: Robert de Ridder

Most of us think of motion as a very visual thing.

De meesten zien beweging als iets zeer visueels.

If I walk across this stage or gesture with my hands while I speak,

Als ik over dit podium loop of met mijn handen gebaar,

that motion is something that you can see.

dan kan je die beweging zien.

But there's a world of important motion that's too subtle for the human eye,

Maar heel veel bewegingen

zijn te subtiel voor het menselijk oog.

and over the past few years,

In de afgelopen jaren

we've started to find that cameras

merkten we dat camera's

can often see this motion even when humans can't.

deze beweging vaak waarnemen, zelfs wanneer de mens dat niet kan.

So let me show you what I mean.

Dit is wat ik bedoel.

On the left here, you see video of a person's wrist,

Links zie je een video van iemands pols,

and on the right, you see video of a sleeping infant,

rechts een video van een slapend kind,

but if I didn't tell you that these were videos,

maar als ik je niet zou vertellen dat dit video's waren,

you might assume that you were looking at two regular images,

zou je kunnen denken dat je gewone foto’s zag,

because in both cases,

omdat in beide gevallen

these videos appear to be almost completely still.

er bijna geen beweging te zien is in beide video's.

But there's actually a lot of subtle motion going on here,

Maar er is eigenlijk een heleboel subtiele beweging gaande.

and if you were to touch the wrist on the left,

Als je de pols links zou aanraken,

you would feel a pulse,

zou je hem voelen kloppen.

and if you were to hold the infant on the right,

Bij het kind rechts

you would feel the rise and fall of her chest

zou je de borst voelen stijgen en dalen

as she took each breath.

bij elke ademhaling.

And these motions carry a lot of significance,

Deze bewegingen zitten vol met informatie,

but they're usually too subtle for us to see,

die meestal zo subtiel is, dat we ze niet kunnen zien.

so instead, we have to observe them

Daarom nemen we ze waar

through direct contact, through touch.

door direct contact, door middel van aanraking.

But a few years ago,

Maar een paar jaar geleden,

my colleagues at MIT developed what they call a motion microscope,

hebben mijn collega's aan het MIT een ‘bewegingsmicroscoop’ ontwikkeld.

which is software that finds these subtle motions in video

Dat is software die deze subtiele bewegingen in video vindt

and amplifies them so that they become large enough for us to see.

en versterkt zodat we ze kunnen zien.

And so, if we use their software on the left video,

Met hun software

kunnen we het kloppen van de pols zien.

it lets us see the pulse in this wrist,

and if we were to count that pulse,

Als we het kloppen tellen,

we could even figure out this person's heart rate.

kennen we zelfs de hartslag van deze persoon.

And if we used the same software on the right video,

Met dezelfde software kunnen we op de video rechts

it lets us see each breath that this infant takes,

de ademhaling van dit kind zien

and we can use this as a contact-free way to monitor her breathing.

en zonder fysisch contact haar ademhaling controleren.

And so this technology is really powerful because it takes these phenomena

Deze technologie is echt krachtig, want ze kan deze fenomenen,

that we normally have to experience through touch

die we normaal ervaren door aanraking,

and it lets us capture them visually and non-invasively.

visueel en ongestoord vastleggen.

So a couple years ago, I started working with the folks that created that software,

Een paar jaar geleden begon ik te werken met de mensen die die software creëerden.

and we decided to pursue a crazy idea.

We besloten een ​​gek idee uit te werken.

We thought, it's cool that we can use software

We vonden het cool om software te gebruiken

to visualize tiny motions like this,

om kleine bewegingen als deze te visualiseren

and you can almost think of it as a way to extend our sense of touch.

als een manier om onze tastzin uit te breiden.

But what if we could do the same thing with our ability to hear?

Maar wat als we datzelfde konden doen met ons gehoor?

What if we could use video to capture the vibrations of sound,

Wat als we video konden gebruiken om geluidstrillingen op te nemen --

which are just another kind of motion,

immers ook een soort beweging --

and turn everything that we see into a microphone?

zodat we van alles wat we zien een 'microfoon' konden maken.

Now, this is a bit of a strange idea,

Dat is een beetje een raar idee,

so let me try to put it in perspective for you.

dus laat me dat uitleggen.

Traditional microphones work by converting the motion

Traditionele microfoons werken door het omzetten van de beweging

of an internal diaphragm into an electrical signal,

van een intern membraan in een elektrisch signaal.

and that diaphragm is designed to move readily with sound

Dat membraan is ontworpen om gemakkelijk te bewegen met geluid,

so that its motion can be recorded and interpreted as audio.

zodat de beweging kan worden geregistreerd

en geïnterpreteerd als audio.

But sound causes all objects to vibrate.

Maar geluid laat alle objecten trillen.

Those vibrations are just usually too subtle and too fast for us to see.

Die trillingen zijn meestal te subtiel en te snel voor ons om te zien.

So what if we record them with a high-speed camera

Wat als we ze opnemen met een hogesnelheidscamera

and then use software to extract tiny motions

en dan software gebruiken om de kleine bewegingen

te halen uit onze hogesnelheidsvideo,

from our high-speed video,

and analyze those motions to figure out what sounds created them?

en die bewegingen analyseren om de geluiden te achterhalen

die ze veroorzaakten?

This would let us turn visible objects into visual microphones from a distance.

Dan kunnen we zichtbare objecten

op afstand gebruiken als visuele microfoons.

And so we tried this out,

Dit hebben we uitgeprobeerd.

and here's one of our experiments,

Hier is een van onze experimenten:

where we took this potted plant that you see on the right

we filmden deze plant daar rechts

and we filmed it with a high-speed camera

met een hogesnelheidscamera,

while a nearby loudspeaker played this sound.

terwijl een luidspreker in de buurt dit geluid speelde.

(Music: "Mary Had a Little Lamb")

(Muziek: 'Mary Had a Little Lamb')

And so here's the video that we recorded,

Hier is de video die we opnamen

and we recorded it at thousands of frames per second,

met duizenden frames per seconde.

but even if you look very closely,

Maar zelfs als je heel goed kijkt,

all you'll see are some leaves

is alles wat je ziet enkele bladeren...

that are pretty much just sitting there doing nothing,

... zonder veel actie. (Gelach)

because our sound only moved those leaves by about a micrometer.

Ons geluid verplaatst die bladeren slechts ongeveer één micrometer.

Dat is één tienduizendste van een centimeter,

That's one ten-thousandth of a centimeter,

which spans somewhere between a hundredth and a thousandth

ergens tussen een honderdste en een duizendste

of a pixel in this image.

van een pixel in dit beeld.

So you can squint all you want,

Je kunt dus nóg zo goed turen,

but motion that small is pretty much perceptually invisible.

die beweging is te klein om zichtbaar te zijn.

But it turns out that something can be perceptually invisible

Maar het blijkt dat iets niet te zien kan zijn

and still be numerically significant,

en toch numeriek significant.

because with the right algorithms,

Want met de juiste algoritmen

we can take this silent, seemingly still video

kunnen we uit deze stille, schijnbaar stille video

and we can recover this sound.

dit geluid herleiden.

(Music: "Mary Had a Little Lamb")

(Muziek: 'Mary Had a Little Lamb')

(Applause)

(Applaus)

So how is this possible?

Hoe is dat mogelijk?

How can we get so much information out of so little motion?

Hoe halen we zo veel informatie uit zo weinig beweging?

Well, let's say that those leaves move by just a single micrometer,

Stel dat die bladeren slechts één enkele micrometer uitwijken,

and let's say that that shifts our image by just a thousandth of a pixel.

en het beeld slechts één duizendste van een pixel verschuift.

That may not seem like much,

Dat lijkt misschien niet veel,

but a single frame of video

maar één enkel videoframe

may have hundreds of thousands of pixels in it,

kan honderdduizenden pixels bevatten.

and so if we combine all of the tiny motions that we see

Als we al die kleine bewegingen combineren

from across that entire image,

van dat complete beeld,

then suddenly a thousandth of a pixel

kan een duizendste van een pixel ineens

can start to add up to something pretty significant.

iets heel significants opleveren.

On a personal note, we were pretty psyched when we figured this out.

Even terzijde: we waren behoorlijk in onze nopjes

toen we dit hadden uitgeknobbeld.

(Laughter)

(Gelach)

But even with the right algorithm,

Maar zelfs met het juiste algoritme

we were still missing a pretty important piece of the puzzle.

misten we nog steeds een vrij belangrijk stuk van de puzzel.

You see, there are a lot of factors that affect when and how well

Veel factoren zijn van invloed op wanneer en hoe goed

this technique will work.

deze techniek werkt:

There's the object and how far away it is;

het object en hoe ver het is,

there's the camera and the lens that you use;

de camera en de lens,

how much light is shining on the object and how loud your sound is.

hoeveel licht op het object valt en hoe hard het geluid is.

And even with the right algorithm,

En zelfs met het juiste algoritme

we had to be very careful with our early experiments,

moesten we zeer zorgvuldig zijn bij onze vroege experimenten,

because if we got any of these factors wrong,

want als een van deze factoren verkeerd zat,

there was no way to tell what the problem was.

was er geen manier om te zien wat het probleem was.

We would just get noise back.

We kregen dan alleen lawaai terug.

And so a lot of our early experiments looked like this.

Veel van onze vroege experimenten zagen er zo uit.

And so here I am,

Hier ben ik

and on the bottom left, you can kind of see our high-speed camera,

en linksonder zie je onze hogesnelheidscamera,

which is pointed at a bag of chips,

gericht op een zak chips,

and the whole thing is lit by these bright lamps.

en de hele zaak wordt verlicht door sterke lampen.

And like I said, we had to be very careful in these early experiments,

We moesten zorgvuldig zijn bij deze vroege experimenten,

so this is how it went down.

dus ging het zo.

(Video) Abe Davis: Three, two, one, go.

(Video) Abe Davis: Drie, twee, een, start!

Mary had a little lamb! Little lamb! Little lamb!

Mary had a little lamb! Little lamb! Little lamb!

(Laughter)

(Gelach)

AD: So this experiment looks completely ridiculous.

AD: Dit experiment lijkt volstrekt belachelijk.

(Laughter)

(Gelach)

I mean, I'm screaming at a bag of chips --

Ik bedoel, ik sta te schreeuwen tegen een ​​zak chips -

(Laughter) --

(Gelach) -

and we're blasting it with so much light,

en we bestraalden hem met zoveel licht,

we literally melted the first bag we tried this on. (Laughter)

dat de eerste zak letterlijk smolt. (Gelach)

But ridiculous as this experiment looks,

Maar hoe belachelijk dit experiment ook lijkt,

it was actually really important,

het was eigenlijk heel belangrijk,

because we were able to recover this sound.

omdat we dit geluid konden herstellen.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Applause)

(Applaus)

AD: And this was really significant,

AD: En dit was echt belangrijk,

want het was de eerste keer dat we

because it was the first time we recovered intelligible human speech

begrijpelijke menselijke spraak terugwonnen

from silent video of an object.

van een video zonder geluid van een object.

And so it gave us this point of reference,

Dit gaf ons een referentiepunt,

and gradually we could start to modify the experiment,

en geleidelijk aan konden we het experiment wijzigen,

using different objects or moving the object further away,

met verschillende voorwerpen of van verder weg,

using less light or quieter sounds.

met minder licht of zachtere geluiden.

And we analyzed all of these experiments

We analyseerden al deze proeven

until we really understood the limits of our technique,

totdat we de grenzen van onze techniek vonden.

because once we understood those limits,

Want zodra we die grenzen vonden,

we could figure out how to push them.

konden we achterhalen hoe we ze konden oprekken.

And that led to experiments like this one,

Dat leidde tot experimenten zoals dit.

where again, I'm going to speak to a bag of chips,

Ik sprak nog eens tegen een zak chips,

but this time we've moved our camera about 15 feet away,

maar dit keer met onze camera ongeveer 5 meter er vandaan,

outside, behind a soundproof window,

buiten, achter een geluiddicht raam,

and the whole thing is lit by only natural sunlight.

en alles alleen belicht met natuurlijk zonlicht.

And so here's the video that we captured.

Hier is de video daarvan.

And this is what things sounded like from inside, next to the bag of chips.

Zo klonk het binnen, bij de zak chips.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Audio) Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

AD: And here's what we were able to recover from our silent video

AD: Hier is wat we uit onze stille video konden terugwinnen

captured outside behind that window.

van achter dat raam.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Audio) Mary had a little lamb! whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

(Applause)

(Applaus)

AD: And there are other ways that we can push these limits as well.

AD: Er zijn ook andere manieren om deze grenzen te verleggen.

So here's a quieter experiment

Hier is een rustiger experiment:

where we filmed some earphones plugged into a laptop computer,

we filmden wat oordopjes aangesloten op een laptop.

and in this case, our goal was to recover the music that was playing on that laptop

We wilden de muziek opnemen die op die laptop speelde,

from just silent video

uit de video zonder geluid

of these two little plastic earphones,

van die twee kleine plastic oordopjes.

and we were able to do this so well

We deden het zo goed

that I could even Shazam our results.

dat we onze resultaten konden ‘shazammen’.

(Laughter)

(Gelach)

(Music: "Under Pressure" by Queen)

(Muziek: 'Under Pressure' van Queen)

(Applause)

(Applaus)

And we can also push things by changing the hardware that we use.

We kunnen het resultaat ook verbeteren via de hardware.

De experimenten die ik jullie tot nu toe heb laten zien

Because the experiments I've shown you so far

were done with a camera, a high-speed camera,

deden we met een hogesnelheidscamera.

that can record video about a 100 times faster

Die kan ongeveer 100 keer sneller video opnemen

than most cell phones,

dan de meeste mobiele telefoons,

but we've also found a way to use this technique

maar we hebben ook een manier gevonden om deze techniek te gebruiken

with more regular cameras,

met gewonere camera’s.

and we do that by taking advantage of what's called a rolling shutter.

We doen dat door gebruik te maken van wat een ‘gordijnsluiter’ heet.

You see, most cameras record images one row at a time,

De meeste camera's leggen beelden rij voor rij vast.

and so if an object moves during the recording of a single image,

Als een object tijdens de opname van één enkel beeld beweegt,

there's a slight time delay between each row,

is er een kleine vertraging tussen elke rij,

and this causes slight artifacts

en dit veroorzaakt lichte artefacten

that get coded into each frame of a video.

in elk afzonderlijk videoframe.

And so what we found is that by analyzing these artifacts,

Door het analyseren van deze artefacten,

we can actually recover sound using a modified version of our algorithm.

kunnen we zelfs geluid herstellen

met een aangepaste versie van ons algoritme.

So here's an experiment we did

Hier weer een experiment.

where we filmed a bag of candy

We filmden een zak snoep

while a nearby loudspeaker played

terwijl een luidspreker in de buurt

the same "Mary Had a Little Lamb" music from before,

'Mary Had a Little Lamb' speelde.

but this time, we used just a regular store-bought camera,

Maar dit keer gebruikten we een normale camera uit de winkel.

and so in a second, I'll play for you the sound that we recovered,

Ik laat het jullie dadelijk horen.

and it's going to sound distorted this time,

Het zal wat vervormd zijn,

but listen and see if you can still recognize the music.

maar luister om te zien of je de muziek nog steeds kunt herkennen.

(Audio: "Mary Had a Little Lamb")

(Audio: 'Mary Had a Little Lamb')

And so, again, that sounds distorted,

Het klinkt vervormd,

but what's really amazing here is that we were able to do this

maar het geweldige eraan is dat we het doen

with something that you could literally run out

met spullen uit de eerste de beste winkel.

and pick up at a Best Buy.

So at this point,

Dit brengt de meeste mensen

a lot of people see this work,

and they immediately think about surveillance.

op het idee van bewaking. (Gelach)

And to be fair,

Om eerlijk te zijn, je kan je best voorstellen

it's not hard to imagine how you might use this technology to spy on someone.

hoe je deze technologie kan gebruiken om iemand te bespioneren.

But keep in mind that there's already a lot of very mature technology

Maar bedenk dat er al heel veel goed ontwikkelde technologie

out there for surveillance.

voor surveillance bestaat.

In fact, people have been using lasers

In feite hebben mensen al decennia lang

to eavesdrop on objects from a distance for decades.

lasers op objecten gericht om op afstand af te luisteren.

But what's really new here,

Maar wat hier echt nieuw is,

what's really different,

echt anders,

is that now we have a way to picture the vibrations of an object,

is dat we nu een manier hebben om trillingen van een object op te nemen.

which gives us a new lens through which to look at the world,

Dat geeft ons een nieuwe lens om te kijken naar de wereld.

and we can use that lens

We kunnen die lens gebruiken

to learn not just about forces like sound that cause an object to vibrate,

om niet alleen iets te leren over krachten

als geluid die een object laten trillen,

but also about the object itself.

maar ook over het object zelf.

And so I want to take a step back

Ik wil een stap terug doen

and think about how that might change the ways that we use video,

en nadenken over nieuwe manieren om video te gebruiken.

because we usually use video to look at things,

Meestal gebruiken we video om naar dingen te kijken,

and I've just shown you how we can use it

maar ik toonde hoe we het kunnen gebruiken

to listen to things.

om naar dingen te luisteren.

But there's another important way that we learn about the world:

Er is een andere belangrijke manier waarop we leren over de wereld:

that's by interacting with it.

door interactie ermee.

We push and pull and poke and prod things.

We duwen en trekken en porren dingen.

We shake things and see what happens.

We schudden dingen en zien wat er gebeurt.

And that's something that video still won't let us do,

Dat is iets dat video nog steeds niet kan,

at least not traditionally.

althans niet de traditionele video.

So I want to show you some new work,

Ik toon je wat nieuw werk,

and this is based on an idea I had just a few months ago,

gebaseerd op een idee dat ik net een paar maanden geleden had.

so this is actually the first time I've shown it to a public audience.

Het is de eerste keer dat ik ermee voor een publiek kom.

And the basic idea is that we're going to use the vibrations in a video

We gaan trillingen in een video gebruiken

to capture objects in a way that will let us interact with them

om objecten zo vast te leggen, dat we met ze kunnen interageren

and see how they react to us.

en zie hoe ze op ons reageren.

So here's an object,

Hier zie je een voorwerp,

and in this case, it's a wire figure in the shape of a human,

in dit geval een draadfiguur gevormd als mens.

and we're going to film that object with just a regular camera.

We gaan dat object filmen met een gewone camera.

So there's nothing special about this camera.

Er is niets bijzonders aan deze camera.

In fact, I've actually done this with my cell phone before.

Ik deed het al met mijn mobiele telefoon.

But we do want to see the object vibrate,

Maar we willen het object zien trillen.

so to make that happen,

Daarom kloppen we wat op het oppervlak waarop het staat

we're just going to bang a little bit on the surface where it's resting

while we record this video.

terwijl we deze video opnemen.

Dat is alles: slechts vijf seconden gewone video,

So that's it: just five seconds of regular video,

while we bang on this surface,

terwijl we op het oppervlak kloppen.

and we're going to use the vibrations in that video

We gaan de trillingen in die video gebruiken

to learn about the structural and material properties of our object,

om iets te leren over de structurele en materiaaleigenschappen van ons object,

and we're going to use that information to create something new and interactive.

en we gaan die informatie gebruiken om iets nieuws en interactiefs te maken.

And so here's what we've created.

Dit is het resultaat.

And it looks like a regular image,

Het ziet eruit als een gewone afbeelding,

but this isn't an image, and it's not a video,

maar dit is geen beeld, ook geen video,

because now I can take my mouse

want nu kan ik met mijn muis

and I can start interacting with the object.

gaan interageren met het object.

And so what you see here

Wat je hier ziet

is a simulation of how this object

is een simulatie van hoe dit object

would respond to new forces that we've never seen before,

zou reageren op nieuwe krachten die we nog nooit eerder hebben gezien,

and we created it from just five seconds of regular video.

en dat met slechts vijf seconden gewone video.

(Applause)

(Applaus)

And so this is a really powerful way to look at the world,

Dit is een krachtige manier om naar de wereld te kijken.

because it lets us predict how objects will respond

Het laat ons voorspellen hoe objecten zullen reageren

to new situations,

in nieuwe situaties:

and you could imagine, for instance, looking at an old bridge

bijvoorbeeld hoe een oude brug

and wondering what would happen, how would that bridge hold up

zich zal gaan gedragen

if I were to drive my car across it.

als ik er met mijn auto over zou rijden.

And that's a question that you probably want to answer

Dat wil je waarschijnlijk wel weten

before you start driving across that bridge.

voordat je over die brug gaat rijden.

And of course, there are going to be limitations to this technique,

Deze techniek heeft natuurlijk zijn beperkingen

just like there were with the visual microphone,

net zoals de visuele microfoon,

but we found that it works in a lot of situations

maar we merkten dat het in veel situaties werkt

that you might not expect,

waar je dat niet zou verwachten,

especially if you give it longer videos.

vooral als je langere video's maakt.

So for example, here's a video that I captured

Hier is een video die ik opnam

of a bush outside of my apartment,

van een struik bij mijn appartement.

and I didn't do anything to this bush,

Ik deed niets met de struik,

but by capturing a minute-long video,

maar met een video van één minuut

a gentle breeze caused enough vibrations

en een zacht briesje dat genoeg trillingen veroorzaakte,

that we could learn enough about this bush to create this simulation.

leerden we genoeg over deze struik om deze simulatie te maken.

(Applause)

(Applaus)

And so you could imagine giving this to a film director,

Je kan je voorstellen wat een filmregisseur

and letting him control, say,

hiermee kan doen,

the strength and direction of wind in a shot after it's been recorded.

als hij de kracht en de richting van de wind

in een opname achteraf kan bepalen.

Or, in this case, we pointed our camera at a hanging curtain,

Hier richtten we de camera op een hangend gordijn.

and you can't even see any motion in this video,

Je ziet zelfs geen beweging in deze video,

but by recording a two-minute-long video,

maar tijdens het opnemen van twee minuten video,

natural air currents in this room

veroorzaakten natuurlijke luchtstromen in deze kamer

created enough subtle, imperceptible motions and vibrations

genoeg subtiele, onmerkbare bewegingen en trillingen

that we could learn enough to create this simulation.

dat we daarmee deze simulatie konden creëren.

And ironically,

Ironisch genoeg

we're kind of used to having this kind of interactivity

zijn we al gewend aan dit soort interactiviteit

when it comes to virtual objects,

met virtuele objecten,

when it comes to video games and 3D models,

als het gaat om videogames en 3D-modellen.

but to be able to capture this information from real objects in the real world

Maar deze informatie van echte objecten in de echte wereld kunnen vastleggen

using just simple, regular video,

met slechts eenvoudige, gewone video,

is something new that has a lot of potential.

is iets nieuws dat veel mogelijkheden biedt.

So here are the amazing people who worked with me on these projects.

Hier zijn de fantastische mensen die met mij

hebben samengewerkt aan deze projecten.

(Applause)

(Applaus)

And what I've shown you today is only the beginning.

Wat ik vandaag heb laten zien, is slechts het begin,

We've just started to scratch the surface

een peulenschil

of what you can do with this kind of imaging,

vergeleken met wat je kunt doen met dit soort beeldvorming.

because it gives us a new way

Het geeft ons een nieuwe manier

to capture our surroundings with common, accessible technology.

om onze omgeving met gewone, toegankelijke technologie vast te leggen.

And so looking to the future,

Als we naar de toekomst kijken,

it's going to be really exciting to explore

is het interessant om te zien

what this can tell us about the world.

wat dit ons kan vertellen over onze wereld.

Thank you.

Dankjewel.

(Applause)

(Applaus)