Abe Davis: New video technology that reveals an object's hidden properties

Översättare: Filip Wahlberg Granskare: Lisbeth Pekkari

Most of us think of motion as a very visual thing.

De flesta tänker på rörelse som en visuell sak.

If I walk across this stage or gesture with my hands while I speak,

Om jag går över scenen eller gestikulerar medan jag talar,

that motion is something that you can see.

är det rörelser som du kan se.

But there's a world of important motion that's too subtle for the human eye,

Men det finns en hel värld av rörelser som är för små för det mänskliga ögat,

and over the past few years,

och de senaste åren har vi upptäckt att kameror

we've started to find that cameras

can often see this motion even when humans can't.

ofta kan se sådana rörelser som människor inte kan.

So let me show you what I mean.

Låt mig visa vad jag menar.

On the left here, you see video of a person's wrist,

Till vänster ser du en film på en handled,

and on the right, you see video of a sleeping infant,

och till höger ser du en film på en sovande bebis,

but if I didn't tell you that these were videos,

men om jag inte hade sagt att det var filmer,

you might assume that you were looking at two regular images,

hade du kunnat tro att det var stillbilder du såg,

because in both cases,

för i båda fallen verkar filmerna nästan helt stilla.

these videos appear to be almost completely still.

But there's actually a lot of subtle motion going on here,

Men det pågår en hel del små rörelser,

och hade du känt på handleden till vänster,

and if you were to touch the wrist on the left,

you would feel a pulse,

hade du känt en puls,

and if you were to hold the infant on the right,

och hade du hållit i bebisen till höger,

you would feel the rise and fall of her chest

hade du känt hennes bröstkorg röra sig när hon andades.

as she took each breath.

And these motions carry a lot of significance,

Dessa rörelser har stor betydelse, men är oftast för små för att synas.

but they're usually too subtle for us to see,

so instead, we have to observe them

så vi måste uppfatta dem genom beröring.

through direct contact, through touch.

But a few years ago,

Men för några år sedan utvecklade MIT ett så kallat rörelsemikroskop.

my colleagues at MIT developed what they call a motion microscope,

which is software that finds these subtle motions in video

Det är en mjukvara som hittar dessa små rörelser på film

och förstorar dem så att vi kan se dem.

and amplifies them so that they become large enough for us to see.

And so, if we use their software on the left video,

Så om vi använder mjukvaran på den vänstra filmen,

it lets us see the pulse in this wrist,

kan vi se pulsen i handleden,

och om vi skulle räkna pulsslagen, skulle vi veta hjärtfrekvensen.

and if we were to count that pulse,

we could even figure out this person's heart rate.

And if we used the same software on the right video,

Och om mjukvaran används på den högra filmen,

låter den oss se varje andetag som bebisen tar.

it lets us see each breath that this infant takes,

and we can use this as a contact-free way to monitor her breathing.

Det kan användas för att beröringsfritt övervaka andningen.

And so this technology is really powerful because it takes these phenomena

Denna teknik är mycket kraftfull för den tar dessa fenomen

som vi brukar behöva uppleva genom beröring

that we normally have to experience through touch

and it lets us capture them visually and non-invasively.

och fångar dem visuellt utan att inkräkta.

För ett par år sedan började jag arbeta med dem som gjorde mjukvaran,

So a couple years ago, I started working with the folks that created that software,

and we decided to pursue a crazy idea.

och vi beslöt att prova en galen idé.

We thought, it's cool that we can use software

Det var fantastiskt att använda mjukvaran

to visualize tiny motions like this,

för att synliggöra pyttesmå rörelser,

and you can almost think of it as a way to extend our sense of touch.

och man kan nästan se det som ett sätt att förlänga känseln.

Men tänk om man kunde göra på samma sätt med hörseln!

But what if we could do the same thing with our ability to hear?

What if we could use video to capture the vibrations of sound,

Tänk om vi kunde använda video för att fånga ljudets vibrationer,

which are just another kind of motion,

som också är en sorts rörelser,

and turn everything that we see into a microphone?

och använda allt vi kan se som mikrofon.

Now, this is a bit of a strange idea,

Det här är en märklig idé, låt mig sätta den i perspektiv.

so let me try to put it in perspective for you.

Traditional microphones work by converting the motion

Vanliga mikrofoner överför rörelsen

hos ett inbyggt membran till en elektrisk signal,

of an internal diaphragm into an electrical signal,

and that diaphragm is designed to move readily with sound

och det membranet är konstruerat för att enkelt röra sig med ljudet

so that its motion can be recorded and interpreted as audio.

så att dess rörelse kan tolkas som ljud.

But sound causes all objects to vibrate.

Men ljud får alla saker att röra sig.

Those vibrations are just usually too subtle and too fast for us to see.

Det är bara det att vibrationerna är för små och snabba för oss att se.

So what if we record them with a high-speed camera

Men tänk om vi filmar dem med en höghastighetskamera

and then use software to extract tiny motions

och använder mjukvara för att ta fram pyttesmå rörelser från filmen,

from our high-speed video,

and analyze those motions to figure out what sounds created them?

och analyserar rörelserna för att räkna ut vilka ljud som åstadkom dem.

This would let us turn visible objects into visual microphones from a distance.

Då skulle synliga föremål bli visuella mikrofoner på avstånd.

And so we tried this out,

Så vi provade detta, och här är ett av våra experiment.

and here's one of our experiments,

Vi tog en krukväxt, till höger, och filmade med höghastighetskamera,

where we took this potted plant that you see on the right

and we filmed it with a high-speed camera

while a nearby loudspeaker played this sound.

medan en högtalare i närheten spelade detta ljud.

(Music: "Mary Had a Little Lamb")

(Musik: Mary had a little lamb)

And so here's the video that we recorded,

Här är filmen som vi spelade in, med tusentals bilder per sekund,

and we recorded it at thousands of frames per second,

but even if you look very closely,

men även om du tittar riktigt nära, ser du bara några blad

all you'll see are some leaves

that are pretty much just sitting there doing nothing,

som inte verkar göra något särskilt.

because our sound only moved those leaves by about a micrometer.

För ljudet får bladen att röra sig bara ungefär en mikrometer.

That's one ten-thousandth of a centimeter,

En tiotusendels centimeter.

which spans somewhere between a hundredth and a thousandth

Mellan en hundradels och en tusendels pixel i bilden.

of a pixel in this image.

So you can squint all you want,

Hur mycket du än kisar, så kan du inte uppfatta så små rörelser.

but motion that small is pretty much perceptually invisible.

But it turns out that something can be perceptually invisible

Men det visar sig att det som är omöjligt att uppfatta

and still be numerically significant,

ändå kan vara numeriskt signifikant.

because with the right algorithms,

Med de rätta algoritmerna kan vi ta denna tysta, till synes stilla film-

we can take this silent, seemingly still video

and we can recover this sound.

-och återskapa detta ljud.

(Music: "Mary Had a Little Lamb")

(Musik: Mary had a little lamb)

(Applåder)

(Applause)

Hur är det möjligt?

So how is this possible?

How can we get so much information out of so little motion?

Hur kan vi få så mycket information från så lite rörelse?

Well, let's say that those leaves move by just a single micrometer,

Jo, låt oss säga att bladen rör sig en enda mikrometer,

and let's say that that shifts our image by just a thousandth of a pixel.

och att det förskjuter bilden en tusendels pixel.

That may not seem like much,

Det låter inte mycket, men en enda bildruta består av hundratusentals pixlar,

but a single frame of video

may have hundreds of thousands of pixels in it,

och om vi kombinerar alla pyttesmå rörelser från hela bilden,

and so if we combine all of the tiny motions that we see

from across that entire image,

then suddenly a thousandth of a pixel

kan en tusendels pixel läggas ihop till något ganska märkbart.

can start to add up to something pretty significant.

On a personal note, we were pretty psyched when we figured this out.

Jag måste tillstå att vi blev rätt häpna när vi upptäckte det.

(Laughter)

(Skratt)

But even with the right algorithm,

Men även med rätt algoritm saknades en viktig bit av pusslet.

we were still missing a pretty important piece of the puzzle.

You see, there are a lot of factors that affect when and how well

Många faktorer påverkar när och hur bra den här metoden fungerar.

this technique will work.

There's the object and how far away it is;

Dels föremålet och hur långt bort det är.

there's the camera and the lens that you use;

Dels kameran och objektivet.

how much light is shining on the object and how loud your sound is.

Dels ljuset på föremålet och hur starkt ljudet är.

And even with the right algorithm,

Och även med rätt algoritm var det noga vid våra första experiment,

we had to be very careful with our early experiments,

because if we got any of these factors wrong,

för om en av dessa faktorer var fel

there was no way to tell what the problem was.

gick det inte att säga vad som var problemet.

We would just get noise back.

Vi fick bara brus.

Därför såg många av våra tidiga experiment ut så här.

And so a lot of our early experiments looked like this.

And so here I am,

Här är jag,

and on the bottom left, you can kind of see our high-speed camera,

och nere till vänster skymtar höghastighetskameran

which is pointed at a bag of chips,

som är riktad mot en chipspåse

and the whole thing is lit by these bright lamps.

som belyses med starka lampor.

And like I said, we had to be very careful in these early experiments,

Som sagt måste vi vara mycket noggranna vid dessa tidiga experiment.

so this is how it went down.

Så här gick det till.

(Video) Abe Davis: Three, two, one, go.

(Film) Tre, två, ett...

Mary had a little lamb! Little lamb! Little lamb!

Mary had a little lamb! Little lamb! Little lamb!

(Laughter)

(Skratt)

AD: So this experiment looks completely ridiculous.

Det här experimentet verkar störtlöjligt.

(Laughter)

(Skratt)

I mean, I'm screaming at a bag of chips --

Jag skriker åt en chipspåse...

(Laughter) --

(Skratt)

and we're blasting it with so much light,

... och vi brassar på med så mycket ljus-

we literally melted the first bag we tried this on. (Laughter)

att den första chipspåsen bokstavligen smälte. (Skratt)

But ridiculous as this experiment looks,

Men, löjligt eller inte, det var ett viktigt experiment.

it was actually really important,

because we were able to recover this sound.

För vi kunde återskapa detta ljud.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Ljud) Mary had a little lamb! Little lamb! Little lamb!

(Applause)

(Applåder)

AD: And this was really significant,

Och detta var betydelsefullt,

because it was the first time we recovered intelligible human speech

för det var den första gången som vi återskapade mänskligt tal

from silent video of an object.

från ljudlös film av ett föremål.

And so it gave us this point of reference,

Så vi fick en referenspunkt,

and gradually we could start to modify the experiment,

och successivt kunde vi förändra experimentet,

using different objects or moving the object further away,

med olika föremål, olika långt borta,

using less light or quieter sounds.

mindre ljus, tystare ljud.

And we analyzed all of these experiments

Vi analyserade alla experiment

until we really understood the limits of our technique,

tills vi kände till metodens begränsningar,

because once we understood those limits,

för när vi kände gränserna, kunde vi räkna ut hur vi skulle tänja dem.

we could figure out how to push them.

And that led to experiments like this one,

Det ledde till sådana här experiment.

where again, I'm going to speak to a bag of chips,

Återigen pratar jag med en chipspåse,

but this time we've moved our camera about 15 feet away,

men nu har vi flyttat kameran fem meter,

outside, behind a soundproof window,

utomhus, bakom ett ljudisolerat fönster,

and the whole thing is lit by only natural sunlight.

och ljuset är naturligt solljus.

And so here's the video that we captured.

Här är filmen som vi spelade in.

And this is what things sounded like from inside, next to the bag of chips.

Så här lät det inomhus, intill chipspåsen.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Ljud) Mary had a little lamb whose fleece was white as snow

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

AD: And here's what we were able to recover from our silent video

Och detta lyckades vi återskapa från den ljudlösa filmen

captured outside behind that window.

tagen utomhus bakom fönstret.

(Ljud) Mary had a little lamb whose fleece was white as snow

(Audio) Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

(Applause)

(Applåder)

AD: And there are other ways that we can push these limits as well.

Och det finns andra sätt som vi kan tänja gränserna på.

So here's a quieter experiment

Här är ett tystare experiment där vi filmade ett par hörlurar,

where we filmed some earphones plugged into a laptop computer,

inkopplade i en dator.

and in this case, our goal was to recover the music that was playing on that laptop

Här var målet att återskapa musiken som spelades på datorn

from just silent video

utifrån ljudlös film på dessa små hörlurar.

of these two little plastic earphones,

and we were able to do this so well

Vi lyckades så bra

that I could even Shazam our results.

att Shazam kände igen resultatet.

(Laughter)

(Skratt)

(Music: "Under Pressure" by Queen)

(Musik: "Under Pressure" av Queen)

(Applause)

(Applåder)

And we can also push things by changing the hardware that we use.

Och vi kan tänja gränser genom att ändra utrustningen.

Because the experiments I've shown you so far

För alla experiment som jag har visat hittills

were done with a camera, a high-speed camera,

gjordes med höghastighetskamera,

that can record video about a 100 times faster

som kan spela in runt 100 gånger snabbare än de flesta mobiler.

than most cell phones,

but we've also found a way to use this technique

Men vi hittade ett sätt att använda metoden med vanliga kameror,

with more regular cameras,

and we do that by taking advantage of what's called a rolling shutter.

genom att utnyttja så kallade rullande slutare.

You see, most cameras record images one row at a time,

De flesta kameror spelar in filmens bilder en pixelrad åt gången,

and so if an object moves during the recording of a single image,

och om ett föremål rör sig medan en enda bild spelas in

there's a slight time delay between each row,

gör den lilla fördröjningen mellan varje rad

and this causes slight artifacts

att det blir små artefakter som syns i varje bild i filmen.

that get coded into each frame of a video.

And so what we found is that by analyzing these artifacts,

Vi upptäckte att genom att analysera dessa artefakter,

we can actually recover sound using a modified version of our algorithm.

kan vi återskapa ljud med en ändrad version av vår algoritm.

So here's an experiment we did

Här är ett experiment där vi filmade en godispåse medan en högtalare spelade

where we filmed a bag of candy

while a nearby loudspeaker played

the same "Mary Had a Little Lamb" music from before,

samma "Mary had a little lamb" som innan

but this time, we used just a regular store-bought camera,

men nu med en helt vanlig kamera.

and so in a second, I'll play for you the sound that we recovered,

Nu ska jag spela upp ljudet vi återskapade,

and it's going to sound distorted this time,

och det kommer att låta förvrängt nu,

but listen and see if you can still recognize the music.

men lyssna och hör om ni kan känna igen musiken.

(Audio: "Mary Had a Little Lamb")

(Ljud: "Mary had a little lamb")

And so, again, that sounds distorted,

Som sagt, ljudet är förvrängt,

but what's really amazing here is that we were able to do this

men det fantastiska är att vi fick detta resultat

with something that you could literally run out

med utrustning som man kan köpa på Elgiganten.

and pick up at a Best Buy.

So at this point,

Många som ser det här tänker genast på övervakning.

a lot of people see this work,

and they immediately think about surveillance.

And to be fair,

Och i ärlighetens namn är det lätt att föreställa sig

it's not hard to imagine how you might use this technology to spy on someone.

hur tekniken kan användas till att spionera.

But keep in mind that there's already a lot of very mature technology

Men kom ihåg att det redan finns gott om mogen teknik för att spionera.

out there for surveillance.

In fact, people have been using lasers

Man har använt laser för att tjuvlyssna via föremål på avstånd i decennier.

to eavesdrop on objects from a distance for decades.

But what's really new here,

Det nya nu är att vi kan avbilda vibrationer hos ett föremål,

what's really different,

is that now we have a way to picture the vibrations of an object,

which gives us a new lens through which to look at the world,

vilket ger oss en ny lins som vi kan betrakta världen genom.

Och vi kan använda denna lins

and we can use that lens

to learn not just about forces like sound that cause an object to vibrate,

för att lära oss inte bara om krafter, som ljud, som orsakar vibrationer,

but also about the object itself.

utan även om föremålet självt.

And so I want to take a step back

Låt oss backa ett steg och fundera hur det kan ändra sättet vi använder film på.

and think about how that might change the ways that we use video,

because we usually use video to look at things,

Vi brukar använda film för att betrakta föremål,

and I've just shown you how we can use it

och jag har nyss visat hur det kan användas för att lyssna på saker.

to listen to things.

But there's another important way that we learn about the world:

Men det finns ett annat viktigt sätt att undersöka omvärlden:

that's by interacting with it.

Genom att interagera med den.

We push and pull and poke and prod things.

Vi trycker och drar och petar på saker.

Vi skakar dem och ser vad som händer.

We shake things and see what happens.

And that's something that video still won't let us do,

Det är något som vi inte kan göra med en film.

at least not traditionally.

Åtminstone inte hittills.

So I want to show you some new work,

Jag vill visa vårt senaste arbete, en idé som jag fick för bara några månader sedan.

and this is based on an idea I had just a few months ago,

so this is actually the first time I've shown it to a public audience.

Det här är första gången jag visar det för allmänheten.

And the basic idea is that we're going to use the vibrations in a video

Idén är att vi ska använda vibrationerna i en film

to capture objects in a way that will let us interact with them

för att spela in föremål på ett sätt så att vi kan interagera med dem,

and see how they react to us.

och se hur de reagerar på oss.

So here's an object,

Här är ett föremål,

and in this case, it's a wire figure in the shape of a human,

i detta fall en trådskulptur av en människa,

and we're going to film that object with just a regular camera.

och vi filmar den med en vanlig kamera.

So there's nothing special about this camera.

Det är inget särskilt med kameran, vi har faktiskt använt min mobil förut.

In fact, I've actually done this with my cell phone before.

But we do want to see the object vibrate,

Men vi vill att föremålet ska vibrera.

so to make that happen,

Så vi slår lätt på ytan det står på, medan vi spelar in denna film.

we're just going to bang a little bit on the surface where it's resting

while we record this video.

So that's it: just five seconds of regular video,

Det är allt: Fem sekunder vanlig film, medan vi slår på ytan,

while we bang on this surface,

and we're going to use the vibrations in that video

och vi använder vibrationerna från filmen

to learn about the structural and material properties of our object,

för att lära oss konstruktionen och materialens egenskaper i föremålet,

and we're going to use that information to create something new and interactive.

och vi använder den informationen för att skapa något nytt, interaktivt.

And so here's what we've created.

Här är resultatet. Det ser ut som en vanlig stillbild.

And it looks like a regular image,

but this isn't an image, and it's not a video,

Men det är ingen stillbild, och det är ingen film.

because now I can take my mouse

För nu kan jag ta musen och börja interagera med föremålet.

and I can start interacting with the object.

And so what you see here

Vad ni ser är en simulering av hur föremålet

is a simulation of how this object

would respond to new forces that we've never seen before,

skulle reagera på krafter som vi aldrig sett förut.

Och vi skapade den utifrån bara fem sekunder vanlig film.

and we created it from just five seconds of regular video.

(Applause)

(Applåder)

And so this is a really powerful way to look at the world,

Så detta är ett kraftfullt sätt att se på omvärlden,

because it lets us predict how objects will respond

för det låter oss förutse hur föremål kommer reagera på nya situationer,

to new situations,

and you could imagine, for instance, looking at an old bridge

och man kan tänka sig, exempelvis, att man tittar på en gammal bro

and wondering what would happen, how would that bridge hold up

och undrar om den kommer hålla om jag skulle köra bil över den.

if I were to drive my car across it.

And that's a question that you probably want to answer

Det är en fråga som du förmodligen vill besvara innan du kör över bron.

before you start driving across that bridge.

And of course, there are going to be limitations to this technique,

Självklart finns det begränsningar i tekniken,

just like there were with the visual microphone,

precis som med den visuella mikrofonen,

but we found that it works in a lot of situations

men vi upptäckte att det fungerar i många oväntade situationer,

that you might not expect,

especially if you give it longer videos.

i synnerhet om du använder längre filmer.

So for example, here's a video that I captured

Exempelvis denna film på en buske utanför mitt hus,

of a bush outside of my apartment,

and I didn't do anything to this bush,

och jag gjorde inget med busken, förutom att filma den i en minut.

but by capturing a minute-long video,

a gentle breeze caused enough vibrations

En lätt vind gav nog med vibrationer

that we could learn enough about this bush to create this simulation.

för att ge oss information till den här simuleringen.

(Applause)

(Applåder)

And so you could imagine giving this to a film director,

Tänk dig detta i händerna på en filmregissör,

and letting him control, say,

som kan kontrollera, till exempel,

the strength and direction of wind in a shot after it's been recorded.

styrkan och riktningen på en vind i en tagning efter att den blivit filmad.

Or, in this case, we pointed our camera at a hanging curtain,

Eller, som här, när vi riktade kameran mot ett hängande skynke,

and you can't even see any motion in this video,

man kan inte se några rörelser i filmen, men genom att filma i två minuter,

but by recording a two-minute-long video,

natural air currents in this room

gav naturliga luftströmmar upphov till nog med omärkliga rörelser och vibrationer

created enough subtle, imperceptible motions and vibrations

that we could learn enough to create this simulation.

för att möjliggöra denna simulering.

And ironically,

Ironiskt nog är vi vana vid interaktivitet när det gäller virtuella föremål.

we're kind of used to having this kind of interactivity

when it comes to virtual objects,

when it comes to video games and 3D models,

Videospel och 3D-modeller.

but to be able to capture this information from real objects in the real world

Men att kunna fånga den här informationen från verkliga föremål i omvärlden,

using just simple, regular video,

med bara vanlig videoupptagning,

is something new that has a lot of potential.

är nytt och har stor potential.

So here are the amazing people who worked with me on these projects.

Här är de fantastiska människor som arbetat med mig.

(Applause)

(Applåder)

And what I've shown you today is only the beginning.

Vad jag visat idag är bara början.

We've just started to scratch the surface

Vi har bara skrapat på ytan av vad man kan göra med denna typ av avbildning,

of what you can do with this kind of imaging,

because it gives us a new way

för den ger nya sätt att fånga vår omgivning med vanlig, tillgänglig teknik.

to capture our surroundings with common, accessible technology.

And so looking to the future,

Framtiden är spännande,

it's going to be really exciting to explore

när vi utforskar vad detta kan lära oss om världen.

what this can tell us about the world.

Thank you.

Tack!

(Applause)

(Applåder)