Abe Davis: New video technology that reveals an object's hidden properties

Traducteur: Claire Ghyselen Relecteur: Lison Hasse

La plupart d'entre nous associe le mouvement au visuel.

Most of us think of motion as a very visual thing.

If I walk across this stage or gesture with my hands while I speak,

Si je traverse cette scène ou bouge mes mains alors que je parle,

that motion is something that you can see.

ce mouvement est quelque chose que vous pouvez observer.

But there's a world of important motion that's too subtle for the human eye,

Mais il y a un monde de gestes importants qui sont imperceptibles à l’œil humain,

and over the past few years,

et au cours de ces dernières années,

we've started to find that cameras

on s'est rendu compte que les cameras

can often see this motion even when humans can't.

peuvent détecter ces mouvements même quand l’être humain en est incapable.

So let me show you what I mean.

Laissez-moi donc vous montrer.

On the left here, you see video of a person's wrist,

Sur la gauche, vous voyez la vidéo du poignet d'une personne,

and on the right, you see video of a sleeping infant,

et à droite, vous voyez la vidéo d'un bébé endormi.

but if I didn't tell you that these were videos,

Mais si je ne vous avais pas dit qu'il s'agissait de vidéos,

you might assume that you were looking at two regular images,

vous auriez pu penser que vous regardiez deux images tout à fait normales.

because in both cases,

Car dans les deux cas,

these videos appear to be almost completely still.

ces vidéos semblent presque complètement immobiles.

But there's actually a lot of subtle motion going on here,

Mais il y a en fait beaucoup de mouvement imperceptibles.

and if you were to touch the wrist on the left,

Et si vous touchiez le poignet sur la gauche,

you would feel a pulse,

vous sentiriez un pouls

and if you were to hold the infant on the right,

et si vous teniez le bébé sur l'image de droite,

you would feel the rise and fall of her chest

vous sentiriez la montée et la descente de sa poitrine

as she took each breath.

à chacune de ses respirations.

And these motions carry a lot of significance,

Et ces mouvements sont lourds de sens

but they're usually too subtle for us to see,

mais ils sont souvent trop subtils pour que nous les voyions.

so instead, we have to observe them

Donc à la place, nous devons les observer

through direct contact, through touch.

au travers d'un contact direct, au travers du toucher.

But a few years ago,

Il y a quelques années,

my colleagues at MIT developed what they call a motion microscope,

mes collègues du MIT ont développé un microscope amplificateur de mouvement.

which is software that finds these subtle motions in video

C'est en fait un logiciel qui repère ces mouvements imperceptibles en vidéo

and amplifies them so that they become large enough for us to see.

et les amplifie de manière à les grossir suffisamment pour qu'on puisse les voir.

And so, if we use their software on the left video,

Si bien que, si l'on utilise ce logiciel sur la vidéo de gauche,

it lets us see the pulse in this wrist,

ça nous permet de voir le pouls à l’intérieur du poignet.

and if we were to count that pulse,

Si nous devions compter ce pouls,

we could even figure out this person's heart rate.

nous pourrions même obtenir le rythme cardiaque de la personne.

And if we used the same software on the right video,

Si nous utilisons le même logiciel sur la vidéo de droite,

it lets us see each breath that this infant takes,

nous pouvons voir chacune des respirations de ce bébé,

and we can use this as a contact-free way to monitor her breathing.

et l'utiliser comme un moyen sans contact pour surveiller sa respiration.

And so this technology is really powerful because it takes these phenomena

Et donc cette technologie est réellement puissante

puisqu'elle repère ces phénomènes

que nous ne pouvons sentir qu'avec le toucher,

that we normally have to experience through touch

and it lets us capture them visually and non-invasively.

et elle les enregistre visuellement de façon non invasive.

So a couple years ago, I started working with the folks that created that software,

Il y a deux ans, j'ai rejoint l'équipe qui a créé ce logiciel

and we decided to pursue a crazy idea.

et nous avons décidé de poursuivre une idée folle.

We thought, it's cool that we can use software

On s'est dit, c'est génial d'utiliser un logiciel

to visualize tiny motions like this,

pour visualiser ainsi de tout petits mouvements

and you can almost think of it as a way to extend our sense of touch.

et on peut presque le voir comme un moyen d’améliorer notre sens du toucher.

But what if we could do the same thing with our ability to hear?

Mais qu'en serait-il si on pouvait en faire de même avec notre audition?

What if we could use video to capture the vibrations of sound,

Et si on pouvait utiliser la vidéo pour capturer les vibrations sonores,

which are just another kind of motion,

un autre type de mouvements en fait,

and turn everything that we see into a microphone?

et faire passer ce que l'on voit dans un microphone?

Now, this is a bit of a strange idea,

C'est une idée un peu étrange.

so let me try to put it in perspective for you.

Laissez-moi donc mettre cela en perspective pour vous.

Traditional microphones work by converting the motion

Un microphone traditionnel fonctionne en convertissant le mouvement

of an internal diaphragm into an electrical signal,

d'un diaphragme interne en un signal électrique,

and that diaphragm is designed to move readily with sound

et ce diaphragme est conçu pour bouger facilement avec le son,

so that its motion can be recorded and interpreted as audio.

pour que ce mouvement puisse être enregistré et interprété comme de l'audio.

But sound causes all objects to vibrate.

Mais le son fait vibrer tous les objets !

Those vibrations are just usually too subtle and too fast for us to see.

Ces vibrations sont trop subtiles, trop rapides pour qu'on puisse les voir.

So what if we record them with a high-speed camera

Et si on les enregistrait avec une caméra haute vitesse,

and then use software to extract tiny motions

on pourrait utiliser un logiciel pour extraire les tout petits mouvements

from our high-speed video,

de notre vidéo en ralenti,

and analyze those motions to figure out what sounds created them?

et analyser ces mouvements pour comprendre quel son les a créés.

This would let us turn visible objects into visual microphones from a distance.

On pourrait alors transformer les objets visibles

en microphones visuels à distance.

And so we tried this out,

On a donc essayé,

and here's one of our experiments,

et voici une de nos expériences.

where we took this potted plant that you see on the right

Ici nous avons pris cette plante que vous voyez sur la droite,

and we filmed it with a high-speed camera

et l'avons filmée avec une caméra haute vitesse,

while a nearby loudspeaker played this sound.

pendant qu'un caisson de basse jouait ce son à côté.

(Music: "Mary Had a Little Lamb")

(Musique: « Mary had a little lamb »)

And so here's the video that we recorded,

Et voilà la vidéo que nous avons enregistrée.

and we recorded it at thousands of frames per second,

Nous l'avons enregistrée à des milliers d'images par seconde.

but even if you look very closely,

Même si vous y regardez de très près,

all you'll see are some leaves

vous ne pouvez voir que des feuilles

that are pretty much just sitting there doing nothing,

qui ne bougent presque pas.

because our sound only moved those leaves by about a micrometer.

Car en effet, notre son a fait bouger ces feuilles d’à peine un micromètre.

That's one ten-thousandth of a centimeter,

C'est un dix-millième de centimètre,

which spans somewhere between a hundredth and a thousandth

ce qui place cela quelque part entre un centième et un millième

of a pixel in this image.

de pixel dans cette image.

So you can squint all you want,

Donc vous pouvez loucher autant que vous voulez,

but motion that small is pretty much perceptually invisible.

un mouvement si petit est quasiment invisible.

But it turns out that something can be perceptually invisible

Mais en fait, un mouvement invisible à l'oeil

and still be numerically significant,

peut avoir du sens numériquement parlant.

because with the right algorithms,

Parce qu'avec les bons algorithmes,

we can take this silent, seemingly still video

on peut utiliser cette vidéo silencieuse et apparemment immobile

and we can recover this sound.

pour en extraire le son.

(Music: "Mary Had a Little Lamb")

(Musique: «Mary had a little lamb.»

(Applause)

(Applaudissements)

So how is this possible?

Comment est-ce possible ?

How can we get so much information out of so little motion?

Comment retirons-nous tant d'informations à partir de mouvements si infimes ?

Well, let's say that those leaves move by just a single micrometer,

Disons que ces feuilles bougent d'un seul micromètre,

and let's say that that shifts our image by just a thousandth of a pixel.

et que ça modifie notre image d'un millième de pixel.

That may not seem like much,

Ça peut paraître peu,

but a single frame of video

mais un seul plan dans une vidéo

may have hundreds of thousands of pixels in it,

contient des centaines de milliers de pixels.

and so if we combine all of the tiny motions that we see

En combinant tous ces infimes mouvements

from across that entire image,

sur une image entière,

then suddenly a thousandth of a pixel

un millième de pixel

can start to add up to something pretty significant.

finit par former quelque chose d'important.

On a personal note, we were pretty psyched when we figured this out.

Sur le plan personnel, réaliser ça nous a tous bouleversés !

(Laughter)

(Rires)

But even with the right algorithm,

Mais même avec le bon algorithme,

we were still missing a pretty important piece of the puzzle.

il nous manquait une pièce importante du puzzle.

You see, there are a lot of factors that affect when and how well

Vous voyez, il y a beaucoup de facteurs qui influencent comment

et quand cette technique fonctionne.

this technique will work.

There's the object and how far away it is;

L'objet lui-même et la distance,

there's the camera and the lens that you use;

la caméra, et l'objectif que vous utilisez,

how much light is shining on the object and how loud your sound is.

la lumière sur l'objet et le volume du son.

And even with the right algorithm,

Même avec le bon algorithme,

we had to be very careful with our early experiments,

il nous a fallu être prudents dans nos premières expériences

because if we got any of these factors wrong,

parce qu'il était impossible de dire ce qui n'allait pas,

there was no way to tell what the problem was.

si un seul de ces facteurs était biaisé.

We would just get noise back.

Le résultat était du bruit.

And so a lot of our early experiments looked like this.

Beaucoup de nos premières expériences ressemblent à ceci.

And so here I am,

Me voilà,

and on the bottom left, you can kind of see our high-speed camera,

et en bas à gauche, on devine la caméra haute vitesse,

which is pointed at a bag of chips,

qui cadre un paquet de chips.

and the whole thing is lit by these bright lamps.

Deux spots illuminent toute la scène.

And like I said, we had to be very careful in these early experiments,

Nous devions donc être très prudents durant ces premières expériences.

so this is how it went down.

Voici leur déroulement :

(Video) Abe Davis: Three, two, one, go.

(Vidéo) Abe Davis: un, deux, trois, go !

Mary had a little lamb! Little lamb! Little lamb!

Mary had a little lamb ! Little lamb ! Little lamb !

(Laughter)

(Rires)

AD: So this experiment looks completely ridiculous.

AD : Ça a l'air complètement ridicule !

(Laughter)

(Rires)

I mean, I'm screaming at a bag of chips --

Après tout, je suis en train de crier sur un paquet de chips.

(Laughter) --

(Rires)

and we're blasting it with so much light,

Et il y a tant de spots

we literally melted the first bag we tried this on. (Laughter)

que les premiers sachets ont littéralement fondu sous la chaleur.

But ridiculous as this experiment looks,

Mais aussi ridicule que ça puisse avoir l'air,

it was actually really important,

c'était très important.

because we were able to recover this sound.

Parce que nous avons pu récupérer le son.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Audio) Mary had a little lamb ! Little lamb ! Little lamb !

(Applause)

(Applaudissements)

AD: And this was really significant,

AD : Ce fut une expérience-clef,

because it was the first time we recovered intelligible human speech

parce que ce fut la première restitution d'un discours intelligible,

from silent video of an object.

à partir d'une vidéo muette d'un objet.

And so it gave us this point of reference,

Ça nous a permis de créer une référence.

and gradually we could start to modify the experiment,

On a pu progressivement modifier les paramètres :

utiliser des objets différents, les éloigner,

using different objects or moving the object further away,

using less light or quieter sounds.

utiliser des éclairages moins puissants, ou réduire le volume du son.

And we analyzed all of these experiments

On a analysé toutes ces expériences,

until we really understood the limits of our technique,

jusqu'à ce que nous ayons compris les limites de notre technologie.

because once we understood those limits,

Parce qu'une fois ses limites déterminées,

we could figure out how to push them.

on a pu trouver des moyens de les repousser.

And that led to experiments like this one,

Par exemple, à travers cette expérience,

where again, I'm going to speak to a bag of chips,

où je vais encore parler au paquet de chips.

but this time we've moved our camera about 15 feet away,

Mais cette fois, la caméra est à 5 mètres,

outside, behind a soundproof window,

à l'extérieur, derrière une fenêtre insonorisée,

and the whole thing is lit by only natural sunlight.

avec la seule lumière naturelle.

And so here's the video that we captured.

Voilà la vidéo.

And this is what things sounded like from inside, next to the bag of chips.

Voilà la bande-son à l'intérieur, à côté du paquet de chips.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Audio) Marie avait un petit agneau, à la laine blanche comme de la neige,

and everywhere that Mary went, that lamb was sure to go.

partout où Marie se rendait, l'agneau sûrement l'accompagnait.

AD: And here's what we were able to recover from our silent video

AD : Et voici ce que nous avons récupéré de notre vidéo muette,

captured outside behind that window.

prise à travers cette fenêtre.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Audio) Marie avait un petit agneau, à la laine blanche comme de la neige,

and everywhere that Mary went, that lamb was sure to go.

partout où Marie se rendait, l'agneau sûrement l'accompagnait.

(Applause)

(Applaudissements)

AD: And there are other ways that we can push these limits as well.

AD : Nous pouvons repousser les frontières d'autres manières.

So here's a quieter experiment

Voici une expérience plus calme.

where we filmed some earphones plugged into a laptop computer,

On a filmé des écouteurs connectés à un portable.

and in this case, our goal was to recover the music that was playing on that laptop

Ici, notre objectif est de récupérer la musique de l'ordinateur,

from just silent video

à partir de la vidéo muette

of these two little plastic earphones,

de ces deux petits écouteurs en plastique.

and we were able to do this so well

Les résultats furent si concluants,

that I could even Shazam our results.

qu'on a même pu les vérifier sur Shazam.

(Laughter)

(Rires)

(Music: "Under Pressure" by Queen)

(Musique: « Under Pressure », Queen)

(Applause)

(Rires) (Applaudissements)

And we can also push things by changing the hardware that we use.

On peut aussi repousser les limites en changeant de matériel.

Because the experiments I've shown you so far

Toutes ces expériences ont été réalisées

were done with a camera, a high-speed camera,

avec une caméra haute vitesse,

that can record video about a 100 times faster

qui enregistre 100 fois plus d'images

than most cell phones,

qu'un smartphone normal.

but we've also found a way to use this technique

On a donc aussi développé une technique

with more regular cameras,

qui permet d'utiliser des caméras normales.

and we do that by taking advantage of what's called a rolling shutter.

On y arrive en utilisant l'obturateur automatique.

You see, most cameras record images one row at a time,

En fait, la plupart des caméras enregistrent les images de haut en bas.

and so if an object moves during the recording of a single image,

Si l'objet bouge pendant l'enregistrement d'une seule image,

there's a slight time delay between each row,

il y a un léger délai entre chaque ligne d'enregistrement.

and this causes slight artifacts

Ça provoque d'imperceptibles artéfacts

that get coded into each frame of a video.

qui sont encodés dans chaque plan de la vidéo.

And so what we found is that by analyzing these artifacts,

En analysant ces artéfacts,

we can actually recover sound using a modified version of our algorithm.

on peut récupérer le son en utilisant une version modifiée de notre algorithme.

So here's an experiment we did

Voici une autre expérience.

where we filmed a bag of candy

Nous avons filmé un sachet de bonbons,

while a nearby loudspeaker played

à côté d'un ampli qui joue la même chanson :

the same "Mary Had a Little Lamb" music from before,

« Mary Had a Little Lamb »

but this time, we used just a regular store-bought camera,

Mais cette fois-ci, nous avons utilisé une caméra ordinaire.

and so in a second, I'll play for you the sound that we recovered,

Je vais vous laisser écouter le son que nous avons récupéré.

and it's going to sound distorted this time,

Le son sera un peu distordu,

but listen and see if you can still recognize the music.

mais essayez quand même de voir si vous pouvez reconnaître la musique.

(Audio: "Mary Had a Little Lamb")

(Audio: « Mary Had a Little Lamb »)

And so, again, that sounds distorted,

Certes, le son est déformé.

but what's really amazing here is that we were able to do this

Mais ce qui est extraordinaire, c'est que nous avons pu réaliser cela

with something that you could literally run out

avec un appareil disponible en grande surface

and pick up at a Best Buy.

et utiliser facilement.

So at this point,

À ce stade,

a lot of people see this work,

les gens qui découvrent notre travail,

and they immediately think about surveillance.

pensent souvent à la surveillance.

And to be fair,

En étant honnête, ce n'est pas difficile d'imaginer

it's not hard to imagine how you might use this technology to spy on someone.

comment utiliser cette technologie pour espionner autrui.

But keep in mind that there's already a lot of very mature technology

Mais il y a déjà sur le marché beaucoup de technologies matures

dans le domaine de la surveillance.

out there for surveillance.

In fact, people have been using lasers

On utilise des lasers

to eavesdrop on objects from a distance for decades.

pour intercepter des conversations via des objets, depuis des décennies.

But what's really new here,

Ce qui est fondamentalement nouveau ici,

what's really different,

et qui distingue notre technologie,

is that now we have a way to picture the vibrations of an object,

c'est notre capacité à percevoir les vibrations des objets.

which gives us a new lens through which to look at the world,

Ça nous donne un nouvel objectif pour observer le monde.

and we can use that lens

Et on peut l'utiliser

to learn not just about forces like sound that cause an object to vibrate,

pour étudier les forces comme le son qui causent des vibrations sur un objet,

but also about the object itself.

mais on peut aussi étudier l'objet lui-même.

And so I want to take a step back

Je vais prendre un peu de recul

and think about how that might change the ways that we use video,

pour réfléchir en quoi ça peut modifier les manières dont nous utilisons la vidéo.

because we usually use video to look at things,

En général, on utilise la vidéo pour regarder des choses.

and I've just shown you how we can use it

Mais je viens de vous montrer comment l'utiliser

to listen to things.

pour écouter des choses.

But there's another important way that we learn about the world:

Il y a une autre manière importante d'étudier le monde :

that's by interacting with it.

en interagissant avec lui.

We push and pull and poke and prod things.

On appuie, on tire, ou donne des petits coups sur les objets.

We shake things and see what happens.

On peut les secouer et voir ce qui se passe.

And that's something that video still won't let us do,

La vidéo ne nous permet pas encore de faire tout ça.

at least not traditionally.

En tout cas, de manière traditionnelle.

So I want to show you some new work,

Je vous montre mes nouveaux travaux.

and this is based on an idea I had just a few months ago,

Ils reposent sur une idée que j'ai eue il y a quelques mois.

so this is actually the first time I've shown it to a public audience.

C'est la première fois que je les dévoile en public.

And the basic idea is that we're going to use the vibrations in a video

L'idée de base est d'utiliser les vibrations dans la vidéo

to capture objects in a way that will let us interact with them

pour saisir des objets de manière à interagir avec eux,

and see how they react to us.

et voir comment ils réagissent.

So here's an object,

Voilà un objet.

and in this case, it's a wire figure in the shape of a human,

C'est une statue en fil de fer, qui a la forme d'un humain.

and we're going to film that object with just a regular camera.

On va la filmer avec une caméra normale.

So there's nothing special about this camera.

La caméra n'a rien de spécial.

In fact, I've actually done this with my cell phone before.

J'ai même essayé avec la caméra de mon smartphone.

But we do want to see the object vibrate,

Nous voulons observer les vibrations de l'objet.

so to make that happen,

Et pour cela,

we're just going to bang a little bit on the surface where it's resting

on va donner des petits coups sur la surface où elle est déposée,

while we record this video.

pendant l'enregistrement.

So that's it: just five seconds of regular video,

C'est tout. 5 secondes de vidéo normale,

while we bang on this surface,

on donne des coups sur le plan,

and we're going to use the vibrations in that video

et on va utiliser les vibrations enregistrées par la vidéo

to learn about the structural and material properties of our object,

pour étudier les propriétés structurelles et matérielles de l'objet.

and we're going to use that information to create something new and interactive.

On va ensuite les utiliser pour créer quelque chose de neuf et interactif.

And so here's what we've created.

En voici le résultat.

And it looks like a regular image,

On dirait une image normale.

but this isn't an image, and it's not a video,

Mais ce n'est pas le cas. Ce n'est pas non plus une vidéo,

because now I can take my mouse

parce que maintenant, je peux prendre ma souris,

and I can start interacting with the object.

et interagir avec l'objet.

And so what you see here

Ce que vous voyez ici,

c'est une simulation des réactions de cet objet

is a simulation of how this object

would respond to new forces that we've never seen before,

lorsqu'il subit des forces qu'on n'a pas encore vues.

and we created it from just five seconds of regular video.

Nous avons créé cela à partir d'une vidéo de 5 secondes.

(Applaudissements)

(Applause)

And so this is a really powerful way to look at the world,

C'est un moyen puissant d'observer le monde,

because it lets us predict how objects will respond

parce qu'il nous permet de prédire comment les objets vont réagir

to new situations,

dans des situations nouvelles.

and you could imagine, for instance, looking at an old bridge

On pourrait imaginer, par exemple, regarder un vieux pont,

and wondering what would happen, how would that bridge hold up

en se demandant ce qui va se passer, quand je vais le traverser en voiture.

if I were to drive my car across it.

Le pont va-t-il supporter ce poids ?

And that's a question that you probably want to answer

Et vous vous poseriez cette question, sans doute,

before you start driving across that bridge.

avant de devoir traverser un tel vieux pont.

And of course, there are going to be limitations to this technique,

Bien entendu, la technologie a ses limites,

just like there were with the visual microphone,

tout comme celle avec le microphone visuel.

but we found that it works in a lot of situations

Mais nous avons constaté que ça fonctionne dans beaucoup de cas,

that you might not expect,

même des cas inattendus,

especially if you give it longer videos.

surtout si on utilise des vidéos plus longues.

So for example, here's a video that I captured

Par exemple, voici une de mes vidéos.

of a bush outside of my apartment,

C'est un arbuste à côté de mon appartement.

and I didn't do anything to this bush,

Je n'ai pas touché à l'arbuste.

but by capturing a minute-long video,

J'ai pris une vidéo d'une minute.

a gentle breeze caused enough vibrations

Un vent léger a provoqué suffisamment de vibrations

that we could learn enough about this bush to create this simulation.

pour nous permettre de développer cette simulation.

(Applause)

(Applaudissements)

And so you could imagine giving this to a film director,

On pourrait aussi imaginer qu'un réalisateur

and letting him control, say,

utilise cette technique pour contrôler, par exemple,

the strength and direction of wind in a shot after it's been recorded.

la force ou la direction du vent après avoir tourné la scène.

Or, in this case, we pointed our camera at a hanging curtain,

Dans ce cas-ci, on a filmé une tenture.

and you can't even see any motion in this video,

Il n'y a aucun mouvement perceptible dans cette vidéo.

but by recording a two-minute-long video,

Mais un enregistrement de deux minutes,

natural air currents in this room

a permis d'analyser suffisamment de mouvements imperceptibles

created enough subtle, imperceptible motions and vibrations

causés par des courants d'air naturels dans la pièce

that we could learn enough to create this simulation.

pour créer cette simulation.

And ironically,

Paradoxalement,

we're kind of used to having this kind of interactivity

on est habitué à ce genre d'interactions

when it comes to virtual objects,

avec des objets virtuels,

when it comes to video games and 3D models,

dans les jeux vidéo ou les modèles 3D.

but to be able to capture this information from real objects in the real world

Mais pouvoir capter des informations sur des objets réels, dans le monde réel

using just simple, regular video,

en utilisant une vidéo normale,

is something new that has a lot of potential.

est quelque chose de tout à fait innovant, avec un grand potentiel.

So here are the amazing people who worked with me on these projects.

Voici les membres formidables qui ont contribué à ces projets.

(Applause)

(Applaudissements)

And what I've shown you today is only the beginning.

Ce que je vous ai montré aujourd'hui n'est que le début.

We've just started to scratch the surface

On vient juste de commencer

of what you can do with this kind of imaging,

à découvrir ce qui est possible de réaliser avec ce genre d'images.

because it gives us a new way

Ça nous donne de nouvelles méthodes

to capture our surroundings with common, accessible technology.

pour filmer notre environnement avec des technologies accessibles.

And so looking to the future,

À l'avenir,

it's going to be really exciting to explore

ces technologies pourront nous enseigner

what this can tell us about the world.

des choses fascinantes sur le monde.

Thank you.

Merci.

(Applause)

(Applaudissements)