See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Traducteur: Giorgio Savini Relecteur: Claire Ghyselen

So over the past few centuries, microscopes have revolutionized our world.

Ces derniers siècles, les microscopes ont révolutionné notre monde.

They revealed to us a tiny world of objects, life and structures

Ils nous ont révélé un monde minuscule d'objets, de vies et de structures

that are too small for us to see with our naked eyes.

qui sont trop petits pour être vus à l'œil nu.

They are a tremendous contribution to science and technology.

Ils contribuent incroyablement à la science et la technologie.

Today I'd like to introduce you to a new type of microscope,

Aujourd'hui, je veux vous présenter un nouveau type de microscope :

a microscope for changes.

un microscope pour les changements.

It doesn't use optics like a regular microscope

Il n'utilise pas l'optique, pour agrandir les petits objets,

to make small objects bigger,

comme un microscope habituel.

but instead it uses a video camera and image processing

Au lieu de ça, il utilise une caméra et du traitement d'images

to reveal to us the tiniest motions and color changes in objects and people,

pour nous révéler les mouvements les plus infimes

et les changements de couleur des objets et des gens.

changes that are impossible for us to see with our naked eyes.

Des changements impossibles à voir pour nous à l'œil nu.

And it lets us look at our world in a completely new way.

Et ça nous permet de voir notre monde d'une façon complètement nouvelle.

So what do I mean by color changes?

Qu'est-ce qu'un changement de couleur ?

Our skin, for example, changes its color very slightly

Notre peau, par exemple, change légèrement de couleur

when the blood flows under it.

quand le sang s'écoule sous sa surface.

That change is incredibly subtle,

Ce changement est incroyablement léger,

which is why, when you look at other people,

c'est pourquoi quand on regarde les autres,

when you look at the person sitting next to you,

ou même celui qui est assis à côté de nous,

you don't see their skin or their face changing color.

on ne voit pas leur peau ou leur visage changer de couleur.

When we look at this video of Steve here, it appears to us like a static picture,

Si on regarde cette vidéo de Steve, il semble immobile.

but once we look at this video through our new, special microscope,

Mais si on regarde cette vidéo avec notre nouveau microscope spécial,

suddenly we see a completely different image.

soudain on voit une image complètement différente.

What you see here are small changes in the color of Steve's skin,

Là, on voit des petits changements dans la couleur de la peau de Steve,

magnified 100 times so that they become visible.

agrandis par un facteur 100 pour les rendre visibles.

We can actually see a human pulse.

On peut tout à fait voir un pouls humain.

We can see how fast Steve's heart is beating,

On peut voir la vitesse des battements cardiaques de Steve.

but we can also see the actual way that the blood flows in his face.

On peut aussi voir la façon effective dont le sang s'écoule dans son visage.

And we can do that not just to visualize the pulse,

On peut faire ça non seulement pour visualiser le pouls,

but also to actually recover our heart rates,

mais aussi pour récupérer le rythme cardiaque, et le mesurer.

and measure our heart rates.

And we can do it with regular cameras and without touching the patients.

On le fait avec des caméras normales et sans toucher les patients.

So here you see the pulse and heart rate we extracted from a neonatal baby

Là, on voit le pouls et le rythme cardiaque d'un nouveau-né mesuré

from a video we took with a regular DSLR camera,

à partir d'une vidéo réalisée avec une caméra DSLR normale.

and the heart rate measurement we get

Le rythme cardiaque obtenu

is as accurate as the one you'd get with a standard monitor in a hospital.

est aussi précis que celui qu'on obtient avec le moniteur standard d'un hôpital.

Ce n'est pas forcément une vidéo enregistrée par nous.

And it doesn't even have to be a video we recorded.

We can do it essentially with other videos as well.

Fondamentalement, on peut le faire avec d'autres vidéos aussi.

So I just took a short clip from "Batman Begins" here

Donc là, j'ai pris un petit extrait du film « Batman : Le Commencement »,

just to show Christian Bale's pulse.

pour vous montrer le pouls de Christian Bale.

(Laughter)

(Rires)

And you know, presumably he's wearing makeup,

On sait tous qu'il est maquillé,

the lighting here is kind of challenging,

le réglage de la lumière pose problème,

but still, just from the video, we're able to extract his pulse

néanmoins, on peut extraire son pouls à partir de cet extrait,

and show it quite well.

et le montrer clairement.

So how do we do all that?

Comment fait-on tout ça ?

We basically analyze the changes in the light that are recorded

Fondamentalement, on analyse les changements de lumière enregistrés

at every pixel in the video over time,

à chaque pixel de la vidéo dans le temps,

and then we crank up those changes.

et puis on amplifie ces changements.

We make them bigger so that we can see them.

On les agrandit pour pouvoir les observer.

The tricky part is that those signals,

La partie compliquée est que ces signaux,

those changes that we're after, are extremely subtle,

ces changements qu'on cherche sont minuscules,

so we have to be very careful when you try to separate them

on doit donc faire très attention quand on essaie

from noise that always exists in videos.

de les séparer du bruit présent dans toutes les vidéos.

So we use some clever image processing techniques

On utilise des techniques de traitement d'images astucieuses

to get a very accurate measurement of the color at each pixel in the video,

pour obtenir une mesure très précise de la couleur de chaque pixel de la vidéo,

and then the way the color changes over time,

et de la manière dont la couleur change avec le temps,

and then we amplify those changes.

et puis on amplifie ces variations.

We make them bigger to create those types of enhanced videos, or magnified videos,

On les agrandit pour créer de telles vidéos accrues, ou amplifiées.

that actually show us those changes.

qui nous montrent clairement ces changements.

But it turns out we can do that not just to show tiny changes in color,

En fait, on peut faire ça non seulement pour les changements de couleur,

but also tiny motions,

and that's because the light that gets recorded in our cameras

parce que la lumière enregistrée dans nos caméras

will change not only if the color of the object changes,

varie non seulement quand la couleur de l'objet change,

but also if the object moves.

mais aussi quand l'objet bouge.

So this is my daughter when she was about two months old.

Voici ma fille à deux mois.

It's a video I recorded about three years ago.

C'est une vidéo que j'ai enregistrée il y a environ trois ans.

And as new parents, we all want to make sure our babies are healthy,

Et, comme tout parent, on veut s'assurer

que nos enfants sont en bonne santé, qu'ils respirent et qu'ils sont vivants.

that they're breathing, that they're alive, of course.

So I too got one of those baby monitors

Donc j'ai acheté un babyphone

so that I could see my daughter when she was asleep.

pour observer ma fille dans son sommeil.

And this is pretty much what you'll see with a standard baby monitor.

Voici le résultat obtenu habituellement avec un babyphone standard.

You can see the baby's sleeping, but there's not too much information there.

On peut voir le bébé qui dort, mais sans plus.

There's not too much we can see.

Il n'y a pas grand chose à voir.

Wouldn't it be better, or more informative, or more useful,

Ne serait-il pas mieux, plus informatif, ou plus utile,

if instead we could look at the view like this.

si, au lieu de ça, on pouvait voir la scène comme ça.

So here I took the motions and I magnified them 30 times,

J'ai analysé les mouvements et je les ai amplifiés d'un facteur 30,

and then I could clearly see that my daughter was indeed alive and breathing.

et j'ai pu clairement voir que ma fille respirait toujours.

(Laughter)

(Rires)

Here is a side-by-side comparison.

Voilà les vidéos côte à côte.

So again, in the source video, in the original video,

Dans la vidéo originelle,

there's not too much we can see,

il n'y a pas grand chose à voir,

but once we magnify the motions, the breathing becomes much more visible.

mais si on amplifie les mouvements, la respiration devient plus visible.

And it turns out, there's a lot of phenomena

Il y a en fait beaucoup de phénomènes

we can reveal and magnify with our new motion microscope.

qu'on peut révéler et agrandir avec notre nouveau microscope du mouvement.

We can see how our veins and arteries are pulsing in our bodies.

On peut voir comment nos veines et artères pulsent dans notre corps.

We can see that our eyes are constantly moving

On peut voir que nos yeux sont constamment en mouvement,

in this wobbly motion.

un peu tremblants.

And that's actually my eye,

C'est mon œil sur cette vidéo.

and again this video was taken right after my daughter was born,

J’ai enregistré cette vidéo juste après la naissance de ma fille.

so you can see I wasn't getting too much sleep. (Laughter)

Vous pouvez donc remarquer que je manquais de sommeil.

Even when a person is sitting still,

(Rires)

Même lorsque quelqu'un est assis, immobile,

there's a lot of information we can extract

on peut extraire beaucoup d'informations

about their breathing patterns, small facial expressions.

sur son rythme de respiration, ses petites expressions faciales.

Maybe we could use those motions

Peut-être que ces mouvements

to tell us something about our thoughts or our emotions.

peuvent nous révéler quelque chose sur nos pensées, nos émotions.

We can also magnify small mechanical movements,

On peut aussi amplifier les petits mouvements mécaniques,

like vibrations in engines,

comme les vibrations d'un moteur.

that can help engineers detect and diagnose machinery problems,

Ça pourrait aider les ingénieurs à identifier des problèmes mécaniques,

or see how our buildings and structures sway in the wind and react to forces.

ou observer comment nos constructions réagissent aux forces et au vent.

Those are all things that our society knows how to measure in various ways,

Ce sont des choses que notre société sait mesurer de plusieurs manières.

but measuring those motions is one thing,

Mais mesurer ces mouvements,

and actually seeing those motions as they happen

et les observer quand ils se produisent

is a whole different thing.

sont deux choses complètement différentes.

And ever since we discovered this new technology,

Et depuis qu'on a découvert cette nouvelle technologie,

we made our code available online so that others could use and experiment with it.

on a mis notre code en ligne pour qu'il puisse être utilisé et expérimenté.

It's very simple to use.

Il est très simple à utiliser.

It can work on your own videos.

Il peut être utilisé sur vos propres vidéos.

Our collaborators at Quanta Research even created this nice website

Nos collaborateurs de Quanta Research ont même créé un beau site

where you can upload your videos and process them online,

où vous pouvez télécharger des vidéos et les modifier.

so even if you don't have any experience in computer science or programming,

Donc même si on n'a pas d'expérience en informatique ou en programmation,

you can still very easily experiment with this new microscope.

on peut facilement expérimenter avec ce nouveau microscope.

And I'd like to show you just a couple of examples

Et je voudrais vous montrer quelques exemples

of what others have done with it.

de ce qui a été fait avec ça.

So this video was made by a YouTube user called Tamez85.

Ceci a été fait par un utilisateur de YouTube qui s'appelle Tamez85.

I don't know who that user is,

Je ne le connais pas,

but he, or she, used our code

mais il, ou elle, a utilisé notre code

to magnify small belly movements during pregnancy.

pour agrandir les petits mouvements du ventre durant une grossesse.

It's kind of creepy.

C'est un peu effrayant.

(Laughter)

(Rires)

People have used it to magnify pulsing veins in their hands.

Certains l'ont utilisé pour agrandir les pulsations des veines dans les mains.

And you know it's not real science unless you use guinea pigs,

Et vous savez que ce n'est pas de la vraie science sans des cobayes.

and apparently this guinea pig is called Tiffany,

Apparemment ce cobaye s'appelle Tiffany

and this YouTube user claims it is the first rodent on Earth

et cet utilisateur de YouTube dit que c'est le premier rongeur

that was motion-magnified.

dont les mouvements ont été agrandis avec cette méthode.

You can also do some art with it.

On peut même en faire de l'art.

So this video was sent to me by a design student at Yale.

Ce vidéo m'a été envoyé par une étudiante en graphisme à Yale.

She wanted to see if there's any difference

Elle voulait voir s'il y avait des différences

in the way her classmates move.

dans les mouvements de ses copains.

She made them all stand still, and then magnified their motions.

Elle leur a demandé de rester immobiles et a agrandi leurs mouvements.

It's like seeing still pictures come to life.

C'est comme voir des photos immobiles prendre vie.

And the nice thing with all those examples

Ce qui est remarquable dans tous ces exemples,

is that we had nothing to do with them.

c'est qu’ils sont entièrement autonomes.

We just provided this new tool, a new way to look at the world,

Nous avons mis la technologie, un nouveau regard sur le monde, à disposition.

and then people find other interesting, new and creative ways of using it.

et puis les gens ont trouvé d'autres utilisations

intéressantes, nouvelles et créatives.

Mais on ne s'est pas arrêté là.

But we didn't stop there.

This tool not only allows us to look at the world in a new way,

Cet instrument nous permet non seulement de regarder le monde

it also redefines what we can do

d'une nouvelle façon, mais il redéfinit ce qu'on peut faire,

and pushes the limits of what we can do with our cameras.

il repousse les limites du possible avec nos caméras.

So as scientists, we started wondering,

Alors, en tant que scientifiques, on s'est demandé

what other types of physical phenomena produce tiny motions

quels autres phénomènes physiques produisent des petits mouvements

that we could now use our cameras to measure?

que nos caméras pourraient mesurer ?

And one such phenomenon that we focused on recently is sound.

Et l'un de ces phénomènes sur lequel on s'est concentrés est le son.

Sound, as we all know, is basically changes

Le son, comme nous le savons tous,

in air pressure that travel through the air.

est une variation de la pression de l'air.

Those pressure waves hit objects and they create small vibrations in them,

Ces ondes de pression frappent les objets et créent de petites vibrations.

which is how we hear and how we record sound.

C'est ainsi qu'on entend et enregistre le son.

But it turns out that sound also produces visual motions.

Il s’avère que le son produit des mouvements visuels.

Those are motions that are not visible to us

Ces mouvements ne sont pas visibles à l'œil nu,

but are visible to a camera with the right processing.

mais pour une caméra munie du traitement d'images adéquat.

So here are two examples.

Voici deux exemples.

This is me demonstrating my great singing skills.

Je vous présente mes grandes capacités en chant.

(Singing)

(Vocalisation)

(Laughter)

(Rires)

And I took a high-speed video of my throat while I was humming.

En même temps, j'ai pris un vidéo à haute vitesse de ma gorge.

Again, if you stare at that video,

Si vous observez cette vidéo,

there's not too much you'll be able to see,

il n'y a pas grand chose à voir,

but once we magnify the motions 100 times, we can see all the motions and ripples

mais en amplifiant les mouvements d'un facteur 100,

on voit les ondulations dans la gorge qui contribuent à la production du son.

in the neck that are involved in producing the sound.

That signal is there in that video.

Ce signal est là, dans cette vidéo.

We also know that singers can break a wine glass

On sait aussi que les chanteurs peuvent briser un verre

if they hit the correct note.

s'ils chantent la note juste.

So here, we're going to play a note

Ici, on va donc jouer une note

that's in the resonance frequency of that glass

dans la fréquence de résonance de ce verre.

through a loudspeaker that's next to it.

avec un haut-parleur à côté.

Once we play that note and magnify the motions 250 times,

Quand on joue cette note et qu'on amplifie par un facteur 250,

we can very clearly see how the glass vibrates

on peut voir nettement comment le verre vibre

and resonates in response to the sound.

et résonne en réaction au son.

It's not something you're used to seeing every day.

Ce n'est pas une chose qu'on voit tous les jours.

But this made us think. It gave us this crazy idea.

Mais ça nous a fait réfléchir, et ça nous a donné une idée folle.

Can we actually invert this process and recover sound from video

Est-ce qu'on peut inverser le processus et récupérer du son à partir des vidéos,

by analyzing the tiny vibrations that sound waves create in objects,

en analysant les micro-vibrations créées par les ondes sonores sur les objets,

and essentially convert those back into the sounds that produced them.

et en les convertissant en son ?

In this way, we can turn everyday objects into microphones.

On pourrait transformer des objets usuels en micros.

So that's exactly what we did.

C'est exactement ce qu'on a fait.

So here's an empty bag of chips that was lying on a table,

Là on voit un sachet de chips vide sur une table,

and we're going to turn that bag of chips into a microphone

et on va le transformer en micro,

by filming it with a video camera

en l'enregistrant avec une caméra

and analyzing the tiny motions that sound waves create in it.

et en analysant les petits mouvements que les ondes sonores y créent.

So here's the sound that we played in the room.

Voici le son qu'on a joué dans la pièce.

(Music: "Mary Had a Little Lamb")

(Musique: « Marie avait un petit agneau »)

And this is a high-speed video we recorded of that bag of chips.

Et voilà une vidéo à haute vitesse du paquet de chips.

Again it's playing.

On rejoue notre morceau.

There's no chance you'll be able to see anything going on in that video

Il n'y a aucune chance de remarquer quoi que ce soit dans cette vidéo.

just by looking at it,

but here's the sound we were able to recover just by analyzing

Voilà le son qu'on a pu récupérer

the tiny motions in that video.

en analysant les mouvements dans la vidéo.

(Music: "Mary Had a Little Lamb")

(Musique: « Marie avait un petit agneau »)

I call it -- Thank you.

Moi, j'appelle ça - Merci.

(Applause)

(Applaudissements)

I call it the visual microphone.

J'appelle ça le micro visuel.

We actually extract audio signals from video signals.

On extrait des signaux acoustiques à partir de signaux visuels.

And just to give you a sense of the scale of the motions here,

Et pour vous donner une idée de l'échelle de ces mouvements,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

un son très bruyant fait bouger ce sachet de moins d'un micromètre.

That's one thousandth of a millimeter.

C'est-à-dire un millième d'un millimètre.

That's how tiny the motions are that we are now able to pull out

Voilà la taille microscopique des mouvements extraits

just by observing how light bounces off objects

par la simple observation de la lumière sur les objets,

and gets recorded by our cameras.

et est enregistrée par nos caméras.

We can recover sounds from other objects, like plants.

On peut reconstruire le son à partir d'autres objets : les plantes.

(Music: "Mary Had a Little Lamb")

(Musique: «Marie avait un petit agneau»)

And we can recover speech as well.

On peut même reconstruire des paroles.

So here's a person speaking in a room.

Voilà une personne qui parle dans une pièce.

Voice: Mary had a little lamb whose fleece was white as snow,

Voix : Marie avait un petit agneau, blanc comme neige, il était beau,

and everywhere that Mary went, that lamb was sure to go.

et partout où Marie allait, l'agneau bien sûr suivait.

Michael Rubinstein: And here's that speech again recovered

MR : Et voilà ces mêmes paroles,

just from this video of that same bag of chips.

reconstruites à partir de ce même paquet de chips.

Voice: Mary had a little lamb whose fleece was white as snow,

Voix : Marie avait un petit agneau, blanc comme neige, il était beau,

and everywhere that Mary went, that lamb was sure to go.

et partout où Marie allait, l'agneau bien sûr suivait.

MR: We used "Mary Had a Little Lamb"

MR : On a utilisé « Marie avait un petit agneau »

because those are said to be the first words

car ce serait les premiers mots

that Thomas Edison spoke into his phonograph in 1877.

que Thomas Edison aurait prononcés dans son phonographe en 1877.

It was one of the first sound recording devices in history.

C'était l'un des premiers enregistreurs de l'histoire.

It basically directed the sounds onto a diaphragm

Fondamentalement il projetait les sons sur un diaphragme

that vibrated a needle that essentially engraved the sound on tinfoil

qui faisait vibrer une aiguille qui gravait le son

sur une feuille d'aluminium enroulée autour d'un cylindre.

that was wrapped around the cylinder.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Voilà une démonstration du phonographe.

(Video) Voice: Testing, testing, one two three.

(Vidéo) Voix : Test, test, un. deux, trois.

Mary had a little lamb whose fleece was white as snow,

Marie avait un petit agneau, blanc comme neige, il était beau,

and everywhere that Mary went, the lamb was sure to go.

et partout où Marie allait, l'agneau bien sûr suivait.

Testing, testing, one two three.

Test, test, un, deux, trois.

Mary had a little lamb whose fleece was white as snow,

Marie avait un petit agneau, blanc comme neige, il était beau,

and everywhere that Mary went, the lamb was sure to go.

et partout où Marie allait, l'agneau bien sûr suivait.

MR: And now, 137 years later,

MR : Et maintenant, 137 ans après,

we're able to get sound in pretty much similar quality

on peut reconstruire du son de qualité très similaire

but by just watching objects vibrate to sound with cameras,

en regardant avec des caméras des objets qui vibrent avec le son.

and we can even do that when the camera

On peut même faire ça quand la caméra

is 15 feet away from the object, behind soundproof glass.

est à 4 mètres de distance de l'objet, derrière du verre insonorisé.

So this is the sound that we were able to recover in that case.

Voilà le son qu'on peut reconstruire dans ce cas-là.

Voice: Mary had a little lamb whose fleece was white as snow,

Voix : Marie avait un petit agneau, blanc comme neige, il était beau,

and everywhere that Mary went, the lamb was sure to go.

et partout où Marie allait, l'agneau bien sûr suivait.

MR: And of course, surveillance is the first application that comes to mind.

MR : Bien sûr, surveillance est la première utilisation qui vient à l'esprit.

(Laughter)

(Rires)

But it might actually be useful for other things as well.

Mais cela pourrait être utile pour d'autres choses.

Maybe in the future, we'll be able to use it, for example,

Peut-être que dans le futur on pourra l'utiliser, par exemple,

to recover sound across space,

pour reconstruire le son dans l'espace,

because sound can't travel in space, but light can.

parce que le son ne voyage pas dans l'espace, mais la lumière peut.

We've only just begun exploring

On ne fait que commencer à explorer

other possible uses for this new technology.

d'autres applications possibles de cette nouvelle technologie.

It lets us see physical processes that we know are there

Ça nous permet de voir des processus que nous savons exister,

but that we've never been able to see with our own eyes until now.

mais qu'on n'a jamais pu voir à l’œil nu jusqu'à maintenant.

This is our team.

Voilà notre équipe.

Everything I showed you today is a result of a collaboration

Tout cela est le résultat d'une collaboration

with this great group of people you see here,

avec ce magnifique groupe de personnes-là.

and I encourage you and welcome you to check out our website,

Je vous encourage à visiter notre site Web,

à tester notre technologie,

try it out yourself,

and join us in exploring this world of tiny motions.

à nous rejoindre pour explorer ce monde des micro-mouvements.

Thank you.

Merci.

(Applause)

(Applaudissements)