See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Traduttore: Anna Cristiana Minoli Revisore: Sandra Cavallo

So over the past few centuries, microscopes have revolutionized our world.

Negli ultimi secoli, i microscopi hanno rivoluzionato il mondo.

They revealed to us a tiny world of objects, life and structures

Ci hanno svelato un mondo di oggetti, vita e strutture minuscoli,

that are too small for us to see with our naked eyes.

troppo piccoli da vedere a occhio nudo.

They are a tremendous contribution to science and technology.

Hanno dato un enorme contributo alla scienza e alla tecnologia.

Today I'd like to introduce you to a new type of microscope,

Oggi, vorrei presentarvi un nuovo tipo di microscopio,

a microscope for changes.

un microscopio dei cambiamenti.

It doesn't use optics like a regular microscope

Non usa l'ottica di un normale microscopio

to make small objects bigger,

che ingrandisce gli oggetti,

but instead it uses a video camera and image processing

ma usa una videocamera e l'elaborazione di immagini

to reveal to us the tiniest motions and color changes in objects and people,

per rivelare i più piccoli movimenti e cambiamenti di colore

negli oggetti e nelle persone,

changes that are impossible for us to see with our naked eyes.

cambiamenti che sono impossibili da vedere a occhio nudo.

And it lets us look at our world in a completely new way.

E ci permette di vedere il mondo in modo del tutto nuovo.

So what do I mean by color changes?

Cosa intendo per cambiamento di colore?

Our skin, for example, changes its color very slightly

La pelle, per esempio, cambia impercettibilmente colore

when the blood flows under it.

con lo scorrere del sangue.

That change is incredibly subtle,

È un cambiamento veramente minimo,

which is why, when you look at other people,

e per questo quando guardate altre persone,

when you look at the person sitting next to you,

come la persona seduta accanto a voi,

you don't see their skin or their face changing color.

la loro pelle, il loro viso, non sembra cambiare colore.

When we look at this video of Steve here, it appears to us like a static picture,

Guardando questo video di Steve, sembra un'immagine statica,

but once we look at this video through our new, special microscope,

ma guardandolo attraverso il nuovo microscopio speciale,

suddenly we see a completely different image.

vediamo un'immagine completamente diversa.

What you see here are small changes in the color of Steve's skin,

Vedete qui i minuscoli cambiamenti cromatici della pelle di Steve,

magnified 100 times so that they become visible.

aumentati di 100 volte per renderli visibili.

We can actually see a human pulse.

Possiamo vedere il battito cardiaco.

We can see how fast Steve's heart is beating,

Possiamo vedere la velocità del battito di Steve,

but we can also see the actual way that the blood flows in his face.

ma anche come il sangue scorre nel suo viso.

And we can do that not just to visualize the pulse,

E questo non serve solo a visualizzare il battito,

but also to actually recover our heart rates,

ma anche a misurare la frequenza cardiaca.

and measure our heart rates.

And we can do it with regular cameras and without touching the patients.

Lo si può fare con normali telecamere, senza toccare i pazienti.

So here you see the pulse and heart rate we extracted from a neonatal baby

Qui vedete il battito e la frequenza estratte dal video di un neonato

from a video we took with a regular DSLR camera,

girato con una normale fotocamera DSLR,

and the heart rate measurement we get

e il battito cardiaco che misura

is as accurate as the one you'd get with a standard monitor in a hospital.

è altrettanto preciso di quello misurato in ospedale.

And it doesn't even have to be a video we recorded.

E non deve nemmeno essere un video girato da noi.

We can do it essentially with other videos as well.

Possiamo lavorare anche con altri video.

So I just took a short clip from "Batman Begins" here

Ho preso un breve estratto di "Batman Begins"

just to show Christian Bale's pulse.

per mostrarvi il polso di Christian Bale.

(Laughter)

(Risate)

And you know, presumably he's wearing makeup,

Immagino sia truccato,

the lighting here is kind of challenging,

con le luci è difficile,

but still, just from the video, we're able to extract his pulse

eppure, solo dal video, siamo in grado di estrarre il polso

and show it quite well.

e mostrarlo abbastanza bene.

So how do we do all that?

Ma allora, come funziona?

We basically analyze the changes in the light that are recorded

In sostanza analizziamo i cambiamenti di luce registrati

at every pixel in the video over time,

in ogni pixel del video, nel tempo,

and then we crank up those changes.

e intensifichiamo questi cambiamenti.

We make them bigger so that we can see them.

Li amplifichiamo per renderli visibili.

The tricky part is that those signals,

La cosa difficile è che questi segnali,

those changes that we're after, are extremely subtle,

questi cambiamenti che cerchiamo, sono impercettibili,

so we have to be very careful when you try to separate them

dobbiamo stare molto attenti nel cercare di distinguerli

from noise that always exists in videos.

dal rumore sempre presente nei video.

So we use some clever image processing techniques

Usiamo quindi tecniche avanzate di elaborazione delle immagini

to get a very accurate measurement of the color at each pixel in the video,

per misurare accuratamente il colore di ogni pixel nel video,

and then the way the color changes over time,

e il modo in cui questo colore cambia nel tempo,

and then we amplify those changes.

e amplifichiamo questi cambiamenti.

We make them bigger to create those types of enhanced videos, or magnified videos,

Li amplifichiamo per creare questi video ingranditi, aumentati,

that actually show us those changes.

che di fatto ci mostrano queste variazioni.

[Microscopio dei Cambiamenti] E a quanto pare questa tecnica

But it turns out we can do that not just to show tiny changes in color,

può mostrare non solo variazioni cromatiche, ma anche piccoli movimenti,

but also tiny motions,

and that's because the light that gets recorded in our cameras

e questo perché la luce registrata dalle nostre videocamere

will change not only if the color of the object changes,

cambia non soltanto con il colore degli oggetti,

but also if the object moves.

ma anche con i movimenti.

So this is my daughter when she was about two months old.

Questa è mia figlia a circa due mesi.

It's a video I recorded about three years ago.

È un video che ho girato circa tre anni fa.

And as new parents, we all want to make sure our babies are healthy,

Quando diventiamo genitori, vogliamo sapere che i nostri figli

that they're breathing, that they're alive, of course.

stanno bene, respirano, sono ancora vivi.

So I too got one of those baby monitors

Anche io ho comprato uno di quei baby monitor

so that I could see my daughter when she was asleep.

per vedere mia figlia quando dormiva.

And this is pretty much what you'll see with a standard baby monitor.

E questo è quello che si vede con un normale baby monitor.

You can see the baby's sleeping, but there's not too much information there.

Vedete il bambino che dorme, ma non dà molte informazioni.

There's not too much we can see.

Non si vede molto.

Wouldn't it be better, or more informative, or more useful,

Non sarebbe meglio, più informativo, più utile,

if instead we could look at the view like this.

se potessimo invece vederlo in questo modo.

So here I took the motions and I magnified them 30 times,

Qui ho ho amplificato i movimenti 30 volte,

and then I could clearly see that my daughter was indeed alive and breathing.

e qui si vede chiaramente che mia figlia era viva e respirava.

(Laughter)

(Risate)

Here is a side-by-side comparison.

Eccoli fianco a fianco.

So again, in the source video, in the original video,

Nel video originale,

there's not too much we can see,

non si vede molto,

but once we magnify the motions, the breathing becomes much more visible.

ma una volta amplificato, la respirazione si fa molto più visibile.

A quanto pare, sono molti i fenomeni che si possono rivelare

And it turns out, there's a lot of phenomena

we can reveal and magnify with our new motion microscope.

e amplificare con il nostro nuovo microscopio del movimento.

We can see how our veins and arteries are pulsing in our bodies.

Possiamo vedere come pulsano le vene e arterie.

We can see that our eyes are constantly moving

Possiamo vedere come gli occhi si muovono di continuo

in this wobbly motion.

con un movimento ondeggiante.

And that's actually my eye,

Questo è il mio occhio,

and again this video was taken right after my daughter was born,

questo video è stato girato poco dopo la nascita di mia figlia,

so you can see I wasn't getting too much sleep. (Laughter)

si vede che non dormivo molto. (Risate)

Even when a person is sitting still,

Anche da una persona che è seduta immobile,

there's a lot of information we can extract

possiamo estrarre molte informazioni

about their breathing patterns, small facial expressions.

sul ritmo della respirazione, le piccoli espressioni facciali.

Maybe we could use those motions

Magari potremmo usare questi movimenti

to tell us something about our thoughts or our emotions.

per capire qualcosa dei nostri pensieri e emozioni.

We can also magnify small mechanical movements,

Possiamo anche amplificare piccoli movimenti meccanici,

like vibrations in engines,

come le vibrazioni nei motori,

that can help engineers detect and diagnose machinery problems,

che possono aiutare gli ingegneri a rilevare problemi meccanici,

or see how our buildings and structures sway in the wind and react to forces.

o vedere come edifici e strutture oscillano al vento e reagiscono.

Those are all things that our society knows how to measure in various ways,

Sono tutti fenomeni che la nostra società sa misurare, in modi diversi,

but measuring those motions is one thing,

ma una cosa è misurare questi movimenti,

and actually seeing those motions as they happen

un'altra è vederli proprio mentre accadono.

is a whole different thing.

And ever since we discovered this new technology,

Quando abbiamo scoperto questa nuova tecnologia,

we made our code available online so that others could use and experiment with it.

abbiamo subito reso disponibile online il codice

in modo che altri possano utilizzarlo e sperimentare.

It's very simple to use.

È molto semplice da usare.

It can work on your own videos.

Funziona anche con i vostri video.

Our collaborators at Quanta Research even created this nice website

I nostri collaboratori a Quanta Research hanno anche creato un sito web

where you can upload your videos and process them online,

in cui si possono caricare video e elaborarli online.

so even if you don't have any experience in computer science or programming,

Anche se non avete esperienza informatica o di programmazione,

you can still very easily experiment with this new microscope.

potete facilmente sperimentare con questo nuovo microscopio.

And I'd like to show you just a couple of examples

Vorrei mostrarvi un paio di esempi

of what others have done with it.

di cosa altri ci hanno fatto.

So this video was made by a YouTube user called Tamez85.

Questo video è stato fatto da un utente YouTube di nome Tamez85.

I don't know who that user is,

Non so chi sia,

but he, or she, used our code

ma lui, o lei, ha usato il nostro codice

to magnify small belly movements during pregnancy.

per amplificare i piccoli movimenti della pancia durante la gravidanza.

It's kind of creepy.

È un po' inquietante.

(Laughter)

(Risate)

People have used it to magnify pulsing veins in their hands.

Altri lo hanno usato per amplificare vene che pulsano nelle mani.

And you know it's not real science unless you use guinea pigs,

E non è vera scienza finché non usate i porcellini d'India --

and apparently this guinea pig is called Tiffany,

questo porcellino d'india pare si chiami Tiffany,

and this YouTube user claims it is the first rodent on Earth

questo utente YouTube sostiene sia il primo roditore sulla Terra

that was motion-magnified.

a cui sono stati amplificati i movimenti.

You can also do some art with it.

Ci si può anche fare arte.

So this video was sent to me by a design student at Yale.

Questo video mi arriva da una studentessa di design di Yale.

She wanted to see if there's any difference

Voleva vedere se ci fossero differenze

in the way her classmates move.

nel modo di muoversi dei suoi compagni.

She made them all stand still, and then magnified their motions.

Li ha fatti stare tutti fermi, e poi ha amplificato i loro movimenti.

It's like seeing still pictures come to life.

È come vedere immagini che prendono vita.

And the nice thing with all those examples

La cosa bella di tutti questi esempi

è che noi non abbiamo avuto niente a che fare con queste applicazioni.

is that we had nothing to do with them.

We just provided this new tool, a new way to look at the world,

Abbiamo solo fornito lo strumento, un nuovo modo di guardare il mondo,

and then people find other interesting, new and creative ways of using it.

e la gente ha trovato altri modi interessanti, nuovi e creativi di usarlo.

But we didn't stop there.

Ma non ci siamo fermati qui.

This tool not only allows us to look at the world in a new way,

Questo strumento non ci permette solo

di vedere il mondo in modo diverso.

it also redefines what we can do

Ridefinisce ciò che si può fare,

and pushes the limits of what we can do with our cameras.

spinge i limiti di ciò che si può fare con le videocamere.

So as scientists, we started wondering,

In quanto scienziati, ci siamo chiesti:

what other types of physical phenomena produce tiny motions

quali altri fenomeni fisici producono minuscoli movimenti

that we could now use our cameras to measure?

che adesso possiamo misurare con le nostre telecamere?

And one such phenomenon that we focused on recently is sound.

Uno dei fenomeni su cui ci siamo concentrati è il suono.

Sound, as we all know, is basically changes

Il suono, si sa, consiste di variazioni

in air pressure that travel through the air.

di pressione che si trasmettono nell'aria.

Those pressure waves hit objects and they create small vibrations in them,

Queste onde colpiscono gli oggetti e creano piccole vibrazioni,

which is how we hear and how we record sound.

ed è così che sentiamo e registriamo i suoni.

But it turns out that sound also produces visual motions.

Ma il suono produce anche movimenti visivi.

Those are motions that are not visible to us

Sono movimenti invisibili per noi,

but are visible to a camera with the right processing.

ma visibili per la telecamera con l'elaborazione adatta.

So here are two examples.

Ecco due esempi.

This is me demonstrating my great singing skills.

Questo sono io che dimostro le mie grandi doti canore.

(Singing)

(Canta)

(Laughter)

(Risate)

And I took a high-speed video of my throat while I was humming.

Ecco un video accelerato della mia gola, mentre canticchio.

Again, if you stare at that video,

Ancora una volta, guardando il video,

there's not too much you'll be able to see,

non si vede molto,

but once we magnify the motions 100 times, we can see all the motions and ripples

ma una volta ampliati i movimenti 100 volte,

vediamo tutti i movimenti e le onde sul collo

in the neck that are involved in producing the sound.

che sono collegati alla produzione di quel suono.

That signal is there in that video.

Il segnale sonoro è nel video.

We also know that singers can break a wine glass

Sappiamo anche che i cantanti possono rompere un bicchiere

if they hit the correct note.

con la nota giusta.

So here, we're going to play a note

Allora qui, suoneremo una nota

that's in the resonance frequency of that glass

con la frequenza di risonanza di quel bicchiere

through a loudspeaker that's next to it.

con l'altoparlante che è lì accanto.

Once we play that note and magnify the motions 250 times,

Se suoniamo quella nota e amplifichiamo 250 volte i movimenti

we can very clearly see how the glass vibrates

vediamo chiaramente il bicchiere vibrare

and resonates in response to the sound.

e risuonare in reazione a quel suono.

It's not something you're used to seeing every day.

Non è una cosa che si vede tutti i giorni.

But this made us think. It gave us this crazy idea.

Ma questo ci ha fatto pensare. Ci ha dato un'idea:

Can we actually invert this process and recover sound from video

possiamo invertire il processo, e ricreare da un video, il suono

by analyzing the tiny vibrations that sound waves create in objects,

analizzando le minuscole vibrazioni che le onde sonore creano negli oggetti,

and essentially convert those back into the sounds that produced them.

e riconvertire le onde nei suoni che le hanno prodotte.

In this way, we can turn everyday objects into microphones.

In questo modo, possiamo rendere qualunque oggetto un microfono.

So that's exactly what we did.

Ed è quello che abbiamo fatto.

So here's an empty bag of chips that was lying on a table,

Ecco un sacchetto vuoto di patatine sul tavolo.

and we're going to turn that bag of chips into a microphone

Ora trasformeremo il sacchetto in un microfono

by filming it with a video camera

filmandolo con una videocamera

and analyzing the tiny motions that sound waves create in it.

e analizzando come le onde sonore lo fanno muovere.

So here's the sound that we played in the room.

Ecco che suono c'era in quella stanza.

(Music: "Mary Had a Little Lamb")

(Musica: "Mary Had a Little Lamb")

And this is a high-speed video we recorded of that bag of chips.

Ed ecco un video accelerato di quel sacchetto di patatine.

Again it's playing.

Ancora una volta, a guardarlo

There's no chance you'll be able to see anything going on in that video

è impossibile vedere qualcosa

just by looking at it,

but here's the sound we were able to recover just by analyzing

ma questo è il suono che siamo riusciti a recuperare

solo analizzando i minuscoli movimenti del video.

the tiny motions in that video.

(Music: "Mary Had a Little Lamb")

(Musica: "Mary Had a Little Lamb")

I call it -- Thank you.

Lo chiamo -- Grazie.

(Applause)

(Applausi)

I call it the visual microphone.

Lo chiamo microfono visivo.

We actually extract audio signals from video signals.

Abbiamo estratto segnali audio dal segnale video.

And just to give you a sense of the scale of the motions here,

Solo per darvi un'idea dell'ampiezza del movimento,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

un suono piuttosto forte fa muovere il sacchetto di meno di un micrometro.

That's one thousandth of a millimeter.

Cioè un millesimo di millimetro.

That's how tiny the motions are that we are now able to pull out

Sono davvero minuscoli i movimenti che riusciamo a estrarre

just by observing how light bounces off objects

osservando la luce che rimbalza sugli oggetti

and gets recorded by our cameras.

e viene registrata dalle nostre videocamere.

We can recover sounds from other objects, like plants.

Possiamo estrarre suoni da altri oggetti, come le piante.

(Music: "Mary Had a Little Lamb")

(Musica: "Mary Had a Little Lamb")

And we can recover speech as well.

E possiamo anche ricreare il parlato.

So here's a person speaking in a room.

Questa è una persona che parla in una stanza.

Voice: Mary had a little lamb whose fleece was white as snow,

Voce: "Mary aveva una pecorella dal manto bianco come la neve,

and everywhere that Mary went, that lamb was sure to go.

e ovunque andasse Mary, andava anche la pecorella".

Michael Rubinstein: And here's that speech again recovered

Ed ecco lo stesso discorso, ricostruito

just from this video of that same bag of chips.

dal video e dal sacchetto di patatine.

Voice: Mary had a little lamb whose fleece was white as snow,

Voce: "Mary aveva una pecorella dal manto bianco come la neve,

and everywhere that Mary went, that lamb was sure to go.

e ovunque andasse Mary, andava anche la pecorella".

MR: We used "Mary Had a Little Lamb"

Abbiamo usato "Mary Had a Little Lamb"

because those are said to be the first words

perché si dice siano le prime parole

that Thomas Edison spoke into his phonograph in 1877.

pronunciate da Thomas Edison nel fonografo nel 1877.

It was one of the first sound recording devices in history.

È stato uno dei primi apparecchi di registrazione della storia.

It basically directed the sounds onto a diaphragm

Indirizzava i suoni in un diaframma

that vibrated a needle that essentially engraved the sound on tinfoil

che faceva vibrare un ago, che incideva il suono nella carta stagnola

that was wrapped around the cylinder.

che avvolgeva il cilindro.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Ecco una dimostrazione di registrazione e riproduzione con il fonografo di Edison.

(Video) Voice: Testing, testing, one two three.

(Video) Voce: "Test, test, uno due tre.

Mary had a little lamb whose fleece was white as snow,

Mary aveva una pecorella dal manto bianco come la neve,

and everywhere that Mary went, the lamb was sure to go.

e ovunque andasse Mary, andava anche la pecorella.

Testing, testing, one two three.

Test, test, uno due tre.

Mary had a little lamb whose fleece was white as snow,

Mary aveva una pecorella dal manto bianco come la neve,

and everywhere that Mary went, the lamb was sure to go.

e ovunque andasse Mary, andava anche la pecorella".

MR: And now, 137 years later,

Oggi, 137 anni dopo,

we're able to get sound in pretty much similar quality

siamo in grado di riprodurre il suono con la stessa qualità

but by just watching objects vibrate to sound with cameras,

solo guardando oggetti che vibrano al suono con videocamere,

and we can even do that when the camera

e possiamo anche farlo quando la videocamera

is 15 feet away from the object, behind soundproof glass.

è a più di quattro metri dall'oggetto, dietro un vetro insonorizzato.

So this is the sound that we were able to recover in that case.

Questo è il suono recuperato in quel caso.

Voice: Mary had a little lamb whose fleece was white as snow,

Voce: "Mary aveva una pecorella dal manto bianco come la neve

and everywhere that Mary went, the lamb was sure to go.

e ovunque andasse Mary, andava anche la pecorella".

MR: And of course, surveillance is the first application that comes to mind.

Ovviamente, la sorveglianza è la prima applicazione che viene in mente.

(Laughter)

(Risate)

But it might actually be useful for other things as well.

Ma potrebbe essere utile anche per altre cose.

Maybe in the future, we'll be able to use it, for example,

Magari in futuro, saremo in grado di usarlo, per esempio,

to recover sound across space,

per ricostruire i suoni dallo spazio,

because sound can't travel in space, but light can.

perché il suono non può viaggiare nello spazio, ma la luce sì.

We've only just begun exploring

Abbiamo solo iniziato ad esplorare

other possible uses for this new technology.

tutti gli usi possibili di questa nuova tecnologia.

It lets us see physical processes that we know are there

Ci fa vedere processi fisici che sappiamo esistere

but that we've never been able to see with our own eyes until now.

ma che finora non abbiamo mai visto con i nostri occhi.

This is our team.

Ecco la nostra équipe.

Everything I showed you today is a result of a collaboration

Ciò che vi ho mostrato oggi è il risultato della collaborazione

with this great group of people you see here,

con questo fantastico gruppo di persone

and I encourage you and welcome you to check out our website,

e vi invito a visitare il nostro sito web,

try it out yourself,

provare voi stessi,

and join us in exploring this world of tiny motions.

e esplorate con noi l'universo dei piccoli movimenti.

Thank you.

Grazie.

(Applause)

(Applausi)