See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Traductor: Ciro Gomez Revisor: Emma Gon

So over the past few centuries, microscopes have revolutionized our world.

En los últimos siglos, los microscopios han revolucionado nuestro mundo.

They revealed to us a tiny world of objects, life and structures

Nos han revelado un diminuto mundo de objetos, vidas y estructuras,

that are too small for us to see with our naked eyes.

que son muy pequeños para verlos a simple vista.

They are a tremendous contribution to science and technology.

Una enorme contribución a la ciencia y la tecnología.

Today I'd like to introduce you to a new type of microscope,

Hoy quisiera presentarles un nuevo tipo de microscopio,

a microscope for changes.

un microscopio de cambios.

It doesn't use optics like a regular microscope

No usa la óptica de un microscopio ordinario

to make small objects bigger,

para agrandar objetos pequeños,

but instead it uses a video camera and image processing

sino una cámara de video y procesamiento de imágenes

to reveal to us the tiniest motions and color changes in objects and people,

para revelar cambios de color y diminutos movimientos en personas y objetos,

changes that are impossible for us to see with our naked eyes.

cambios que serían imposibles de ver a simpe vista.

And it lets us look at our world in a completely new way.

Nos permite ver nuestro mundo de una forma completamente nueva.

So what do I mean by color changes?

¿Qué quiero decir con cambios de color?

Our skin, for example, changes its color very slightly

Nuestra piel, por ejemplo, cambia de color muy ligeramente,

when the blood flows under it.

cuando la sangre fluye por ella.

That change is incredibly subtle,

Ese cambio es increíblemente sutil,

which is why, when you look at other people,

por eso cuando ven a los demás,

when you look at the person sitting next to you,

cuando ven a la persona sentada junto a Uds.

you don't see their skin or their face changing color.

no ven que su piel o su cara cambie de color.

When we look at this video of Steve here, it appears to us like a static picture,

Cuando vemos este video de Steve, nos parece una imagen estática.

but once we look at this video through our new, special microscope,

Pero cuando lo vemos mediante nuestro nuevo microscopio especial

suddenly we see a completely different image.

repentinamente vemos una imagen completamente diferente.

What you see here are small changes in the color of Steve's skin,

Lo que ven aquí son los leves cambios de color de la piel de Steve,

magnified 100 times so that they become visible.

magnificados 100 veces para hacerlos visibles.

We can actually see a human pulse.

De hecho vemos el pulso humano.

We can see how fast Steve's heart is beating,

Podemos ver la frecuencia del pulso de Steve,

but we can also see the actual way that the blood flows in his face.

y también cómo fluye la sangre en su cara.

And we can do that not just to visualize the pulse,

Podemos hacer eso no solo para ver el pulso

but also to actually recover our heart rates,

sino para recuperar el ritmo cardiaco

and measure our heart rates.

y medirlo.

And we can do it with regular cameras and without touching the patients.

Y lo podemos hacer con cámaras comunes sin tocar a los pacientes.

So here you see the pulse and heart rate we extracted from a neonatal baby

Aquí vemos el pulso y ritmo cardiaco de un bebé recién nacido

from a video we took with a regular DSLR camera,

a partir de un video que tomamos con una cámara DSLR común

and the heart rate measurement we get

y la medición que obtuvimos del ritmo cardiaco

is as accurate as the one you'd get with a standard monitor in a hospital.

es tan precisa como la que se obtiene de un monitor estándar de hospital

y ni siquiera tiene que ser un video grabado por nosotros.

And it doesn't even have to be a video we recorded.

We can do it essentially with other videos as well.

En esencia podemos hacerlo con otros videos también.

So I just took a short clip from "Batman Begins" here

Tomé una secuencia de "Batman inicia"

just to show Christian Bale's pulse.

solo para mostrar el pulso de Christian Bale.

(Laughter)

(Risas)

And you know, presumably he's wearing makeup,

Es de suponer que tiene maquillaje,

the lighting here is kind of challenging,

la luz aquí lo dificulta;

but still, just from the video, we're able to extract his pulse

aun así, del video, pudimos extraer su pulso

and show it quite well.

y se muestra bastante bien.

So how do we do all that?

¿Cómo lo hacemos?

We basically analyze the changes in the light that are recorded

Analizamos los cambios de luz que se registran

at every pixel in the video over time,

en cada pixel del video en el tiempo

and then we crank up those changes.

y luego empalmamos esos cambios.

We make them bigger so that we can see them.

Los magnificamos para poder verlos.

The tricky part is that those signals,

El truco es que esas señales,

those changes that we're after, are extremely subtle,

esos cambios que buscamos son en extremo sutiles,

so we have to be very careful when you try to separate them

por eso debemos ser cuidadosos al separarlos.

from noise that always exists in videos.

del ruido que siempre hay en los videos.

So we use some clever image processing techniques

Así que usamos técnicas de procesamiento ingeniosas

to get a very accurate measurement of the color at each pixel in the video,

para obtener mediciones precisas del color de cada pixel en el video

and then the way the color changes over time,

y la forma como cambia el color con el tiempo

and then we amplify those changes.

para luego amplificar esos cambios.

We make them bigger to create those types of enhanced videos, or magnified videos,

Los agrandamos para crear videos realzados o magnificados,

that actually show us those changes.

que en efecto nos muestran esos cambios.

But it turns out we can do that not just to show tiny changes in color,

Pero resulta que podemos hacer eso no solo para cambios leves de color,

but also tiny motions,

sino también para movimientos leves,

and that's because the light that gets recorded in our cameras

y eso se debe a que la luz grabada por nuestras cámaras,

will change not only if the color of the object changes,

cambiará no solo si el color del objeto cambia,

but also if the object moves.

sino también cuando el objeto se mueve.

So this is my daughter when she was about two months old.

Esta es mi hija cuando tenía dos meses de edad.

It's a video I recorded about three years ago.

Es un video que grabé hace tres años.

And as new parents, we all want to make sure our babies are healthy,

Como todo padre primerizo, queremos saber que nuestros bebés están bien,

that they're breathing, that they're alive, of course.

que están respirando y que están vivos, claro.

So I too got one of those baby monitors

Así que también teníamos uno de esos monitores de bebé

so that I could see my daughter when she was asleep.

para poder ver a mi hija cuando dormía.

And this is pretty much what you'll see with a standard baby monitor.

Y esto es lo que verían con un monitor de bebé estándar.

You can see the baby's sleeping, but there's not too much information there.

Pueden ver al bebé durmiendo, pero no hay mucha más información.

There's not too much we can see.

No hay mucho que podamos ver.

Wouldn't it be better, or more informative, or more useful,

¿No sería mejor o más útil o más informativo

if instead we could look at the view like this.

si en cambio pudiéramos ver esto?

So here I took the motions and I magnified them 30 times,

Grabé estos movimientos y los magnifiqué 30 veces.

and then I could clearly see that my daughter was indeed alive and breathing.

Y puedo ver claramente que mi hija en efecto está viva y respirando.

(Laughter)

(Risas)

Here is a side-by-side comparison.

Aquí tienen una comparación en paralelo

So again, in the source video, in the original video,

del video fuente, el video original,

there's not too much we can see,

en el que no podemos ver mucho;

but once we magnify the motions, the breathing becomes much more visible.

pero una vez magnificados, la respiración se hace más visible.

And it turns out, there's a lot of phenomena

Y resulta que hay muchos fenómenos

we can reveal and magnify with our new motion microscope.

que podemos revelar y magnificar con nuestro microscopio de movimiento.

We can see how our veins and arteries are pulsing in our bodies.

Podemos ver cómo pulsan nuestras venas y arterias del cuerpo,

We can see that our eyes are constantly moving

que nuestros ojos están en movimiento constante

in this wobbly motion.

en este movimiento tembloroso.

And that's actually my eye,

Y ese es de hecho mi ojo

and again this video was taken right after my daughter was born,

y este video fue tomado justo después de que nació mi hija;

so you can see I wasn't getting too much sleep. (Laughter)

pueden ver que no había dormido mucho. (Risas)

Even when a person is sitting still,

Incluso si una persona está quieta,

there's a lot of information we can extract

hay mucha información que podemos extraer

about their breathing patterns, small facial expressions.

sobre sus patrones de respiración, leves expresiones faciales.

Maybe we could use those motions

Quizá pudiéramos usar esos movimientos

to tell us something about our thoughts or our emotions.

para que nos digan algo de nuestros pensamientos y emociones.

We can also magnify small mechanical movements,

También podemos magnificar movimientos mecánicos diminutos

like vibrations in engines,

como las vibraciones en máquinas

that can help engineers detect and diagnose machinery problems,

que pueden servir para detectar problemas mecánicos

or see how our buildings and structures sway in the wind and react to forces.

o ver cómo edificios y estructuras reaccionan con el viento o fuerzas.

Those are all things that our society knows how to measure in various ways,

Todas ellas son mediciones que hacemos de varias formas,

but measuring those motions is one thing,

pero medir esos movimientos es una cosa

and actually seeing those motions as they happen

y en efecto verlos cuando ocurren

is a whole different thing.

es algo totalmente diferente.

And ever since we discovered this new technology,

Desde que descubrimos esta nueva tecnología,

we made our code available online so that others could use and experiment with it.

pusimos nuestro código en línea para que otros puedan usarlo y experimentar con él.

It's very simple to use.

Es muy sencilla de usar.

It can work on your own videos.

Puede funcionar con sus propios videos.

Our collaborators at Quanta Research even created this nice website

Nuestros colaboradores en Quantum Research incluso crearon

where you can upload your videos and process them online,

un sitio web donde pueden subir sus videos y procesarlos en línea.

so even if you don't have any experience in computer science or programming,

Así, aunque no tengan experiencia en programación,

you can still very easily experiment with this new microscope.

pueden fácilmente experimentar con este nuevo microscopio.

And I'd like to show you just a couple of examples

Quisiera mostrarles un par de ejemplos

of what others have done with it.

de lo que otros han hecho con él.

So this video was made by a YouTube user called Tamez85.

Este video lo hizo para YouTube, el usuario Tamez85,

I don't know who that user is,

a quien no conozco,

but he, or she, used our code

pero él o ella usó nuestro código

to magnify small belly movements during pregnancy.

para magnificar los leves movimientos del vientre durante el embarazo.

It's kind of creepy.

Es un poco escalofriante.

(Laughter)

(Risas)

People have used it to magnify pulsing veins in their hands.

La gente lo ha usado para magnificar las venas de sus manos.

And you know it's not real science unless you use guinea pigs,

No es ciencia real a menos de que usen conejillos de indias

and apparently this guinea pig is called Tiffany,

y aparentemente este conejillo de indias se llama Tiffany.

and this YouTube user claims it is the first rodent on Earth

Y este usuario de YouTube afirma que es el primer roedor

that was motion-magnified.

del planeta cuyo movimiento ha sido magnificado.

You can also do some art with it.

También pueden hacer arte.

So this video was sent to me by a design student at Yale.

Este video me lo envió una estudiante de diseño de Yale.

She wanted to see if there's any difference

Quiso ver si había diferencias

en los movimientos de sus compañeros de clase.

in the way her classmates move.

She made them all stand still, and then magnified their motions.

Les pidió que estuvieran quietos y luego magnificó sus movimientos.

It's like seeing still pictures come to life.

Es como ver fotos fijas que toman vida.

And the nice thing with all those examples

Lo agradable de todos estos ejemplos

is that we had nothing to do with them.

es que no tenemos nada que ver con ellos.

We just provided this new tool, a new way to look at the world,

Solo ofrecimos una nueva herramienta, una forma nueva de ver el mundo

and then people find other interesting, new and creative ways of using it.

y la gente encuentra formas nuevas, creativas e interesantes de usarla.

But we didn't stop there.

Pero no nos quedamos ahí.

This tool not only allows us to look at the world in a new way,

Esta herramienta no solo nos permite ver el mundo de una nueva manera,

it also redefines what we can do

también redefine lo que podemos hacer

and pushes the limits of what we can do with our cameras.

y reduce los límites de lo que podemos hacer con nuestras cámaras.

So as scientists, we started wondering,

Como científicos nos empezamos a preguntar,

what other types of physical phenomena produce tiny motions

¿qué otros fenómenos físicos producen movimientos diminutos

that we could now use our cameras to measure?

que podamos ahora medir con nuestras cámaras?

And one such phenomenon that we focused on recently is sound.

Uno de esos fenómenos al que nos enfocamos es el sonido.

Sound, as we all know, is basically changes

El sonido, como sabemos, es en esencia

cambios en la presión de aire que viaja por el aire.

in air pressure that travel through the air.

Those pressure waves hit objects and they create small vibrations in them,

Esas ondas de presión golpean objetos y crean diminutas vibraciones

which is how we hear and how we record sound.

que es como escuchamos y grabamos el sonido.

But it turns out that sound also produces visual motions.

Pero resulta que el sonido también produce movimientos visuales

Those are motions that are not visible to us

que no son visibles para nosotros,

but are visible to a camera with the right processing.

pero sí para una cámara con el procesamiento correcto.

So here are two examples.

He aquí dos ejemplos.

This is me demonstrating my great singing skills.

Aquí estoy demostrando mis aptitudes de canto.

(Singing)

(Canta)

(Laughter)

(Risas)

And I took a high-speed video of my throat while I was humming.

Tomé un video en alta velocidad de mi garganta mientras tarareaba.

Again, if you stare at that video,

Y si miran fijamente el video

there's not too much you'll be able to see,

no hay mucho que puedan ver,

but once we magnify the motions 100 times, we can see all the motions and ripples

pero al magnificarlo 100 veces, vemos los movimientos

in the neck that are involved in producing the sound.

y ondulaciones involucrados del cuello al producir sonido.

That signal is there in that video.

Esa señal está ahí en el video.

We also know that singers can break a wine glass

También sabemos que los cantantes pueden romper una copa de vino,

if they hit the correct note.

si dan la nota correcta.

So here, we're going to play a note

Aquí tocaremos una nota

that's in the resonance frequency of that glass

en la frecuencia de resonancia de esta copa

through a loudspeaker that's next to it.

con un parlante a un lado.

Once we play that note and magnify the motions 250 times,

Tocamos la nota y magnificamos el movimiento 250 veces.

we can very clearly see how the glass vibrates

Podemos ver claramente cómo vibra la copa

and resonates in response to the sound.

y resuena en respuesta al sonido.

It's not something you're used to seeing every day.

No es algo que se suela ver a diario.

But this made us think. It gave us this crazy idea.

Pero esto nos hizo reflexionar en una idea loca.

Can we actually invert this process and recover sound from video

¿Podemos invertir este proceso y recuperar sonido del video

by analyzing the tiny vibrations that sound waves create in objects,

analizando las diminutas vibraciones que las ondas sonoras crean en objetos

and essentially convert those back into the sounds that produced them.

y convertirlos de vuelta en los sonidos que los produjeron?

In this way, we can turn everyday objects into microphones.

De esta forma podemos convertir objetos cotidianos en micrófonos.

So that's exactly what we did.

Y eso hicimos exactamente.

So here's an empty bag of chips that was lying on a table,

Esta es una bolsa vacía de papas sobre una mesa

and we're going to turn that bag of chips into a microphone

y convertiremos esta bolsa de papas en un micrófono

by filming it with a video camera

filmándola con una cámara de video

and analyzing the tiny motions that sound waves create in it.

y analizando los leves movimientos que las ondas sonoras hacen.

So here's the sound that we played in the room.

Este es el sonido que tocamos.

(Music: "Mary Had a Little Lamb")

(Música: "María tenía un corderito")

And this is a high-speed video we recorded of that bag of chips.

Este es un video a alta velocidad grabado de esa bolsa de papas.

Again it's playing.

Otra vez, está tocando.

There's no chance you'll be able to see anything going on in that video

No hay forma de que puedan ver que suceda algo en ese video

just by looking at it,

con solo mirarlo,

but here's the sound we were able to recover just by analyzing

pero este es el sonido que pudimos recuperar analizando

the tiny motions in that video.

los leves movimientos del video.

(Music: "Mary Had a Little Lamb")

(Música: "María tenía un corderito")

I call it -- Thank you.

Le llamo... gracias.

(Applause)

(Aplausos)

I call it the visual microphone.

Le llamo el micrófono visual.

We actually extract audio signals from video signals.

De hecho extraemos señales de audio de las señales de video.

And just to give you a sense of the scale of the motions here,

Solo para darles un sentido de la escala del movimiento,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

un sonido fuerte hará que esa bolsa de papas se mueva menos de un micrómetro,

That's one thousandth of a millimeter.

esto es una milésima de un milímetro.

That's how tiny the motions are that we are now able to pull out

Así de pequeños son los movimientos que ahora podemos sacar

just by observing how light bounces off objects

con tan solo observar los rebotes de luz en los objetos

and gets recorded by our cameras.

que grabamos con nuestras cámaras.

We can recover sounds from other objects, like plants.

Podemos recuperar sonidos de otros objetos como plantas.

(Music: "Mary Had a Little Lamb")

(Música: "María tenía un corderito")

And we can recover speech as well.

Lo mismo que el habla.

So here's a person speaking in a room.

Esta es una persona hablando.

Voice: Mary had a little lamb whose fleece was white as snow,

Voz: María tenía un corderito cuya lana era blanca como la nieve

and everywhere that Mary went, that lamb was sure to go.

y adonde fuera María, el corderito seguro la seguía.

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: Y aquí tienen esa alocución recuperada

just from this video of that same bag of chips.

de este video con la misma bolsa de papas.

Voice: Mary had a little lamb whose fleece was white as snow,

Voz: María tenía un corderito, cuya lana era blanca como la nieve

and everywhere that Mary went, that lamb was sure to go.

y adonde fuera María, el corderito seguro la seguía.

MR: We used "Mary Had a Little Lamb"

MR: Usamos "María tenía un corderito",

because those are said to be the first words

porque se dice que esas fueron las primeras palabras

that Thomas Edison spoke into his phonograph in 1877.

que Tomás Edison dijo con su fonógrafo en 1877.

It was one of the first sound recording devices in history.

Uno de los primeros dispositivos de grabación de sonido de la historia.

It basically directed the sounds onto a diaphragm

Básicamente dirige el sonido a un diafragma,

that vibrated a needle that essentially engraved the sound on tinfoil

que hace vibrar una aguja que graba el sonido en papel estaño

that was wrapped around the cylinder.

enrollado en un cilindro.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Esta es una demostración de grabación y reproducción del fonógrafo de Edison.

(Video) Voice: Testing, testing, one two three.

(Video) Voz: Probando, probando, uno, dos tres.

Mary had a little lamb whose fleece was white as snow,

María tenía un corderito cuya lana era blanca como la nieve

and everywhere that Mary went, the lamb was sure to go.

y adonde fuera María, el corderito seguro la seguía.

Testing, testing, one two three.

Probando, probando, uno, dos tres.

Mary had a little lamb whose fleece was white as snow,

María tenía un corderito cuya lana era blanca como la nieve

and everywhere that Mary went, the lamb was sure to go.

y adonde fuera María, el corderito seguro la seguía.

MR: And now, 137 years later,

MR: Y ahora, 137 años después,

we're able to get sound in pretty much similar quality

podemos obtener sonido con una calidad bastante similar

but by just watching objects vibrate to sound with cameras,

tan solo mirando objetos que vibran con el sonido usando cámaras

and we can even do that when the camera

e incluso podemos hacerlo con la cámara

is 15 feet away from the object, behind soundproof glass.

a casi 5 metros del objeto detrás de un vidrio insonorizado.

So this is the sound that we were able to recover in that case.

Este es el sonido que pudimos recuperar en este caso.

Voice: Mary had a little lamb whose fleece was white as snow,

Voz: María tenía un corderito cuya lana era blanca como la nieve

and everywhere that Mary went, the lamb was sure to go.

y adonde fuera María, el corderito seguro la seguía.

MR: And of course, surveillance is the first application that comes to mind.

MR: Claro está que la vigilancia es la primera aplicación que imaginamos.

(Laughter)

(Risas)

But it might actually be useful for other things as well.

Pero quizá también sería útil para otras cosas.

Maybe in the future, we'll be able to use it, for example,

Quizá en el futuro, podamos usarlo por ejemplo,

to recover sound across space,

para recuperar sonido del espacio

because sound can't travel in space, but light can.

porque el sonido no puede viajar en el espacio, pero sí la luz.

We've only just begun exploring

Apenas estamos explorando

other possible uses for this new technology.

otros posibles usos para esta nueva tecnología.

It lets us see physical processes that we know are there

Nos permite ver procesos físicos que conocemos,

but that we've never been able to see with our own eyes until now.

pero que nunca hemos podido verlos con nuestros propios ojos hasta ahora.

This is our team.

Este es nuestro equipo.

Everything I showed you today is a result of a collaboration

Todo lo mostrado hoy es resultado de una colaboración

with this great group of people you see here,

con este grandioso equipo de gente que ven aquí.

and I encourage you and welcome you to check out our website,

Son bienvenidos a visitar nuestro sitio web

try it out yourself,

para que los prueben Uds. mismos

and join us in exploring this world of tiny motions.

y exploren con nosotros este mundo de movimientos diminutos.

Thank you.

Gracias.

(Applause)

(Aplausos)