Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Nueva tecnología de video que revela propiedades ocultas de un objeto

Traductor: Lidia Cámara de la Fuente Revisor: Sebastian Betti

La mayoría pensamos en el movimiento como algo muy visual.

Most of us think of motion as a very visual thing.

If I walk across this stage or gesture with my hands while I speak,

Si camino por este escenario o gesticulo con las manos, mientras hablo,

that motion is something that you can see.

ese movimiento se puede ver.

But there's a world of important motion that's too subtle for the human eye,

Existe un mundo de movimiento importante demasiado sutil para el ojo humano,

and over the past few years,

y en los últimos años,

we've started to find that cameras

hemos averiguado que a menudo las cámaras

can often see this motion even when humans can't.

pueden ver este movimiento, incluso cuando los humanos no pueden.

So let me show you what I mean.

Les mostraré lo que quiero decir.

On the left here, you see video of a person's wrist,

A la izquierda, se ve un video de la muñeca de una persona,

and on the right, you see video of a sleeping infant,

y a la derecha, el video de un bebé dormido,

but if I didn't tell you that these were videos,

pero si yo no dijera que se trataba de videos,

you might assume that you were looking at two regular images,

se puede suponer que uno mira imágenes normales,

because in both cases,

porque en ambos casos,

these videos appear to be almost completely still.

estos videos parecen casi completamente inmóviles.

But there's actually a lot of subtle motion going on here,

Pero en realidad existe mucho movimiento sutil aquí,

and if you were to touch the wrist on the left,

y si tocaran la muñeca de la izquierda,

you would feel a pulse,

sentirían un pulso,

and if you were to hold the infant on the right,

y si se fueran al bebé de la derecha,

you would feel the rise and fall of her chest

sentirían el ascenso y el descenso de su pecho

as she took each breath.

mientras respira.

And these motions carry a lot of significance,

Y estos movimientos tienen mucho significado,

but they're usually too subtle for us to see,

pero son generalmente demasiado sutiles para que los notemos,

so instead, we have to observe them

así que en su lugar, tenemos que observarlos

through direct contact, through touch.

mediante contacto directo, a través del tacto.

But a few years ago,

Pero hace unos años,

my colleagues at MIT developed what they call a motion microscope,

mis colegas del MIT desarrollaron lo que llaman un microscopio de movimiento,

which is software that finds these subtle motions in video

que es un software que capta estos movimientos sutiles en video

and amplifies them so that they become large enough for us to see.

y los amplía para que sean lo suficientemente grandes para verlos.

And so, if we use their software on the left video,

Y así, si usamos ese software en el video de la izquierda,

it lets us see the pulse in this wrist,

vemos el pulso de esta muñeca,

and if we were to count that pulse,

y si contáramos ese pulso,

we could even figure out this person's heart rate.

podríamos incluso averiguar la frecuencia cardíaca de esta persona.

And if we used the same software on the right video,

Y si usamos el mismo software en el video de la derecha,

it lets us see each breath that this infant takes,

vemos cada respiración de este bebé,

and we can use this as a contact-free way to monitor her breathing.

y podemos usarlo monitorear su respiración sin que haya contacto.

And so this technology is really powerful because it takes these phenomena

Y esta tecnología es realmente poderosa porque capta estos fenómenos

that we normally have to experience through touch

que normalmente experimentamos a través del tacto

and it lets us capture them visually and non-invasively.

permitiéndonos captarlos visualmente y de forma no invasiva.

So a couple years ago, I started working with the folks that created that software,

Hace un par de años, empecé a trabajar con la gente que creó ese software,

and we decided to pursue a crazy idea.

y decidimos seguir una idea descabellada.

We thought, it's cool that we can use software

Pensamos que sería genial usar el software

to visualize tiny motions like this,

para visualizar pequeños movimientos como este,

and you can almost think of it as a way to extend our sense of touch.

y podemos pensarlo como una forma de ampliar el sentido del tacto.

But what if we could do the same thing with our ability to hear?

Pero ¿y si pudiéramos hacer lo mismo con nuestra capacidad de escuchar?

What if we could use video to capture the vibrations of sound,

¿Y si pudiéramos usar el video para captar las vibraciones de sonido,

which are just another kind of motion,

que no son más que otro tipo de movimiento,

and turn everything that we see into a microphone?

y convertir todo lo que vemos en un micrófono?

Now, this is a bit of a strange idea,

Esto es una idea un poco extraña,

so let me try to put it in perspective for you.

así que trataré de ponerlo en perspectiva.

Traditional microphones work by converting the motion

Los micrófonos tradicionales funcionan convirtiendo el movimiento

of an internal diaphragm into an electrical signal,

de un diafragma interno en una señal eléctrica,

and that diaphragm is designed to move readily with sound

y el diafragma está diseñado para moverse fácilmente con sonido

so that its motion can be recorded and interpreted as audio.

de manera que su movimiento se puede grabar e interpretar como sonido.

But sound causes all objects to vibrate.

Pero el sonido hace que todos los objetos vibren.

Those vibrations are just usually too subtle and too fast for us to see.

Esas vibraciones son por norma demasiado sutiles y rápidas para que se vean.

So what if we record them with a high-speed camera

¿Y si grabamos con una cámara de alta velocidad

and then use software to extract tiny motions

y luego usamos el software para extraer pequeños movimientos

from our high-speed video,

de nuestro video de alta velocidad,

and analyze those motions to figure out what sounds created them?

y analizamos los movimientos para averiguar qué sonidos se han creado?

This would let us turn visible objects into visual microphones from a distance.

Nos permitiría convertir objetos visibles en micrófonos visuales a la distancia.

And so we tried this out,

Así que lo intentamos,

and here's one of our experiments,

y aquí está uno de nuestros experimentos,

where we took this potted plant that you see on the right

donde tomamos esta planta en maceta de la derecha

and we filmed it with a high-speed camera

y filmamos con una cámara de alta velocidad

while a nearby loudspeaker played this sound.

mientras que un altavoz cercano reproducía este sonido.

(Music: "Mary Had a Little Lamb")

♪ ♫ María tenía un corderito ♪ ♫

And so here's the video that we recorded,

Aquí el video que grabamos,

and we recorded it at thousands of frames per second,

que grabamos en miles de fotogramas por segundo,

but even if you look very closely,

pero incluso mirándolo muy de cerca,

all you'll see are some leaves

solo se ven algunas hojas

that are pretty much just sitting there doing nothing,

que están más o menos allí sin hacer nada,

because our sound only moved those leaves by about a micrometer.

porque nuestro sonido solo movió esas hojas cerca de un micrómetro.

That's one ten-thousandth of a centimeter,

Esa es una diezmilésima de centímetro,

which spans somewhere between a hundredth and a thousandth

que se extiende en algún lugar entre una centésima y una milésima

of a pixel in this image.

de pixel en esta imagen.

So you can squint all you want,

Así que aunque entrecierren los ojos lo más posible,

but motion that small is pretty much perceptually invisible.

el movimiento tan pequeño es perceptualmente invisible.

But it turns out that something can be perceptually invisible

Pero resulta que algo perceptualmente invisible

and still be numerically significant,

aún así puede ser numéricamente significativo,

because with the right algorithms,

porque con los algoritmos adecuados,

we can take this silent, seemingly still video

podemos captar este silencio aparentemente silencioso

and we can recover this sound.

y podemos recuperar ese sonido.

(Music: "Mary Had a Little Lamb")

♪ ♫ María tenía un corderito ♪ ♫

(Applause)

(Aplausos)

So how is this possible?

¿Cómo es esto posible?

How can we get so much information out of so little motion?

¿Cómo podemos conseguir tanta información de tan poco movimiento?

Well, let's say that those leaves move by just a single micrometer,

Esas hojas se mueven solo un micrómetro,

and let's say that that shifts our image by just a thousandth of a pixel.

y nuestra imagen cambia solo una milésima de píxel.

That may not seem like much,

Eso puede no parecer mucho,

but a single frame of video

pero un solo fotograma de video

may have hundreds of thousands of pixels in it,

puede contener cientos de miles de píxeles,

and so if we combine all of the tiny motions that we see

y si combinamos todos los minúsculos movimientos que vemos

from across that entire image,

desde el otro lado de esa imagen completa,

then suddenly a thousandth of a pixel

entonces, de repente una milésima de un pixel

can start to add up to something pretty significant.

puede aportar a algo bastante significado.

On a personal note, we were pretty psyched when we figured this out.

A título personal, estábamos muy emocionados al darnos cuenta de esto.

(Laughter)

(Risas)

But even with the right algorithm,

Pero incluso con el algoritmo correcto,

we were still missing a pretty important piece of the puzzle.

todavía faltaba una pieza muy importante del rompecabezas.

You see, there are a lot of factors that affect when and how well

Hay muchos factores que afectan cuánto y cómo de bien

this technique will work.

funcionará esta técnica.

There's the object and how far away it is;

Ahí está el objeto y lo lejos que está;

there's the camera and the lens that you use;

la cámara y la lente que se usa;

how much light is shining on the object and how loud your sound is.

cuánta luz brilla sobre el objeto y cuán alto es el sonido.

And even with the right algorithm,

E incluso con el algoritmo correcto,

we had to be very careful with our early experiments,

tuvimos que ser muy cuidadosos con nuestros primeros experimentos,

because if we got any of these factors wrong,

porque si teníamos alguno de estos factores mal,

there was no way to tell what the problem was.

no había forma de saber cuál era el problema.

We would just get noise back.

Obtendríamos solo ruido.

And so a lot of our early experiments looked like this.

Muchos de nuestros primeros experimentos eran así.

And so here I am,

Aquí estoy,

and on the bottom left, you can kind of see our high-speed camera,

y abajo a izquierda puede verse nuestra cámara de alta velocidad

which is pointed at a bag of chips,

dirigida a una bolsa de papas,

and the whole thing is lit by these bright lamps.

y todo está iluminado por estos focos brillantes.

And like I said, we had to be very careful in these early experiments,

Y como dije, teníamos que ser muy cuidados en estos primeros experimentos,

so this is how it went down.

así es que esta es la forma en que fracasó.

(Video) Abe Davis: Three, two, one, go.

(Video) Abe Davis: Tres, dos, uno.

Mary had a little lamb! Little lamb! Little lamb!

♪ ♫ María tenía un corderito, corderito, corderito ♪ ♫

(Laughter)

(Risas)

AD: So this experiment looks completely ridiculous.

AD: Este experimento parece súper ridículo.

(Laughter)

(Risas)

I mean, I'm screaming at a bag of chips --

Quiero decir, estoy gritando a una bolsa de papas fritas,

(Laughter) --

(Risas)

and we're blasting it with so much light,

y la bombardeamos con tanta luz que,

we literally melted the first bag we tried this on. (Laughter)

literalmente, la bolsa con la que lo intentamos, se derritió. (Risas)

But ridiculous as this experiment looks,

Pero por ridículo que se vea este experimento,

it was actually really important,

en realidad, era realmente importante,

because we were able to recover this sound.

porque hemos podido captar este sonido.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

♪ ♫ María tenía un corderito, corderito, corderito ♪ ♫

(Applause)

(Aplausos)

AD: And this was really significant,

AD: Y esto fue realmente significativo,

because it was the first time we recovered intelligible human speech

porque era la primera vez que capturamos el habla humana inteligible

from silent video of an object.

a partir de un video silencioso de un objeto.

And so it gave us this point of reference,

Así que esto nos dio este punto de referencia,

and gradually we could start to modify the experiment,

y poco a poco empezamos a modificar el experimento,

utilizando diferentes objetos o alejando el objeto más,

using different objects or moving the object further away,

using less light or quieter sounds.

usando menos luz o sonidos más suaves.

And we analyzed all of these experiments

Y analizamos todos estos experimentos

until we really understood the limits of our technique,

hasta realmente entender los límites de nuestra técnica,

because once we understood those limits,

porque una vez que entendimos esos límites,

we could figure out how to push them.

podíamos encontrar la manera de mejorarlos.

And that led to experiments like this one,

Y eso llevó a experimentos como este,

where again, I'm going to speak to a bag of chips,

donde de nuevo, hablo con una bolsa de papas,

but this time we've moved our camera about 15 feet away,

pero esta vez hemos alejado la cámara unos 4,5 m,

outside, behind a soundproof window,

tras una ventana insonorizada.

and the whole thing is lit by only natural sunlight.

y todo esto está iluminado solo por la luz solar natural.

And so here's the video that we captured.

Así que aquí está el video que hemos capturado.

And this is what things sounded like from inside, next to the bag of chips.

Y así se escuchaban las cosas desde el interior, junto a la bolsa de papas.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Audio) "María tenía un corderito con piel blanca como la nieve,

and everywhere that Mary went, that lamb was sure to go.

y a donde iba María, ahí iba ese corderito".

AD: And here's what we were able to recover from our silent video

AD: Y esto es lo que hemos podido recuperar de nuestro video en silencio

captured outside behind that window.

capturado fuera tras esa ventana.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Audio) "María tenía un corderito con piel blanca como la nieve,

and everywhere that Mary went, that lamb was sure to go.

y a donde iba María, ahí iba ese corderito".

(Applause)

(Aplausos)

AD: And there are other ways that we can push these limits as well.

AD: Y hay otras maneras para ir más allá de los límites.

So here's a quieter experiment

Así que aquí hay un experimento más tranquilo

where we filmed some earphones plugged into a laptop computer,

donde filmamos los auriculares conectados a una portátil,

and in this case, our goal was to recover the music that was playing on that laptop

y en este caso, teníamos que recuperar la música que sonaba en ese portátil

from just silent video

a partir de ese video simplemente en silencio

of these two little plastic earphones,

a partir de estos dos auriculares de plástico,

and we were able to do this so well

y lo hemos hecho tan bien

that I could even Shazam our results.

que incluso puedo decir Shazam por los resultados.

(Laughter)

(Risas)

(Music: "Under Pressure" by Queen)

(Música: "Under Pressure" de Queen)

(Applause)

(Aplausos)

And we can also push things by changing the hardware that we use.

Y también podemos mejorarlo cambiando el hardware que usamos.

Because the experiments I've shown you so far

Porque los experimentos que he mostrado hasta ahora

were done with a camera, a high-speed camera,

se realizaron con una cámara de alta velocidad,

that can record video about a 100 times faster

que puede grabar video 100 veces más rápido

than most cell phones,

que la mayoría de los teléfonos móviles,

but we've also found a way to use this technique

pero también hemos encontrado la manera de usar esta técnica

with more regular cameras,

con cámaras más convencionales,

and we do that by taking advantage of what's called a rolling shutter.

y lo hacemos aprovechando lo que se llama el efecto gelatina.

You see, most cameras record images one row at a time,

La mayoría de las cámaras funciona con un fotosito por cada píxel,

and so if an object moves during the recording of a single image,

y si un objeto se mueve durante la grabación de una sola imagen,

there's a slight time delay between each row,

hay una leve demora entre cada fotosito,

and this causes slight artifacts

y esto hace que objetos sencillos

that get coded into each frame of a video.

sean codificados en cada fotograma de un video.

And so what we found is that by analyzing these artifacts,

Hallamos que mediante el análisis de estos objetos,

we can actually recover sound using a modified version of our algorithm.

se puede recuperar el sonido usando una versión modificada de nuestro algoritmo.

So here's an experiment we did

Aquí un experimento que hicimos

where we filmed a bag of candy

donde filmamos una bolsa de dulces

while a nearby loudspeaker played

mientras que un altavoz reproducía

the same "Mary Had a Little Lamb" music from before,

el mismo "María tenía un corderito", la música de antes,

but this time, we used just a regular store-bought camera,

pero esta vez, usamos una cámara comprada en la tienda normal,

and so in a second, I'll play for you the sound that we recovered,

y en un segundo, les reproduciré el sonido que hemos recuperado,

and it's going to sound distorted this time,

y esta vez sonará distorsionado,

but listen and see if you can still recognize the music.

pero escuchen a ver si aún así todavía se puede reconocer la música.

(Audio: "Mary Had a Little Lamb")

(Audio: "María tenía un corderito")

And so, again, that sounds distorted,

Y así, una vez más, esto suena distorsionado,

but what's really amazing here is that we were able to do this

pero lo realmente sorprendente es que hemos podido hacerlo

with something that you could literally run out

con algo que, literalmente, podría estar agotado

and pick up at a Best Buy.

y adquirirse en una tienda de ocasiones.

So at this point,

Así que en este punto

a lot of people see this work,

mucha gente verá este proyecto,

and they immediately think about surveillance.

y pensará de inmediato en la vigilancia.

And to be fair,

Y para ser justos,

it's not hard to imagine how you might use this technology to spy on someone.

no es difícil imaginar cómo usar esta tecnología para espiar a alguien.

But keep in mind that there's already a lot of very mature technology

Pero tengan en cuenta que ya hay mucha tecnología muy madura

out there for surveillance.

para vigilancia.

In fact, people have been using lasers

De hecho, se ha estado usando láseres

to eavesdrop on objects from a distance for decades.

para espiar objetos a distancia durante décadas.

But what's really new here,

Pero lo que es realmente nuevo aquí,

what's really different,

lo que es realmente diferente,

is that now we have a way to picture the vibrations of an object,

es que ahora tenemos una forma de imaginar las vibraciones de un objeto,

which gives us a new lens through which to look at the world,

lo que nos da una nueva lente a través de la cual mirar el mundo,

and we can use that lens

y podemos usar esa lente,

to learn not just about forces like sound that cause an object to vibrate,

aprender no solo de fuerzas como el sonido que hacen que un objeto vibre,

but also about the object itself.

sino también sobre el propio objeto.

And so I want to take a step back

Y por eso quiero dar un paso atrás

and think about how that might change the ways that we use video,

y pensar en cómo podría cambiar la manera de usar el video,

because we usually use video to look at things,

porque normalmente usamos el video para mirar las cosas,

and I've just shown you how we can use it

y acabo de mostrar cómo podemos usarlo

to listen to things.

para escuchar las cosas.

But there's another important way that we learn about the world:

Pero hay otra forma importante en que aprendemos del mundo:

that's by interacting with it.

y es interactuando con él.

We push and pull and poke and prod things.

Empujamos, estiramos, metemos y desplazamos cosas.

We shake things and see what happens.

Estrechamos las cosas para ver qué pasa.

And that's something that video still won't let us do,

Y eso es algo que el video aún no nos deja hacer;

at least not traditionally.

al menos no el tradicional.

So I want to show you some new work,

Así que les mostraré un nuevo trabajo,

and this is based on an idea I had just a few months ago,

y esto se basa en una idea que tuve hace apenas unos meses,

so this is actually the first time I've shown it to a public audience.

es pues la primera vez que lo muestro públicamente a una audiencia.

And the basic idea is that we're going to use the vibrations in a video

Y la idea básica es que usaremos las vibraciones en un video

to capture objects in a way that will let us interact with them

para capturar objetos de forma que nos permitirá interactuar con ellos

and see how they react to us.

para ver cómo reaccionan con nosotros.

So here's an object,

Aquí hay un objeto,

and in this case, it's a wire figure in the shape of a human,

y en este caso, es una figura de alambre en forma de ser humano,

and we're going to film that object with just a regular camera.

y filmaremos ese objeto con una cámara normal.

So there's nothing special about this camera.

No hay nada de especial en esta cámara.

In fact, I've actually done this with my cell phone before.

En realidad, he hecho esto con mi teléfono móvil antes.

But we do want to see the object vibrate,

Pero queremos ver cómo vibra el objeto,

so to make that happen,

así que para que esto suceda,

we're just going to bang a little bit on the surface where it's resting

golpearemos un poco en la superficie donde yace

while we record this video.

mientras grabamos un video.

So that's it: just five seconds of regular video,

Así que es eso: solo 5 segundos de video normal,

while we bang on this surface,

mientras golpeamos en esta superficie,

and we're going to use the vibrations in that video

y usaremos las vibraciones de ese video

to learn about the structural and material properties of our object,

para aprender algunas propiedades estructurales y materiales del objeto,

and we're going to use that information to create something new and interactive.

y usaremos esa información para crear algo nuevo e interactivo.

And so here's what we've created.

Y así, esto es lo que hemos creado.

And it looks like a regular image,

Y parece una imagen común,

but this isn't an image, and it's not a video,

pero no es una imagen, ni un video,

because now I can take my mouse

porque ahora puedo desplazar mi ratón

and I can start interacting with the object.

y empezar a interactuar con el objeto.

And so what you see here

Y, cómo se ve aquí,

es una simulación de cómo este objeto

is a simulation of how this object

would respond to new forces that we've never seen before,

respondería a las nuevas fuerzas que nunca hemos visto antes,

and we created it from just five seconds of regular video.

y lo creamos a partir de tan solo 5 segundos de video normal.

(Aplausos)

(Applause)

And so this is a really powerful way to look at the world,

Y esta es una forma muy poderosa de mirar el mundo,

because it lets us predict how objects will respond

porque nos permite predecir cómo responderán los objetos

to new situations,

a las nuevas situaciones,

and you could imagine, for instance, looking at an old bridge

y uno puede imaginar, por ejemplo, mirar un viejo puente

and wondering what would happen, how would that bridge hold up

y preguntarse qué ocurriría, cómo aguantará ese puente

if I were to drive my car across it.

si lo atravieso con mi auto.

And that's a question that you probably want to answer

Y esa es una pregunta que probablemente desee responder

before you start driving across that bridge.

antes de empezar a atravesar ese puente.

And of course, there are going to be limitations to this technique,

Y, por supuesto, habrá limitaciones a esta técnica,

just like there were with the visual microphone,

al igual que había con el micrófono visual,

but we found that it works in a lot of situations

pero hemos encontrado que funciona en muchas situaciones

that you might not expect,

que no se podría esperar,

especially if you give it longer videos.

especialmente con videos más largos.

So for example, here's a video that I captured

Así, por ejemplo, aquí hay un video que capturé

of a bush outside of my apartment,

de un arbusto fuera de mi apartamento,

and I didn't do anything to this bush,

y no le hice nada a este arbusto,

but by capturing a minute-long video,

solo capturar un video durante un minuto,

a gentle breeze caused enough vibrations

una suave brisa causó bastantes vibraciones

that we could learn enough about this bush to create this simulation.

para aprender lo suficiente sobre este arbusto y crear esta simulación.

(Applause)

(Aplausos)

And so you could imagine giving this to a film director,

Y uno podría imaginar dárselo a un director de cine,

and letting him control, say,

y dejarle el control, por ejemplo,

the strength and direction of wind in a shot after it's been recorded.

la fuerza y ​​dirección del viento en una toma después de haberla grabado.

Or, in this case, we pointed our camera at a hanging curtain,

O, en este caso, apuntamos la cámara a una cortina,

and you can't even see any motion in this video,

y ni siquiera se puede ver movimiento en el video,

but by recording a two-minute-long video,

sino por la grabación de dos minutos de video,

natural air currents in this room

de corrientes de aire naturales en esta sala, creando

created enough subtle, imperceptible motions and vibrations

suficientes movimientos y vibraciones y imperceptibles sutiles

that we could learn enough to create this simulation.

de las que aprender lo suficiente para crear esta simulación.

And ironically,

E irónicamente,

we're kind of used to having this kind of interactivity

estamos muy acostumbrados a tener este tipo de interactividad

when it comes to virtual objects,

con objetos virtuales,

when it comes to video games and 3D models,

juegos de video y modelos 3D,

but to be able to capture this information from real objects in the real world

pero para capturar esta información a partir de objetos del mundo real

using just simple, regular video,

el uso de este simple video, normal

is something new that has a lot of potential.

es algo nuevo que tiene mucho potencial.

So here are the amazing people who worked with me on these projects.

Así están las increíbles personas que trabajaron conmigo en estos proyectos.

(Applause)

(Aplausos)

And what I've shown you today is only the beginning.

Y lo que les he mostrado hoy es solo el comienzo.

We've just started to scratch the surface

Acabamos de empezar a arañar la superficie

of what you can do with this kind of imaging,

de lo que se puede hacer con este tipo de imágenes,

because it gives us a new way

porque nos da una nueva forma

to capture our surroundings with common, accessible technology.

para capturar nuestro entorno con tecnología común, accesible.

And so looking to the future,

Y así, mirar hacia el futuro,

it's going to be really exciting to explore

que será muy emocionante explorar

what this can tell us about the world.

lo que esto nos puede decir sobre el mundo.

Thank you.

Gracias.

(Applause)

(Aplausos)