See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Tradutor: Romane Ferreira Revisor: Gustavo Rocha

So over the past few centuries, microscopes have revolutionized our world.

Ao longo dos últimos séculos, microscópios revolucionaram nosso mundo.

They revealed to us a tiny world of objects, life and structures

Eles nos revelaram um mundo minúsculo de objetos, vida e estruturas

that are too small for us to see with our naked eyes.

que são pequenos demais para vermos a olho nu.

They are a tremendous contribution to science and technology.

Eles são uma enorme contribuição para a ciência e tecnologia.

Hoje eu gostaria de apresentá-los à um novo tipo de microscópio,

Today I'd like to introduce you to a new type of microscope,

a microscope for changes.

um microscópio que amplifica mudanças.

It doesn't use optics like a regular microscope

Ele não usa ótica, como um microscópio comum,

to make small objects bigger,

para aumentar pequenos objetos,

but instead it uses a video camera and image processing

mas em vez disso, usa uma câmera de vídeo e processamento de imagem

to reveal to us the tiniest motions and color changes in objects and people,

para nos revelar os movimentos ínfimos e mudanças de cor em objetos e pessoas,

changes that are impossible for us to see with our naked eyes.

mudanças que são impossíveis de serem vistas a olhos nus.

And it lets us look at our world in a completely new way.

E isso permite-nos olhar o nosso mundo de uma forma totalmente nova.

So what do I mean by color changes?

Então, o que quero dizer com alterações de cor?

Our skin, for example, changes its color very slightly

Nossa pele, por exemplo, muda de cor muito ligeiramente

when the blood flows under it.

quando o sangue flui sob ela.

That change is incredibly subtle,

Essa mudança é incrivelmente sutil,

which is why, when you look at other people,

por isso quando você vê outras pessoas,

when you look at the person sitting next to you,

quando olha para a pessoa sentada ao seu lado,

you don't see their skin or their face changing color.

você não vê sua pele ou seu rosto mudando de cor.

When we look at this video of Steve here, it appears to us like a static picture,

Quando vemos este vídeo do Steve aqui, a aparência é de uma imagem estática,

but once we look at this video through our new, special microscope,

mas quando vemos o vídeo através do nosso novo e especial microscópio,

suddenly we see a completely different image.

de repente, vemos uma imagem completamente distinta.

What you see here are small changes in the color of Steve's skin,

O que veem aqui são pequenas mudanças na cor da pele do Steve,

magnified 100 times so that they become visible.

ampliadas 100 vezes, de modo que se tornam visíveis.

We can actually see a human pulse.

Na verdade, podemos ver um pulso humano.

We can see how fast Steve's heart is beating,

Podemos ver o quão rápido o coração de Steve está batendo,

mas também podemos ver a forma real com que o sangue flui em seu rosto.

but we can also see the actual way that the blood flows in his face.

And we can do that not just to visualize the pulse,

E podemos fazer isso não só para visualizar o pulso,

but also to actually recover our heart rates,

mas também para efetivamente extrair e medir a frequência cardíaca,

and measure our heart rates.

And we can do it with regular cameras and without touching the patients.

E podemos fazer isso com câmeras comuns e sem tocar nos pacientes.

So here you see the pulse and heart rate we extracted from a neonatal baby

Aqui vemos o pulso e frequência cardíaca que extraímos de um bebê recém-nascido

from a video we took with a regular DSLR camera,

a partir um vídeo feito com uma câmera DSLR comum,

and the heart rate measurement we get

e a frequência cardíaca que obtemos

is as accurate as the one you'd get with a standard monitor in a hospital.

é tão precisa quanto aquela de um monitor padrão de hospital.

E nem precisa ser um vídeo que gravamos.

And it doesn't even have to be a video we recorded.

We can do it essentially with other videos as well.

Podemos essencialmente fazê-lo com outros vídeos também.

So I just took a short clip from "Batman Begins" here

Então, peguei um pequeno clipe de "Batman Begins" aqui,

just to show Christian Bale's pulse.

só para mostrar o pulso de Christian Bale.

(Laughter)

(Risos)

And you know, presumably he's wearing makeup,

E presumivelmente, ele está usando maquiagem,

the lighting here is kind of challenging,

iluminação aqui é um pouco desafiadora,

but still, just from the video, we're able to extract his pulse

mesmo assim, a partir do vídeo, podemos extrair seu pulso

and show it quite well.

e mostrá-lo muito bem.

So how do we do all that?

Então, como fazemos isso?

We basically analyze the changes in the light that are recorded

Basicamente analisamos as mudanças na luz que é gravada

at every pixel in the video over time,

em cada pixel do vídeo, ao longo do tempo,

e depois aumentamos essas mudanças.

and then we crank up those changes.

We make them bigger so that we can see them.

Tornamos elas maiores para que possamos vê-las.

The tricky part is that those signals,

A parte complicada é que esses sinais,

those changes that we're after, are extremely subtle,

essas mudanças que queremos ver, são extremamente sutis,

so we have to be very careful when you try to separate them

por isso temos que ter muito cuidado ao separá-las do ruído

from noise that always exists in videos.

que sempre existe em vídeos.

Então, usamos algumas técnicas inteligentes de processamento de imagem

So we use some clever image processing techniques

to get a very accurate measurement of the color at each pixel in the video,

para obter uma medida muito precisa da cor de cada pixel no vídeo,

and then the way the color changes over time,

e em seguida, a forma como a cor muda ao longo do tempo,

and then we amplify those changes.

e então amplificamos essas mudanças.

We make them bigger to create those types of enhanced videos, or magnified videos,

Tornamo-as maiores para criar esses tipos de vídeos melhorados, ou ampliados,

that actually show us those changes.

que realmente nos mostram essas mudanças.

But it turns out we can do that not just to show tiny changes in color,

Acontece que podemos fazer isso não apenas para mostrar pequenas mudanças de cor,

but also tiny motions,

mas também pequenos movimentos,

and that's because the light that gets recorded in our cameras

e isso é porque a luz que fica gravada em nossas câmeras

will change not only if the color of the object changes,

muda não somente com a cor do objeto,

but also if the object moves.

mas também quando o objeto se move.

So this is my daughter when she was about two months old.

Então, esta é a minha filha quando tinha cerca de dois meses de idade.

It's a video I recorded about three years ago.

É um vídeo que gravei há cerca de três anos atrás.

And as new parents, we all want to make sure our babies are healthy,

E como pais iniciantes, todos queremos que nossos bebês estejam saudáveis,

that they're breathing, that they're alive, of course.

respirando, e que estejam vivos, é claro.

So I too got one of those baby monitors

Então, eu também tinha um desses monitores de bebê

so that I could see my daughter when she was asleep.

para ver minha filha enquanto estava dormindo.

And this is pretty much what you'll see with a standard baby monitor.

E isso é o que você verá com um monitor de bebê padrão.

You can see the baby's sleeping, but there's not too much information there.

Vocês podem ver o bebê dormindo, mas não há muita informação aí.

There's not too much we can see.

Não há muito que podemos ver.

Não seria melhor, ou mais informativo, ou mais útil,

Wouldn't it be better, or more informative, or more useful,

if instead we could look at the view like this.

se em vez disso pudéssemos observar a cena assim.

So here I took the motions and I magnified them 30 times,

Aqui eu ampliei os movimentos em 30 vezes,

então pude ver claramente que minha filha estava realmente viva e respirando.

and then I could clearly see that my daughter was indeed alive and breathing.

(Laughter)

(Risos)

Here is a side-by-side comparison.

Aqui está uma comparação lado-a-lado.

So again, in the source video, in the original video,

Novamente, no vídeo de origem, no vídeo original,

there's not too much we can see,

Não há muito que podemos ver,

but once we magnify the motions, the breathing becomes much more visible.

mas uma vez que aumentamos os movimentos, a respiração torna-se muito mais visível.

And it turns out, there's a lot of phenomena

E acontece que, há muitos fenômenos

we can reveal and magnify with our new motion microscope.

que podemos revelar e ampliar com o nosso novo microscópio de movimento.

We can see how our veins and arteries are pulsing in our bodies.

Podemos ver como nossas veias e artérias estão pulsando em nossos corpos.

We can see that our eyes are constantly moving

Podemos ver que nossos olhos estão em constante movimento

in this wobbly motion.

nesse padrão cambaleante.

And that's actually my eye,

Isso é na verdade o meu olho,

and again this video was taken right after my daughter was born,

e esse vídeo foi feito logo depois que minha filha nasceu,

so you can see I wasn't getting too much sleep. (Laughter)

então vocês podem ver que eu não estava dormindo muito. (Risos)

Even when a person is sitting still,

Até mesmo quando uma pessoa está parada,

there's a lot of information we can extract

há muita informação que podemos extrair

about their breathing patterns, small facial expressions.

dos seus padrões de respiração e pequenas expressões faciais.

Maybe we could use those motions

Talvez pudéssemos usar esses movimentos

to tell us something about our thoughts or our emotions.

para nos dizer algo sobre nossos pensamentos ou emoções.

We can also magnify small mechanical movements,

Também podemos ampliar pequenos movimentos mecânicos,

like vibrations in engines,

como vibrações em motores,

that can help engineers detect and diagnose machinery problems,

que podem ajudar engenheiros a detectar e diagnosticar problemas em máquinas,

ou ver como nossos edifícios e estruturas balançam ao vento e reagem às forças.

or see how our buildings and structures sway in the wind and react to forces.

Those are all things that our society knows how to measure in various ways,

Essas são coisas que a nossa sociedade sabe como medir de várias maneiras,

but measuring those motions is one thing,

mas medir esses movimentos é uma coisa,

and actually seeing those motions as they happen

e ver esses movimentos enquanto eles acontecem

is a whole different thing.

é algo totalmente diferente.

And ever since we discovered this new technology,

E desde que descobrimos essa nova tecnologia,

we made our code available online so that others could use and experiment with it.

divulgamos o nosso código online para que outros pudessem usar e experimentar.

It's very simple to use.

É muito simples de usar.

It can work on your own videos.

Pode funcionar em seus próprios vídeos.

Our collaborators at Quanta Research even created this nice website

Nossos colaboradores na Quantum Research criaram este belo site

where you can upload your videos and process them online,

onde vocês podem fazer o upload de vídeos e processá-los online,

so even if you don't have any experience in computer science or programming,

e mesmo que não tenham experiência em ciência da computação ou programação,

you can still very easily experiment with this new microscope.

ainda podem facilmente experimentar esse novo microscópio.

And I'd like to show you just a couple of examples

E eu gostaria de mostrar-lhes alguns exemplos

of what others have done with it.

do que as pessoas fizeram com ele.

So this video was made by a YouTube user called Tamez85.

Este vídeo foi feito por um usuário do YouTube chamado Tamez85.

I don't know who that user is,

Eu não sei quem é esse usuário,

but he, or she, used our code

mas ele, ou ela, usou o nosso código

to magnify small belly movements during pregnancy.

para ampliar pequenos movimentos da barriga durante a gravidez.

It's kind of creepy.

É meio assustador.

(Laughter)

(Risos)

People have used it to magnify pulsing veins in their hands.

Pessoas ampliaram as veias em suas mãos.

And you know it's not real science unless you use guinea pigs,

E sabemos que não é ciência de verdade a menos que se use cobaias,

and apparently this guinea pig is called Tiffany,

e, aparentemente, esta cobaia se chama Tiffany,

and this YouTube user claims it is the first rodent on Earth

e esse usuário do YouTube diz que ela é o primeiro roedor na Terra

that was motion-magnified.

a ter os movimentos ampliados.

You can also do some art with it.

Você também pode fazer arte.

So this video was sent to me by a design student at Yale.

Este vídeo me foi enviado por uma estudante de design em Yale.

She wanted to see if there's any difference

Ela queria ver se há alguma diferença

in the way her classmates move.

na forma como seus colegas de classe se movem.

She made them all stand still, and then magnified their motions.

Ela fez com que todos ficassem parados, então ampliou seus movimentos.

It's like seeing still pictures come to life.

É como ver fotografias ganharem vida.

And the nice thing with all those examples

E a coisa legal nesses exemplos

is that we had nothing to do with them.

é que não tivemos nada a ver com eles.

We just provided this new tool, a new way to look at the world,

Nós apenas provemos essa nova ferramenta, uma nova maneira de olhar o mundo,

and then people find other interesting, new and creative ways of using it.

e então as pessoas acham outras formas interessantes e criativas de usá-la.

But we didn't stop there.

Mas não paramos por aí.

This tool not only allows us to look at the world in a new way,

Esta ferramenta não só nos permite ver o mundo de uma nova maneira,

it also redefines what we can do

ela também redefine e expande os limites do que podemos fazer

and pushes the limits of what we can do with our cameras.

Então, como cientistas, começamos a nos perguntar,

So as scientists, we started wondering,

what other types of physical phenomena produce tiny motions

quais outros tipos de fenômenos físicos produzem pequenos movimentos

that we could now use our cameras to measure?

que podemos usar nossas câmeras para medir?

And one such phenomenon that we focused on recently is sound.

Um desses fenômenos no qual recentemente nos concentramos é o som.

Sound, as we all know, is basically changes

O som, como sabemos, é basicamente mudanças

in air pressure that travel through the air.

de pressão se propagam no ar.

Those pressure waves hit objects and they create small vibrations in them,

Essas ondas de pressão batem em objetos e criam pequenas vibrações neles,

which is how we hear and how we record sound.

é assim que ouvimos e gravamos o som.

But it turns out that sound also produces visual motions.

Mas acontece que o som também produz movimentos visuais.

Those are motions that are not visible to us

Esses movimentos não são visíveis para nós,

but are visible to a camera with the right processing.

mas são visíveis para uma câmera com o tratamento correto.

So here are two examples.

Então, aqui estão dois exemplos.

This is me demonstrating my great singing skills.

Esse sou eu demonstrando minhas grandes habilidades de canto.

(Singing)

(Cantando)

(Laughter)

(Risos)

Fiz um vídeo em câmera lenta da minha garganta enquanto cantava.

And I took a high-speed video of my throat while I was humming.

Again, if you stare at that video,

Novamente, se vocês olharem para o vídeo,

there's not too much you'll be able to see,

não há muito que conseguirão ver,

but once we magnify the motions 100 times, we can see all the motions and ripples

mas ao ampliarmos os movimentos 100 vezes, vemos todos os movimentos e ondulações

in the neck that are involved in producing the sound.

do pescoço que estão envolvidos na produção do som.

That signal is there in that video.

Esse sinal está alí naquele vídeo.

We also know that singers can break a wine glass

Também sabemos que cantores podem quebrar uma taça

if they hit the correct note.

se atingirem a nota correta.

So here, we're going to play a note

Aqui, vamos tocar uma nota

that's in the resonance frequency of that glass

que está em ressonância com a frequência da taça

through a loudspeaker that's next to it.

através de um alto-falante que está ao lado dela.

Once we play that note and magnify the motions 250 times,

Uma vez que tocamos essa nota e ampliamos os movimentos 250 vezes,

we can very clearly see how the glass vibrates

podemos ver muito claramente como o vidro vibra

and resonates in response to the sound.

e ressoa em resposta ao som.

It's not something you're used to seeing every day.

Não é algo que vemos todos os dias.

But this made us think. It gave us this crazy idea.

Mas isso nos fez pensar. Isso nos deu uma ideia maluca.

Can we actually invert this process and recover sound from video

Será que podemos inverter este processo e recuperar o som a partir do vídeo

by analyzing the tiny vibrations that sound waves create in objects,

através da análise de minúsculas vibrações que as ondas sonoras criam em objetos,

and essentially convert those back into the sounds that produced them.

e, essencialmente, convertê-las de volta para os sons que as produziram?

In this way, we can turn everyday objects into microphones.

Desta forma, podemos transformar objetos do cotidiano em microfones.

So that's exactly what we did.

Então, isso é exatamente o que fizemos.

So here's an empty bag of chips that was lying on a table,

Aqui está um saco de batatas vazio que estava em uma mesa,

and we're going to turn that bag of chips into a microphone

e vamos transformar esse saco de batatas em um microfone

by filming it with a video camera

filmando-o com uma câmera de vídeo

and analyzing the tiny motions that sound waves create in it.

e analisando os mínimos movimentos que as ondas sonoras criam nele.

So here's the sound that we played in the room.

Aqui está o som que tocamos no quarto.

(Music: "Mary Had a Little Lamb")

(Música: "Mary Had a Little Lamb")

E este é um vídeo em alta velocidade desse saco de batatas fritas.

And this is a high-speed video we recorded of that bag of chips.

Again it's playing.

A música está tocando.

There's no chance you'll be able to see anything going on in that video

Não há como vocês verem nada acontecendo nesse vídeo

just by looking at it,

somente olhando para ele,

but here's the sound we were able to recover just by analyzing

mas aqui está o som que conseguimos recuperar apenas por meio da análise

the tiny motions in that video.

dos minúsculos movimentos no vídeo.

(Music: "Mary Had a Little Lamb")

(Música: "Mary Had a Little Lamb")

I call it -- Thank you.

Eu chamo isso de... Obrigado.

(Applause)

(Aplausos)

I call it the visual microphone.

Eu chamo isso de microfone visual.

We actually extract audio signals from video signals.

Nós realmente extraímos sinais de áudio a partir de sinais de vídeo.

And just to give you a sense of the scale of the motions here,

E só para dar-lhes um sentido da escala dos movimentos aqui,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

um som bem alto fará com que o saco de batatas se mova menos de um micrômetro.

Isso é um milésimo de um milímetro.

That's one thousandth of a millimeter.

That's how tiny the motions are that we are now able to pull out

Esses são os movimentos minúsculos que agora somos capazes de obter

just by observing how light bounces off objects

apenas observando como a luz rebate em objetos

and gets recorded by our cameras.

e é gravada por nossas câmeras.

We can recover sounds from other objects, like plants.

Podemos recuperar sons a partir de outros objetos, tais como plantas.

(Music: "Mary Had a Little Lamb")

(Música: "Mary Had a Little Lamb")

And we can recover speech as well.

E podemos recuperar falas também.

So here's a person speaking in a room.

Então aqui está uma pessoa falando em um quarto.

Voice: Mary had a little lamb whose fleece was white as snow,

Voz (em inglês): Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: E aqui está a fala recuperada

just from this video of that same bag of chips.

a partir desse mesmo vídeo do batatas fritas.

Voice: Mary had a little lamb whose fleece was white as snow,

Voz (em inglês): Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go.

MR: We used "Mary Had a Little Lamb"

MR: Usamos "Mary Had a Little Lamb"

because those are said to be the first words

porque acredita-se que foram as primeiras palavras

that Thomas Edison spoke into his phonograph in 1877.

que Thomas Edison falou em seu fonógrafo em 1877.

It was one of the first sound recording devices in history.

Ele foi um dos primeiros gravadores de som na história.

It basically directed the sounds onto a diaphragm

Ele basicamente direcionava o som para um diafragma

that vibrated a needle that essentially engraved the sound on tinfoil

que vibrava uma agulha que, basicamente, gravava o som em papel alumínio

that was wrapped around the cylinder.

enrolado em torno de um cilindro.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Aqui está uma demonstração de gravação e reprodução de som no fonógrafo de Edison:

(Video) Voice: Testing, testing, one two three.

(Video) Voz: Testando, testando, um, dois, três.

Mary had a little lamb whose fleece was white as snow,

Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, the lamb was sure to go.

and everywhere that Mary went, the lamb was sure to go.

Testing, testing, one two three.

Testando, testando, um, dois, três.

Mary had a little lamb whose fleece was white as snow,

Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, the lamb was sure to go.

and everywhere that Mary went, the lamb was sure to go.

MR: And now, 137 years later,

MR: E agora, 137 anos depois,

we're able to get sound in pretty much similar quality

somos capazes de obter som praticamente com a mesma qualidade

but by just watching objects vibrate to sound with cameras,

apenas observando objetos vibrando ao som com câmeras,

and we can even do that when the camera

e podemos fazer isso mesmo com a câmera

is 15 feet away from the object, behind soundproof glass.

a 4,5 metros de distância do objeto, e atrás de um vidro à prova de som.

So this is the sound that we were able to recover in that case.

Este é o som que conseguimos recuperar nesse caso.

Voice: Mary had a little lamb whose fleece was white as snow,

Voz: Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, the lamb was sure to go.

and everywhere that Mary went, the lamb was sure to go.

MR: And of course, surveillance is the first application that comes to mind.

MR: E, claro, vigilância é a primeira aplicação que vem em mente.

(Laughter)

(Risos)

But it might actually be useful for other things as well.

Mas isso pode ser realmente útil para outras coisas também.

Maybe in the future, we'll be able to use it, for example,

Talvez no futuro, sejamos capazes para usá-lo, por exemplo,

to recover sound across space,

para recuperar som através do espaço,

because sound can't travel in space, but light can.

porque o som não pode viajar no espaço, mas a luz pode.

We've only just begun exploring

Nós apenas começamos a explorar

other possible uses for this new technology.

outros usos possíveis para esta nova tecnologia.

Ela nos permite ver processos físicos que sabemos que estão lá

It lets us see physical processes that we know are there

but that we've never been able to see with our own eyes until now.

mas que nunca pudemos ver com nossos próprios olhos até agora.

This is our team.

Esta é a nossa equipe.

Everything I showed you today is a result of a collaboration

Tudo o que eu mostrei hoje é o resultado de uma colaboração

with this great group of people you see here,

com este incrível grupo de pessoas que vocês veem aqui,

and I encourage you and welcome you to check out our website,

e encorajo e convido vocês a conhecerem nosso site,

try it out yourself,

experimentá-lo vocês mesmos,

and join us in exploring this world of tiny motions.

e se juntarem a nós na exploração desse mundo de pequenos movimentos.

Thank you.

Obrigado.

(Applause)

(Aplausos)