Abe Davis: New video technology that reveals an object's hidden properties

Tradutor: Guilherme Dias Revisor: Leonardo Silva

Nós pensamos em movimento como algo visual.

Most of us think of motion as a very visual thing.

If I walk across this stage or gesture with my hands while I speak,

Se eu andar pelo palco ou gesticular enquanto falo,

that motion is something that you can see.

esse movimento é algo que vocês podem ver.

But there's a world of important motion that's too subtle for the human eye,

Mas há um mundo de movimentos importantes que é muito sutil para o olho humano,

and over the past few years,

e nos últimos anos,

we've started to find that cameras

começamos a descobrir que câmeras

can often see this motion even when humans can't.

podem ver esse movimento, mesmo quando humanos não podem.

So let me show you what I mean.

Deixe-me mostrar o que quero dizer.

On the left here, you see video of a person's wrist,

Na esquerda, vocês veem o vídeo do pulso de uma pessoa

and on the right, you see video of a sleeping infant,

e na direita, vocês veem o vídeo de um bebê dormindo,

but if I didn't tell you that these were videos,

mas se eu não tivesse dito que são vídeos,

you might assume that you were looking at two regular images,

vocês poderiam achar que estavam vendo duas imagens comuns,

because in both cases,

porque em ambos os casos,

os vídeos parecem estar completamente imóveis.

these videos appear to be almost completely still.

But there's actually a lot of subtle motion going on here,

Mas, na verdade, há muitos movimentos sutis acontecendo aqui,

e se vocês tocassem o pulso da esquerda,

and if you were to touch the wrist on the left,

you would feel a pulse,

sentiriam a pulsação,

and if you were to hold the infant on the right,

e se vocês segurassem o bebê da direita,

you would feel the rise and fall of her chest

sentiriam seu tórax subir e descer

as she took each breath.

a cada vez que respira.

And these motions carry a lot of significance,

E esses movimentos carregam muito significado,

but they're usually too subtle for us to see,

mas geralmente são muito sutis para serem vistos,

so instead, we have to observe them

então, em vez disso, temos que observá-los

through direct contact, through touch.

através do contato direto, através do toque.

But a few years ago,

Mas alguns anos atrás,

my colleagues at MIT developed what they call a motion microscope,

meus colegas no MIT desenvolveram o que eles chamam de microscópio do movimento,

which is software that finds these subtle motions in video

que é um software que encontra esses movimentos sutis em vídeos

and amplifies them so that they become large enough for us to see.

e os amplifica para que se tornem grandes o suficiente para podermos ver.

And so, if we use their software on the left video,

Então, se usarmos o software no vídeo da esquerda,

it lets us see the pulse in this wrist,

podemos ver a pulsação,

and if we were to count that pulse,

e se contássemos esta pulsação,

we could even figure out this person's heart rate.

nós poderíamos descobrir os batimentos cardíacos dessa pessoa.

And if we used the same software on the right video,

E se usássemos o mesmo software no vídeo da direita,

it lets us see each breath that this infant takes,

ele nos deixa ver cada vez que este bebê respira,

and we can use this as a contact-free way to monitor her breathing.

e podemos usá-lo como uma maneira de monitorar sua respiração sem tocar.

And so this technology is really powerful because it takes these phenomena

E essa tecnologia é realmente poderosa, pois pega esses fenômenos

que normalmente temos que experimentar pelo toque

that we normally have to experience through touch

and it lets us capture them visually and non-invasively.

e nos deixa capturá-los visualmente e não invasivamente.

So a couple years ago, I started working with the folks that created that software,

Alguns anos atrás, eu comecei a trabalhar com as pessoas que criaram esse software,

and we decided to pursue a crazy idea.

e decidimos ir atrás de uma ideia louca.

We thought, it's cool that we can use software

Pensamos, é legal podermos usar esse software

to visualize tiny motions like this,

para visualizar movimentos pequenos assim,

and you can almost think of it as a way to extend our sense of touch.

e poder pensar nisso como uma maneira de estender nosso senso de toque.

But what if we could do the same thing with our ability to hear?

Mas e se pudéssemos fazer a mesma coisa com a nossa capacidade de ouvir?

What if we could use video to capture the vibrations of sound,

E se pudéssemos usar o vídeo para capturar as vibrações de som,

which are just another kind of motion,

que são apenas outro tipo de movimento,

and turn everything that we see into a microphone?

e transformássemos tudo o que vemos em um microfone?

Now, this is a bit of a strange idea,

Bom, essa é uma ideia um pouco estranha,

so let me try to put it in perspective for you.

então me deixe colocá-la em perspectiva para vocês.

Traditional microphones work by converting the motion

Microfones tradicionais funcionam convertendo o movimento

of an internal diaphragm into an electrical signal,

de um diafragma interno em sinal elétrico,

and that diaphragm is designed to move readily with sound

e o diafragma é feito para mover prontamente com som

so that its motion can be recorded and interpreted as audio.

para que seus movimentos possam ser gravados e interpretados como áudio.

But sound causes all objects to vibrate.

Mas o som faz todos os objetos vibrarem.

Those vibrations are just usually too subtle and too fast for us to see.

Essas vibrações são normalmente sutis e rápidas demais para nós vermos.

So what if we record them with a high-speed camera

E se as gravarmos com uma câmera de alta velocidade

and then use software to extract tiny motions

e depois usarmos o software para extrair pequenos movimentos

from our high-speed video,

do nosso vídeo de alta velocidade,

and analyze those motions to figure out what sounds created them?

e analisarmos esses movimentos para descobrir quais sons os criaram?

This would let us turn visible objects into visual microphones from a distance.

Isto nos permitiria transformar objetos visíveis em microfones à distância.

And so we tried this out,

E então nós tentamos,

and here's one of our experiments,

e aqui está uma de nossas experiências,

em que nós pegamos esta planta que vocês veem na direita

where we took this potted plant that you see on the right

and we filmed it with a high-speed camera

e a filmamos com uma câmera de alta velocidade

while a nearby loudspeaker played this sound.

enquanto um alto-falante tocava esta música.

(Music: "Mary Had a Little Lamb")

(Música: "Mary Had a Little Lamb")

And so here's the video that we recorded,

E aqui está o vídeo que gravamos,

and we recorded it at thousands of frames per second,

e o gravamos a milhares de quadros por segundo,

but even if you look very closely,

mas mesmo se vocês olharem de perto,

all you'll see are some leaves

só verão algumas folhas

that are pretty much just sitting there doing nothing,

que estão basicamente paradas ali, sem fazer nada,

because our sound only moved those leaves by about a micrometer.

porque nosso som só moveu aquelas folhas por volta de um micrômetro.

That's one ten-thousandth of a centimeter,

Isso é um décimo de milésimo de centímetro,

which spans somewhere between a hundredth and a thousandth

que fica entre um centésimo e um milésimo

of a pixel in this image.

de um pixel nesta imagem.

So you can squint all you want,

Vocês podem olhar o quanto quiserem,

but motion that small is pretty much perceptually invisible.

mas o movimento pequeno assim é basicamente imperceptível.

But it turns out that something can be perceptually invisible

Mas verifica-se que algo pode ser imperceptível

and still be numerically significant,

e ainda ser numericamente significante,

because with the right algorithms,

pois com os algoritmos certos,

we can take this silent, seemingly still video

podemos pegar este vídeo silencioso e aparentemente parado

and we can recover this sound.

e podemos recuperar este som.

(Music: "Mary Had a Little Lamb")

(Música: "Mary Had a Little Lamb")

(Aplausos)

(Applause)

Como isso é possível?

So how is this possible?

How can we get so much information out of so little motion?

Como podemos obter tanta informação de tão pouco movimento?

Well, let's say that those leaves move by just a single micrometer,

Bom, vamos supor que aquelas folhas se movem a apenas um micrômetro,

and let's say that that shifts our image by just a thousandth of a pixel.

e vamos dizer que isso muda a nossa imagem a apenas um milésimo de um pixel.

That may not seem like much,

Pode não parecer muito,

but a single frame of video

mas um simples quadro de vídeo

may have hundreds of thousands of pixels in it,

pode ter centenas de milhares de pixels,

e se combinarmos todos os pequenos movimentos que vemos

and so if we combine all of the tiny motions that we see

from across that entire image,

em toda essa imagem,

then suddenly a thousandth of a pixel

então um milésimo de pixel

can start to add up to something pretty significant.

pode começar a virar algo bem significante.

On a personal note, we were pretty psyched when we figured this out.

Pessoalmente, ficamos muito empolgados quando descobrimos isso.

(Laughter)

(Risadas)

But even with the right algorithm,

Mas mesmo com o algoritmo certo,

nós ainda estávamos perdendo alguns pedaços importantes do quebra-cabeças.

we were still missing a pretty important piece of the puzzle.

You see, there are a lot of factors that affect when and how well

Vejam, há muitos fatores que afetam quando e quão bem

this technique will work.

essa técnica vai funcionar.

There's the object and how far away it is;

Tem o objeto e o quão distante ele está,

there's the camera and the lens that you use;

tem a câmera e as lentes usadas,

how much light is shining on the object and how loud your sound is.

quanta luz está iluminando o objeto e o quão alto o som está.

And even with the right algorithm,

E mesmo com o algoritmo certo,

we had to be very careful with our early experiments,

tivemos que ser cuidadosos com nossas primeiras experiências,

because if we got any of these factors wrong,

porque se errássemos qualquer um desses fatores,

não haveria como saber qual era o problema.

there was no way to tell what the problem was.

We would just get noise back.

Nós receberíamos apenas barulho de volta.

Muitas das nossas primeiras experiências pareciam com isso.

And so a lot of our early experiments looked like this.

And so here I am,

E aqui estou eu,

and on the bottom left, you can kind of see our high-speed camera,

e abaixo, na esquerda, vocês podem ver a nossa câmera de alta velocidade,

which is pointed at a bag of chips,

que está apontada para um pacote de batata

and the whole thing is lit by these bright lamps.

e está tudo iluminado por essas lâmpadas.

And like I said, we had to be very careful in these early experiments,

E, como eu disse, nós tivemos que ser cuidadosos nas primeiras experiências,

so this is how it went down.

então foi assim que aconteceu.

(Video) Abe Davis: Three, two, one, go.

(Vídeo) Abe Davis: três, dois, um, vai.

Mary had a little lamb! Little lamb! Little lamb!

Mary had a little lamb! Little lamb! Little lamb!

(Laughter)

(Risadas)

AD: So this experiment looks completely ridiculous.

AD: Então essa experiência parece completamente ridícula.

(Laughter)

(Risadas)

I mean, I'm screaming at a bag of chips --

Bom, eu estou gritando com um pacote de batata

(Laughter) --

(Risadas)

and we're blasting it with so much light,

e estamos a irradiando com tanta luz,

we literally melted the first bag we tried this on. (Laughter)

que nós literalmente derretemos o primeiro pacote que nós testamos. (Risadas)

But ridiculous as this experiment looks,

Mas por mais ridícula que essa experiência pareça,

it was actually really important,

foi, na verdade, muito importante,

because we were able to recover this sound.

porque pudemos recuperar este som.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Áudio) Mary had a little lamb! Little lamb! Little lamb!

(Applause)

(Aplausos)

AD: And this was really significant,

AD: Isso foi realmente significativo,

because it was the first time we recovered intelligible human speech

porque foi a primeira vez que nós recuperamos discurso humano intelegível

from silent video of an object.

do vídeo silencioso de um objeto.

And so it gave us this point of reference,

Isso nos deu este ponto de referência,

and gradually we could start to modify the experiment,

e pudemos começar a gradualmente mudar a experiência,

usando objetos diferentes ou afastando mais o objeto

using different objects or moving the object further away,

using less light or quieter sounds.

usando menos luz ou sons mais baixos.

And we analyzed all of these experiments

Nós analisamos todos essas experiências

until we really understood the limits of our technique,

até realmente entendermos os limites da nossa técnica,

because once we understood those limits,

pois uma vez entendidos,

we could figure out how to push them.

poderíamos descobrir como ultrapassá-los.

And that led to experiments like this one,

E isso nos levou a experiências como esta,

where again, I'm going to speak to a bag of chips,

em que vou, novamente, falar com um pacote de batatas,

but this time we've moved our camera about 15 feet away,

mas dessa vez afastamos a câmera a uns 4,5 metros,

outside, behind a soundproof window,

do lado de fora, atrás de uma janela à prova de som,

and the whole thing is lit by only natural sunlight.

e tudo está iluminado apenas por luz natural.

And so here's the video that we captured.

E aqui está o vídeo que filmamos.

And this is what things sounded like from inside, next to the bag of chips.

E foi assim que as coisas soaram de dentro, próximo ao pacote de batatas.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Áudio) "Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go."

AD: And here's what we were able to recover from our silent video

AD: E aqui está o que conseguimos recuperar do nosso vídeo silencioso

captured outside behind that window.

capturado do lado de fora, atrás da janela.

(Áudio) "Mary had a little lamb whose fleece was white as snow,

(Audio) Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

and everywhere that Mary went, that lamb was sure to go."

(Applause)

(Aplausos)

AD: E há outras maneiras de ultrapassar esses limites também.

AD: And there are other ways that we can push these limits as well.

So here's a quieter experiment

Em uma experiência mais silenciosa,

where we filmed some earphones plugged into a laptop computer,

nós filmamos alguns fones de ouvido plugados em um laptop,

and in this case, our goal was to recover the music that was playing on that laptop

e nesse caso, nosso objetivo era recuperar a música que estava tocando no laptop

from just silent video

do vídeo silencioso

of these two little plastic earphones,

desses dois fones de ouvido de plástico,

and we were able to do this so well

e conseguimos fazer isso tão bem

that I could even Shazam our results.

que eu pude até pôr os resultados no Shazam.

(Laughter)

(Risadas)

(Music: "Under Pressure" by Queen)

(Música: Under Pressure - Queen)

(Applause)

(Aplausos)

And we can also push things by changing the hardware that we use.

E também podemos dar um empurrãozinho mudando o hardware que usamos.

Because the experiments I've shown you so far

Porque as experiências que mostrei até agora

were done with a camera, a high-speed camera,

foram feitas com uma câmera, de alta velocidade,

that can record video about a 100 times faster

que pode gravar vídeos até 100 vezes mais rápido

than most cell phones,

que a maioria dos celulares,

but we've also found a way to use this technique

mas também encontramos um modo de usar essa técnica

with more regular cameras,

com câmeras mais comuns,

and we do that by taking advantage of what's called a rolling shutter.

e nós fazemos isso tirando vantagem do que é chamado de persiana.

You see, most cameras record images one row at a time,

Vejam, a maioria das câmeras gravam imagens um rolo por vez,

and so if an object moves during the recording of a single image,

e se um objeto se mover durante a gravação de apenas uma imagem,

there's a slight time delay between each row,

há um pequeno atraso entre cada rolo,

and this causes slight artifacts

e isso causa pequenos artefatos

that get coded into each frame of a video.

que são codificados entre cada quadro de um vídeo.

And so what we found is that by analyzing these artifacts,

Então descobrimos que, analisando esses artefatos,

we can actually recover sound using a modified version of our algorithm.

podemos recuperar o som usando uma versão modificada do nosso algoritmo.

So here's an experiment we did

Aqui está uma experiência que fizemos

where we filmed a bag of candy

em que filmamos um pacote de doces

while a nearby loudspeaker played

enquanto um alto-falante tocava

the same "Mary Had a Little Lamb" music from before,

a mesma música de antes, "Mary Had a Little Lamb",

but this time, we used just a regular store-bought camera,

mas dessa vez, usamos apenas uma câmera comum de loja,

and so in a second, I'll play for you the sound that we recovered,

e em um segundo, vou tocar pra vocês o som que recuperamos,

and it's going to sound distorted this time,

e vai parecer distorcido dessa vez,

but listen and see if you can still recognize the music.

mas escutem e vejam se vocês ainda reconhecem a música.

(Audio: "Mary Had a Little Lamb")

(Áudio: "Mary Had a Little Lamb")

And so, again, that sounds distorted,

E, de novo, parece distorcido,

but what's really amazing here is that we were able to do this

mas o que é realmente incrível aqui é que conseguimos fazer isso

with something that you could literally run out

com algo que você pode literalmente sair

and pick up at a Best Buy.

e comprar no Best Buy.

So at this point,

Nesse momento,

a lot of people see this work,

muitas pessoas veem esse trabalho,

and they immediately think about surveillance.

e imediatamente pensam em vigilância.

And to be fair,

E, pra ser justo,

it's not hard to imagine how you might use this technology to spy on someone.

não é difícil imaginar que pode-se usar essa tecnologia para espiar alguém.

But keep in mind that there's already a lot of very mature technology

Mas tenha em mente que já existem muitas tecnologias maduras

out there for surveillance.

para vigilância.

In fact, people have been using lasers

De fato, as pessoas têm usado lêiseres

to eavesdrop on objects from a distance for decades.

para bisbilhotar objetos à distância por décadas.

But what's really new here,

Mas o que é realmente novo aqui,

o que é realmente diferente,

what's really different,

is that now we have a way to picture the vibrations of an object,

é que agora temos uma maneira de imaginar as vibrações de um objeto,

which gives us a new lens through which to look at the world,

o que nos dá uma nova lente através da qual podemos ver o mundo,

e podemos usar essa lente

and we can use that lens

to learn not just about forces like sound that cause an object to vibrate,

para aprender não apenas sobre forças como o som, que faz um objeto a vibrar,

but also about the object itself.

mas também sobre o próprio objeto.

And so I want to take a step back

Eu quero dar um passo atrás

and think about how that might change the ways that we use video,

e pensar em como isso pode mudar as maneiras como usamos vídeo,

because we usually use video to look at things,

porque costumamos usar vídeo para ver as coisas,

and I've just shown you how we can use it

e eu só mostrei como podemos usá-lo

to listen to things.

para ouvir as coisas.

But there's another important way that we learn about the world:

Mas tem outra maneira importante de aprendermos sobre o mundo:

that's by interacting with it.

interagindo com ele.

We push and pull and poke and prod things.

Nós empurramos, puxamos, cutucamos e estimulamos coisas.

Nós mexemos nas coisas pra ver o que acontece.

We shake things and see what happens.

And that's something that video still won't let us do,

E isso é algo que o vídeo ainda não nos deixa fazer,

at least not traditionally.

pelo menos não tradicionalmente.

So I want to show you some new work,

Quero mostrar alguns novos trabalhos,

and this is based on an idea I had just a few months ago,

e isso é baseado em um ideia que tive alguns meses atrás.

so this is actually the first time I've shown it to a public audience.

Esta é a primeira em que mostro isso para um público, na verdade.

And the basic idea is that we're going to use the vibrations in a video

E a ideia básica é a de que vamos usar as vibrações em um vídeo

to capture objects in a way that will let us interact with them

para capturar objetos de modo a nos deixar interagir com eles

and see how they react to us.

e ver como eles reagem a nós.

So here's an object,

Aqui está um objeto,

and in this case, it's a wire figure in the shape of a human,

e nesse caso, é uma figura em fios no formato de um humano,

and we're going to film that object with just a regular camera.

e vamos filmar esse objeto com uma câmera comum.

So there's nothing special about this camera.

Não tem nada de especial nessa câmera.

In fact, I've actually done this with my cell phone before.

Na verdade, eu fiz isso com o meu celular antes.

But we do want to see the object vibrate,

Mas queremos ver o objeto vibrar

e, para isso acontecer,

so to make that happen,

we're just going to bang a little bit on the surface where it's resting

nós vamos bater um pouco na superfície onde ele está parado

while we record this video.

enquanto gravamos este vídeo.

Então é isso: apenas cinco segundos de vídeo comum,

So that's it: just five seconds of regular video,

while we bang on this surface,

enquanto batemos nessa superfície.

and we're going to use the vibrations in that video

Vamos usar as vibrações nesse vídeo

to learn about the structural and material properties of our object,

para aprender sobre as propriedades estruturais e materiais do nosso objeto,

and we're going to use that information to create something new and interactive.

e vamos usar essa informação para criar algo novo e interativo.

And so here's what we've created.

Aqui está o que nós criamos.

And it looks like a regular image,

E parece uma imagem comum,

but this isn't an image, and it's not a video,

mas isso não é uma imagem, nem é um video,

because now I can take my mouse

porque agora eu posso pegar o mouse

and I can start interacting with the object.

e eu posso começar a interagir com o objeto.

And so what you see here

E o que você vê aqui

is a simulation of how this object

é a simulação de como esse objeto

would respond to new forces that we've never seen before,

responderia a novas forças que nunca vimos antes,

and we created it from just five seconds of regular video.

e nós criamos isso a partir de cinco segundos de um vídeo comum.

(Aplausos)

(Applause)

And so this is a really powerful way to look at the world,

Essa é uma maneira muito poderosa de ver o mundo,

because it lets us predict how objects will respond

porque ela nos deixa prever como os objetos vão responder

to new situations,

a novas situações,

and you could imagine, for instance, looking at an old bridge

e você pode imaginar, por exemplo, olhar para uma ponte velha

and wondering what would happen, how would that bridge hold up

e se perguntar o que aconteceria, como a ponte aguentaria

if I were to drive my car across it.

se eu dirigisse meu carro nela.

And that's a question that you probably want to answer

E essa é uma questão que você provavelmente quer responder

before you start driving across that bridge.

antes de começar a dirigir naquela ponte.

And of course, there are going to be limitations to this technique,

E haverá limitações a essa técnica,

assim como houve com o microfone visual,

just like there were with the visual microphone,

but we found that it works in a lot of situations

mas descobrimos que ela funciona em muitas situações

that you might not expect,

que você pode não imaginar,

especially if you give it longer videos.

principalmente com vídeos maiores.

So for example, here's a video that I captured

Por exemplo, aqui tem um vídeo que filmei

de um arbusto fora do me apartamento,

of a bush outside of my apartment,

and I didn't do anything to this bush,

e não fiz nada a esse arbusto,

but by capturing a minute-long video,

mas filmando um vídeo de um minuto,

a gentle breeze caused enough vibrations

uma brisa causou vibrações suficientes

that we could learn enough about this bush to create this simulation.

e, assim, pudemos aprender o suficiente sobre o arbusto para criar essa simulação.

(Applause)

(Aplausos)

And so you could imagine giving this to a film director,

E você pode imaginar dar isso a um diretor de cinema,

and letting him control, say,

e deixá-lo controlar

the strength and direction of wind in a shot after it's been recorded.

a força e a direção do vento numa filmagem depois que ela foi gravada.

Or, in this case, we pointed our camera at a hanging curtain,

Ou, nesse caso, nós apontamos nossa câmera para uma cortina pendurada

and you can't even see any motion in this video,

e você não pode ver nenhum movimento nesse vídeo,

but by recording a two-minute-long video,

mas gravando um vídeo de dois minutos,

as correntes de ar natural nesse quarto

natural air currents in this room

created enough subtle, imperceptible motions and vibrations

criaram movimentos e vibrações sutis e imperceptíveis

that we could learn enough to create this simulation.

e, assim, pudemos aprender o suficiente para criar essa simulação.

And ironically,

Ironicamente,

we're kind of used to having this kind of interactivity

nós estamos acostumados a ter esse tipo de interatividade

when it comes to virtual objects,

quando se trata de objetos virtuais,

when it comes to video games and 3D models,

videogames e modelos 3D,

but to be able to capture this information from real objects in the real world

mas ser capaz de capturar essa informação de objetos reais, no mundo real,

using just simple, regular video,

usando apenas um vídeo simples, comum,

is something new that has a lot of potential.

é algo novo que tem muito potencial.

So here are the amazing people who worked with me on these projects.

Aqui estão as pessoas incríveis que trabalharam comigo nesses projetos.

(Applause)

(Aplausos)

And what I've shown you today is only the beginning.

E o que mostrei hoje é apenas o início.

We've just started to scratch the surface

Nós só começamos a sondar a superfície

of what you can do with this kind of imaging,

do que pode ser feito com esse tipo de imagem,

because it gives us a new way

porque ela nos dá um novo modo

to capture our surroundings with common, accessible technology.

de notar o que está a nossa volta com uma tecnologia comum e acessível.

E olhando para o futuro,

And so looking to the future,

it's going to be really exciting to explore

vai ser realmente animador explorar

what this can tell us about the world.

o que isso pode nos dizer sobre o mundo.

Thank you.

Obrigado.

(Applause)

(Aplausos)