Abe Davis: New video technology that reveals an object's hidden properties

Tradutor: Luis Guilherme Freitas Revisora: Margarida Ferreira

Most of us think of motion as a very visual thing.

Quase todos nós pensamos no movimento como uma coisa muito visual.

If I walk across this stage or gesture with my hands while I speak,

Se eu passear por este palco, ou gesticular enquanto falo,

that motion is something that you can see.

esses movimentos são uma coisa que vocês veem.

But there's a world of important motion that's too subtle for the human eye,

Mas há um mundo de movimentos importantes

que são demasiado subtis para os olhos humanos.

and over the past few years,

Nos últimos anos,

we've started to find that cameras

começámos a descobrir que as câmaras

can often see this motion even when humans can't.

veem esses movimentos que os nossos olhos não conseguem ver.

So let me show you what I mean.

Vou mostrar-vos o que quero dizer.

On the left here, you see video of a person's wrist,

Aqui à esquerda, veem um vídeo do pulso duma pessoa

and on the right, you see video of a sleeping infant,

e à direita, veem um vídeo de um bebé a dormir.

but if I didn't tell you that these were videos,

Se eu não vos tivesse dito que isto eram vídeos,

you might assume that you were looking at two regular images,

vocês podiam julgar que estavam a olhar para duas fotos normais

because in both cases,

porque, em ambos os casos,

these videos appear to be almost completely still.

estes vídeos parecem estar totalmente imóveis.

But there's actually a lot of subtle motion going on here,

Na realidade, há aqui muito movimento subtil.

and if you were to touch the wrist on the left,

Se tocassem neste pulso à esquerda,

you would feel a pulse,

sentiriam a pulsação,

and if you were to hold the infant on the right,

se agarrassem no bebé da direita,

you would feel the rise and fall of her chest

sentiriam o erguer e descer do peito dele

as she took each breath.

quando respira.

And these motions carry a lot of significance,

Esses movimentos têm muito significado

but they're usually too subtle for us to see,

mas normalmente são demasiado subtis para os podermos ver.

so instead, we have to observe them

Em vez disso, temos que os observar

through direct contact, through touch.

através de contacto direto, através do tato.

But a few years ago,

Mas há uns anos,

my colleagues at MIT developed what they call a motion microscope,

os meus colegas no MIT desenvolveram uma coisa

a que chamaram um microscópio do movimento

which is software that finds these subtle motions in video

que é um "software" que encontra esses movimentos subtis no vídeo

and amplifies them so that they become large enough for us to see.

e os amplifica até eles ficarem suficientemente grandes para os vermos.

And so, if we use their software on the left video,

Assim, se eu usar esse "software" no vídeo da esquerda,

it lets us see the pulse in this wrist,

passamos a ver a pulsação deste pulso,

and if we were to count that pulse,

e se contarmos a pulsação

we could even figure out this person's heart rate.

podemos deduzir o ritmo cardíaco desta pessoa.

And if we used the same software on the right video,

Se eu usar o mesmo "software" no vídeo da direita,

it lets us see each breath that this infant takes,

passamos a ver cada inspiração que o bebé faz

and we can use this as a contact-free way to monitor her breathing.

e podemos usar isso como uma forma isenta de contacto

para vigiar a sua respiração.

And so this technology is really powerful because it takes these phenomena

Esta tecnologia é muito poderosa porque agarra nestes fenómenos

que normalmente só conseguimos perceber através do tato

that we normally have to experience through touch

and it lets us capture them visually and non-invasively.

e faz com que passemos a visualizá-los de forma não invasiva.

So a couple years ago, I started working with the folks that created that software,

Há uns anos, comecei a trabalhar com as pessoas que criaram este "software"

and we decided to pursue a crazy idea.

e decidimos avançar com uma ideia maluca.

We thought, it's cool that we can use software

Pensámos que era fixe poder usar um "software"

to visualize tiny motions like this,

para visualizar pequenos movimentos como estes,

and you can almost think of it as a way to extend our sense of touch.

e até podíamos pensar nisso como uma forma de expandir o nosso sentido do tato.

But what if we could do the same thing with our ability to hear?

E se pudéssemos fazer o mesmo com a nossa capacidade para ouvir?

What if we could use video to capture the vibrations of sound,

E se usássemos o vídeo para captar as vibrações dos sons,

which are just another kind of motion,

que afinal são um outro tipo de movimento,

and turn everything that we see into a microphone?

e transformar tudo o que vemos num microfone?

Now, this is a bit of a strange idea,

Esta é uma ideia um pouco extravagante

so let me try to put it in perspective for you.

por isso vou tentar pô-la em perspetiva.

Traditional microphones work by converting the motion

Os microfones tradicionais funcionam transformando o movimento

of an internal diaphragm into an electrical signal,

de um diafragma interior num sinal elétrico,

and that diaphragm is designed to move readily with sound

e esse diafragma está concebido para se mover prontamente com os sons

so that its motion can be recorded and interpreted as audio.

de forma a que os movimentos podem ser gravados e interpretados como áudio.

But sound causes all objects to vibrate.

Ma o som faz com que todos os objetos vibrem.

Those vibrations are just usually too subtle and too fast for us to see.

Mas essas vibrações são normalmente demasiado subtis e demasiado rápidas

para nós as podermos ver.

So what if we record them with a high-speed camera

E se as gravássemos com uma câmara de alta velocidade

and then use software to extract tiny motions

e depois usássemos o "software" para extrair pequenos movimentos

from our high-speed video,

do nosso vídeo de alta velocidade,

and analyze those motions to figure out what sounds created them?

e analisássemos esses movimentos para ver que sons os tinham criado?

This would let us turn visible objects into visual microphones from a distance.

Isso permitir-nos-ia transformar objetos visíveis

em microfones visuais à distância.

And so we tried this out,

Então, foi o que tentámos fazer.

and here's one of our experiments,

Esta é uma das nossas experiências,

where we took this potted plant that you see on the right

em que agarrámos neste vaso com uma planta que estão a ver à direita

and we filmed it with a high-speed camera

e filmámos com uma câmara de alta velocidade

while a nearby loudspeaker played this sound.

enquanto um altifalante ali ao pé transmitia este som.

(Music: "Mary Had a Little Lamb")

(Música: "Maria tinha um cordeirinho")

And so here's the video that we recorded,

E este é o vídeo que gravámos.

and we recorded it at thousands of frames per second,

Gravámos a uma velocidade de milhares de imagens por segundo.

but even if you look very closely,

Mas, mesmo que observemos muito de perto,

all you'll see are some leaves

só vemos algumas folhas

that are pretty much just sitting there doing nothing,

que estão ali paradas sem fazer nada,

because our sound only moved those leaves by about a micrometer.

porque o nosso som limitou-se a fazer mover estas folhas apenas um micrómetro,

That's one ten-thousandth of a centimeter,

ou seja uma décima milésima de um centímetro,

which spans somewhere between a hundredth and a thousandth

o que corresponde mais ou menos entre um centésimo e um milésimo

of a pixel in this image.

de um pixel nesta imagem.

So you can squint all you want,

Por isso, podem piscar os olhos quanto quiserem,

but motion that small is pretty much perceptually invisible.

mas um movimento tão pequeno é praticamente invisível.

But it turns out that something can be perceptually invisible

Mas acontece que uma coisa pode ser invisível à nossa perceção

and still be numerically significant,

e mesmo assim ser numericamente significativo,

because with the right algorithms,

porque com os algoritmos adequados

we can take this silent, seemingly still video

podemos agarrar neste vídeo silencioso, aparentemente parado,

and we can recover this sound.

e podemos recuperar esse som.

(Music: "Mary Had a Little Lamb")

(Música: "Maria tinha um cordeirinho")

(Applause)

(Aplausos)

So how is this possible?

Como é que isto é possível?

How can we get so much information out of so little motion?

Como é que podemos obter tantas informações a partir de tão pouco movimento?

Well, let's say that those leaves move by just a single micrometer,

Digamos que estas folhas se movem apenas um micrómetro,

and let's say that that shifts our image by just a thousandth of a pixel.

e digamos que movimenta a nossa imagem apenas numa milésima de pixel

That may not seem like much,

Pode não parecer muito,

but a single frame of video

mas uma única imagem do vídeo

may have hundreds of thousands of pixels in it,

pode conter centenas de milhares de pixéis.

and so if we combine all of the tiny motions that we see

Por isso, se combinarmos todos os pequenos movimentos

from across that entire image,

que vemos em toda a imagem,

then suddenly a thousandth of a pixel

um milésimo de um pixel

can start to add up to something pretty significant.

pode, de repente, tornar-se numa coisa significativa.

On a personal note, we were pretty psyched when we figured this out.

Aqui para nós, ficámos malucos quando descobrimos isto.

(Laughter)

(Risos)

But even with the right algorithm,

Mas, mesmo com o algoritmo adequado,

we were still missing a pretty important piece of the puzzle.

ainda nos faltava uma peça muito importante do "puzzle".

You see, there are a lot of factors that affect when and how well

Há muitos fatores que afetam quando e como funciona esta técnica.

this technique will work.

There's the object and how far away it is;

Há o objeto e a distância a que ele está.

there's the camera and the lens that you use;

Há a câmara e as lentes que usamos.

how much light is shining on the object and how loud your sound is.

A quantidade de luz que incide no objeto e a intensidade do som.

And even with the right algorithm,

E, mesmo com o algoritmo adequado,

we had to be very careful with our early experiments,

tivemos que ter muito cuidado com as nossas primeiras experiências,

because if we got any of these factors wrong,

porque, se considerássemos erradamente qualquer destes fatores,

there was no way to tell what the problem was.

não tínhamos forma de saber qual era o problema.

We would just get noise back.

Só obtínhamos ruído.

And so a lot of our early experiments looked like this.

Portanto, muitas das nossas primeiras experiências foram assim.

And so here I am,

Aqui estou eu.

and on the bottom left, you can kind of see our high-speed camera,

Em baixo à esquerda, podem ver a nossa câmara de alta velocidade,

which is pointed at a bag of chips,

que está apontada para um pacote de batatas fritas.

and the whole thing is lit by these bright lamps.

Está tudo iluminado por aquelas lâmpadas brilhantes.

And like I said, we had to be very careful in these early experiments,

Como já disse, temos que ter muito cuidado nestas primeiras experiências,

so this is how it went down.

por isso, foi assim que as coisas se passaram.

(Video) Abe Davis: Three, two, one, go.

(Vídeo): Três, dois, um... Começar.

Mary had a little lamb! Little lamb! Little lamb!

(Aos gritos): Mary tinha um carneirinho!

Carneirinho! Carneirinho!

(Laughter)

(Risos)

AD: So this experiment looks completely ridiculous.

Esta experiência parece mesmo ridícula.

(Laughter)

(Risos)

I mean, I'm screaming at a bag of chips --

Estou para aqui a gritar para um pacote de batatas...

(Laughter) --

(Risos)

and we're blasting it with so much light,

... e está tudo iluminado com tanta luz

we literally melted the first bag we tried this on. (Laughter)

que literalmente derretemos o primeiro pacote de batatas nesta experiência.

(Risos)

But ridiculous as this experiment looks,

Mas, por mais ridícula que esta experiência pareça,

it was actually really important,

foi de facto muito importante,

because we were able to recover this sound.

porque pudemos recuperar este som.

(Audio) Mary had a little lamb! Little lamb! Little lamb!

(Áudio) Mary tinha um cordeirinho! Cordeirinho! Cordeirinho!

(Applause)

(Aplausos)

AD: And this was really significant,

Isto foi muito significativo

because it was the first time we recovered intelligible human speech

porque foi a primeira vez que recuperámos fala humana inteligível

from silent video of an object.

a partir do vídeo silencioso de um objeto.

And so it gave us this point of reference,

Isso deu-nos este ponto de referência

and gradually we could start to modify the experiment,

e a pouco e pouco pudemos começar a modificar a experiência,

using different objects or moving the object further away,

usando objetos diferentes, ou afastando mais o objeto,

using less light or quieter sounds.

usando menos luz ou sons mais abafados.

And we analyzed all of these experiments

Analisámos todas essas experiências

until we really understood the limits of our technique,

até percebermos bem os limites da nossa técnica,

because once we understood those limits,

porque, depois de percebermos esses limites,

we could figure out how to push them.

podíamos pensar em como alargá-los.

And that led to experiments like this one,

Isso levou-nos a experiências como esta,

where again, I'm going to speak to a bag of chips,

em que, de novo, eu vou falar para um pacote de batatas

but this time we've moved our camera about 15 feet away,

mas, desta vez, afastámos a câmara cerca de 5 metros,

outside, behind a soundproof window,

atrás duma vidraça à prova de som,

and the whole thing is lit by only natural sunlight.

e está tudo iluminado apenas por luz natural.

And so here's the video that we captured.

Este é o vídeo do que captámos.

And this is what things sounded like from inside, next to the bag of chips.

Isto é como as coisas soaram, no interior, junto do pacote de batatas.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Áudio) Mary tinha um carneirinho! Branco como a neve.

and everywhere that Mary went, that lamb was sure to go.

Sempre que a Maria vai, o carneirinho vai também.

AD: And here's what we were able to recover from our silent video

Isto foi o que conseguimos recuperar a partir do nosso vídeo silencioso

captured outside behind that window.

captado no exterior por detrás daquele vidro.

(Audio) Mary had a little lamb whose fleece was white as snow,

(Áudio) Mary tinha um carneirinho! Branco como a neve.

and everywhere that Mary went, that lamb was sure to go.

Sempre que a Maria vai, o carneirinho vai também.

(Applause)

(Aplausos)

AD: And there are other ways that we can push these limits as well.

Também há outras formas de podermos alargar estes limites.

So here's a quieter experiment

Esta é uma experiência mais tranquila

where we filmed some earphones plugged into a laptop computer,

em que filmámos uns auscultadores ligados a um computador portátil.

and in this case, our goal was to recover the music that was playing on that laptop

Neste caso, o nosso objetivo era recuperar a música

que estava a tocar nesse computador

from just silent video

a partir de um vídeo silencioso

of these two little plastic earphones,

destes dois pequenos auscultadores de plástico.

and we were able to do this so well

Conseguimos fazer isto tão bem feito

that I could even Shazam our results.

que até pude dizer Shazam aos resultados.

(Laughter)

(Risos)

(Music: "Under Pressure" by Queen)

(Áudio): (Música: "Under Pressure" dos Queen)

(Applause)

(Aplausos)

And we can also push things by changing the hardware that we use.

Também podemos ir mais longe, mudando o "hardware" que usamos.

Because the experiments I've shown you so far

As experiências que vos mostrei até aqui

were done with a camera, a high-speed camera,

foram feitas com uma câmara de alta velocidade,

that can record video about a 100 times faster

que pode registar um vídeo cerca de 100 vezes mais depressa

than most cell phones,

do que a maior parte dos telemóveis.

but we've also found a way to use this technique

Mas também arranjámos forma de usar esta técnica

with more regular cameras,

com câmaras mais vulgares.

and we do that by taking advantage of what's called a rolling shutter.

Fazemos isso tirando partido do que se chama "rolling shutter".

You see, most cameras record images one row at a time,

A maior parte das câmaras regista imagens seguidas, uma a uma.

and so if an object moves during the recording of a single image,

Por isso, se um objeto se move durante a gravação duma mesma imagem,

there's a slight time delay between each row,

há um pequeno compasso de atraso entre cada imagem,

and this causes slight artifacts

o que causa pequenas distorções

that get coded into each frame of a video.

que ficam registadas em cada imagem do vídeo.

And so what we found is that by analyzing these artifacts,

Descobrimos que, analisando essas distorções,

we can actually recover sound using a modified version of our algorithm.

podemos recuperar o som, usando uma versão modificada do nosso algoritmo.

So here's an experiment we did

Esta foi uma experiência que fizemos

where we filmed a bag of candy

em que filmámos um pacote de rebuçados

while a nearby loudspeaker played

junto dum altifalante que tocava

the same "Mary Had a Little Lamb" music from before,

a mesma "Maria tinha um carneirinho"

but this time, we used just a regular store-bought camera,

mas, desta vez, usámos uma câmara vulgar comprada no supermercado.

and so in a second, I'll play for you the sound that we recovered,

Vou passar já o som que recuperámos.

and it's going to sound distorted this time,

Desta vez, vai soar distorcido,

but listen and see if you can still recognize the music.

mas oiçam com atenção e vejam se reconhecem a música.

(Audio: "Mary Had a Little Lamb")

(Áudio): (Música: Mary tinha um cordeirinho.)

And so, again, that sounds distorted,

De novo, esse som distorcido,

but what's really amazing here is that we were able to do this

mas o que é deveras espantoso nisto é que conseguimos fazê-lo

with something that you could literally run out

com uma coisa que vocês podem usar

and pick up at a Best Buy.

e comprar numa Loja de Audiovisuais.

So at this point,

Nesta altura, há muitas pessoas que olham para isto

a lot of people see this work,

and they immediately think about surveillance.

e pensam logo na vigilância.

(Risos)

And to be fair,

Realmente,

it's not hard to imagine how you might use this technology to spy on someone.

não é difícil imaginar como é que podemos usar esta tecnologia para espiar alguém.

But keep in mind that there's already a lot of very mature technology

Mas lembrem-se que já há imensa tecnologia muito sofisticada

out there for surveillance.

para a vigilância.

In fact, people have been using lasers

Na verdade, há décadas que se usam os raios "laser"

to eavesdrop on objects from a distance for decades.

para escutar objetos à distância.

But what's really new here,

O que isto tem de novo

what's really different,

o que é mesmo diferente,

is that now we have a way to picture the vibrations of an object,

é que agora temos uma forma de representar as vibrações dum objeto,

which gives us a new lens through which to look at the world,

que nos dá novas lentes através das quais vemos o mundo,

and we can use that lens

e podemos usar essas lentes

to learn not just about forces like sound that cause an object to vibrate,

para ver as forças, como o som, que fazem vibrar um objeto,

but also about the object itself.

mas também o próprio objeto.

And so I want to take a step back

Vou recuar um pouco

and think about how that might change the ways that we use video,

e pensar como é que podíamos alterar a forma de usar o vídeo,

because we usually use video to look at things,

porque habitualmente usamos o vídeo para observar as coisas

and I've just shown you how we can use it

e eu acabei de mostrar como podemos usá-lo

to listen to things.

para escutar as coisas.

But there's another important way that we learn about the world:

Mas há outra importante forma de conhecermos o mundo:

that's by interacting with it.

é interagindo com ele.

We push and pull and poke and prod things.

Nós pressionamos, empurramos e espicaçamos as coisas.

We shake things and see what happens.

Abanamos as coisas e vemos o que acontece.

And that's something that video still won't let us do,

É uma coisa que o vídeo ainda não nos deixa fazer,

at least not traditionally.

pelo menos habitualmente.

So I want to show you some new work,

Vou mostrar-vos um trabalho novo

and this is based on an idea I had just a few months ago,

baseado numa ideia que eu tive há uns meses.

so this is actually the first time I've shown it to a public audience.

É a primeira vez que mostro isto em público.

And the basic idea is that we're going to use the vibrations in a video

A ideia básica é que vamos usar as vibrações num vídeo

to capture objects in a way that will let us interact with them

para captar objetos duma forma que nos permite interagir com eles

and see how they react to us.

e ver como é que eles reagem.

So here's an object,

Isto é um objeto.

and in this case, it's a wire figure in the shape of a human,

Neste caso, é um boneco de arame com a forma dum ser humano.

and we're going to film that object with just a regular camera.

Vamos filmar este objeto com uma câmara normal.

So there's nothing special about this camera.

Esta câmara não tem nada de especial.

In fact, I've actually done this with my cell phone before.

Na verdade, já fiz isto com o meu telemóvel.

But we do want to see the object vibrate,

Mas queremos ver o objeto a vibrar,

portanto, para que isso aconteça,

so to make that happen,

we're just going to bang a little bit on the surface where it's resting

vamos bater na superfície onde ele está poisado

while we record this video.

enquanto gravamos este vídeo.

So that's it: just five seconds of regular video,

Já está: são cinco segundos de gravação normal,

while we bang on this surface,

enquanto batemos na superfície.

and we're going to use the vibrations in that video

Vamos usar as vibrações deste vídeo

to learn about the structural and material properties of our object,

para conhecer as propriedades estruturais e materiais do nosso objeto.

and we're going to use that information to create something new and interactive.

Vamos usar essas informações para criar uma coisa nova e interativa.

And so here's what we've created.

Isto é o que criámos.

And it looks like a regular image,

Parece uma imagem normal,

but this isn't an image, and it's not a video,

mas isto não é uma imagem, nem é um vídeo

because now I can take my mouse

porque agora eu posso agarrar no rato

and I can start interacting with the object.

e posso começar a interagir com o objeto.

And so what you see here

O que estão a ver aqui

is a simulation of how this object

é uma simulação de como este objeto responde a novas forças

would respond to new forces that we've never seen before,

que nunca tínhamos visto.

and we created it from just five seconds of regular video.

Criámos isto a partir de apenas cinco segundos dum vídeo normal.

(Applause)

(Aplausos)

And so this is a really powerful way to look at the world,

Isto é de facto uma forma muito poderosa de olhar para o mundo

because it lets us predict how objects will respond

porque nos permite prever

como o objetos reagem a novas situações.

to new situations,

and you could imagine, for instance, looking at an old bridge

Podemos imaginar, por exemplo, olhar para uma ponte antiga

and wondering what would happen, how would that bridge hold up

e pensar o que pode acontecer,

se essa ponte aguentará o peso do meu carro a atravessá-la.

if I were to drive my car across it.

And that's a question that you probably want to answer

Isso é uma pergunta que provavelmente todos querem ver respondida

before you start driving across that bridge.

antes de começar a atravessar essa ponte.

And of course, there are going to be limitations to this technique,

Claro que há limitações para esta técnica,

just like there were with the visual microphone,

tal como havia para o microfone visual,

but we found that it works in a lot of situations

mas verificámos que funciona em muitas situações

that you might not expect,

em que não estávamos à espera,

especially if you give it longer videos.

especialmente se obtivermos vídeos mais longos.

So for example, here's a video that I captured

Por exemplo, este é um vídeo que eu gravei

of a bush outside of my apartment,

de um arbusto à porta do meu apartamento.

and I didn't do anything to this bush,

Não fiz nada a este arbusto,

but by capturing a minute-long video,

mas gravei um vídeo com a duração de um minuto.

a gentle breeze caused enough vibrations

Uma leve brisa provocou vibrações suficientes

that we could learn enough about this bush to create this simulation.

para eu poder criar esta simulação.

(Applause)

(Aplausos)

And so you could imagine giving this to a film director,

Podemos imaginar dar este vídeo a um realizador de cinema

and letting him control, say,

e ele poder controlar, por exemplo,

the strength and direction of wind in a shot after it's been recorded.

a força e a direção do vento numa cena, depois de ela ter sido gravada.

Or, in this case, we pointed our camera at a hanging curtain,

Ou, neste caso, apontámos a câmara para uma cortina pendurada.

and you can't even see any motion in this video,

Não conseguimos ver qualquer movimento neste vídeo

but by recording a two-minute-long video,

mas, gravando o vídeo com a duração de dois minutos,

natural air currents in this room

as correntes de ar naturais nesta sala

created enough subtle, imperceptible motions and vibrations

criaram movimentos e vibrações subtis, impercetíveis,

that we could learn enough to create this simulation.

suficientes para sabermos criar esta simulação.

And ironically,

Ironicamente,

we're kind of used to having this kind of interactivity

estamos fartos de ter este tipo de interatividade

when it comes to virtual objects,

no que refere a objetos virtuais,

when it comes to video games and 3D models,

no que respeita a videojogos e modelos a 3D,

but to be able to capture this information from real objects in the real world

mas ser capaz de captar estas informações a partir de objetos reais do mundo real

using just simple, regular video,

usando apenas um vídeo simples, normal,

is something new that has a lot of potential.

é uma coisa totalmente nova que tem imenso potencial.

So here are the amazing people who worked with me on these projects.

Estas são as pessoas espantosas que trabalharam comigo nestes projetos.

(Applause)

(Aplausos)

And what I've shown you today is only the beginning.

O que vos mostrei hoje é apenas o início.

We've just started to scratch the surface

Só começámos a arranhar a superfície

of what you can do with this kind of imaging,

do que podemos fazer com este tipo de imagens

because it gives us a new way

porque nos dão uma nova forma

to capture our surroundings with common, accessible technology.

de captar o nosso meio envolvente com uma tecnologia comum, acessível.

And so looking to the future,

Olhando para o futuro,

it's going to be really exciting to explore

vai ser uma coisa excitante para explorar

what this can tell us about the world.

o que isto nos pode revelar sobre o mundo.

Thank you.

Obrigado.

(Applause)

(Aplausos)