See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Traducător: Elena Guţanu Corector: Ariana Bleau Lugo

So over the past few centuries, microscopes have revolutionized our world.

În ultimele secole, microscoapele ne-au revoluţionat lumea.

They revealed to us a tiny world of objects, life and structures

Ne-au dezvăluit o lume minusculă a obiectelor, vieţii şi structurilor,

that are too small for us to see with our naked eyes.

prea mici să le vedem cu ochiul liber.

They are a tremendous contribution to science and technology.

Au o contribuţie imensă în ştiinţă şi tehnologie.

Today I'd like to introduce you to a new type of microscope,

Azi vreau să vă prezint un nou tip de microscop,

a microscope for changes.

un microscop pentru schimbări.

It doesn't use optics like a regular microscope

Nu foloseşte optica, precum un microscop obişnuit

to make small objects bigger,

pentru a mări obiecte mici,

but instead it uses a video camera and image processing

ci foloseşte o cameră video şi procesarea imaginilor

to reveal to us the tiniest motions and color changes in objects and people,

pentru a dezvălui mişcări imperceptibile,

schimbări de culori la obiecte şi oameni,

changes that are impossible for us to see with our naked eyes.

schimbări imposibil de perceput cu ochiul liber.

And it lets us look at our world in a completely new way.

Şi ne permite să privim lumea ȋntr-un mod cu totul nou.

So what do I mean by color changes?

Ce vreau să zic prin schimbări de culoare?

Our skin, for example, changes its color very slightly

Pielea, de exemplu, ȋşi schimbă culoarea foarte puţin

when the blood flows under it.

când sângele curge sub ea.

That change is incredibly subtle,

Schimbarea e insesizabilă,

which is why, when you look at other people,

de aceea, când te uiţi la alţi oameni,

when you look at the person sitting next to you,

când te uiţi la persoana care stă lângă tine

you don't see their skin or their face changing color.

nu le vezi pielea sau fața schimbându-și culoarea.

When we look at this video of Steve here, it appears to us like a static picture,

Când urmărim acest videoclip cu Steve, ȋl vedem ca o imagine statică,

but once we look at this video through our new, special microscope,

dar când îl urmărim prin noul nostru microscop special,

suddenly we see a completely different image.

observăm imediat o imagine cu totul diferită.

What you see here are small changes in the color of Steve's skin,

Vedeţi mici schimbări ale culorii pielii lui Steve,

magnified 100 times so that they become visible.

amplificate de 100 de ori pentru a deveni vizibile.

We can actually see a human pulse.

Putem vedea şi pulsul uman.

We can see how fast Steve's heart is beating,

Putem vedea cât de repede bate inima lui Steve,

but we can also see the actual way that the blood flows in his face.

dar vedem efectiv modul ȋn care curge sângele prin faţa lui.

And we can do that not just to visualize the pulse,

Putem face asta nu doar ca să vizualizăm pulsul,

but also to actually recover our heart rates,

ci şi pentru măsurarea ritmului cardiac.

and measure our heart rates.

And we can do it with regular cameras and without touching the patients.

Şi facem asta cu camere video obişnuite şi fără să atingem pacienţii.

So here you see the pulse and heart rate we extracted from a neonatal baby

Aici vedeți pulsul şi ritmul cardiac al unui copil aflat in perioada neonatală

from a video we took with a regular DSLR camera,

dintr-un video realizat cu o cameră obişnuită DSLR,

and the heart rate measurement we get

iar măsurarea ritmului cardiac evaluată este la fel de precisă

is as accurate as the one you'd get with a standard monitor in a hospital.

ca cea a unui aparat standard folosit ȋn spitale.

Nici nu trebuie să fie neapărat înregistrarea noastră.

And it doesn't even have to be a video we recorded.

We can do it essentially with other videos as well.

Putem face la fel şi cu alte video înregistrări.

So I just took a short clip from "Batman Begins" here

Am luat o scurtă secvenţă din filmul „Batman – Începuturi"

just to show Christian Bale's pulse.

doar ca să arăt pulsul lui Christian Bale.

(Laughter)

(Râsete)

And you know, presumably he's wearing makeup,

Şi probabil poartă machiaj,

the lighting here is kind of challenging,

luminozitatea e destul de problematică,

but still, just from the video, we're able to extract his pulse

totuşi, plecând de la video am reușit să extragem pulsul

and show it quite well.

şi să-l arătăm destul de bine.

So how do we do all that?

Deci cum facem toate astea?

We basically analyze the changes in the light that are recorded

Analizăm schimbările de luminozitate

at every pixel in the video over time,

ȋnregistrate ȋn clip de fiecare pixel în timp

and then we crank up those changes.

şi apoi amplificăm acele schimbări.

We make them bigger so that we can see them.

Le facem mai mari ca să le putem observa.

The tricky part is that those signals,

Partea complicată sunt acele semnale,

those changes that we're after, are extremely subtle,

acele schimbări pe care le urmărim sunt extrem de subtile

so we have to be very careful when you try to separate them

deci trebuie să fim foarte atenţi când ȋncercăm sa le separăm

from noise that always exists in videos.

de zgomotul existent mereu în videouri.

So we use some clever image processing techniques

Folosim tehnici inteligente de procesare a imaginilor

to get a very accurate measurement of the color at each pixel in the video,

pentru a obţine o măsurare precisă a culorii fiecărui pixel din video

and then the way the color changes over time,

şi apoi schimbarea în timp a culorii

and then we amplify those changes.

după care amplificăm schimbările.

We make them bigger to create those types of enhanced videos, or magnified videos,

Le intensificăm pentru a crea clipuri ȋmbunătăţite sau amplificate

that actually show us those changes.

care ne revelează acele schimbări.

But it turns out we can do that not just to show tiny changes in color,

Dar putem face asta nu doar pentru schimbări infime de culoare

but also tiny motions,

dar și micromişcări,

and that's because the light that gets recorded in our cameras

şi asta pentru ca lumina ȋnregistrată ȋn camerele noastre

will change not only if the color of the object changes,

se schimbă nu numai când culoarea obiectului se schimbă,

but also if the object moves.

ci şi dacă obiectul se mișcă.

So this is my daughter when she was about two months old.

Aceasta e fiica mea când avea 2 luni.

It's a video I recorded about three years ago.

E un filmuleţ ȋnregistrat acum 3 ani.

And as new parents, we all want to make sure our babies are healthy,

Ca părinţi, toţi vrem să ne asigurăm că ne sunt sănătoşi copiii,

that they're breathing, that they're alive, of course.

că respiră, că sunt vii, bineȋnţeles.

So I too got one of those baby monitors

Mi-am luat şi eu un monitor pentru bebeluşi

so that I could see my daughter when she was asleep.

ca să ȋmi pot vedea fiica dormind.

And this is pretty much what you'll see with a standard baby monitor.

Cam asta vedem cu un monitor standard de bebeluşi.

You can see the baby's sleeping, but there's not too much information there.

Vezi copilul dormind, dar nu ai prea multe informaţii.

There's not too much we can see.

Nu vezi prea multe.

N-ar fi mai bine, mai informativ sau mai folositor,

Wouldn't it be better, or more informative, or more useful,

if instead we could look at the view like this.

dacă am putea vedea lucrurile aşa?

So here I took the motions and I magnified them 30 times,

Aici am luat mişcările şi le-am amplificat de 30 de ori.

şi așa am văzut clar că fiica mea era cu adevărat vie și respira.

and then I could clearly see that my daughter was indeed alive and breathing.

(Râsete)

(Laughter)

Here is a side-by-side comparison.

Iată o comparaţie ȋntre cele două.

So again, in the source video, in the original video,

În filmuleţul sursă, ȋn videoul original, nu vedem prea multe,

there's not too much we can see,

but once we magnify the motions, the breathing becomes much more visible.

dar când amplificăm mişcările, respiraţia devine mult mai vizibilă.

And it turns out, there's a lot of phenomena

Şi există multe fenomene

we can reveal and magnify with our new motion microscope.

ce pot fi dezvăluite şi amplificate cu noul nostru microscop de mişcare.

We can see how our veins and arteries are pulsing in our bodies.

Vedem cum venele şi arterele pulsează ȋn organismele noastre.

We can see that our eyes are constantly moving

Vedem că ochii se mişcă continuu

in this wobbly motion.

ȋntr-o mişcare oscilatorie.

And that's actually my eye,

Acesta este ochiul meu,

and again this video was taken right after my daughter was born,

iar înregistrarea a fost făcută la scurt timp după ce s-a născut fiica mea

so you can see I wasn't getting too much sleep. (Laughter)

aşa că vedeți că nu prea reuşeam să dorm.

(Râsete)

Even when a person is sitting still,

Chiar şi când o persoană stă nemişcată,

there's a lot of information we can extract

putem extrage multe informaţii

about their breathing patterns, small facial expressions.

despre obiceiurile lor de respiraţie, microexpresiile lor faciale.

Maybe we could use those motions

Poate am putea folosi aceste mişcări

to tell us something about our thoughts or our emotions.

pentru a ne analiza gândurile şi emoţiile.

We can also magnify small mechanical movements,

Putem amplifica şi mici mişcări mecanice,

like vibrations in engines,

precum vibraţii ȋn motoare,

that can help engineers detect and diagnose machinery problems,

care pot ajuta inginerii să identifice problemele maşinilor,

or see how our buildings and structures sway in the wind and react to forces.

sau să observe clădiri şi structuri

oscilând ȋn bătaia vântului şi reacţionând la forţe.

Those are all things that our society knows how to measure in various ways,

Astea sunt măsurători pe care societatea ştie să le facă ȋn diferite moduri,

but measuring those motions is one thing,

dar să măsori mişcările este una,

and actually seeing those motions as they happen

iar să vezi în timp real,

is a whole different thing.

e cu totul altceva.

And ever since we discovered this new technology,

De când am descoperit această nouă tehnologie,

we made our code available online so that others could use and experiment with it.

am publicat codul online ca alții să-l utilizeze şi să-l experimenteze.

It's very simple to use.

Este uşor de utilizat.

It can work on your own videos.

Poate funcţiona şi pe clipurile voastre.

Our collaborators at Quanta Research even created this nice website

Colaboratorii de la Quantum Research au şi creat un website

where you can upload your videos and process them online,

unde poţi încărca și procesa videourile online,

so even if you don't have any experience in computer science or programming,

chiar dacă n-ai deloc experienţă ȋn ştiinţa computerelor sau programare,

you can still very easily experiment with this new microscope.

poţi experimenta totuşi cu acest nou microscop.

And I'd like to show you just a couple of examples

Aş dori să vă arăt doar câteva exemple

of what others have done with it.

de ce au făcut alţii cu microscopul.

So this video was made by a YouTube user called Tamez85.

Acest video a fost făcut de un utilizator YouTube, Tamez85.

I don't know who that user is,

Nu ştiu cine este acest utilizator,

but he, or she, used our code

dar el sau ea a folosit codul nostru

to magnify small belly movements during pregnancy.

să amplifice mici mişcări ale pântecului ȋn timpul sarcinii.

It's kind of creepy.

E ciudat.

(Laughter)

(Râsete)

People have used it to magnify pulsing veins in their hands.

Alţi oameni l-au folosit pentru a-şi amplifica pulsul venelor de pe mână.

And you know it's not real science unless you use guinea pigs,

Şi nu-i ştiinţă adevarată până nu-i testată pe cobai,

and apparently this guinea pig is called Tiffany,

se pare că numele acestui porcuşor de Guinea este Tiffany,

and this YouTube user claims it is the first rodent on Earth

iar acest utilizator YouTube susține că e prima rozătoare de pe pămant

that was motion-magnified.

ale cărei mişcări au fost amplificate.

You can also do some art with it.

Puteţi realiza şi artă cu el.

So this video was sent to me by a design student at Yale.

O studentă la design de la Univ. Yale mi-a trimis acest fimuleţ.

She wanted to see if there's any difference

Vroia să vadă dacă este vreo diferenţă

in the way her classmates move.

ȋntre modurile ȋn care se mişcă colegii ei de clasă.

She made them all stand still, and then magnified their motions.

I-a pus pe toţi să stea ȋn picioare nemişcaţi şi le-a amplificat mişcările.

It's like seeing still pictures come to life.

E ca şi cum ai vedea fotografii statice prinzând viaţă.

And the nice thing with all those examples

Iar interesant la toate aceste exemple

is that we had nothing to do with them.

este că noi nu am ne-am implicat.

We just provided this new tool, a new way to look at the world,

Noi doar am pus la dispoziţie acest nou instrument,

and then people find other interesting, new and creative ways of using it.

iar oamenii găsesc noi moduri creative şi interesante de a-l folosi.

But we didn't stop there.

Dar nu ne-am oprit aici.

This tool not only allows us to look at the world in a new way,

Acest instrument ne permite nu doar să privim lumea cu alţi ochi,

it also redefines what we can do

ci şi redefineşte şi extinde limitele

and pushes the limits of what we can do with our cameras.

şi extinde limitele a ceea ce putem face cu camerele video.

So as scientists, we started wondering,

Ca oameni de ştiinţă, am ȋnceput să ne ȋntrebăm

what other types of physical phenomena produce tiny motions

ce alte tipuri de fenomene fizice produc micromişcări

that we could now use our cameras to measure?

pe care le-am putea vizualiza acum cu camerele video?

And one such phenomenon that we focused on recently is sound.

Un astfel de fenomen pe care ne-am concentrat recent este sunetul.

Sound, as we all know, is basically changes

Sunetul, ştim cu toţii, e compus din schimbări

in air pressure that travel through the air.

ȋn presiunea aerului care călătoresc prin aer.

Those pressure waves hit objects and they create small vibrations in them,

Undele de presiune lovesc obiecte, generând mici vibraţii ȋn interiorul lor,

which is how we hear and how we record sound.

care ne permit să auzim şi să ȋnregistrăm sunete.

But it turns out that sound also produces visual motions.

Dar sunetul produce şi mişcări vizuale.

Those are motions that are not visible to us

Nouă ne sunt imperceptibile,

but are visible to a camera with the right processing.

dar ele sunt vizibile pe o cameră video cu procesarea potrivită.

So here are two examples.

Iată două exemple.

This is me demonstrating my great singing skills.

Aici sunt eu demonstrându-mi grozavul talent muzical.

(Singing)

(Muzică)

(Laughter)

(Râsete)

And I took a high-speed video of my throat while I was humming.

Mi-am făcut un video la viteză mare al gâtului ȋn timp ce fredonam.

Again, if you stare at that video,

Dacă te holbezi la video nu vezi mare lucru,

there's not too much you'll be able to see,

but once we magnify the motions 100 times, we can see all the motions and ripples

dar amplificand mişcările de 100 de ori, vedem mişcările şi unduirile gatului

in the neck that are involved in producing the sound.

implicate ȋn producerea sunetului.

That signal is there in that video.

Semnalul este acolo ȋn video.

We also know that singers can break a wine glass

Cântăreţii pot sparge un pahar de vin dacă ating nota corectă.

if they hit the correct note.

So here, we're going to play a note

Vom cânta o notă ȋn frecvenţa de rezonanţă a acelui pahar

that's in the resonance frequency of that glass

through a loudspeaker that's next to it.

printr-un difuzor care se află alături.

Once we play that note and magnify the motions 250 times,

Când cântăm nota şi amplificăm mişcările de 250 de ori,

vedem clar cum vibrează paharul

we can very clearly see how the glass vibrates

and resonates in response to the sound.

şi rezonează ca răspuns la sunet.

It's not something you're used to seeing every day.

Nu e ceva ce vedeţi ȋn fiecare zi.

But this made us think. It gave us this crazy idea.

Dar ne-a dat de gândit. Ne-a dat ideea asta nebună.

Can we actually invert this process and recover sound from video

Putem oare să inversăm procesul şi să redăm sunetul din video

by analyzing the tiny vibrations that sound waves create in objects,

analizând micile vibraţii create de undele de sunet ȋn obiecte,

and essentially convert those back into the sounds that produced them.

şi practic să le convertim din nou în sunetele care le-au produs?

In this way, we can turn everyday objects into microphones.

Astfel am putea transforma orice obiect ȋntr-un microfon.

So that's exactly what we did.

Şi exact asta am făcut.

So here's an empty bag of chips that was lying on a table,

Iată o pungă goală de chipsuri care stă pe o masă.

and we're going to turn that bag of chips into a microphone

Vom transforma punga de chipsuri ȋntr-un microfon

by filming it with a video camera

filmând-o cu o cameră video şi analizând micromişcările

and analyzing the tiny motions that sound waves create in it.

pe care undele de sunet le creează ȋn interiorul său.

So here's the sound that we played in the room.

Iată sunetul care s-a auzit ȋn cameră.

(Music: "Mary Had a Little Lamb")

(Muzică: "Mary avea un mieluşel")

And this is a high-speed video we recorded of that bag of chips.

Și iată inregistrarea de mare viteză a pungii de chipsuri.

Again it's playing.

Şi cântă din nou.

There's no chance you'll be able to see anything going on in that video

E imposibil să vedeţi ce se intâmplă ȋn video, doar utându-vă la el,

just by looking at it,

but here's the sound we were able to recover just by analyzing

dar iată sunetul pe care l-am redat când am analizat

the tiny motions in that video.

micromişcările din video.

(Music: "Mary Had a Little Lamb")

(Muzică: "Mary avea un mieluşel")

I call it -- Thank you.

Eu ȋl numesc... Mulţumesc.

(Applause)

(Aplauze)

I call it the visual microphone.

Eu ȋl numesc microfonul vizual.

We actually extract audio signals from video signals.

Extragem semnale audio din semnale video.

And just to give you a sense of the scale of the motions here,

Doar ca să vă dau o idee despre magnitudinea mişcărilor,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

un sunet destul de puternic va mişca punga mai puţin de un micrometru.

That's one thousandth of a millimeter.

Asta-i a mia parte dintr-un milimetru.

That's how tiny the motions are that we are now able to pull out

Atât de mici sunt mişcările pe care le putem extrage acum

just by observing how light bounces off objects

doar observând cum ricoşează lumina de pe suprafața obiectelor

and gets recorded by our cameras.

şi e ȋnregistrată de camerele video.

We can recover sounds from other objects, like plants.

Putem sintetiza sunete plecând şi de la alte obiecte, ca plantele.

(Music: "Mary Had a Little Lamb")

(Muzică: "Mary avea un mieluşel")

And we can recover speech as well.

Putem resintetiza şi sunete vorbite.

So here's a person speaking in a room.

Iată o persoană care vorbeşte ȋntr-o cameră.

Voice: Mary had a little lamb whose fleece was white as snow,

Voce: „Mary avea un mieluşel, cu lâna albă ca zăpada,

and everywhere that Mary went, that lamb was sure to go.

și oriunde mergea Mary, mieluşelul o urma."

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: şi iată sunetul vocii redat

just from this video of that same bag of chips.

din acelaşi video cu aceeaşi pungă de chipsuri.

Voce: "Mary avea un mieluşel, cu lâna albă ca zăpada,"

Voice: Mary had a little lamb whose fleece was white as snow,

and everywhere that Mary went, that lamb was sure to go.

și oriunde mergea Mary, mieluşelul o urma."

MR: We used "Mary Had a Little Lamb"

MR: Am folosit „Mary avea un mieluşel"

because those are said to be the first words

pentru că se spune că acestea au fost primele cuvinte

that Thomas Edison spoke into his phonograph in 1877.

pe care Thomas Edison le-a spus ȋn fonograful lui din 1877.

It was one of the first sound recording devices in history.

A fost printre primele instrumente de ȋnregistrări sonore din istorie.

It basically directed the sounds onto a diaphragm

Practic, direcţiona sunetele ȋntr-o diafragmă

that vibrated a needle that essentially engraved the sound on tinfoil

care făcea acele să vibreze, gravând sunetul

pe o foiță de staniol ce acoperea un cilindru.

that was wrapped around the cylinder.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Iată o demonstraţie de ȋnregistrare şi redare cu fonograful lui Edison.

(Video) Voice: Testing, testing, one two three.

(Video) Voce: Test, test, unu, doi, trei."

Mary had a little lamb whose fleece was white as snow,

„Mary avea un mieluşel, cu lâna albă ca zăpada

and everywhere that Mary went, the lamb was sure to go.

oriunde mergea Mary, mieluşelul o urma."

Testing, testing, one two three.

Test, test, unu, doi, trei.

Mary had a little lamb whose fleece was white as snow,

„Mary avea un mieluşel, cu lâna albă ca zăpada

and everywhere that Mary went, the lamb was sure to go.

Oriunde mergea Mary, mieluşelul o urma."

MR: And now, 137 years later,

MR: Şi acum, după 137 de ani,

we're able to get sound in pretty much similar quality

reușim să redăm sunetul cu o calitate aproape egală,

but by just watching objects vibrate to sound with cameras,

doar înregistrând vibrațiile cu camera, obiecte care vibrează la sunete

and we can even do that when the camera

şi putem face asta când camera

is 15 feet away from the object, behind soundproof glass.

e la 4,5 m depărtare de obiect, ȋn spatele unui geam izolat fonic

So this is the sound that we were able to recover in that case.

Acesta e sunetul pe care am reușit să-l redăm ȋn acest caz.

Voice: Mary had a little lamb whose fleece was white as snow,

Voce: Mary avea un mieluşel cu lâna albă ca zăpada,

and everywhere that Mary went, the lamb was sure to go.

oriunde mergea Mary mieluşelul o urma."

MR: And of course, surveillance is the first application that comes to mind.

MR: Bineȋnţeles, supravegherea e prima utilizare la care ne gândim.

(Laughter)

(Râsete)

Dar poate fi folositor şi pentru alte lucruri.

But it might actually be useful for other things as well.

Maybe in the future, we'll be able to use it, for example,

Poate ȋn viitor ȋl vom putea folosi, de exemplu,

to recover sound across space,

pentru a reda sunetele ȋn spaţiu,

because sound can't travel in space, but light can.

pentru că sunetul nu poate călători ȋn spaţiu, doar lumina.

We've only just begun exploring

Doar am ȋnceput să explorăm

other possible uses for this new technology.

toate utilizările posibile pentru această nouă tehnologie.

It lets us see physical processes that we know are there

Ne permite să vedem procese fizice care ştim că există,

but that we've never been able to see with our own eyes until now.

dar pe care nu le-am putut vedea cu ochii până acum.

This is our team.

Everything I showed you today is a result of a collaboration

Aceasta este echipa noastră.

Tot ce v-am arătat astăzi este rezultatul colaborării

with this great group of people you see here,

acestui grup grozav de oameni pe care ȋi vedeţi.

and I encourage you and welcome you to check out our website,

Vă ȋncurajez şi vă invit să ne vizitaţi site-ul,

try it out yourself,

să ȋncercaţi şi voi,

and join us in exploring this world of tiny motions.

şi să vă alăturaţi nouă ȋn explorarea acestei lumi de micromişcări.

Thank you.

Mulţumesc.

(Aplauze)

(Applause)