See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Translator: Herdian Adi Winarno Reviewer: Katherine Kho

So over the past few centuries, microscopes have revolutionized our world.

Selama beberapa abad ini, mikroskop telah mengubah dunia kita.

Mikroskop telah menampakkan dunia tentang objek, kehidupan dan struktur yang kecil

They revealed to us a tiny world of objects, life and structures

Yang terlalu kecil untuk dilihat dengan mata telanjang.

that are too small for us to see with our naked eyes.

Mikroskop adalah kontribusi yang besar bagi sains dan teknologi

They are a tremendous contribution to science and technology.

Hari ini saya akan memperkenalkan jenis baru dari mikroskop

Today I'd like to introduce you to a new type of microscope,

a microscope for changes.

Sebuah mikroskop untuk perubahan.

It doesn't use optics like a regular microscope

Dia tidak menggunakan optik seperti mikroskop pada umumnya

to make small objects bigger,

Untuk membuat objek kecil lebih besar,

but instead it uses a video camera and image processing

Tetapi dia menggunakan kamera video dan pengolahan gambar

to reveal to us the tiniest motions and color changes in objects and people,

Untuk menampakkan gerakan terkecil dan perubahan warna pada objek dan manusia

changes that are impossible for us to see with our naked eyes.

Perubahan yang tidak mungkin dilihat dengan mata telanjang

And it lets us look at our world in a completely new way.

Dan dia bisa membuat kita melihat dunia dengan cara yang berbeda

So what do I mean by color changes?

Jadi apa yang saya maksud dengan perubahan warna?

Our skin, for example, changes its color very slightly

Kulit kita, contohnya, berubah warna sangat sedikit

when the blood flows under it.

Ketika darah mengalir dibawahnya.

That change is incredibly subtle,

Perubahan itu sangat tidak kentara,

which is why, when you look at other people,

Sehingga ketika Anda melihat orang lain,

when you look at the person sitting next to you,

Ketika Anda melihat orang duduk disebelah anda,

you don't see their skin or their face changing color.

Anda tidak melihat kulit atau wajah mereka berubah warna.

When we look at this video of Steve here, it appears to us like a static picture,

Ketika kita melihat video tentang Steve ini, tampak gambar ini seperti statis

but once we look at this video through our new, special microscope,

Tapi ketika kita melihat video menggunakan mikroskop kita yang baru dan spesial,

suddenly we see a completely different image.

Tiba-tiba kita melihat gambar yang sangat berbeda.

What you see here are small changes in the color of Steve's skin,

Apa yang anda lihat ini adalah perubahan kecil dari kulit Steve

magnified 100 times so that they become visible.

Diperbesar 100 kali sehingga nampak.

We can actually see a human pulse.

Kita sebenarnya bisa melihat denyut nadi manusia.

We can see how fast Steve's heart is beating,

Kita bisa melihat seberapa cepat jantung Steve berdetak.

but we can also see the actual way that the blood flows in his face.

Tapi kita juga bisa melihat cara darah mengalir di wajahnya.

And we can do that not just to visualize the pulse,

Dan kita melakukannya tidak hanya untuk melihat denyut,

but also to actually recover our heart rates,

Tapi juga mendapatkan detak jantung,

and measure our heart rates.

Dan mengukur detak jantung kita.

And we can do it with regular cameras and without touching the patients.

Dan kita dapat melihatnya dengan kamera biasa tanpa menyentuh pasien.

So here you see the pulse and heart rate we extracted from a neonatal baby

Disini Anda melihat denyut dan detak jantung dari bayi yang baru lahir

from a video we took with a regular DSLR camera,

Dari video kita yang kita ambil menggunakan kamera DSLR biasa.

and the heart rate measurement we get

Dan pengukuran detak jantung yang kita dapatkan

is as accurate as the one you'd get with a standard monitor in a hospital.

sama akuratnya dengan yang Anda dapat menggunakan monitor standar rumah sakit.

And it doesn't even have to be a video we recorded.

Dan ini bahkan tidak harus video rekaman.

We can do it essentially with other videos as well.

Kita dapat melakukannya pada video yang lain juga.

So I just took a short clip from "Batman Begins" here

Jadi saya ambil adegan pendek dari "Batman Begins" disini

Hanya untuk menampilkan detak jantung Christian Bale

just to show Christian Bale's pulse.

(Laughter)

(Tawa)

And you know, presumably he's wearing makeup,

Dan mungkin saja dia menggunakan make up.

the lighting here is kind of challenging,

Pencahayaan disini sangat menantang,

but still, just from the video, we're able to extract his pulse

Tapi hanya dari video, kita masih bisa mengambil denyutnya.

and show it quite well.

Dan nampaknya cukup baik.

So how do we do all that?

Jadi bagaimana cara kita melakukannya?

We basically analyze the changes in the light that are recorded

Kita pada dasarnya menganalisa perubahan cahaya yang direkam

at every pixel in the video over time,

Pada setiap pixel dalam video sepanjang waktu,

and then we crank up those changes.

Dan kemudian memperkuat perubahan itu

We make them bigger so that we can see them.

Kita memperbesarnya hingga bisa terlihat.

The tricky part is that those signals,

Bagian yang sulit adalah signalnya

those changes that we're after, are extremely subtle,

Perubahan yang kita cari, sangat tidak kentara.

so we have to be very careful when you try to separate them

Jadi kita harus sangat cermat ketika akan memisahkannya

from noise that always exists in videos.

Dari noise yang selalu ada pada video.

So we use some clever image processing techniques

Jadi kami memakai beberapa teknik pemrosesan gambar yang cerdas

to get a very accurate measurement of the color at each pixel in the video,

Untuk mendapat pengukuran akurat dari warna pada tiap pixel di video,

and then the way the color changes over time,

Dan kemudian cara warna berubah sepanjang waktu,

and then we amplify those changes.

Dan kemudian kami memperkuat perubahan itu

We make them bigger to create those types of enhanced videos, or magnified videos,

Kami memperbesarnya untuk menciptakan video yang ditingkatkan atau diperbesar

that actually show us those changes.

yang sebenarnya menampilkan perubahan tersebut

But it turns out we can do that not just to show tiny changes in color,

Tapi ternyata tidak hanya untuk menampilkan perubahan kecil pada warna

but also tiny motions,

Tapi juga gerakan kecil.

and that's because the light that gets recorded in our cameras

Dan itu karena cahaya yang terekam oleh kamera kami

will change not only if the color of the object changes,

akan berubah tidak hanya jika warna dari objek berubah,

but also if the object moves.

Tapi juga jika objek bergerak.

So this is my daughter when she was about two months old.

Jadi ini adalah putri saya ketika dia berusia sekitar dua bulan.

It's a video I recorded about three years ago.

Ini adalah video yang saya rekam sekitar tiga tahun yang lalu.

And as new parents, we all want to make sure our babies are healthy,

Dan sebagai orang tua baru, kami ingin memastikan bayi kami sehat,

that they're breathing, that they're alive, of course.

Bahwa mereka bernafas, bahwa mereka hidup,

So I too got one of those baby monitors

Jadi saya juga mendapat salah satu monitor bayi

so that I could see my daughter when she was asleep.

Agar saya dapat melihat putri saya ketika dia tidur.

And this is pretty much what you'll see with a standard baby monitor.

Dan inilah yang akan Anda lihat dengan monitor bayi standar.

You can see the baby's sleeping, but there's not too much information there.

Anda bisa melihat bayi tidur, tapi tidak banyak informasi di sana

There's not too much we can see.

Tidak banyak yang bisa kita lihat

Wouldn't it be better, or more informative, or more useful,

Tidakkah lebih baik, lebih informatif, atau lebih berguna

if instead we could look at the view like this.

Jika kita dapat melihat tampilan seperti ini.

So here I took the motions and I magnified them 30 times,

Jadi di sini saya mengambil gerakannya dan memperbesarnya 30 kali.

and then I could clearly see that my daughter was indeed alive and breathing.

Sehingga saya bisa melihat dengan jelas bahwa putri saya hidup dan bernafas.

(Laughter)

(Tawa)

Here is a side-by-side comparison.

Inilah perbandingan berpasangannya

So again, in the source video, in the original video,

Jadi sekali lagi, di video asal, di video yang asli,

there's not too much we can see,

Tidak banyak yang bisa kita lihat,

but once we magnify the motions, the breathing becomes much more visible.

Tapi ketika kita memperbesar gerakannya, Pernafasannya menjadi lebih terlihat.

And it turns out, there's a lot of phenomena

Dan ternyata, ada banyak fenomena

we can reveal and magnify with our new motion microscope.

yang dapat kita ungkap dan perbesar dengan mikroskop gerak baru kami.

We can see how our veins and arteries are pulsing in our bodies.

Kita bisa melihat bagaimana vena dan arteri berdenyut pada tubuh kita.

We can see that our eyes are constantly moving

Kita bisa melihat bahwa mata kita terus bergerak

in this wobbly motion.

Dengan gerakan yang bergoyang.

And that's actually my eye,

Dan sebenarnya itu mata saya

and again this video was taken right after my daughter was born,

Dan lagi video ini diambil tepat ketika putri saya lahir.

so you can see I wasn't getting too much sleep. (Laughter)

Jadi bisa Anda lihat bahwa saya kurang tidur. (Tawa)

Even when a person is sitting still,

Bahkan ketika seseorang duduk diam,

there's a lot of information we can extract

Ada banyak informasi yang bisa kita ambil

about their breathing patterns, small facial expressions.

Tentang pola pernafasannya, ekspresi wajah yang kecil

Maybe we could use those motions

Mungkin kita bisa menggunakan gerakan itu

to tell us something about our thoughts or our emotions.

Untuk memberi tahu pikiran atau emosi kita

We can also magnify small mechanical movements,

Kita juga bisa memperbesar gerakan mekanis yang kecil,

like vibrations in engines,

seperti getaran pada mesin,

that can help engineers detect and diagnose machinery problems,

Yang dapat membantu teknisi mendeteksi dan mendiagnosa masalah mesin.

or see how our buildings and structures sway in the wind and react to forces.

Atau melihat bagaimana bangunan bergoyang oleh angin dan bereaksi terhadap daya

Those are all things that our society knows how to measure in various ways,

Semua hal yang masyarakat tahu bagaimana cara mengukurnya dengan beragam cara

but measuring those motions is one thing,

Tapi mengukur gerakan itu adalah sesuatu.

and actually seeing those motions as they happen

Dan melihat gerakan sebenarnya secara langsung,

is a whole different thing.

Adalah sesuatu yang sangat berbeda.

And ever since we discovered this new technology,

Dan sejak kami menemukan teknologi baru ini,

we made our code available online so that others could use and experiment with it.

Kami membagikan kode ini online agar orang lain bisa memakai dan bereksperimen

It's very simple to use.

Ini sangatlah mudah untuk digunakan.

It can work on your own videos.

Ini dapat bekerja pada videomu sendiri

Our collaborators at Quanta Research even created this nice website

Kolaborasi kami dengan Quanta Research bahkan menciptakan website

where you can upload your videos and process them online,

Dimana Anda bisa mengunggah video dan memprosesnya online

so even if you don't have any experience in computer science or programming,

Bahkan jika Anda tidak memiliki pengalaman dalam ilmu komputer atau pemrograman,

you can still very easily experiment with this new microscope.

Anda masih bisa bereksperimen dengan mikroskop yang baru ini.

And I'd like to show you just a couple of examples

Dan saya akan memberikan beberapa contoh

of what others have done with it.

Tentang orang lain telah lakukan dengan kode ini.

So this video was made by a YouTube user called Tamez85.

Video ini dibuat oleh user Youtube bernama Tamez85

I don't know who that user is,

Saya tidak tahu siapa dia,

but he, or she, used our code

Tapi dia menggunakan kode kami

to magnify small belly movements during pregnancy.

Untuk memperbesar gerakan perut yang kecil selama masa kehamilan.

It's kind of creepy.

Hal ini sedikit menyeramkan.

(Laughter)

(Tawa)

People have used it to magnify pulsing veins in their hands.

Orang telah menggunakannya untuk memperbesar vena yang berdenyut di tangan.

And you know it's not real science unless you use guinea pigs,

Dan ini bukanlah sains sebenarnya kecuali Anda menggunakan kelinci percobaan.

and apparently this guinea pig is called Tiffany,

Dan rupanya, kelinci percobaan ini bernama Tiffany.

and this YouTube user claims it is the first rodent on Earth

Dan user YouTube ini menyatakan, dia pengerat pertama di bumi

that was motion-magnified.

Yang gerakannya diperbesar.

You can also do some art with it.

Anda juga bisa membuat seni dengan ini.

So this video was sent to me by a design student at Yale.

Video ini dikirim kepada saya oleh mahasiswa desain di Yale

She wanted to see if there's any difference

Dia ingin melihat apakah ada perbedaan

in the way her classmates move.

Cara teman sekelasnya bergerak

She made them all stand still, and then magnified their motions.

Dia membuat mereka berdiri diam, dan memperbesar gerakannya

It's like seeing still pictures come to life.

Ini seperti melihat gambar menjadi hidup.

And the nice thing with all those examples

Dan hal bagus dengan semua contoh di atas,

is that we had nothing to do with them.

Adalah kami tidak melakukan apapun dengannya.

We just provided this new tool, a new way to look at the world,

Kami hanya menyediakan alat baru, cara baru untuk melihat dunia,

and then people find other interesting, new and creative ways of using it.

Dan orang-orang menemukan cara menarik, baru dan kreatif untuk menggunakannya

But we didn't stop there.

Tapi kami tidak berhenti disana.

This tool not only allows us to look at the world in a new way,

Alat ini tidak hanya membuat kita melihat dunia dengan cara berbeda,

it also redefines what we can do

Ini juga mengartikan ulang apa yang bisa kita lakukan

and pushes the limits of what we can do with our cameras.

Dan menembus batas apa yang bisa kita lakukan dengan kamera kita.

So as scientists, we started wondering,

Jadi sebagai ilmuwan, kami mulai penasaran

what other types of physical phenomena produce tiny motions

Tentang jenis fenomena fisik lain apa yang menghasilkan gerakan kecil

that we could now use our cameras to measure?

Yang bisa kami ukur dengan kamera kami?

And one such phenomenon that we focused on recently is sound.

Dan fenomena yang kami fokuskan akhir-akhir ini adalah suara.

Sound, as we all know, is basically changes

Suara, seperti kita ketahui, adalah perubahan

in air pressure that travel through the air.

Pada tekanan udara yang mengalir di udara.

Those pressure waves hit objects and they create small vibrations in them,

Gelombang tekanan tersebut membentur obyek dan menciptakan getaran kecil

which is how we hear and how we record sound.

Yang sebagaimana kita dengar dan merekam suara.

But it turns out that sound also produces visual motions.

Tapi ternyata suara juga menghasilkan gerakan visual.

Those are motions that are not visible to us

Gerakan-gerakan yang tidak terlihat oleh kita

but are visible to a camera with the right processing.

Tapi nampak pada kamera dengan pemrosesan yang benar.

So here are two examples.

Berikut adalah dua contoh.

This is me demonstrating my great singing skills.

Ini saya sedang mendemonstrasikan keahlian menyanyi saya

(Singing)

(Bernyanyi)

(Laughter)

(Tawa)

And I took a high-speed video of my throat while I was humming.

Dan saya merekam video berkecepatan tinggi waktu saya bernyanyi

Again, if you stare at that video,

Dan jika Anda menatap video tersebut,

there's not too much you'll be able to see,

Tidak banyak yang bisa Anda lihat,

but once we magnify the motions 100 times, we can see all the motions and ripples

Tapi jika kita memperbesar gerakannya 100 kali, kita bisa lihat gerak dan riak

in the neck that are involved in producing the sound.

Pada leher yang terlibat dalam menghasilkan suara.

That signal is there in that video.

Sinyal-sinyal itu ada pada video.

We also know that singers can break a wine glass

Kami juga tahu bahwa penyanyi bisa memecahkan gelas wine

if they hit the correct note.

Jika mengenai nada yang tepat

So here, we're going to play a note

Jadi, kami akan memainkan sebuah nada

that's in the resonance frequency of that glass

Yang beresonansi dengan kaca

through a loudspeaker that's next to it.

Melalui pengeras suara di sebelahnya

Once we play that note and magnify the motions 250 times,

Ketika kami memainkan nada itu dan memperbesar gerakannya 250 kali,

we can very clearly see how the glass vibrates

Kita dapat melihat dengan jelas kaca itu bergetar

and resonates in response to the sound.

Dan beresonansi dalam merespon suara

It's not something you're used to seeing every day.

Ini bukan sesuatu yang Anda biasa lihat setiap hari

But this made us think. It gave us this crazy idea.

Tapi ini membuat kita berpikir. Hal ini memberikan kita ide gila.

Can we actually invert this process and recover sound from video

Bisakah kita membalik proses ini dan mendapatkan suara dari video

by analyzing the tiny vibrations that sound waves create in objects,

Dengan menganalisa getaran kecil yang dibuat gelombang suara pada obyek,

and essentially convert those back into the sounds that produced them.

Dan mengubahnya kembali menjadi suara yang membuatnya?

In this way, we can turn everyday objects into microphones.

Dengan cara ini, kita bisa merubah obyek sehari-hari menjadi mikrofon.

So that's exactly what we did.

Jadi itulah yang kami lakukan.

So here's an empty bag of chips that was lying on a table,

Ini adalah bungkus kosong kripik di atas meja

and we're going to turn that bag of chips into a microphone

Dan kami akan mengubahnya menjadi mikrofon

Dengan cara memfilmkannya dengan kamera video

by filming it with a video camera

and analyzing the tiny motions that sound waves create in it.

Dan menganalisa gerakan kecil yang dibuat oleh gelombang suara

So here's the sound that we played in the room.

Inilah suara yang kami mainkan dalam ruangan itu.

(Music: "Mary Had a Little Lamb")

(Musik "Mary Had a Little Lamb")

Dan ini adalah video berkecepatan tinggi yang kami rekam dari bungkus kripik itu.

And this is a high-speed video we recorded of that bag of chips.

Again it's playing.

lagi, Ini dimainkan

There's no chance you'll be able to see anything going on in that video

Tidak mungkin Anda bisa melihat apapun yang terjadi pada video itu

just by looking at it,

hanya dengan melihatnya.

but here's the sound we were able to recover just by analyzing

Tapi ini adalah suara yang didapat hanya dengan menganalisa

the tiny motions in that video.

gerakan kecil dalam video.

(Music: "Mary Had a Little Lamb")

(Musik : "Mary Had a Little Lamb")

I call it -- Thank you.

Saya menyebutnya -- Terimakasih

(Applause)

(Tepuk tangan)

I call it the visual microphone.

Saya menyebutnya mikrofon visual.

We actually extract audio signals from video signals.

Kami sebenarnya mengekstrak sinyal audio dari sinyal video

And just to give you a sense of the scale of the motions here,

Dan hanya untuk memberikan skala gerakan disini,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

Suara indah yang kuat akan membuat bungkus kripik bergerak kurang dari 1 mikrometer

That's one thousandth of a millimeter.

Itu seperseribu dari satu milimeter.

That's how tiny the motions are that we are now able to pull out

Sekecil itulah gerakan yang sekarang dapat kita tarik

just by observing how light bounces off objects

Hanya dengan melihat bagaimana cahaya memantul pada obyek

and gets recorded by our cameras.

Dan terekam oleh kamera kami

We can recover sounds from other objects, like plants.

Kami dapat mendapatkan kembali suara dari obyek lain, seperti tanaman

(Music: "Mary Had a Little Lamb")

(Musik : "Mary Had a Little Lamb")

Dan kami juga bisa mendapatkan kembali percakapan

And we can recover speech as well.

So here's a person speaking in a room.

Jadi ini adalah seseorang yang sedang berbicara di ruangan

Voice: Mary had a little lamb whose fleece was white as snow,

Suara : Mary memiliki sebuah domba yang bulunya seputih salju

and everywhere that Mary went, that lamb was sure to go.

Dan kemanapun Mary pergi, Domba itu juga ikut pergi

Michael Rubinstein: And here's that speech again recovered

Dan ini percakapan tersebut yang diambil kembali

just from this video of that same bag of chips.

dari video bungkus kripik yang sama

Voice: Mary had a little lamb whose fleece was white as snow,

Mary mempunyai seekor domba yang bulunya seputih salju

and everywhere that Mary went, that lamb was sure to go.

Dan kemanapun Mary pergi, Domba itu juga ikut pergi

MR: We used "Mary Had a Little Lamb"

Kami menggunakan "Mary Had a Little Lamb"

because those are said to be the first words

Karena katanya itu adalah kata-kata pertama

that Thomas Edison spoke into his phonograph in 1877.

yang Thomas Edison bicarakan pada fonografnya di tahun 1877

It was one of the first sound recording devices in history.

Itu adalah salah satu alat perekam suara pertama dalam sejarah.

It basically directed the sounds onto a diaphragm

Itu pada dasarnya mengarahkan suara pada diafragma

that vibrated a needle that essentially engraved the sound on tinfoil

Yang menggetarkan jarum yang mengukir suara pada kertas timah

that was wrapped around the cylinder.

Yang dibungkus mengelilingi silinder

Here's a demonstration of recording and replaying sound with Edison's phonograph.

Ini adalah demonstrasi rekaman dan putar ulang suara dari fonograf Edison

(Video) Voice: Testing, testing, one two three.

Testing, Testing, satu dua tiga

Mary had a little lamb whose fleece was white as snow,

Mary memiliki seekor domba yang bulunya seputih salju

and everywhere that Mary went, the lamb was sure to go.

Dan kemanapun Mary pergi, domba itu juga ikut pergi

Testing, testing, one two three.

Testing, testing, satu dua tiga.

Mary had a little lamb whose fleece was white as snow,

Mary memiliki seekor domba yang bulunya seputih salju

and everywhere that Mary went, the lamb was sure to go.

Dan kemanapun Mary pergi, domba itu juga ikut pergi

MR: And now, 137 years later,

Dan sekarang, 137 tahun kemudian,

we're able to get sound in pretty much similar quality

Kita dapat mengambil suara dengan kualitas yang hampir sama

but by just watching objects vibrate to sound with cameras,

Tapi hanya dengan melihat obyek bergetar terhadap suara dengan kamera

and we can even do that when the camera

Dan kita bahkan dapat melakukannya ketika kamera

is 15 feet away from the object, behind soundproof glass.

berada 15 kaki jauhnya dari obyek, di belakang kaca kedap suara

So this is the sound that we were able to recover in that case.

Jadi ini adalah suara yang bisa kita peroleh kembali pada kasus itu

Voice: Mary had a little lamb whose fleece was white as snow,

Mary memiliki seekor domba kecil yang bulunya seputih salju

and everywhere that Mary went, the lamb was sure to go.

Dan kemanapun Mary pergi, domba itu juga ikut pergi

MR: And of course, surveillance is the first application that comes to mind.

Dan tentu saja, pengawasan adalah aplikasi pertama yang terpikirkan

(Laughter)

(Tawa)

But it might actually be useful for other things as well.

Tapi mungkin ini juga beguna untuk hal yang lain

Mungkin di masa depan, kami bisa menggunakannya, seperti,

Maybe in the future, we'll be able to use it, for example,

to recover sound across space,

Untuk mendapatkan suara dari luar angkasa

Karena suara tidak bisa pergi ke luar angkasa, tapi cahaya bisa

because sound can't travel in space, but light can.

We've only just begun exploring

Kami hanya mulai mengeksplorasi

other possible uses for this new technology.

Penggunaan lain yang mungkin untuk teknologi ini

It lets us see physical processes that we know are there

Ini bisa membuat kita melihat proses yang kita tahu ada

but that we've never been able to see with our own eyes until now.

Tapi belum pernah bisa kita lihat dengan mata kita hingga saat ini.

This is our team.

Inilah tim kami.

Everything I showed you today is a result of a collaboration

Semua yang saya tunjukkan pada Anda hari ini adalah hasil kolaborasi

with this great group of people you see here,

Dengan grup orang-orang hebat yang Anda lihat disini

and I encourage you and welcome you to check out our website,

Dan saya mendorong dan menyambut Anda untuk mengunjungi website kami

try it out yourself,

Cobalah sendiri,

and join us in exploring this world of tiny motions.

Dan bergabunglah dengan kami menjelajahi dunia gerakan kecil

Thank you.

Terimakasih.

(Applause)

(Tepuk Tangan)