See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein

Çeviri: Şâkir Aşçı Gözden geçirme: Sancak Gülgen

So over the past few centuries, microscopes have revolutionized our world.

Birkaç yüzyıldır, mikroskoplar dünyamızda devrim yaptı.

They revealed to us a tiny world of objects, life and structures

Çıplak gözle göremeyeceğimiz kadar küçük nesnelerin,

that are too small for us to see with our naked eyes.

canlıların, yapıların küçük dünyasını bizlere açtı.

They are a tremendous contribution to science and technology.

Bilim ve teknolojiye katkıları inanılmaz.

Today I'd like to introduce you to a new type of microscope,

Bugün sizlere yeni bir tip mikroskop tanıtmak istiyorum,

a microscope for changes.

bir değişim mikroskobu.

It doesn't use optics like a regular microscope

Normal mikroskoplar gibi nesneleri büyütmek için

to make small objects bigger,

optikleri kullanmaz,

but instead it uses a video camera and image processing

onun yerine bir video kamera ve görüntü işleme kullanarak

to reveal to us the tiniest motions and color changes in objects and people,

nesne ve insanlardaki en küçük hareketleri ortaya çıkarır.

changes that are impossible for us to see with our naked eyes.

Çıplak gözlerimizle görmenin imkansız olduğu değişiklikler.

And it lets us look at our world in a completely new way.

Ve bu bizim dünyaya tamamen yeni bir gözle bakmamızı sağlıyor.

So what do I mean by color changes?

Peki renk değişimiyle neyi kastediyorum?

Our skin, for example, changes its color very slightly

Örneğin derimiz, altından kan akarken

when the blood flows under it.

rengini çok hafif değiştirir.

That change is incredibly subtle,

Bu değişim son derece belirsizdir,

which is why, when you look at other people,

bu yüzden, diğer insanlara baktığınızda,

when you look at the person sitting next to you,

yanınızda oturan kişiye baktığınızda,

you don't see their skin or their face changing color.

derilerinin veya yüzlerinin renginin değiştiğini görmezsiniz.

When we look at this video of Steve here, it appears to us like a static picture,

Steve'in bu videosuna baktığımızda bize durağan bir resim gibi geliyor,

but once we look at this video through our new, special microscope,

fakat bu videoya bizim yeni, özel mikroskobumuzdan bakınca

suddenly we see a completely different image.

birden tamamen farklı bir resim görüyoruz.

What you see here are small changes in the color of Steve's skin,

Burada gördüğünüz şey Steve'in deri rengindeki ufak değişikliklerin

magnified 100 times so that they become visible.

görünür olması için 100 kat büyütülmüş hâlidir.

We can actually see a human pulse.

İnsan nabzını gerçekten görebiliriz.

We can see how fast Steve's heart is beating,

Steve'in kalbinin atış hızını görebiliriz,

but we can also see the actual way that the blood flows in his face.

ve ayrıca kanın suratına akışını da görebiliriz.

And we can do that not just to visualize the pulse,

Ve bunu sadece nabzı görselleştirmek için değil

but also to actually recover our heart rates,

ayrıca kalp atım hızını da

and measure our heart rates.

ölçmek için kullanabiliriz.

And we can do it with regular cameras and without touching the patients.

Ve bunu normal kameralarla ve hastalara dokunmadan yapabiliriz.

So here you see the pulse and heart rate we extracted from a neonatal baby

Ve burada, sıradan bir DSLR kamera ile çektiğimiz videodan

from a video we took with a regular DSLR camera,

yeni doğmuş bir bebeğin nabzını ve kalp atım hızı çıkardık

and the heart rate measurement we get

ve elde ettiğimiz kalp atım hızı

is as accurate as the one you'd get with a standard monitor in a hospital.

standart bir hastane monitöründe elde edeceğiniz kadar kesindir.

And it doesn't even have to be a video we recorded.

Ve bunun bizim kaydettiğimiz bir video olması gerekmiyor.

We can do it essentially with other videos as well.

Bunu aslında başka videolarla da yapabiliriz.

So I just took a short clip from "Batman Begins" here

Burada sırf Christian Bale'nin nabzını göstermek için

just to show Christian Bale's pulse.

"Batman Başlıyor"dan kısa bir kesit aldım.

(Laughter)

(Kahkaha)

And you know, presumably he's wearing makeup,

Bildiğiniz gibi, muhtemelen yüzünde makyaj var,

the lighting here is kind of challenging,

burada ışıklandırma biraz zorluyor

but still, just from the video, we're able to extract his pulse

ama yine de videodan nabzını çıkartabilir

and show it quite well.

ve oldukça iyi gösterebiliriz.

So how do we do all that?

Peki bunu nasıl yapıyoruz?

We basically analyze the changes in the light that are recorded

Temel olarak, zamanla her pikselde kaydedilen

at every pixel in the video over time,

ışıktaki değişimi analiz ediyoruz

and then we crank up those changes.

ve bu değişimleri hareketlendiriyoruz.

We make them bigger so that we can see them.

Görebilmemiz için onları büyütüyoruz.

The tricky part is that those signals,

İşin zor kısmı o sinyallerin,

those changes that we're after, are extremely subtle,

istediğimiz değişimlerin aşırı belirsiz olması.

so we have to be very careful when you try to separate them

Bu yüzden, onları videolarda her zaman olan gürültüden ayırırken

from noise that always exists in videos.

çok dikkatli olmamız gerekiyor.

So we use some clever image processing techniques

Bu yüzden, çok akıllı görüntü işleme teknikleri kullanarak

to get a very accurate measurement of the color at each pixel in the video,

videodaki her pikselin renginden kesin ölçümler elde ediyor

and then the way the color changes over time,

ve sonra zamanla rengin değişim şeklini buluyor

and then we amplify those changes.

ve sonra bu değişimleri büyütüyoruz.

We make them bigger to create those types of enhanced videos, or magnified videos,

Onları büyüterek bize bu değişimleri gösteren bu tür

that actually show us those changes.

abartılı veya büyütülen videolar yaratıyoruz.

But it turns out we can do that not just to show tiny changes in color,

Fakat anlaşıldı ki, renk değişimlerini göstermenin yanında

but also tiny motions,

ufak hareketleri de gösterebiliyoruz.

and that's because the light that gets recorded in our cameras

Ve bu yüzden kameralarımıza kaydedilen ışık

will change not only if the color of the object changes,

sadece nesnenin rengi değiştiğinde değil

but also if the object moves.

nesne hareket ettiğinde de değişiyor.

So this is my daughter when she was about two months old.

Burada kızım 2 aylık kadar.

It's a video I recorded about three years ago.

3 sene önce çektiğim bir video.

And as new parents, we all want to make sure our babies are healthy,

Yeni anne-babalar olarak tek istediğimiz bebeğimizin sağlıklı olduğundan,

that they're breathing, that they're alive, of course.

nefes aldığından ve tabii ki hayatta olduğundan emin olmaktır.

So I too got one of those baby monitors

Bu yüzden ben de kızımı uyurken görebilmek için

so that I could see my daughter when she was asleep.

şu bebek monitörlerinden aldım.

And this is pretty much what you'll see with a standard baby monitor.

Ve normal bir bebek monitöründe göreceğiniz şey böyle bir şeydir.

You can see the baby's sleeping, but there's not too much information there.

Bebeğin uyuduğunu görüyorsunuz ama burada çok da bir bilgi yok.

There's not too much we can see.

Görebileceğimiz pek bir şey yok.

Wouldn't it be better, or more informative, or more useful,

Görüntü şöyle olsa, daha iyi,

if instead we could look at the view like this.

daha bilgilendirici veya daha kullanışlı olmaz mıydı?

So here I took the motions and I magnified them 30 times,

Bu yüzden hareketleri aldım ve onları 30 kat büyüttüm

and then I could clearly see that my daughter was indeed alive and breathing.

ve sonrasında kızımın hayatta olduğunu ve nefes aldığını açıkça görebildim.

(Laughter)

(Kahkaha)

Here is a side-by-side comparison.

Bu da yan yana karşılaştırma.

So again, in the source video, in the original video,

Yine, kaynak videoda, orijinal videoda

there's not too much we can see,

görülecek pek bir şey yok,

but once we magnify the motions, the breathing becomes much more visible.

fakat hareketleri büyüttüğümüzde nefes alış çok daha görünür hâle geliyor.

And it turns out, there's a lot of phenomena

Gördük ki, yeni hareket mikroskobumuz ile

we can reveal and magnify with our new motion microscope.

ortaya çıkarabileceğimiz ve büyütebileceğimiz bir çok olay var.

We can see how our veins and arteries are pulsing in our bodies.

Vücudumuzdaki damar ve atardamarlarımızın nasıl attıklarını görebiliyoruz.

We can see that our eyes are constantly moving

Gözlerimizin sürekli olarak titrek bir hareket yaptığını

in this wobbly motion.

görebiliyoruz.

And that's actually my eye,

Bu benim gözüm

and again this video was taken right after my daughter was born,

ve bu video kızım doğduktan hemen sonra çekildi

so you can see I wasn't getting too much sleep. (Laughter)

yani fazla uyumadığımı görebilirsiniz. (Kahkaha)

Even when a person is sitting still,

Bir kişi sabit otururken bile

there's a lot of information we can extract

nefes alışı, küçük yüz ifadeleri hakkında

about their breathing patterns, small facial expressions.

çıkarabileceğimiz çok fazla bilgi var.

Maybe we could use those motions

Belki de bu hareketler bize

to tell us something about our thoughts or our emotions.

düşünce ve duygularımız hakkında bir şeyler anlatabilir.

We can also magnify small mechanical movements,

Ayrıca motorlardaki titreşimler gibi

like vibrations in engines,

küçük mekanik hareketleri büyüterek

that can help engineers detect and diagnose machinery problems,

mühendislerin makine problemlerini teşhis etmesine veya bina ve yapıların

or see how our buildings and structures sway in the wind and react to forces.

rüzgârda salınımlarını ve kuvvetlere tepkisini görmesine yardımcı olabilir.

Those are all things that our society knows how to measure in various ways,

Bunlar insanların farklı yollardan ölçebildiği şeylerdir

but measuring those motions is one thing,

fakat bu hareketleri ölçmek bir şey

and actually seeing those motions as they happen

ve bu hareketleri olduğu anda görmek

is a whole different thing.

tamamen farklı bir şeydir.

And ever since we discovered this new technology,

Ve bu yeni teknolojiyi keşfettikten sonra

we made our code available online so that others could use and experiment with it.

kodları internete açtık ki başkaları da bunları kullanıp deneyebilsin.

It's very simple to use.

Kullanımı çok basit.

It can work on your own videos.

Kendi videolarınızda da çalışabilir.

Our collaborators at Quanta Research even created this nice website

Ortaklarımızdan Quantum Araştırma bu güzel internet sitesini hazırladı.

where you can upload your videos and process them online,

Burada videolarınızı yükleyebilir ve çevirimiçi işleyebilirsiniz.

so even if you don't have any experience in computer science or programming,

Bilgisayar bilimi veya programcılık deneyiminiz yoksa bile

you can still very easily experiment with this new microscope.

bu yeni mikroskobu kolay bir şekilde deneyebilirsiniz.

And I'd like to show you just a couple of examples

Ve sizlere diğerlerinin yaptıklarından

of what others have done with it.

birkaç örnek göstermek istiyorum.

So this video was made by a YouTube user called Tamez85.

Bu video Tamez85 rumuzlu YouTube kullanıcısı tarafından yapıldı.

I don't know who that user is,

Bu kullanıcıyı tanımıyorum

but he, or she, used our code

ama o kodumuzu kullanarak

to magnify small belly movements during pregnancy.

hamilelik sırasındaki küçük hareketleri büyütmüş.

It's kind of creepy.

Bu biraz ürpertici.

(Laughter)

(Kahkaha)

People have used it to magnify pulsing veins in their hands.

İnsanlar bunu ellerindeki atan damarları büyütmek için kullandılar.

And you know it's not real science unless you use guinea pigs,

Ve bildiğiniz gibi, gine domuzu kullanmazsanız bu gerçek bir bilim olmaz

and apparently this guinea pig is called Tiffany,

ve Tiffany isimli bu gine domuzu

and this YouTube user claims it is the first rodent on Earth

YouTube kullanıcısının iddiasına göre, Dünya üzerindeki hareketi büyütülen

that was motion-magnified.

ilk kemirgen.

You can also do some art with it.

Bununla sanat da yapabilirsiniz.

So this video was sent to me by a design student at Yale.

Bu video Yale tasarım öğrencisi tarafından gönderildi.

She wanted to see if there's any difference

Sınıf arkadaşlarının hareketlerinde herhangi bir farklılık

in the way her classmates move.

olup olmadığını görmek istemiş.

She made them all stand still, and then magnified their motions.

Hepsini ayakta sabit tutmuş ve hareketlerini büyütmüş.

It's like seeing still pictures come to life.

Sanki sabit resimlerin hayata gelişini görmek gibi

And the nice thing with all those examples

Ve tüm bu örneklerin güzel tarafı

is that we had nothing to do with them.

bunlarla hiç alakamızın olmaması.

We just provided this new tool, a new way to look at the world,

Biz sadece bu yeni aracı, dünyaya yeni bir bakış sağladık

and then people find other interesting, new and creative ways of using it.

ve sonra insanlar bunu kullanmanın ilginç, yeni ve yaratıcı yollarını buldu.

But we didn't stop there.

Fakat burada durmadık.

This tool not only allows us to look at the world in a new way,

Bu araç dünyaya sadece yeni bir şekilde bakmamızı sağlamıyor,

it also redefines what we can do

ayrıca yapabileceklerimizi yeniden tanımlıyor

and pushes the limits of what we can do with our cameras.

ve kamerayla yapabileceklerimizin limitlerini zorluyor.

So as scientists, we started wondering,

Ve bilim adamları olarak, merak etmeye başladık.

what other types of physical phenomena produce tiny motions

Kameralarımızı kullanarak küçük hareketler üreten başka hangi

that we could now use our cameras to measure?

fiziksel olayları ölçebiliriz?

And one such phenomenon that we focused on recently is sound.

Ve yakın zamanda ses olayına odaklandık.

Sound, as we all know, is basically changes

Ses, bildiğimiz gibi, havada dolaşan

in air pressure that travel through the air.

hava basıncındaki değişimdir.

Those pressure waves hit objects and they create small vibrations in them,

Bu basınç dalgaları nesnelere çarpar ve onlarda ufak titreşimler yaratır.

which is how we hear and how we record sound.

İşte bu şekilde işitir ve sesi kaydederiz.

But it turns out that sound also produces visual motions.

Fakat gördük ki ses görsel hareketler de üretiyor.

Those are motions that are not visible to us

Bize görünmeyen bu hareketler

but are visible to a camera with the right processing.

doğru işleme ile kameraya görünebiliyor.

So here are two examples.

Buna iki örnek göstereceğim.

This is me demonstrating my great singing skills.

Burada şarkı söyleme kabiliyetimi gösteriyorum.

(Singing)

(Şarkı söylüyor)

(Laughter)

(Kahkaha)

And I took a high-speed video of my throat while I was humming.

Ve mırıldarken boğazımın yüksek hızlı videosunu çektim.

Again, if you stare at that video,

Yine, videoya dikkatli bakarsanız

there's not too much you'll be able to see,

görebileceğiniz pek bir şey yok,

but once we magnify the motions 100 times, we can see all the motions and ripples

ama bu hareketleri 100 kez büyütürsek, ses üretiminde yer alan boyundaki

in the neck that are involved in producing the sound.

tüm hareket ve dalgalanmaları görebiliriz.

That signal is there in that video.

Bu sinyal videoda var.

We also know that singers can break a wine glass

Ayrıca biliyoruz ki şarkıcılar doğru notayı tutturursa

if they hit the correct note.

bardağı kırabiliyor.

So here, we're going to play a note

Bu yüzden, yanındaki hoparlörden

that's in the resonance frequency of that glass

bardağın rezonans frekansında

through a loudspeaker that's next to it.

bir nota çalacağız.

Once we play that note and magnify the motions 250 times,

Bu notayı çalıp hareketleri 250 kez büyüttüğümüzde

we can very clearly see how the glass vibrates

bardağın sese tepki olarak nasıl titrediğini

and resonates in response to the sound.

ve çınladığını açıkça görebiliriz.

It's not something you're used to seeing every day.

Bu her gün gördüğünüz bir şey değildi.

But this made us think. It gave us this crazy idea.

Fakat bu bizi düşündürdü. Bize çılgın fikirler verdi.

Can we actually invert this process and recover sound from video

Acaba ses dalgalarının nesnelerde yarattığı ince titreşimleri analiz ederek

by analyzing the tiny vibrations that sound waves create in objects,

bu işlemi ters çevirir ve videodaki sesi düzeltirsek,

and essentially convert those back into the sounds that produced them.

bunları üreten asıl sese dönüştürebilir miyiz?

In this way, we can turn everyday objects into microphones.

Bu yolla günlük nesneleri mikrofona dönüştürebiliriz.

So that's exactly what we did.

Biz de bunu yaptık.

So here's an empty bag of chips that was lying on a table,

Burada masada duran boş cips paketi var.

and we're going to turn that bag of chips into a microphone

Ve biz bu paketi kameraya alarak

by filming it with a video camera

mikrofona dönüştüreceğiz

and analyzing the tiny motions that sound waves create in it.

ve ses dalgalarının içinde yarattığı ufak hareketleri analiz edeceğiz.

So here's the sound that we played in the room.

Bu da odada çaldığımız ses.

(Music: "Mary Had a Little Lamb")

(Müzik: "Mary Had a Little Lamb")

And this is a high-speed video we recorded of that bag of chips.

Ve bu cips paketinin yüksek hızlı video kaydı.

Again it's playing.

Yine çalıyor.

There's no chance you'll be able to see anything going on in that video

Bu videoda olanları ona bakarak

just by looking at it,

görme şansınız yok

but here's the sound we were able to recover just by analyzing

fakat videodaki küçük hareketleri analiz ederek

the tiny motions in that video.

kurtardığımız ses şöyle.

(Music: "Mary Had a Little Lamb")

(Müzik: "Mary Had a Little Lamb")

I call it -- Thank you.

Ben buna -- Teşekkürler.

(Applause)

(Alkışlar)

I call it the visual microphone.

Ben buna görsel mikrofon diyorum.

We actually extract audio signals from video signals.

Biz aslında video sinyallerinden ses sinyallerini çıkardık.

And just to give you a sense of the scale of the motions here,

Ve buradaki hareketlerin büyüklüğüne örnek verecek olursam,

a pretty loud sound will cause that bag of chips to move less than a micrometer.

bu cips poşetinin hareket etmesini sağlayacak oldukça gürültülü bir ses bir mikrometreden azdır.

That's one thousandth of a millimeter.

Bu milimetrenin binde biridir.

That's how tiny the motions are that we are now able to pull out

İşte nesnelerden yansıyan ve kameralarımızın kaydettiği

just by observing how light bounces off objects

ışığı gözlemleyerek elde ettiğimiz hareketler

and gets recorded by our cameras.

bu kadar küçük.

We can recover sounds from other objects, like plants.

Bitkiler gibi diğer nesnelerden de sesleri kurtarabiliriz.

(Music: "Mary Had a Little Lamb")

(Müzik: "Mary Had a Little Lamb")

And we can recover speech as well.

Ve konuşmaları da kurtarabiliriz.

So here's a person speaking in a room.

Bu odada bir kişi konuşuyor.

Voice: Mary had a little lamb whose fleece was white as snow,

Ses: Mary'nin bir kuzusu var, kürkü kar gibi beyaz,

and everywhere that Mary went, that lamb was sure to go.

Mary nereye gitse, kuzu peşinden gider.

Michael Rubinstein: And here's that speech again recovered

Michael Rubinstein: Ve aynı cips paketi

just from this video of that same bag of chips.

videosundan kurtardığımız o konuşma

Voice: Mary had a little lamb whose fleece was white as snow,

Ses: Mary'nin bir kuzusu var, kürkü kar gibi beyaz,

and everywhere that Mary went, that lamb was sure to go.

Mary nereye gitse, kuzu peşinden gider.

MR: We used "Mary Had a Little Lamb"

MR: "Mary'nin Bir Kuzusu Var" şarkısını kullandık

because those are said to be the first words

çünkü bunlar Thomas Edison'un 1877'de

that Thomas Edison spoke into his phonograph in 1877.

fonografına söylediği ilk kelimeler olduğu söylenir.

It was one of the first sound recording devices in history.

Bu tarihteki ilk ses kayıt cihazlarından biridir.

It basically directed the sounds onto a diaphragm

Temel olarak silindir etrafına sarılmış

that vibrated a needle that essentially engraved the sound on tinfoil

folyonun üzerine sesi işleyen bir iğneyi

that was wrapped around the cylinder.

titreten diyaframa yönlendirir.

Here's a demonstration of recording and replaying sound with Edison's phonograph.

İşte Edison'un fonografı ile ses kaydetmenin ve kaydı oynatmanın bir gösterimi.

(Video) Voice: Testing, testing, one two three.

(Video) Ses: Test, test, bir iki üç.

Mary had a little lamb whose fleece was white as snow,

Mary'nin bir kuzusu var, kürkü kar gibi beyaz,

and everywhere that Mary went, the lamb was sure to go.

Mary nereye gitse, kuzu peşinden gider.

Testing, testing, one two three.

Test, test, bir iki üç.

Mary had a little lamb whose fleece was white as snow,

Mary'nin bir kuzusu var, kürkü kar gibi beyaz,

and everywhere that Mary went, the lamb was sure to go.

Mary nereye gitse, kuzu peşinden gider.

MR: And now, 137 years later,

MR: Ve şimdi, 137 sene sonra,

we're able to get sound in pretty much similar quality

benzer kalitede ses elde edebiliyoruz

but by just watching objects vibrate to sound with cameras,

fakat bunu kameralar ile nesnelerin ses titreşimlerini izleyerek

and we can even do that when the camera

ve bunu kamera nesnenin 5 metre uzağında

is 15 feet away from the object, behind soundproof glass.

ve ses geçirmez camın arkasındayken de yapabiliyoruz.

So this is the sound that we were able to recover in that case.

İşte bu durumda kurtarabildiğimiz ses.

Voice: Mary had a little lamb whose fleece was white as snow,

Ses: Mary'nin bir kuzusu var, kürkü kar gibi beyaz,

and everywhere that Mary went, the lamb was sure to go.

Mary nereye gitse, kuzu peşinden gider.

MR: And of course, surveillance is the first application that comes to mind.

MR: Ve tabii ki, akla ilk gelen uygulama gözetleme.

(Laughter)

(Kahkaha)

But it might actually be useful for other things as well.

Ama başka şeyler için de faydalı olabilir.

Maybe in the future, we'll be able to use it, for example,

Belki de gelecekte bunu kullanabileceğiz, örneğin,

to recover sound across space,

uzaydaki sesleri kurtarabileceğiz

because sound can't travel in space, but light can.

çünkü ses uzayda yol almaz ama ışık alabilir.

We've only just begun exploring

Ve bu yeni teknolojinin kullanılabileceği alanları

other possible uses for this new technology.

yeni keşfetmeye başladık.

It lets us see physical processes that we know are there

olduğunu bildiğimiz fakat şimdiye kadar

but that we've never been able to see with our own eyes until now.

gözlerimizle göremediğimiz fiziksel işlemleri görmemizi sağlıyor.

This is our team.

Bu bizim takımımız.

Everything I showed you today is a result of a collaboration

Bugün size gösterdiğim her şey burada gördüğünüz

with this great group of people you see here,

harika grubun ortak çalışmasının bir sonucudur.

and I encourage you and welcome you to check out our website,

Ve sizleri davet ediyorum, sitemizi ziyaret edin

try it out yourself,

ve bunu kendiniz deneyin

and join us in exploring this world of tiny motions.

ve minik hareketler dünyasını birlikte keşfedelim.

Thank you.

Teşekkür ederim.

(Applause)

(Alkış)