Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Çeviri: Gözde Zülal Solak Gözden geçirme: Yunus ASIK

My passions

Benim tutkularım

are music, technology and making things.

müzik, teknoloji ve bir şeyler yaratmaktır.

And it's the combination of these things

Beni, ses görselleştirme hobisine yönlendiren şey,

that has led me to the hobby of sound visualization,

bunların kombinasyonu oldu

and, on occasion, has led me to play with fire.

ve bu beni, zaman zaman, ateşle oynamaya itti.

This is a Rubens' tube. It's one of many I've made over the years,

Bu bir Ruben borusu. Yıllardır ürettiğim şeylerden

and I have one here tonight.

birisi ve şu an yanımda bir tane var.

It's about an 8-foot-long tube of metal,

2,5 metrelik metal bir boru,

it's got a hundred or so holes on top,

üstünde yüzlerce delik var,

on that side is the speaker, and here

bu tarafta hoparlör, burada ise

is some lab tubing, and it's connected to this tank

laboratuvar tüpü var ve bu tüpler

of propane.

propan tankına bağlı.

So, let's fire it up and see what it does.

Öyleyse, şunu ateşleyip ne olacağına bakalım.

So let's play a 550-herz frequency

Şimdi, 550-hertz frekans oynatalım

and watch what happens.

ve ne olacağını görelim.

(Frequency)

(Frekans)

Thank you. (Applause)

Teşekkürler. (Alkışlar)

It's okay to applaud the laws of physics,

Fizik kanunlarını alkışlamak güzel

but essentially what's happening here

ama burada olan şey aslında

-- (Laughter) --

-- (Kahkahalar) --

is the energy from the sound via the air and gas molecules

hava ve gaz molekülleri ile gelen sesin enerjisidir ve gaz molekülleri

is influencing the combustion properties of propane,

propanın yanma özelliğini etkiler,

creating a visible waveform,

görülebilir bir dalga şekli yaratır

and we can see the alternating regions of compression

ve biz de basıncın dalgalı bölgelerini ve frekans

and rarefaction that we call frequency,

dediğimiz seyrelmeyi görebiliriz

and the height is showing us amplitude.

ve yükseklik de genişliği gösterir.

So let's change the frequency of the sound,

Bir de sesin frekansını değiştirelim

and watch what happens to the fire.

ve ateşe ne olacağını izleyelim.

(Higher frequency)

(Daha yüksek frekans)

So every time we hit a resonant frequency we get a standing wave

Yani, bir yankı frekansına her vurmamızda, duran bir dalga ve ateşin

and that emergent sine curve of fire.

sinüs eğrilerini elde ederiz.

So let's turn that off. We're indoors.

Bunu kapatalım. Çünkü içerdeyiz.

Thank you. (Applause)

Teşekkürler. (Alkışlar)

I also have with me a flame table.

Yanımda bir de ateş masası var.

It's very similar to a Rubens' tube, and it's also used

Tıpkı Ruben borusu gibi ve sesin

for visualizing the physical properties of sound,

fiziki özelliklerini gözlemlemede kullanılır,

such as eigenmodes, so let's fire it up

normal mod gibi, evet, bunu ateşleyip

and see what it does.

ne olacağına bakalım.

Ooh. (Laughter)

Ah. (Kahkahalar)

Okay. Now, while the table comes up to pressure,

Peki. Şimdi, masa baskıya maruz kalırken, şunu söylememe

let me note here that the sound is not traveling

izin verin: Ses mükemmel hatlarda dolaşmaz.

in perfect lines. It's actually traveling in all directions,

Aslında tüm yönlerde dolaşır ve

and the Rubens' tube's a little like bisecting those waves

Ruben borusu bu dalgaları bir çizgiyle ikiye böler gibidir,

with a line, and the flame table's a little like

ateş masası ise bu dalgaları bir düzlemle

bisecting those waves with a plane,

ikiye bölüyor gibidir ve bu da biraz

and it can show a little more subtle complexity, which is why

daha zor bir karışıklığı gösterebilir; Geoff Farina'nın gitar çalma anında

I like to use it to watch Geoff Farina play guitar.

bunu kullanmayı sevmemin nedeni de bu.

(Music)

(Müzik)

All right, so it's a delicate dance.

Pekâlâ, bu zarif bir danstı.

If you watch closely — (Applause)

Eğer yakından izlerseniz - (Alkış)

If you watch closely, you may have seen

Eğer yakından izlerseniz, bazı normal modları

some of the eigenmodes, but also you may have seen

görebilirsiniz, fakat aynı zamanda caz müziğin

that jazz music is better with fire.

ateşle birlikte daha iyi olduğunu da görebilirsiniz.

Actually, a lot of things are better with fire in my world,

Aslında, dünyamda birçok şey, ateşle iyi gidiyor,

but the fire's just a foundation.

ama ateş sadece bir temeldir.

It shows very well that eyes can hear,

Gözün duyabildiğini gösterir,

and this is interesting to me because

bana göre bu ilginç,

technology allows us to present sound to the eyes

çünkü teknoloji ancak gözün, sesi görme gücünü

in ways that accentuate the strength of the eyes

vurgulayarak, örneğin zamanı yok ederek,

for seeing sound, such as the removal of time.

sesi gözlere gösterir.

So here, I'm using a rendering algorithm to paint

Burada, "Smells Like Teen Spirit" (Gençlik Ruhu Gibi Kokuyor) parçasının

the frequencies of the song "Smells Like Teen Spirit"

frekanslarını; gözlerin onu tek bir görsel

in a way that the eyes can take them in

etkiymiş gibi algılayacağı biçimde

as a single visual impression, and the technique

yansıtmak için, bir algoritma kullanıyorum ve

will also show the strengths of the visual cortex

bu teknik ayrıca görsel korteksin, biçim

for pattern recognition.

tanıma gücünü gösterecek.

So if I show you another song off this album,

Size bu albümün başka parçalarını da

and another, your eyes will easily pick out

göstersem, gözleriniz kolaylıkla Nirvana'nın kullandığı

the use of repetition by the band Nirvana,

tekrarları ve frekans dağılımını, renkleri seçebilir ve

and in the frequency distribution, the colors,

meşhur temiz-bozuk-temiz sesini de

you can see the clean-dirty-clean sound

görebilirsiniz ve

that they are famous for,

and here is the entire album as a single visual impression,

işte, burada tüm albümün

tek bir görsel etkisi var ve

and I think this impression is pretty powerful.

bana kalırsa etki oldukça güçlü.

At least, it's powerful enough that

En azından, size bu dört şarkıyı

if I show you these four songs,

gösterip, bu "Smells Like Teen Spirit"

and I remind you that this is "Smells Like Teen Spirit,"

dediğimde, müziği dinlemeden, şarkıyı

you can probably correctly guess, without listening

muhtemelen doğru tahmin edebileceğiniz kadar

to any music at all, that the song

etkili ve ağır bir Nirvana

a die hard Nirvana fan would enjoy is this song,

hayranı da bu parçayı sevebilir.

"I'll Stick Around" by the Foo Fighters,

Dave Grohl, eskiden Nirvana'da bateristti,

whose lead singer is Dave Grohl,

şimdi ise Foo Fighters'ta vokalist ve

who was the drummer in Nirvana.

Foo Fighters'ın "I'll Stick Around" adlı bir parçası var.

The songs are a little similar, but mostly

Parçalar biraz benzer, fakat

I'm just interested in the idea that someday maybe

ben, bir gün şarkının görüntüsünden

we'll buy a song because we like the way it looks.

ötürü onu satın almamız fikriyle ilgileniyorum.

All right, now for some more sound data.

Şimdi, biraz daha ses.

This is data from a skate park,

Bu bir paten parkı verisi ve bu da Mabel Davis'in

and this is Mabel Davis skate park

Austin, Texas'ta bulunan

in Austin, Texas. (Skateboard sounds)

paten parkı. (Kaykay sesleri)

And the sounds you're hearing came from eight

Duyduğunuz sesler, parkın

microphones attached to obstacles around the park,

yerleştirilen sekiz mikrofonundan geliyor,

and it sounds like chaos, but actually

sesler kaos gibi geliyor fakat aslında tüm

all the tricks start with a very distinct slap,

hareketler, çok belirgin bir çarpma ile başlıyor ancak

but successful tricks end with a pop,

başarılı olanlar bir çıkış ile

whereas unsuccessful tricks

biterken, başarısızlar da

more of a scratch and a tumble,

çizik ve takla ile bitiyor ve raylar

and tricks on the rail will ring out like a gong, and

üzerindeki hareketler de çan sesi gibi,

voices occupy very unique frequencies in the skate park.

paten parkında sesler çok sıradışı frekanslara sahip.

So if we were to render these sounds visually,

Bu sesleri görsele yansıtacak olursak,

we might end up with something like this.

şöyle bir şey elde ederiz.

This is all 40 minutes of the recording,

Bu, 40 dakikalık bir kayıt ve algoritma da

and right away the algorithm tells us

bizlere, yapılan hareketlerin çoğunun

a lot more tricks are missed than are made,

kaydedilmediğini gösteriyor ve ayrıca

and also a trick on the rails is a lot more likely

raylar üzerindeki bir hareket, bir neşe

to produce a cheer, and if you look really closely,

üretiyor ve eğer yakından bakarsanız,

we can tease out traffic patterns.

trafik şeklini de görebiliriz.

You see the skaters often trick in this direction. The obstacles are easier.

Patencileri genelde bu yönde görüyoruz. Setler daha kolay. Kaydın ortasında ise,

And in the middle of the recording, the mics pick this up,

mikrofonlar bunu kaydediyor, fakat

but later in the recording, this kid shows up,

daha sonra, bu çocuk geliyor ve parkın

and he starts using a line at the top of the park

üstündeki bir hattı, yüksek ray adındaki

to do some very advanced tricks on something

profesyonel bir hareketi yapmak için

called the tall rail.

kullanıyor.

And it's fascinating. At this moment in time,

Büyüleyici. Bu anda, diğer tüm

all the rest of the skaters turn their lines 90 degrees

patenciler, onun yolundan çekilmek için, hatlarını 90 derece

to stay out of his way.

değiştiriyorlar.

You see, there's a subtle etiquette in the skate park,

Görüyorsunuz ki, paten parkında ince bir kural var ve

and it's led by key influencers,

en iyiler tarafından yönetiliyor

and they tend to be the kids who can do the best tricks,

ve bunlar da, en iyi hareketleri yapan ya da kırmızı pantolon giyen

or wear red pants, and on this day the mics picked that up.

çocuklar ve o gün mikrofonlar bunu yakaladı.

All right, from skate physics to theoretical physics.

Pekâlâ, paten fiziğinden teorik fiziğe.

I'm a big fan of Stephen Hawking,

Stephen Hawking'i çok seviyorum ve

and I wanted to use all eight hours

bu sekiz saatlik Cambridge

of his Cambridge lecture series to create an homage.

eğitim serilerinde, bir takdir yaratmak istiyorum.

Now, in this series he's speaking with the aid of a computer,

Bu seride, cümlelerin sonlarını kolaylıkla tespit edebilen bir

which actually makes identifying the ends of sentences

bilgisayar desteği ile konuşuyor.

fairly easy. So I wrote a steering algorithm.

Ben de bir yön algoritması yazdım.

It listens to the lecture, and then it uses

Dersi dinliyor, daha sonra her kelimenin

the amplitude of each word to move a point on the x-axis,

titreşimini, x ekseninde bir noktaya varmak için

and it uses the inflection of sentences

kullanıyor ve y ekseninde, benzer bir noktayı hareket

to move a same point up and down on the y-axis.

ettirmek için, cümlelerin sesini kullanıyor.

And these trend lines, you can see, there's more questions

Bunlar ise eğim çizgileri, görüyorsunuz, fizik kurallarında

than answers in the laws of physics,

cevaptan çok soru vardır ve bir cümlenin

and when we reach the end of a sentence,

sonuna ulaştığımızda, o noktaya

we place a star at that location.

bir yıldız yerleştiriyoruz.

So there's a lot of sentences, so a lot of stars,

Birçok cümle ve birçok yıldız var ve hepsini sese

and after rendering all of the audio, this is what we get.

çevirdiğimizde, ortaya bu çıkıyor.

This is Stephen Hawking's universe.

Bu, Stephen Hawking'in evreni.

(Applause)

(Alkış)

It's all eight hours of the Cambridge lecture series

Sekiz saatlik Cambridge derslerinin,

taken in as a single visual impression,

tek bir görsel etkisi ve bu görüntüyü

and I really like this image,

çok seviyorum, fakat birçok insan

but a lot of people think it's fake.

bunun sahte olduğunu düşünüyor.

So I made a more interactive version,

O yüzden daha etkileşimli bir hâlini yaptım ve

and the way I did that is I used their position in time

3B alana yıldızları yerleştirmek için, onların ders esnasında

in the lecture to place these stars into 3D space,

zamandaki yerlerini kullandım ve birkaç

and with some custom software and a Kinect,

basit yazılım ve bir Kinect ile

I can walk right into the lecture.

derse girebiliyorum.

I'm going to wave through the Kinect here

Buradaki Kinect ile dalga yaratıp

and take control, and now I'm going to reach out

kontrolü alacağım ve şimdi ulaşacağım,

and I'm going to touch a star, and when I do,

bir yıldıza dokunacağım ve bunu yaptığımda

it will play the sentence

yıldızı oluşturan cümle

that generated that star.

okunacak.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: Parçaların bütün bir resmi oluşturabildiği

in which the pieces make a complete picture.

tek bir, yalnızca bir düzen vardır.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Teşekkürler. (Alkış)

There are 1,400 stars.

1.400 adet yıldız var.

It's a really fun way to explore the lecture,

dersi keşfetmek çok eğlenceli ve

and, I hope, a fitting homage.

umarım, bu bir takdirdir.

All right. Let me close with a work in progress.

Pekâlâ, devam eden bir çalışmayla kapatacağım.

I think, after 30 years, the opportunity exists

Sanırım, 30 yıl sonra, daha güzel bir alt yazı yerleştirme

to create an enhanced version of closed captioning.

imkânımız olacak.

Now, we've all seen a lot of TEDTalks online,

Birçok TED konuşmasını çevrim içi izledik,

so let's watch one now with the sound turned off

şimdi de bir tanesini, sesi kapalı ve

and the closed captioning turned on.

alt yazıları açık olarak izleyelim.

There's no closed captioning for the TED theme song,

TED'in tanıtım müziği için bir alt yazı yok ve

and we're missing it, but if you've watched enough of these,

gözden kaçıyor, ama yeterince izlediyseniz

you hear it in your mind's ear,

zihninizde onu duyuyorsunuz

and then applause starts.

sonra alkış başlıyor.

It usually begins here, and it grows and then it falls.

Genelde burada başlıyor, yükseliyor ve bitiyor.

Sometimes you get a little star applause,

Bazen bir yıldızmış gibi alkış alıyorsunuz

and then I think even Bill Gates takes a nervous breath,

ve buna Bill Gates bile geriliyordur,

and the talk begins.

sonra konuşma başlıyor.

All right, so let's watch this clip again.

Pekâlâ, bu klibi tekrar izleyelim.

This time, I'm not going to talk at all.

Bu kez ben konuşmayacağım.

There's still going to be no audio,

Yine ses olmayacak, fakat

but what I am going to do is I'm going to render the sound

sesi gerçek zamanlı olarak ekranın

visually in real time at the bottom of the screen.

altında görsele çevireceğim.

So watch closely and see what your eyes can hear.

Dikkatle izleyin ve gözlerinizin ne duyduğuna bir bakın.

This is fairly amazing to me.

Bence bu oldukça büyüleyici.

Even on the first view, your eyes will successfully

Gözleriniz, ilk bakışta bile şekilleri seçebiliyor, fakat

pick out patterns, but on repeated views,

tekrarlanan görüntülerde beyniniz bu şekilleri

your brain actually gets better

bilgiye çevirme konusunda gittikçe

at turning these patterns into information.

daha fazla başarılı oluyor.

You can get the tone and the timbre

Konuşmanın tonunu, tınısını ve

and the pace of the speech,

temposunu görebilirsiniz,

things that you can't get out of closed captioning.

bunlar alt yazıda görünmezler.

That famous scene in horror movies

Korku filmlerinin meşhur sahnesi,

where someone is walking up from behind

arkadan birisinin yürümesi,

is something you can see,

görebileceğiniz bir şeydir ve bana kalırsa

and I believe this information would be something

bu bilgi, ses tamamen kapalı olduğunda

that is useful at times when the audio is turned off

işinize yarayabilir ve işitme engelli

or not heard at all, and I speculate that deaf audiences

seyircilerin, sesi görme konusunda,

might actually even be better

sesi duyanlardan daha

at seeing sound than hearing audiences.

iyi olduklarını düşünüyorum.

I don't know. It's a theory right now.

Bilmiyorum. Bu, şu an bir teori.

Actually, it's all just an idea.

Aslında, bir fikir.

And let me end by saying that sound moves in all directions,

Son olarak şunu söylememe izin verin; ses tüm yönlerde hareket eder

and so do ideas.

ve fikirler de.

Thank you. (Applause)

Teşekkürler. (Alkış)