Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Fordító: Reka Pal Lektor: Laszlo Kereszturi

My passions

Szenvedélyeim

are music, technology and making things.

a zene, a technológia és az alkotás.

And it's the combination of these things

Ezek ötvözete azt eredményezte,

that has led me to the hobby of sound visualization,

hogy a hangvizualizálás kedvenc időtöltéssé,

and, on occasion, has led me to play with fire.

és a tűz, alkalom adtán, játékszerré vált.

This is a Rubens' tube. It's one of many I've made over the years,

Ez egy Rubens cső. Ez egy a sok közül, amit az elmúlt években készítettem,

and I have one here tonight.

és ma este hoztam egyet.

It's about an 8-foot-long tube of metal,

Ez egy körülbelül két és fél méteres fémcső,

it's got a hundred or so holes on top,

aminek vagy száz lyuk van a tetején,

on that side is the speaker, and here

hangszóró van ezen az oldalán, és itt

is some lab tubing, and it's connected to this tank

egy ilyen laboratóriumi vezeték, ami erre a propántartályra

of propane.

van rákötve.

So, let's fire it up and see what it does.

Gyújtsuk meg és nézzük mire képes.

So let's play a 550-herz frequency

Nézzük, mi történik 550 hertz frekvencia

and watch what happens.

lejátszásakor.

(Frequency)

(Frekvencia)

Thank you. (Applause)

Köszönöm. (Taps)

It's okay to applaud the laws of physics,

Az rendben hogy megtapsolják a fizika törvényeit,

but essentially what's happening here

de lényegében az történik itt

-- (Laughter) --

-- (Nevetés) --

is the energy from the sound via the air and gas molecules

hogy a hang ereje, a levegő és a gáz molekulákon keresztül

is influencing the combustion properties of propane,

befolyásolja a propán égési tulajdonságait,

creating a visible waveform,

egy látható hullámformát alkotva,

and we can see the alternating regions of compression

és láthatóak azok a váltakozó sűrítési

and rarefaction that we call frequency,

és hígítási arányok amit mi frekvenciának hívunk,

and the height is showing us amplitude.

a magasság pedig az amplitúdót mutatja.

So let's change the frequency of the sound,

Úgyhogy, változtatok a hangfrekvencián

and watch what happens to the fire.

és nézzék, mi történik a tűzzel.

(Higher frequency)

(Magasabb frekvencia)

So every time we hit a resonant frequency we get a standing wave

Tehát, minden rezonáló frekvencia egy állóhullámot

and that emergent sine curve of fire.

és a lángcsóvák emergens szinuszgörbéjét eredményezi.

So let's turn that off. We're indoors.

Kapcsoljuk ki. Zárt helységben vagyunk.

Thank you. (Applause)

Köszönöm. (Taps)

I also have with me a flame table.

Van egy lángasztalom is.

It's very similar to a Rubens' tube, and it's also used

Nagyon hasonlít egy Rubens csőhöz, és ezt is arra használom

for visualizing the physical properties of sound,

hogy a hang fizikai tulajdonságai,

such as eigenmodes, so let's fire it up

mint a normál módusok, vizuálisan megjelenjenek,

and see what it does.

gyújtsuk meg és nézzük mire képes.

Ooh. (Laughter)

Ó. (Nevetés)

Okay. Now, while the table comes up to pressure,

Oké. Amíg a nyomás normalizálódik,

let me note here that the sound is not traveling

hadd jegyezzem meg hogy a hang nem terjed

in perfect lines. It's actually traveling in all directions,

tökéletes vonalakban. Valójában minden irányban terjed,

and the Rubens' tube's a little like bisecting those waves

és a Rubens cső olyan kissé, mintha egy vonallal szelné ketté

with a line, and the flame table's a little like

a hanghullámokat, és az asztal pedig,

bisecting those waves with a plane,

mintha egy lapos felülettel szelné ketté őket,

and it can show a little more subtle complexity, which is why

kicsit kifinomultabb komplexitással, ezért szeretem

I like to use it to watch Geoff Farina play guitar.

arra használni hogy Geoff Farina gitározását nézzem vele.

(Music)

(Zene)

All right, so it's a delicate dance.

Rendben, tehát ez egy kecses tánc.

If you watch closely — (Applause)

Ha jól figyelünk – (Taps)

If you watch closely, you may have seen

Ha jól figyelünk, lehetséges hogy meglátunk

some of the eigenmodes, but also you may have seen

néhány normál módust is, de azt is észrevehetjük

that jazz music is better with fire.

hogy a dzsessz zene jobb tűzzel ábrázolva.

Actually, a lot of things are better with fire in my world,

Valójában, sok minden jobb tűzzel ábrázolva az én világomban,

but the fire's just a foundation.

de a tűz csak alapként szolgál.

It shows very well that eyes can hear,

Nagyon jól mutatja, hogy a szemeinkkel hallani is tudunk,

and this is interesting to me because

ez érdekes számomra mert

technology allows us to present sound to the eyes

a technológiával olyan módon jeleníthetünk meg hangokat a szemeink számára

in ways that accentuate the strength of the eyes

ami kiemeli a szemek erősségét

for seeing sound, such as the removal of time.

a hanglátással kapcsolatosan, például az időkiiktatás is ilyen.

So here, I'm using a rendering algorithm to paint

Tehát itt, egy renderelő algoritmussal úgy festem meg

the frequencies of the song "Smells Like Teen Spirit"

a "Smells Like Teen Spirit" c. dal frekvenciáit,

in a way that the eyes can take them in

hogy a szem

as a single visual impression, and the technique

egy egyszeri vizuális hatásként érzékelje, és a technika

will also show the strengths of the visual cortex

a látókéreg mintafelismeréssel kapcsolatos erősségét

for pattern recognition.

is mutatja.

So if I show you another song off this album,

Ha mutatok egy másik dalt erről az albumról,

and another, your eyes will easily pick out

és még egyet, a szem könnyen fogja érzékelni

the use of repetition by the band Nirvana,

az ismétlődést, amit a Nirvana használ

and in the frequency distribution, the colors,

és a gyakorisági eloszlásnál a színeket,

you can see the clean-dirty-clean sound

láthatjuk a letisztult és a zavaros hangzás váltakozását

that they are famous for,

amiről híresek,

and here is the entire album as a single visual impression,

és íme, az egész album egy egyszeri vizuális hatásként,

and I think this impression is pretty powerful.

szerintem ez a hatás elég erőteljes.

At least, it's powerful enough that

Legalábbis elég erőteljes ahhoz,

if I show you these four songs,

hogy ha mutatok még négy számot

and I remind you that this is "Smells Like Teen Spirit,"

és emlékezünk arra hogy ez a "Smells Like Teen Spirit",

you can probably correctly guess, without listening

akkor valószínűleg helyesen véljük majd, zenehallgatás

to any music at all, that the song

nélkül is, hogy a szám

a die hard Nirvana fan would enjoy is this song,

ami egy kőkemény Nirvana rajongónak is tetszene, az ez a szám,

"I'll Stick Around" by the Foo Fighters,

az "I'll Stick Around" a Foo Fighters-től,

whose lead singer is Dave Grohl,

ahol Dave Grohl az énekes,

who was the drummer in Nirvana.

aki a Nirvana dobosa volt.

The songs are a little similar, but mostly

A dalok kissé hasonlóak, de leginkább

I'm just interested in the idea that someday maybe

az érdekel engem, hogy egy napon talán

we'll buy a song because we like the way it looks.

azért veszünk meg egy számot, mert tetszik az, ahogy kinéz.

All right, now for some more sound data.

Rendben, most mutatok még néhány hangadatot.

This is data from a skate park,

Ezek egy gördeszka park adatai,

and this is Mabel Davis skate park

a Mabel Davis gördeszka parké

in Austin, Texas. (Skateboard sounds)

Austin, Texas államban. (Gördeszkás hangok)

And the sounds you're hearing came from eight

A hangokat, amiket hallunk nyolc,

microphones attached to obstacles around the park,

a park szerte akadályokhoz hozzá erősített mikrofon rögzítette,

and it sounds like chaos, but actually

és kaotikusnak halljuk őket, de valójában

all the tricks start with a very distinct slap,

minden trükk egy nagyon határozott ütéssel kezdődik,

but successful tricks end with a pop,

míg a sikeres trükkök durranással,

whereas unsuccessful tricks

addig a sikertelenek

more of a scratch and a tumble,

inkább karcolással és puffanással végződnek,

and tricks on the rail will ring out like a gong, and

és a trükkök a korláton gongszerűen szólnak,

voices occupy very unique frequencies in the skate park.

az emberi hangok pedig nagyon egyedi frekvenciát foglalnak el a parkon belül.

So if we were to render these sounds visually,

Tehát ha ezeket a hangokat vizuálisan jelenítenénk meg,

we might end up with something like this.

akkor végeredményül valami ilyesmit kapnánk.

This is all 40 minutes of the recording,

Ez a teljes 40 perces felvétel,

and right away the algorithm tells us

és az algoritmus azonnal elárulja

a lot more tricks are missed than are made,

hogy sokkal több trükk inkább sikertelen mint sikeres,

and also a trick on the rails is a lot more likely

valamint sokkal valószínűbb hogy egy korláton elvégzett trükköt

to produce a cheer, and if you look really closely,

megéljenzik, és ha nagyon jól megfigyeljük,

we can tease out traffic patterns.

a forgalom szabályszerűségei is jól kivehetőek.

You see the skaters often trick in this direction. The obstacles are easier.

A deszkásokat gyakran látjuk trükközni ebben az irányban. Az akadályok könnyebbek.

And in the middle of the recording, the mics pick this up,

A felvétel közepén, ezt a mikrofonok rögzítik,

but later in the recording, this kid shows up,

de később felbukkan ez a srác,

and he starts using a line at the top of the park

és egy szakaszt kezd el követni a park felső részén,

to do some very advanced tricks on something

hogy néhány igen fejlett trükköt csináljon

called the tall rail.

az úgynevezett magas korláton.

And it's fascinating. At this moment in time,

És ez lenyűgöző. Ebben a pillanatban,

all the rest of the skaters turn their lines 90 degrees

az összes többi gördeszkás 90 fokos fordulatot vesz,

to stay out of his way.

hogy félreálljanak az útjából.

You see, there's a subtle etiquette in the skate park,

Láthatjuk, hogy egy nagyon kifinomult etikett létezik a parkon belül,

and it's led by key influencers,

és ezt kulcsfontosságú befolyásolók szabják meg,

and they tend to be the kids who can do the best tricks,

és ezek általában azok a gyerekek, akik a legjobb trükköket csinálják,

or wear red pants, and on this day the mics picked that up.

vagy akik piros nadrágot viseljenek, és ezen a napon a mikrofonok felvették ezeket.

All right, from skate physics to theoretical physics.

Rendben, a görfizikáról áttérek az elméleti fizikára.

I'm a big fan of Stephen Hawking,

Stephen Hawking nagy rajongója vagyok,

and I wanted to use all eight hours

és fel szerettem volna használni az összes nyolc órás

of his Cambridge lecture series to create an homage.

Cambridge-i előadássorozatát a tiszteletére.

Now, in this series he's speaking with the aid of a computer,

Ebben a sorozatban egy számítógép segítségével beszél,

which actually makes identifying the ends of sentences

ami valójában a mondatvégek azonosítását

fairly easy. So I wrote a steering algorithm.

viszonylag megkönnyíti. Úgyhogy írtam egy irányító algoritmust.

It listens to the lecture, and then it uses

Az előadás alatt minden szó amplitúdóját

the amplitude of each word to move a point on the x-axis,

arra használja fel, hogy elhelyezzen egy pontot az X tengelyen

and it uses the inflection of sentences

és a mondatok inflexióját pedig arra,

to move a same point up and down on the y-axis.

hogy ugyanazt a pontot milyen magasan helyezze el az Y tengelyen.

And these trend lines, you can see, there's more questions

És ezekből a trendvonalakból látható, hogy több kérdés létezik,

than answers in the laws of physics,

mint válasz, a fizika törvényeivel szemben,

and when we reach the end of a sentence,

és amikor elérünk egy mondat végére,

we place a star at that location.

odateszünk egy csillagot az adott helyre.

So there's a lot of sentences, so a lot of stars,

Úgyhogy mivel számos mondat létezik, így sok a csillag is,

and after rendering all of the audio, this is what we get.

és az egész hangfelvétel renderelése után, ez az eredmény.

This is Stephen Hawking's universe.

Ez Stephen Hawking univerzuma.

(Applause)

(Taps)

It's all eight hours of the Cambridge lecture series

Ez a Cambridge-i előadássorozat mind a nyolc órája

taken in as a single visual impression,

egy egyszeri vizuális hatásként,

and I really like this image,

nekem nagyon tetszik ez kép,

but a lot of people think it's fake.

de sokan nem hiszik valódinak.

So I made a more interactive version,

Ezért csináltam egy interaktívabb változatot,

and the way I did that is I used their position in time

ezt úgy csináltam hogy a csillagok időbeli helyét

in the lecture to place these stars into 3D space,

az előadásban felhasználtam, hogy elhelyezzem őket egy háromdimenziós térben,

and with some custom software and a Kinect,

és néhány egyedi fejlesztésű szoftver és egy Kinect segítségével,

I can walk right into the lecture.

azonnal betoppanhatok az előadásra.

I'm going to wave through the Kinect here

Átmegyek a Kinecthez

and take control, and now I'm going to reach out

és átveszem az irányítást, most előrenyúlok

and I'm going to touch a star, and when I do,

és megérintek egy csillagot, és amikor ezt megteszem,

it will play the sentence

akkor lejátssza azt a mondatot

that generated that star.

ami a csillagot létrehozta.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: Egyetlen egy elképzelés létezik

in which the pieces make a complete picture.

ami szerint a darabok egy teljes képet alkotnak.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Köszönöm. (Taps)

There are 1,400 stars.

1400 csillag van.

It's a really fun way to explore the lecture,

Ez egy nagyon szórakoztató módja annak hogy feltárjuk vele az előadást

and, I hope, a fitting homage.

és remélem méltó a tisztelgésre.

All right. Let me close with a work in progress.

Rendben van. Engedjék meg hogy egy folyamatban lévő munkával zárjak.

I think, after 30 years, the opportunity exists

Úgy vélem, 30 év elteltével, meg lesz a lehetőség

to create an enhanced version of closed captioning.

arra hogy a feliratozás egy továbbfejlesztett változata létrejöjjön.

Now, we've all seen a lot of TEDTalks online,

Mindannyian számos TED előadást láttunk már az interneten,

so let's watch one now with the sound turned off

tehát nézzünk meg egyet hang nélkül,

and the closed captioning turned on.

csak feliratozva.

There's no closed captioning for the TED theme song,

A TED főcímdalához nincs felirat,

and we're missing it, but if you've watched enough of these,

és lemaradunk róla, de amikor már elég sok ilyen videót néztünk,

you hear it in your mind's ear,

akkor a zenét már előre halljuk a fejünkben,

and then applause starts.

majd elkezdődik a taps.

It usually begins here, and it grows and then it falls.

Általában itt kezdődik, és felerősödik, majd elhalkul.

Sometimes you get a little star applause,

Néha előfordul egy kisebb sztártaps,

and then I think even Bill Gates takes a nervous breath,

aztán azt hiszem, még Bill Gates is vesz egy ideges sóhajt,

and the talk begins.

és elkezdődik az előadás.

All right, so let's watch this clip again.

Rendben, akkor nézzük meg ezt a lejátszást újból.

This time, I'm not going to talk at all.

Ez alkalommal, egyáltalán nem fogok beszélni.

There's still going to be no audio,

Továbbra sem lesz hang,

but what I am going to do is I'm going to render the sound

viszont az fog történni hogy a hangot

visually in real time at the bottom of the screen.

valós időben a képernyő alján láthatóvá teszem.

So watch closely and see what your eyes can hear.

Szóval figyeljék meg jól, hogy mit hallanak a szemeikkel.

This is fairly amazing to me.

Ez eléggé elképesztő számomra.

Even on the first view, your eyes will successfully

Szemeink már az első megpillantáskor sikeresen

pick out patterns, but on repeated views,

vesznek észre mintákat, de ismételt megtekintéskor,

your brain actually gets better

az agyunk valójában egyre jobban teljesít

at turning these patterns into information.

hogy ezeket a mintákat információvá alakítsa át.

You can get the tone and the timbre

Kivehető a tónus, a hangszín

and the pace of the speech,

és a beszédtempó,

things that you can't get out of closed captioning.

mind olyan tényezők, amiket feliratozással nem lehet elérni.

That famous scene in horror movies

Híres jelenet a horrorfilmekben

where someone is walking up from behind

amikor valakit hátulról közelítenek meg,

is something you can see,

ez olyan dolog amit látni lehet,

and I believe this information would be something

és úgy hiszem ez az információ,

that is useful at times when the audio is turned off

akkor lenne hasznos, amikor a hang ki van kapcsolva,

or not heard at all, and I speculate that deaf audiences

vagy egyáltalán nem lehet hallani semmit, és feltételezem, hogy valójában a hallássérült nézőközönség,

might actually even be better

még az is lehetséges, hogy jobban érzékeli

at seeing sound than hearing audiences.

a hanglátást, mint a hallással rendelkező nézőközönség.

I don't know. It's a theory right now.

Nem tudom. Ez jelenleg egy elmélet.

Actually, it's all just an idea.

Igazából ez az egész csak egy ötlet.

And let me end by saying that sound moves in all directions,

Végezetül elmondanám hogy a hang minden irányban terjed,

and so do ideas.

úgy ahogy az ötletek is.

Thank you. (Applause)

Köszönöm. (Taps)