Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Prevodilac: Tatjana Jevdjic Lektor: Tereza Ivanovic

My passions

Моје страсти

are music, technology and making things.

су музика, технологија и прављење ствари.

And it's the combination of these things

Управо ме је комбинација ових области

that has led me to the hobby of sound visualization,

довела до хобија - визуализације звука -

and, on occasion, has led me to play with fire.

и понекад ме води да се играм ватром.

This is a Rubens' tube. It's one of many I've made over the years,

Ово је Рубенова цев. То је једна од многих таквих које сам направио током година

and I have one here tonight.

и имам једну овде вечерас.

It's about an 8-foot-long tube of metal,

То је метална цев дуга око 2,5m,

it's got a hundred or so holes on top,

која има стотинак отвора на врху,

on that side is the speaker, and here

са оне стране је микрофон, а овде

is some lab tubing, and it's connected to this tank

је систем лабораториjских цеви, повезан са овим резервоаром

of propane.

пропана.

So, let's fire it up and see what it does.

Хајде да је упалимо и да видимо шта ради.

So let's play a 550-herz frequency

Хајде да пустимо звук фреквенције 550 Hz

and watch what happens.

и гледамо шта се догађа.

(Frequency)

(Фреквенција)

Thank you. (Applause)

Хвала вам. (Аплауз)

It's okay to applaud the laws of physics,

У реду је аплаудирати законима физике,

but essentially what's happening here

али у основи онога што се овде догађа jе

-- (Laughter) --

-- (Смех) --

is the energy from the sound via the air and gas molecules

да енергија звука преко молекула ваздуха и гаса

is influencing the combustion properties of propane,

утиче на особине сагоревања пропана,

creating a visible waveform,

стварајући видљив таласаст облик

and we can see the alternating regions of compression

и можемо да видимо ове наизменичне регионе згушњавања

and rarefaction that we call frequency,

и разређења које зовемо фреквенција,

and the height is showing us amplitude.

а висина нам показује амлитуду.

So let's change the frequency of the sound,

Хајде да променимо фреквенцију звука

and watch what happens to the fire.

и гледајте шта се догађа са ватром.

(Higher frequency)

(Виша фреквенција)

So every time we hit a resonant frequency we get a standing wave

Дакле, сваки пут кад достигнемо резонантну фреквенцију, добијемо стојећи талас

and that emergent sine curve of fire.

и јавља се ова ванредна синусоидна линија ватре.

So let's turn that off. We're indoors.

Хајде да ислључимо ово. Ипак смо у затвореном простору.

Thank you. (Applause)

Хвала вам. (Аплауз)

I also have with me a flame table.

Имам код себе и пламени сто.

It's very similar to a Rubens' tube, and it's also used

Веома је сличан Рубеновој цеви и такође се користи

for visualizing the physical properties of sound,

за визуализацију физичких особина звука,

such as eigenmodes, so let's fire it up

као што су секундарне фреквенције, па хајде да је упалимо

and see what it does.

и видимо шта ради.

Ooh. (Laughter)

Оох. (Смех)

Okay. Now, while the table comes up to pressure,

ОК. Сада, док сто не достигне притисак,

let me note here that the sound is not traveling

дозволите ми да напоменем да звук не путује дуж

in perfect lines. It's actually traveling in all directions,

савршених линија. У ствари, путује у свим правцима,

and the Rubens' tube's a little like bisecting those waves

и док Рубенова цев пресеца ове таласе

with a line, and the flame table's a little like

линијом, пламени сто као да

bisecting those waves with a plane,

пресеца ове таласе помоћу равни,

and it can show a little more subtle complexity, which is why

па може да прикаже нешто суптилнију сложеност, због чега

I like to use it to watch Geoff Farina play guitar.

и волим да је користим, да бих гледао како Џеф Фарина свира гитару.

(Music)

(Музика)

All right, so it's a delicate dance.

У реду, oво је нежан плес.

If you watch closely — (Applause)

Уколико пажљиво посматрате -- (Аплауз)

If you watch closely, you may have seen

можда сте видели

some of the eigenmodes, but also you may have seen

неке секундарне фреквенције, а можда сте видели и то

that jazz music is better with fire.

да је џез музика боља уз ватру.

Actually, a lot of things are better with fire in my world,

У ствари, много тога у мом свету је боље уз ватру,

but the fire's just a foundation.

али ватра је само основа.

It shows very well that eyes can hear,

Она веома добро показује оно што очи могу да чују,

and this is interesting to me because

и ово ми је интересантно, јер

technology allows us to present sound to the eyes

нам технологија дозвољава да представимо звук очима

in ways that accentuate the strength of the eyes

на начин који наглашава снагу очију

for seeing sound, such as the removal of time.

да виде звук, као смењивање времена.

So here, I'm using a rendering algorithm to paint

Овде користим алгоритам за "превођење", да бих насликао

the frequencies of the song "Smells Like Teen Spirit"

фреквенције песме "Smells Like Teen Spirit",

in a way that the eyes can take them in

тако да их очи могу прихватити

as a single visual impression, and the technique

као један визуелни утисак, а поступак

will also show the strengths of the visual cortex

ће такође показати способности визуелног кортекса

for pattern recognition.

да препозна образац.

So if I show you another song off this album,

Ако вам покажем joш једну песму са овог албума,

and another, your eyes will easily pick out

па још једну, ваше очи ће лако препознати

the use of repetition by the band Nirvana,

како група Нирвана користи понављање,

and in the frequency distribution, the colors,

а преко расподеле фреквенције, преко боја,

you can see the clean-dirty-clean sound

можете видети “чист-прљав-чист” звук

that they are famous for,

по ком су они познати,

and here is the entire album as a single visual impression,

а ту је и цео албум, као један визуелни утисак,

and I think this impression is pretty powerful.

и мислим да је утисак прилично моћан.

At least, it's powerful enough that

Бар је довољно моћан да,

if I show you these four songs,

уколико вам покажем ове четири песме,

and I remind you that this is "Smells Like Teen Spirit,"

и подсетим вас да је ово "Smells Like Teen Spirit”,

you can probably correctly guess, without listening

вероватно ћете погодити, без слушања

to any music at all, that the song

музике, да је ово песма

a die hard Nirvana fan would enjoy is this song,

у којој би загрижени фан Нирване уживао,

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around", групе Фу Фајтерс,

whose lead singer is Dave Grohl,

чији је водећи вокал Дејв Грол,

who was the drummer in Nirvana.

бивши бубњар Нирване.

The songs are a little similar, but mostly

Песме су помало сличне, али углавном

I'm just interested in the idea that someday maybe

ја сам само заинтересован за идеју, да ћемо можда једног дана

we'll buy a song because we like the way it looks.

куповати песму, јер нам се свиђа њен изглед.

All right, now for some more sound data.

Ево још мало података о звуку.

This is data from a skate park,

Ово je податак из скејт парка,

and this is Mabel Davis skate park

ово је скејт парк Мејбл Дејвис

in Austin, Texas. (Skateboard sounds)

у Остину, у Тексасу. (Звуци скејтборда)

And the sounds you're hearing came from eight

Звуци које чујете су допирали из осам

microphones attached to obstacles around the park,

микрофона причвршћених за препреке у парку,

and it sounds like chaos, but actually

и звучe хаотично, али, у ствари,

all the tricks start with a very distinct slap,

сви трикови почињу са веома јасним пљеском,

but successful tricks end with a pop,

a успешни трикови се заврше праском,

whereas unsuccessful tricks

док неуспешни трикови

more of a scratch and a tumble,

звуче више као шкрипање и тумбање,

and tricks on the rail will ring out like a gong, and

а трикови на огради звоне као гонг и

voices occupy very unique frequencies in the skate park.

гласови заузимају веома јединствене фреквенције у скејт парку.

So if we were to render these sounds visually,

Дакле, ако желимо да ове звуке изразимо визуелно,

we might end up with something like this.

можда ћемо добити нешто слично овоме.

This is all 40 minutes of the recording,

Ово је свих четрдесет минута записа

and right away the algorithm tells us

и алгоритам нам одмах говори

a lot more tricks are missed than are made,

да је много више неуспешних него успешних трикова,

and also a trick on the rails is a lot more likely

као и да трик на оградама чешће

to produce a cheer, and if you look really closely,

изазива клицање и ако стварно пажљиво погледате,

we can tease out traffic patterns.

можемо да издвојимо звуке саобраћаја.

You see the skaters often trick in this direction. The obstacles are easier.

Видите да скејтери често возе у овом правцу. Препреке су једноставније.

And in the middle of the recording, the mics pick this up,

Усред снимања микрофони хватају ово,

but later in the recording, this kid shows up,

али касније се појављује овај дечко

and he starts using a line at the top of the park

и почиње да користи трасу у горњем делу парка,

to do some very advanced tricks on something

да би извео неке веома напредне трикове

called the tall rail.

на такозваној високoj огради.

And it's fascinating. At this moment in time,

Ово је очаравајуће. У овом тренутку

all the rest of the skaters turn their lines 90 degrees

сви остали скејтери мењају правац кретања за 90 степени

to stay out of his way.

да би му се склонили са пута.

You see, there's a subtle etiquette in the skate park,

Видите, постоји скривени бонтон у скејт парку,

and it's led by key influencers,

који намећу најутицајнији,

and they tend to be the kids who can do the best tricks,

а то су клинци који изводе најбоље трикове,

or wear red pants, and on this day the mics picked that up.

или носе црвене панталоне, и овог дана микрофони су то покупили.

All right, from skate physics to theoretical physics.

Добро. Од физике скејтбординга до теоријске физике.

I'm a big fan of Stephen Hawking,

Ја сам велики обожаватељ Стивена Хокинга

and I wanted to use all eight hours

и хтео сам да искористим свих осам сати

of his Cambridge lecture series to create an homage.

његове серије предавања на Кембриџу, да одам поштовање.

Now, in this series he's speaking with the aid of a computer,

У овој серији он говори уз помоћ компјутера

which actually makes identifying the ends of sentences

који у ствари омогућава идентификацију крајева реченица

fairly easy. So I wrote a steering algorithm.

релативно лако. Дакле, написао сам управљачки алгоритам

It listens to the lecture, and then it uses

који преслушава предавања, а затим користи

the amplitude of each word to move a point on the x-axis,

амплитуду сваке речи да би померио тачку на x-оси

and it uses the inflection of sentences

и користи модулацију реченица

to move a same point up and down on the y-axis.

да би померио исту тачку на горе или на доле по y-оси.

And these trend lines, you can see, there's more questions

Овај смер линија, видите, показује да у законима физике има

than answers in the laws of physics,

више питања него одговора,

and when we reach the end of a sentence,

а кад стигнемо до краја реченице,

we place a star at that location.

поставимо звезду на том положају.

So there's a lot of sentences, so a lot of stars,

Има много реченица, тако много звезда,

and after rendering all of the audio, this is what we get.

и након што преведемо цео снимак, ево шта добијамо.

This is Stephen Hawking's universe.

Ово је васиона Стивена Хокинга.

(Applause)

(Аплауз)

It's all eight hours of the Cambridge lecture series

Ово су свих осам сати серије предавања на Кембриџу

taken in as a single visual impression,

узети као један визуелни утисак.

and I really like this image,

Заиста волим ову слику,

but a lot of people think it's fake.

али многи људи мисле да је лажна.

So I made a more interactive version,

Због тога сам направио интерактивнију верзију

and the way I did that is I used their position in time

тако што сам користио њихов положај у времену

in the lecture to place these stars into 3D space,

предавања да бих поставио звезде у 3D простор,

and with some custom software and a Kinect,

а уз помоћ прилагођеног софтвера и Кинект-а,

I can walk right into the lecture.

могу да уђем директно у предавање.

I'm going to wave through the Kinect here

Овде ћу махнути кроз Кинект

and take control, and now I'm going to reach out

и преузећу контролу, а сада ћу испружити руку

and I'm going to touch a star, and when I do,

и додирнути звезду, а кад то урадим,

it will play the sentence

она ће извести реченицу

that generated that star.

која је створила ту звезду.

Stephen Hawking: There is one, and only one, arrangement

Стивен Хокинг: “Постоји један, и само један, распоред

in which the pieces make a complete picture.

у ком делови стварају комплетну слику.”

Jared Ficklin: Thank you. (Applause)

Џаред Фиклин: Хвала вам. (Аплауз)

There are 1,400 stars.

Постоји 1 400 звезда.

It's a really fun way to explore the lecture,

Ово је заиста забаван начин истраживања предавања

and, I hope, a fitting homage.

и надам се одговарајући омаж.

All right. Let me close with a work in progress.

У реду. Дозволите ми да закључим са радом који је у току.

I think, after 30 years, the opportunity exists

Мислим да после 30 година, постоји повољна прилика

to create an enhanced version of closed captioning.

да се креира побољшана верзија адаптације за глуве.

Now, we've all seen a lot of TEDTalks online,

Сви смо видели доста TEDTalks онлајн,

so let's watch one now with the sound turned off

па хајде сад један да гледамо без звука

and the closed captioning turned on.

и са укљученом адаптацијом за глуве.

There's no closed captioning for the TED theme song,

Нема адаптације за основну музичку тему TED-а,

and we're missing it, but if you've watched enough of these,

она нам недостаје, али ако сте гледали довољно ових говора

you hear it in your mind's ear,

можете је чути у мислима,

and then applause starts.

после чега почиње аплауз.

It usually begins here, and it grows and then it falls.

Он обично почиње овде, расте и после опада.

Sometimes you get a little star applause,

Понекад добијете мали додатни аплауз,

and then I think even Bill Gates takes a nervous breath,

мислим да тада чак и Бил Гејтс нервозно удахне

and the talk begins.

и почиње говор.

All right, so let's watch this clip again.

У реду, хајде да одгледамо овај снимак поново.

This time, I'm not going to talk at all.

Овај пут нећу ништа говорити.

There's still going to be no audio,

И даље неће бити пратећег звука,

but what I am going to do is I'm going to render the sound

али ја ћу да направим звук

visually in real time at the bottom of the screen.

видљивим у реалном времену у дну екрана.

So watch closely and see what your eyes can hear.

Пажљиво гледајте и видите шта ваше очи могу да чују.

This is fairly amazing to me.

Мени је ово прилично запањујуће.

Even on the first view, your eyes will successfully

Чак и при првом прегледу ваше очи ће успешно

pick out patterns, but on repeated views,

препознати обрасце, али при поновним прегледима

your brain actually gets better

ваш мозак, у ствари, постаје успешнији

at turning these patterns into information.

у претварању ових образаца у информацију.

You can get the tone and the timbre

Можете да препознате тон и боју тона,

and the pace of the speech,

као и ритам говора

things that you can't get out of closed captioning.

податке које не можете добити адапатацијом за глуве.

That famous scene in horror movies

Та позната сцена из хорор филмова

where someone is walking up from behind

када се неко прикрада с леђа

is something you can see,

је нешто што можете видети

and I believe this information would be something

и ја верујем да би ова информација

that is useful at times when the audio is turned off

могла да буде корисна у време кад је звук искључен

or not heard at all, and I speculate that deaf audiences

или се уопште не чује. Претпостављам да глувим особама

might actually even be better

може бити и боље

at seeing sound than hearing audiences.

виђење звука, него особама које чују.

I don't know. It's a theory right now.

Не знам. За сада је то само теорија.

Actually, it's all just an idea.

У ствари, то је само идеја.

And let me end by saying that sound moves in all directions,

Дозволите ми да завршим речима да се звук, као и идеје,

and so do ideas.

креће у свим правцима.

Thank you. (Applause)

Хвала вам. (Аплауз)