Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Translator: Darina Stoyanova Reviewer: Dima Grozeva

My passions

Моите страсти

are music, technology and making things.

са музика, технология и правене на неща.

And it's the combination of these things

И комбинацията от тези неща

that has led me to the hobby of sound visualization,

е тoва, което ме доведе до хобито на звукова визуализация,

and, on occasion, has led me to play with fire.

и, понякога ме кара да си играя с огъня.

This is a Rubens' tube. It's one of many I've made over the years,

Това е Рубенс тръба. Тя е една от многото, които съм направил през годините,

and I have one here tonight.

и имам една тук тази вечер.

It's about an 8-foot-long tube of metal,

Тя е около 8-фута дълга метална тръба,

it's got a hundred or so holes on top,

има над сто дупки отгоре,

on that side is the speaker, and here

от тази страна е високоговорителя, както и тук

is some lab tubing, and it's connected to this tank

има няколко лабораторни тръбички, свързани към този резервоар

of propane.

с пропан.

So, let's fire it up and see what it does.

Така че нека да я стартираме и да видим какво прави.

So let's play a 550-herz frequency

Така че нека да пуснем 550 Херца честота

and watch what happens.

и да видим какво става.

(Frequency)

(Честота)

Thank you. (Applause)

Благодаря ви. (Аплодисменти)

It's okay to applaud the laws of physics,

Хубаво е да се аплодират законите на физиката,

but essentially what's happening here

но по същество какво се случва тук

-- (Laughter) --

--(Смях)--

is the energy from the sound via the air and gas molecules

е, че енергията от звука чрез молекулите на въздуха и газове

is influencing the combustion properties of propane,

влияят на горителните свойства на пропана,

creating a visible waveform,

създавайки видима вълнова форма,

and we can see the alternating regions of compression

и може да видим различните региони на компресия

and rarefaction that we call frequency,

и разреждане, които наричаме честота,

and the height is showing us amplitude.

и височината ни показва амплитудата.

So let's change the frequency of the sound,

Така че нека да променим честотата на звука,

and watch what happens to the fire.

и да видим какво става с огъня.

(Higher frequency)

(По-висока честота)

So every time we hit a resonant frequency we get a standing wave

Така всеки път, когато улучим резонансната честота получаваме стояща вълна

and that emergent sine curve of fire.

и тази възникваща синусова крива на огъня.

So let's turn that off. We're indoors.

Така че нека да го изключим. Ние сме на закрито.

Thank you. (Applause)

Благодаря ви. (Аплодисменти)

I also have with me a flame table.

Аз също имам с мен пламтяща маса.

It's very similar to a Rubens' tube, and it's also used

Тя е много подобна на Рубенс тръбата, и се използва

for visualizing the physical properties of sound,

за онагледяване на физичните свойства на звука,

such as eigenmodes, so let's fire it up

като ейгенмоудс, така че нека да го стартираме

and see what it does.

и да видим какво прави.

Ooh. (Laughter)

Ooх. (Смях)

Okay. Now, while the table comes up to pressure,

Добре. Сега, докато налягането на масата се покачва,

let me note here that the sound is not traveling

нека отбележа тук, че звукът не пътува

in perfect lines. It's actually traveling in all directions,

в перфектни линии. Всъщност пътува във всички посоки,

and the Rubens' tube's a little like bisecting those waves

и Рубенс тръбата като че ли разсича тези вълни

with a line, and the flame table's a little like

с линия, и пламтящата маса като че ли

bisecting those waves with a plane,

разсича тези вълни с равнина,

and it can show a little more subtle complexity, which is why

и може да покаже по-финна сложност, което е защо

I like to use it to watch Geoff Farina play guitar.

обичам да го използвам, за да гледам Джеф Фарина да свири на китара.

(Music)

(Музика)

All right, so it's a delicate dance.

Добре, това е деликатен танц.

If you watch closely — (Applause)

Ако гледате внимателно – (Аплодисменти)

If you watch closely, you may have seen

Ако гледате внимателно, може да сте видяли

some of the eigenmodes, but also you may have seen

някои от ейгенмоудс, но също може да сте забелязали,

that jazz music is better with fire.

че джаз музиката е по-добра с огън.

Actually, a lot of things are better with fire in my world,

Всъщност, много неща са по-добри с огън в моя свят,

but the fire's just a foundation.

но огъня е просто фондация.

It shows very well that eyes can hear,

Той показва много добре, че очите могат да чуват,

and this is interesting to me because

и това ми е интересно защото

technology allows us to present sound to the eyes

технологията ни позволява да представим звук на очите

in ways that accentuate the strength of the eyes

по начини, които акцентират силата на очите

for seeing sound, such as the removal of time.

за виждане на звук, например премахването на времето.

So here, I'm using a rendering algorithm to paint

Така че, тук използвам алгоритъм с рендиране за да рисувате

the frequencies of the song "Smells Like Teen Spirit"

честотата на песента "Мирише като младежки дух"

in a way that the eyes can take them in

по такъв начин, че очите могат да го приемат

as a single visual impression, and the technique

като единствена визуална представа, както и техниката

will also show the strengths of the visual cortex

ще покаже също силните страни на визуалния кортекс

for pattern recognition.

за разпознаване на модели.

So if I show you another song off this album,

Така че, ако ви покажа друга песен от този албум,

and another, your eyes will easily pick out

и друга, очите ви лесно ще изберат

the use of repetition by the band Nirvana,

използването на повторение от групата Нирвана,

and in the frequency distribution, the colors,

и в разпределението на честотата, цветовете,

you can see the clean-dirty-clean sound

можете да видите чисто мръсния чист звук

that they are famous for,

с който те са известни,

and here is the entire album as a single visual impression,

и ето и целият албум като единна визуална представа,

and I think this impression is pretty powerful.

и мисля, че това впечатление е доста мощно.

At least, it's powerful enough that

Най-малкото, е достатъчно мощно,

if I show you these four songs,

че ако ви покажа тези четири песни,

and I remind you that this is "Smells Like Teen Spirit,"

и ви напомня, че това е "Мирише като младежки дух"

you can probably correctly guess, without listening

можете вероятно правилно да предположите, без да слушате

to any music at all, that the song

която и да е музика, че песента

a die hard Nirvana fan would enjoy is this song,

на която запален фен на Нирвана ще се наслади, е тази песен,

"I'll Stick Around" by the Foo Fighters,

"Ще съм наоколо" на Фу Файтърс,

whose lead singer is Dave Grohl,

чийто вокалист е Дейв Грол,

who was the drummer in Nirvana.

който бе барабаниста на Нирвана.

The songs are a little similar, but mostly

Песните са малко сходни, но най-вече

I'm just interested in the idea that someday maybe

просто съм заинтересован от идеята, че някой ден може би

we'll buy a song because we like the way it looks.

ще купим една песен, защото ни харесва начина, по който изглежда.

All right, now for some more sound data.

Добре, сега някои по-добри данни.

This is data from a skate park,

Това са данни от скейтинг парк,

and this is Mabel Davis skate park

и това е Мейбъл Дейвис скейт парк

in Austin, Texas. (Skateboard sounds)

в Остин, Тексас. (Скейтборд звуци)

And the sounds you're hearing came from eight

И звуците, които чувате идват от осем

microphones attached to obstacles around the park,

микрофона, прикачени към препятствия около парка,

and it sounds like chaos, but actually

и това звучи като хаос, но всъщност

all the tricks start with a very distinct slap,

всички трикове започват с много обособен удар,

but successful tricks end with a pop,

но успешните трикове завършват с поп,

whereas unsuccessful tricks

докато неуспешните трикове

more of a scratch and a tumble,

повече с драскане и падане,

and tricks on the rail will ring out like a gong, and

и триковете върху релсата ще звънят като гонг, и

voices occupy very unique frequencies in the skate park.

гласовете заемат много уникални честоти в скейтинг парка.

So if we were to render these sounds visually,

Така че, ако можехме да покажем тези звуци визуално,

we might end up with something like this.

ще можем да завършим с нещо подобно.

This is all 40 minutes of the recording,

Това са всички 40 минути на записа,

and right away the algorithm tells us

и веднага алгоритъма ни показва

a lot more tricks are missed than are made,

че много повече трикове се пропуснати отколкото са направени,

and also a trick on the rails is a lot more likely

и също така, че трика на релси е много по-вероятно

to produce a cheer, and if you look really closely,

да предизвика овации, и ако погледнете наистина отблизо,

we can tease out traffic patterns.

можем да извлечем моделите на трафика.

You see the skaters often trick in this direction. The obstacles are easier.

Можете да видите скейтърите често правят трикове в тази посока. Пречките са по-лесни.

And in the middle of the recording, the mics pick this up,

И в средата на записа, микрофони хващат това,

but later in the recording, this kid shows up,

но по-късно в записа, това хлапе се появява,

and he starts using a line at the top of the park

и започва да използва линия в горната част на парка

to do some very advanced tricks on something

за да направи някои много напреднали трикове на нещо

called the tall rail.

наречено високата релса.

And it's fascinating. At this moment in time,

И това е очарователно. В този момент във времето,

all the rest of the skaters turn their lines 90 degrees

всички останали скейтъри обръщат линиите си на 90 градуса

to stay out of his way.

да стоят далеч от пътя му.

You see, there's a subtle etiquette in the skate park,

Вижте, има лек етикет в скейтинг парка,

and it's led by key influencers,

и е воден от тези с ключово влияние,

and they tend to be the kids who can do the best tricks,

и това са обикновено хлапета, които могат да направят най-добрите трикове,

or wear red pants, and on this day the mics picked that up.

или да носят червени панталони, и на този ден микрофоните хванаха това..

All right, from skate physics to theoretical physics.

Добре, от скейт физика до теоретична физика.

I'm a big fan of Stephen Hawking,

Аз съм голям фен на Стивън Хокинг,

and I wanted to use all eight hours

и исках да използвам всички осем часа

of his Cambridge lecture series to create an homage.

на серията му от лекции в Кеймбридж за да го почета.

Now, in this series he's speaking with the aid of a computer,

Сега, в тази поредица той говори с помощта на компютър,

which actually makes identifying the ends of sentences

което всъщност идентифицира краищата на изреченията

fairly easy. So I wrote a steering algorithm.

доста лесно. Така че написах водещ алгоритъм.

It listens to the lecture, and then it uses

Той слуша лекцията, и след това използва

the amplitude of each word to move a point on the x-axis,

амплитудата на всяка дума, за да премести дадена точка на абсцисата,

and it uses the inflection of sentences

и използва интонацията на изреченията

to move a same point up and down on the y-axis.

за да премести нагоре и надолу същата точка на оста y.

And these trend lines, you can see, there's more questions

И тези линии на тенденция, можете да видите, има повече въпроси

than answers in the laws of physics,

от отговори в законите на физиката,

and when we reach the end of a sentence,

и когато достигнем края на изречение,

we place a star at that location.

поставяме звезда на това място.

So there's a lot of sentences, so a lot of stars,

Така че има много изречения и има много звезди,

and after rendering all of the audio, this is what we get.

и след обработване на цялото аудио, това е, което получаваме.

This is Stephen Hawking's universe.

Това е вселената на Стивън Хокинг.

(Applause)

(Аплодисменти)

It's all eight hours of the Cambridge lecture series

Това са всички осем часа на серията лекции от Кеймбридж

taken in as a single visual impression,

взети като единна визуална представа,

and I really like this image,

и наистина харесвам това изображение,

but a lot of people think it's fake.

но много хора мислят, че е фалшиво.

So I made a more interactive version,

Така че направих по-интерактивна версия,

and the way I did that is I used their position in time

и начина, по който го направих е, че използвах положението във времето

in the lecture to place these stars into 3D space,

в лекцията да поставя тези звезди в три-измерно пространство,

and with some custom software and a Kinect,

и със специализиран софтуер и Кинект,

I can walk right into the lecture.

мога да вляза директно в лекцията.

I'm going to wave through the Kinect here

Ще махна с ръка през Кинект тук

and take control, and now I'm going to reach out

и поемам управлението, и сега ще се пресегна

and I'm going to touch a star, and when I do,

и ще докосна звезда, и когато го направя,

it will play the sentence

то ще изсвири изречението

that generated that star.

което генерира тази звезда.

Stephen Hawking: There is one, and only one, arrangement

Стивън Хокинг: Има едно, и само едно, подреждане

in which the pieces make a complete picture.

в което парчетата правят пълна картина.

Jared Ficklin: Thank you. (Applause)

Джаред Фиклин: Благодаря ви. (Аплодисменти)

There are 1,400 stars.

Има 1400 звезди.

It's a really fun way to explore the lecture,

Това е наистина забавен начин да се изследва лекцията,

and, I hope, a fitting homage.

и, се надявам, достоен почит.

All right. Let me close with a work in progress.

Добре. Нека да приключа с текущата работа.

I think, after 30 years, the opportunity exists

Мисля, след 30 години, съществува възможност

to create an enhanced version of closed captioning.

да се създаде подобрена версия на затворените надписи.

Now, we've all seen a lot of TEDTalks online,

Сега, всички сме гледали много TEDTalks онлайн,

so let's watch one now with the sound turned off

така че нека да гледаме един сега с изключен звук

and the closed captioning turned on.

и с включени надписи.

There's no closed captioning for the TED theme song,

Няма никакви надписи за тематичната песен на ТЕД,

and we're missing it, but if you've watched enough of these,

и липсва, но ако сте гледали достатъчно от тези,

you hear it in your mind's ear,

ще я чуете в ума си,

and then applause starts.

и след това започват аплодисментите.

It usually begins here, and it grows and then it falls.

Обикновено започва тук и нараства и след това пада.

Sometimes you get a little star applause,

Понякога получавате малка звезда аплодисменти,

and then I think even Bill Gates takes a nervous breath,

и след това мисля, че дори Бил Гейтс поема нервно дъх,

and the talk begins.

и започва да говори.

All right, so let's watch this clip again.

Добре, нека да гледаме този клип отново.

This time, I'm not going to talk at all.

Този път, няма да говоря изобщо.

There's still going to be no audio,

Все още ще бъде без аудио,

but what I am going to do is I'm going to render the sound

но какво ще направя е, че ще обработя звука

visually in real time at the bottom of the screen.

визуално в реално време в дъното на екрана.

So watch closely and see what your eyes can hear.

Така че гледайте внимателно и вижте какво могат да чуят очите ви.

This is fairly amazing to me.

Това е доста невероятно за мен.

Even on the first view, your eyes will successfully

Дори на първи поглед очите ви успешно

pick out patterns, but on repeated views,

ще схванат моделите, но при повторни виждания,

your brain actually gets better

Вашият мозък действително става все по-добър

at turning these patterns into information.

в превръщането на тези модели в информация.

You can get the tone and the timbre

Можете да усетите тона и тембъра

and the pace of the speech,

и ритъма на речта,

things that you can't get out of closed captioning.

неща, които не можете да получите от субтитри.

That famous scene in horror movies

Тази известна сцена в филми на ужасите

where someone is walking up from behind

където някой се появява отзад

is something you can see,

е нещо, което можете да видите,

and I believe this information would be something

и вярвам, че тази информация ще бъде нещо

that is useful at times when the audio is turned off

което е полезно в периоди, когато е изключено аудиото

or not heard at all, and I speculate that deaf audiences

или не се чува изобщо, и аз смятам, че глухата аудитория

might actually even be better

всъщност дори може да бъде по-добра

at seeing sound than hearing audiences.

при виждане на звук от чуващата публика.

I don't know. It's a theory right now.

Не знам. Това е теория в момента.

Actually, it's all just an idea.

Всъщност това е просто една идея.

And let me end by saying that sound moves in all directions,

И нека завърша казвайки, че звука се движи във всички посоки,

and so do ideas.

както и идеите.

Thank you. (Applause)

Благодаря ви. (Аплодисменти)