Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Перекладач: Леонід Павловський Утверджено: Taras Demko

My passions

Я захоплююсь

are music, technology and making things.

музикою, технологіями та створенням речей

And it's the combination of these things

І поєнання цих захоплень

that has led me to the hobby of sound visualization,

привело мене до хоббі звукової візуалізації

and, on occasion, has led me to play with fire.

і, як наслідок, я граю з вогнем.

This is a Rubens' tube. It's one of many I've made over the years,

Це труба Рубенса, одна з багатьох, що я зробив за багато років

and I have one here tonight.

і вона в мене сьогодні із собою

It's about an 8-foot-long tube of metal,

це приблизно 2,5м залізної труби

it's got a hundred or so holes on top,

в якій зверху є орієнтовно сотня отворів,

on that side is the speaker, and here

з цієї сторони колонка, а тут

is some lab tubing, and it's connected to this tank

певна лабораторія труб, підключена до цього резервуару

of propane.

з пропаном.

So, let's fire it up and see what it does.

Що ж, запалімо її й побачимо, як це працює.

So let's play a 550-herz frequency

Зіграймо частоту 550 герц

and watch what happens.

і побачим, що відбудеться

(Frequency)

(частота)

Thank you. (Applause)

Дякую. (Оплески)

It's okay to applaud the laws of physics,

Аплодувати законам фізики цілком нормально,

but essentially what's happening here

але, по суті, тут відбулося наступне

-- (Laughter) --

--(Сміх)--

is the energy from the sound via the air and gas molecules

енергія звуку через повітря та молекули гасу

is influencing the combustion properties of propane,

впливає на згорання на властивості пропану

creating a visible waveform,

створюючи хвилю, яку можна побачити неозброєним оком

and we can see the alternating regions of compression

і ми можемо бачити чергування ділянок стиснення

and rarefaction that we call frequency,

та ще розрідження, яке називається частотою,

and the height is showing us amplitude.

і висота показує амплітуду.

So let's change the frequency of the sound,

Що ж, давайте змінимо частоту звуку

and watch what happens to the fire.

і подивимось, що станеться з вогнем

(Higher frequency)

(Більш високі частоти)

So every time we hit a resonant frequency we get a standing wave

Отже, щоразу коли ми включаємо резонансну частоту, з"являється стояча хвиля

and that emergent sine curve of fire.

і нову синусоїду вогню

So let's turn that off. We're indoors.

Давайте це виключимо, ми таки в приміщенні

Thank you. (Applause)

Дякую. (Оплески)

I also have with me a flame table.

Ще в мене з собою є стіл вогню

It's very similar to a Rubens' tube, and it's also used

Він дуже схожий на трубу Рубенса, і його також використовують

for visualizing the physical properties of sound,

для візуалізації фізичних властивостей звуку,

such as eigenmodes, so let's fire it up

наприклад, коливань. Давайте запалимо його

and see what it does.

і побачим, що станеться

Ooh. (Laughter)

Ох. (сміх)

Okay. Now, while the table comes up to pressure,

Гаразд. Поки стіл доходить до необхідного тиску

let me note here that the sound is not traveling

позвольте зауважити, що звук не пересувається

in perfect lines. It's actually traveling in all directions,

прямими лініями. Взагалі-то він мандрує на всі чотири сторони,

and the Rubens' tube's a little like bisecting those waves

і трубка Рубенса ніби розсікає їх

with a line, and the flame table's a little like

полосою, а стіл вогню

bisecting those waves with a plane,

розсікає їх на поверхності

and it can show a little more subtle complexity, which is why

та може відобразити тонші ньюанси коливань

I like to use it to watch Geoff Farina play guitar.

саме тому мені подобається користуватись ним, спостерігаючи гру Джеффа Фаріни на гітарі

(Music)

(Музика)

All right, so it's a delicate dance.

Ну ось, такий чуйний танець

If you watch closely — (Applause)

Якщо Ви уважно спостерігали - (Оплески)

If you watch closely, you may have seen

Якщо Ви уважно спостерігали, Ви мабуть помітили

some of the eigenmodes, but also you may have seen

деякі коливання, але Ви також Ви мабуть помітили

that jazz music is better with fire.

що джазова музика краще дивиться з вогником.

Actually, a lot of things are better with fire in my world,

Взагалі, у мому світі багато речей набагато кращі з вогнем

but the fire's just a foundation.

але вогонь - це лише база

It shows very well that eyes can hear,

Він дуже наглядно показує, що очі чують

and this is interesting to me because

і мене це цікавить, тому що

technology allows us to present sound to the eyes

технології позволяють нам сприйматти звук очима

in ways that accentuate the strength of the eyes

підкреслюючи могутність зору

for seeing sound, such as the removal of time.

щоб бачити звук як зміну часу

So here, I'm using a rendering algorithm to paint

Тут я використовую спеціальний алгоритм, щоб намалювати

the frequencies of the song "Smells Like Teen Spirit"

частоти пісні "Smells Like Teen Spirit"

in a way that the eyes can take them in

так, щоб можна було сприйняти її зором

as a single visual impression, and the technique

як єдине візуальне враження, а техніка

will also show the strengths of the visual cortex

до того ж покаже нам силу зорового сприйняття

for pattern recognition.

стосовно розпізнавання образів.

So if I show you another song off this album,

Отже, якщо я покажу Вам іншу пісню з цього альбому

and another, your eyes will easily pick out

а потім ще іншу, Ваш зір з легкістю визначить

the use of repetition by the band Nirvana,

повторення, що використовує гурт Nirvana

and in the frequency distribution, the colors,

і в розприділенні частот і кольорів

you can see the clean-dirty-clean sound

Ви побачите чистий-брудний-чистий звук

that they are famous for,

яким вони прославились

and here is the entire album as a single visual impression,

а ось весьальбом як єдине візуальне враження

and I think this impression is pretty powerful.

і я думаю, що це враження, є досить сильним.

At least, it's powerful enough that

Принаймні, достатньо сильним,

if I show you these four songs,

що коли я покажу Вам ці 4 пісні

and I remind you that this is "Smells Like Teen Spirit,"

і нагадаю Вам, що ось ця є "Smells Like Teen Spirit"

you can probably correctly guess, without listening

Ви, скорше за все, правильно вгадаєте не прослуховуючи

to any music at all, that the song

ніякої музики взагалі, що ця пісня

a die hard Nirvana fan would enjoy is this song,

сподобалась би фанату Нірвани

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around" від гурту Foo Fighters,

whose lead singer is Dave Grohl,

де вокалістом є Дейв Грол,

who was the drummer in Nirvana.

колишній барабанщик Нірвани

The songs are a little similar, but mostly

Пісні трохи схожі, але в основному

I'm just interested in the idea that someday maybe

мені цікава ідея того, що можливо колись

we'll buy a song because we like the way it looks.

ми будемо купляти пісню, тому що нам подобається як вона виглядає

All right, now for some more sound data.

Гаразд, а тепер ще кілька звукових даних.

This is data from a skate park,

Це дані зі скейт-парку

and this is Mabel Davis skate park

це є Mabel Davis скейт-парк

in Austin, Texas. (Skateboard sounds)

у місті Остін, штат Техас. (Звуки скейтбордів)

And the sounds you're hearing came from eight

Ці звуки були записані вісьмома

microphones attached to obstacles around the park,

мікрофонами, прикріпленими до бар"єрів по всьому парку

and it sounds like chaos, but actually

і це звучить як безлад, але взагалі

all the tricks start with a very distinct slap,

всі трюки почанаються з дуже характерного ляпаса,

but successful tricks end with a pop,

але успішні трюки закінчуються хлопком,

whereas unsuccessful tricks

у той час як невдалі -

more of a scratch and a tumble,

скреготінням і падінням.

and tricks on the rail will ring out like a gong, and

Трюки на перилах звенять, як гонг, і

voices occupy very unique frequencies in the skate park.

голоса займають унікаольну частоту в парку

So if we were to render these sounds visually,

Отже, якщо ми розкладемо ці звуки візуально

we might end up with something like this.

в нас вийде щось типу цього

This is all 40 minutes of the recording,

Це всі 40 хвилин запису,

and right away the algorithm tells us

і відразу ж алгоритм говорить нам

a lot more tricks are missed than are made,

набагато більше трюків провалили, ніж виконали

and also a trick on the rails is a lot more likely

а також трюки на перилах скорше ймовірніше

to produce a cheer, and if you look really closely,

провокують виклики захоплення, і якщо придивитись,

we can tease out traffic patterns.

можна спостерігати типові маршрути.

You see the skaters often trick in this direction. The obstacles are easier.

Скейтери частіше стрибають у цьому напрямку. Там перешкоди простіші.

And in the middle of the recording, the mics pick this up,

А по середині запису мікрофони записали ось таке

but later in the recording, this kid shows up,

але потім в записі з"являєтья цей хлопчина

and he starts using a line at the top of the park

і починає їздити через перила у верхній частині парку

to do some very advanced tricks on something

щоб виконувати трюки підвищеної складності на тому, що

called the tall rail.

називається високі перила

And it's fascinating. At this moment in time,

І це вражає. В цю мить

all the rest of the skaters turn their lines 90 degrees

всі інші скейтери повертають на 90 градусів

to stay out of his way.

щоб не вовтузитись йому під ногами.

You see, there's a subtle etiquette in the skate park,

Бачите, в скейт-парку існує тонкий етикет,

and it's led by key influencers,

який визначається найвправнішими,

and they tend to be the kids who can do the best tricks,

тобто тими, хто виконує найскланіші трюки

or wear red pants, and on this day the mics picked that up.

ну, або вдягають червоні штани. В той день мікрофони все це записали.

All right, from skate physics to theoretical physics.

Гаразд, від фізики скейтів до теоретичної фізики

I'm a big fan of Stephen Hawking,

Я великий шанувальник Стівена Хокінга,

and I wanted to use all eight hours

і я хотів би використати всі вісім годин

of his Cambridge lecture series to create an homage.

його лекцій Кембриджської серії, щоб виразити свою повагу.

Now, in this series he's speaking with the aid of a computer,

Тут він говорить за допомогою комп'ютера,

which actually makes identifying the ends of sentences

який фактично робить виявлення кінців речень

fairly easy. So I wrote a steering algorithm.

досить простим. Так що я написав ведучий механізм.

It listens to the lecture, and then it uses

Він слухає лекцію, а згодом використовує

the amplitude of each word to move a point on the x-axis,

амплітуду кожного слова, щоб рухати точку на осі ікс

and it uses the inflection of sentences

та інтонацію речень,

to move a same point up and down on the y-axis.

щоб переміщати точку по осі ігрик.

And these trend lines, you can see, there's more questions

З цих тенденцій видно, що

than answers in the laws of physics,

в законах фізики більше питань, ніж відповідей

and when we reach the end of a sentence,

і коли ми доходимо до кінця реченя

we place a star at that location.

ставимо туди зірку.

So there's a lot of sentences, so a lot of stars,

Отже, безліч речень - безліч зірок,

and after rendering all of the audio, this is what we get.

і після обробки всього звукозапису, ми отримуємо ось це.

This is Stephen Hawking's universe.

Ось він, всесвіт Стівена Хокінга

(Applause)

(Оплески)

It's all eight hours of the Cambridge lecture series

Це всі вісім годин Кембриджської серії лекцій

taken in as a single visual impression,

представлені як єдине візуалне враження,

and I really like this image,

і мені дуже подобається це зображення,

but a lot of people think it's fake.

але багато людей думають, що це підробка.

So I made a more interactive version,

Так що я зробив більш інтерактивну версію,

and the way I did that is I used their position in time

використовуючи положення зірок під час лекції

in the lecture to place these stars into 3D space,

розміщуючи їх у просторі. З допомогою спеціального

and with some custom software and a Kinect,

програмного забезпечення та контроллера Кінект

I can walk right into the lecture.

Я можу зайти прямо в лекцію.

I'm going to wave through the Kinect here

Я помахаю Кінекту,

and take control, and now I'm going to reach out

і віщьму контроль на себе

and I'm going to touch a star, and when I do,

і коли торкатимусь до зірки,

it will play the sentence

вона буде грати речення

that generated that star.

яке створила ця зірка.

Stephen Hawking: There is one, and only one, arrangement

Стівен Хокінг: Існує лише одне положення

in which the pieces make a complete picture.

в якому всі частини утворюють повну картину.

Jared Ficklin: Thank you. (Applause)

Джаред Фіклін: Дякую. (Оплески)

There are 1,400 stars.

Тут є 1400 зірок.

It's a really fun way to explore the lecture,

Це дійсно веселий спосіб вивчити лекції

and, I hope, a fitting homage.

і, сподіваюся, достойний знак поваги.

All right. Let me close with a work in progress.

Гаразд, позвольте закінчити показавши ще одну працю

I think, after 30 years, the opportunity exists

Я думаю, що через 30 років буде можливість

to create an enhanced version of closed captioning.

створювати розширену версію субтитрів.

Now, we've all seen a lot of TEDTalks online,

Ми всі бачили велику кількість виступів на TEDTalks онлайн,

so let's watch one now with the sound turned off

так давайте зараз спробуємо подивитись один з виключеним звуком

and the closed captioning turned on.

і включеними субтитрами

There's no closed captioning for the TED theme song,

Для музичної заставки ТЕD субтитрів немає

and we're missing it, but if you've watched enough of these,

ми її пропускаємо, але якщо Ви переглянули достатню кількість відео,

you hear it in your mind's ear,

Ви почуєте її в голові,

and then applause starts.

потім починаються оплески

It usually begins here, and it grows and then it falls.

Зазвичай вони починаються тут, голоснішають, а потім стихають

Sometimes you get a little star applause,

Інколи буває таке, що зіркам аплодують подовше,

and then I think even Bill Gates takes a nervous breath,

і тоді, думаю, навіть Біл Гейтс нервово видихає

and the talk begins.

і починає говорити.

All right, so let's watch this clip again.

Гаразд, гляньмо цей ролик ще раз.

This time, I'm not going to talk at all.

На цей раз, я мовчатиму.

There's still going to be no audio,

Там все ще не буде звуку

but what I am going to do is I'm going to render the sound

але ось, що я зроблю - я винесу звук

visually in real time at the bottom of the screen.

візуально в режимі реального часу в нижній частині екрану.

So watch closely and see what your eyes can hear.

Дивіться уважно і спостерігайте, що чують Ваші очі.

This is fairly amazing to me.

Як на мене це неймовірно.

Even on the first view, your eyes will successfully

Навіть з першого разу, Ваші очі

pick out patterns, but on repeated views,

успішно виділяють послідовності, але наступні рази

your brain actually gets better

Ваш мозок вже краще

at turning these patterns into information.

трансформує послідовності в інформацію.

You can get the tone and the timbre

Ви вже можете зрозуміти інтонацію

and the pace of the speech,

і швидкість мовлення,

things that you can't get out of closed captioning.

речі, яких Ви не отримуєте із субтитрів.

That famous scene in horror movies

Знаменита сцена з фільмів жахів,

where someone is walking up from behind

в якій хтось підкрадається ззаду -

is something you can see,

це те, що ви бачите

and I believe this information would be something

і я вірю, що ця інформація була чимось

that is useful at times when the audio is turned off

корисною і без звуку.

or not heard at all, and I speculate that deaf audiences

і я гадаю, що глухий глядач

might actually even be better

насправді міг би навіть

at seeing sound than hearing audiences.

краще вприймати звук, ніж звичайний глядач

I don't know. It's a theory right now.

Я не знаю. Це на разі лише теорія.

Actually, it's all just an idea.

Взагалі-то, це всього лише ідея.

And let me end by saying that sound moves in all directions,

Закінчу, сказавши, що звук рухається у всіх напрямках,

and so do ideas.

так само як ідеї

Thank you. (Applause)

Дякую. (Оплески)