Jared Ficklin: New ways to see music (with color! and fire!)

Джаред Фиклин: Новый способ видеть музыку (Цветом! И огнём!)

Translator: Joseph Geni Reviewer: Morton Bast

Переводчик: Angelina Bodishtianu von Oltine Редактор: Aliaksandr Autayeu

My passions

Мои увлечения — музыка,

are music, technology and making things.

технологии и конструирование.

And it's the combination of these things

И сочетание именно этих вещей

that has led me to the hobby of sound visualization,

привело меня к увлечению визуализацией звука,

and, on occasion, has led me to play with fire.

а иногда и к игре с огнём.

This is a Rubens' tube. It's one of many I've made over the years,

Это трубка Рубена. Одна из многих, которые я создал за последние годы.

and I have one here tonight.

Одну трубку я сегодня принёс с собой.

It's about an 8-foot-long tube of metal,

Это металлическая труба примерно 2,5 метра длиной.

it's got a hundred or so holes on top,

В ней сверху сделано примерно 100 дырок,

on that side is the speaker, and here

с этой стороны колонка, а тут — несколько

is some lab tubing, and it's connected to this tank

лабораторных трубок, которые соединены

of propane.

с баллоном пропана.

So, let's fire it up and see what it does.

Итак, давайте её подожжём и посмотрим, что она делает.

So let's play a 550-herz frequency

Давайте включим частоту в 550 Герц

and watch what happens.

и посмотрим, что произойдёт.

(Frequency)

(Шумовые колебания)

Thank you. (Applause)

Спасибо. (Аплодисменты)

It's okay to applaud the laws of physics,

Здорово аплодировать законам физики,

but essentially what's happening here

но по сути, что тут происходит —

-- (Laughter) --

(Смех)

is the energy from the sound via the air and gas molecules

энергия звука через молекулы воздуха и газа

is influencing the combustion properties of propane,

влияет на свойства горения пропана,

creating a visible waveform,

создавая видимую волну,

and we can see the alternating regions of compression

и мы видим переменные промежутки уплотнения

and rarefaction that we call frequency,

и разрежение, которые мы называем частотой,

and the height is showing us amplitude.

а высота показывает нам амплитуду.

So let's change the frequency of the sound,

Давайте сменим частоту звука

and watch what happens to the fire.

и посмотрим, что происходит с огнём.

(Higher frequency)

(Более высокая частота)

So every time we hit a resonant frequency we get a standing wave

Натыкаясь на резонирующую частоту, мы получаем устойчивую волну

and that emergent sine curve of fire.

и новую синусоиду огня.

So let's turn that off. We're indoors.

Давайте это выключим. Мы в помещении.

Thank you. (Applause)

Спасибо. (Аплодисменты)

I also have with me a flame table.

Ещё у меня с собой есть стол огня.

It's very similar to a Rubens' tube, and it's also used

Он очень похож на трубку Рубена, и его тоже используют

for visualizing the physical properties of sound,

для визуализации физических свойств звука,

such as eigenmodes, so let's fire it up

например колебаний. Давайте его подожжём

and see what it does.

и посмотрим, что будет.

Ooh. (Laughter)

Ох. (Смех)

Okay. Now, while the table comes up to pressure,

Хорошо. Пока стол доходит до верного давления,

let me note here that the sound is not traveling

позвольте мне заметить, что звук не передвигается

in perfect lines. It's actually traveling in all directions,

прямыми линиями. Он путешествует во все направления,

and the Rubens' tube's a little like bisecting those waves

и трубка Рубена как бы рассекает

with a line, and the flame table's a little like

эти волны полосой, а стол огня

bisecting those waves with a plane,

рассекает их на плоскости.

and it can show a little more subtle complexity, which is why

Он может показывать более сложные нюансы колебаний.

I like to use it to watch Geoff Farina play guitar.

Мне нравится использовать его, наблюдая, как Джэфф Фарина играет на гитаре.

(Music)

(Музыка)

All right, so it's a delicate dance.

Ну вот — деликатный танец.

If you watch closely — (Applause)

Если вы присмотритесь — (Аплодисменты)

If you watch closely, you may have seen

если вы присматривались, вы, возможно, заметили

some of the eigenmodes, but also you may have seen

некоторые колебания, но вдобавок, вы, может быть, ещё заметили,

that jazz music is better with fire.

что джаз смотрится лучше с огнём.

Actually, a lot of things are better with fire in my world,

Вообще, много вещей лучше выглядят с огнём,

but the fire's just a foundation.

но огонь — это только база.

It shows very well that eyes can hear,

Он отлично показывает то, что слышат глаза,

and this is interesting to me because

и это меня интересует, потому что

technology allows us to present sound to the eyes

технологии позволяют нам воспринимать звук глазами,

in ways that accentuate the strength of the eyes

улучшая силу зрения,

for seeing sound, such as the removal of time.

чтобы видеть звук как изменение времени.

So here, I'm using a rendering algorithm to paint

Здесь я использую специальный алгоритм, чтобы нарисовать

the frequencies of the song "Smells Like Teen Spirit"

частоты песни «Повеяло духом подростка»

in a way that the eyes can take them in

так, чтобы можно было вобрать её глазами

as a single visual impression, and the technique

как единое визуальное впечатление, и техника

will also show the strengths of the visual cortex

к тому же покажет силу зрительного восприятия

for pattern recognition.

касательно распознавания узоров.

So if I show you another song off this album,

Если я покажу вам ещё одну песню из этого альбома,

and another, your eyes will easily pick out

и ещё одну, ваши глаза с лёгкостью определят

the use of repetition by the band Nirvana,

повторения, использованные Нирваной.

and in the frequency distribution, the colors,

В распределении частоты и цветов

you can see the clean-dirty-clean sound

вы увидите чистый-мутный-чистый звук,

that they are famous for,

благодаря которому они прославились.

and here is the entire album as a single visual impression,

А вот весь альбом в виде единого изображения;

and I think this impression is pretty powerful.

это производит довольно сильное впечатление.

At least, it's powerful enough that

По крайней мере, оно настолько сильное,

if I show you these four songs,

что если я покажу вам четыре песни

and I remind you that this is "Smells Like Teen Spirit,"

и напомню, что вот эта — «Повеяло духом подростка»,

you can probably correctly guess, without listening

вы, скорее всего, сможете правильно угадать, не прослушивая

to any music at all, that the song

никакой музыки вовсе, что песня, которая

a die hard Nirvana fan would enjoy is this song,

понравилась бы фанату Нирваны —

"I'll Stick Around" by the Foo Fighters,

эта песня «Я останусь» в исполнении Фу Файтеров,

whose lead singer is Dave Grohl,

главный певец который Дэйв Грол,

who was the drummer in Nirvana.

бывший барабанщик Нирваны.

The songs are a little similar, but mostly

Песни немного похожи, но в основном

I'm just interested in the idea that someday maybe

мне интересна идея, что когда-нибудь, возможно,

we'll buy a song because we like the way it looks.

мы будем покупать песню, потому что нам нравится, как она выглядит.

All right, now for some more sound data.

Ну, ладно, вот ещё немного звуковых данных.

This is data from a skate park,

Это данные из скейт-парка.

and this is Mabel Davis skate park

Это парк Марбэл Дэвис

in Austin, Texas. (Skateboard sounds)

в Остин, штат Техас. (Звуки скейтбордов)

And the sounds you're hearing came from eight

Эти звуки были записаны восемью микрофонами,

microphones attached to obstacles around the park,

прикреплёнными к препятствиям по всему парку,

and it sounds like chaos, but actually

и звучит это, как беспорядок;

all the tricks start with a very distinct slap,

но на деле все трюки начинаются с характерного шлепка,

but successful tricks end with a pop,

удачные трюки заканчиваются хлопком,

whereas unsuccessful tricks

а неудачные трюки —

more of a scratch and a tumble,

скрежетом и падением.

and tricks on the rail will ring out like a gong, and

Трюки на перилах звенят, как гонг, и голоса занимают

voices occupy very unique frequencies in the skate park.

уникальную частоту в парке.

So if we were to render these sounds visually,

Итак, если мы разложим эти звуки визуально,

we might end up with something like this.

у нас получится, что-то вроде этого.

This is all 40 minutes of the recording,

Это все 40 минут записи.

and right away the algorithm tells us

Алгоритм нам сразу показывает

a lot more tricks are missed than are made,

намного больше трюков-промахов, чем удавшихся.

and also a trick on the rails is a lot more likely

Трюк на перилах, вероятнее всего,

to produce a cheer, and if you look really closely,

вызывает возглас восторга, и если присмотреться,

we can tease out traffic patterns.

мы можем выделить узоры движения.

You see the skaters often trick in this direction. The obstacles are easier.

Скейтеры чаще прыгают в этом направлении. Там препятствия легче.

And in the middle of the recording, the mics pick this up,

А в середине записи микрофоны записали вот это,

but later in the recording, this kid shows up,

но потом в записи появляется вот этот парень,

and he starts using a line at the top of the park

он начинает использовать перила в верхней части парка,

to do some very advanced tricks on something

делая очень продвинутые трюки на чём-то, что называют

called the tall rail.

высокие перила.

And it's fascinating. At this moment in time,

Это впечатляет. В данный момент времени

all the rest of the skaters turn their lines 90 degrees

остальные скейтеры поворачивают на 90 градусов,

to stay out of his way.

чтобы ему не мешать.

You see, there's a subtle etiquette in the skate park,

Видите, в скейт-парке существует тонкий этикет,

and it's led by key influencers,

он определяется самыми продвинутыми,

and they tend to be the kids who can do the best tricks,

то есть теми, кто делает самые сложные трюки,

or wear red pants, and on this day the mics picked that up.

ну, или одевают красные штаны. В тот день микрофоны всё это записали.

All right, from skate physics to theoretical physics.

Итак, от физики скейтов до теоретической физики.

I'm a big fan of Stephen Hawking,

Я большой фанат Стивена Хокинга,

and I wanted to use all eight hours

и я хотел использовать все 8 часов

of his Cambridge lecture series to create an homage.

его лекций из Кембриджской серии, чтобы показать своё уважение.

Now, in this series he's speaking with the aid of a computer,

В этой серии он говорит с помощью компьютера,

which actually makes identifying the ends of sentences

что позволяет без проблем опознать

fairly easy. So I wrote a steering algorithm.

концы предложений. Я написал ведущий алгоритм.

It listens to the lecture, and then it uses

Он слушает лекцию, а затем использует

the amplitude of each word to move a point on the x-axis,

амплитуду каждого слова, чтобы двигать точку на оси X,

and it uses the inflection of sentences

и интонацию предложений,

to move a same point up and down on the y-axis.

чтобы двигать точку по оси Y.

And these trend lines, you can see, there's more questions

По этим тенденциям видно, что в законах физики

than answers in the laws of physics,

больше вопросов, чем ответов,

and when we reach the end of a sentence,

а когда мы доходим до конца предложения,

we place a star at that location.

ставим туда звезду.

So there's a lot of sentences, so a lot of stars,

Итак, множество предложений — большое количество звёзд,

and after rendering all of the audio, this is what we get.

и после обработки всей звукозаписи, мы получаем вот это.

This is Stephen Hawking's universe.

Это вселенная Стивена Хокинга.

(Applause)

(Аплодисменты)

It's all eight hours of the Cambridge lecture series

Это все 8 часов серии Кембриджских лекций,

taken in as a single visual impression,

представленных как единое визуальное впечатление,

and I really like this image,

и мне очень нравится эта картинка,

but a lot of people think it's fake.

но многие считают, что она подделана.

So I made a more interactive version,

Так что я сделал более интерактивную версию,

and the way I did that is I used their position in time

используя положения звёзд во время лекции,

in the lecture to place these stars into 3D space,

размещая их в пространстве. С помощью специального

and with some custom software and a Kinect,

программного обеспечения и контроллера Кинект,

I can walk right into the lecture.

я могу войти прямо в лекцию.

I'm going to wave through the Kinect here

Я помашу Кинекту, возьму контроль на себя,

and take control, and now I'm going to reach out

сейчас я дотянусь,

and I'm going to touch a star, and when I do,

и дотронусь до звезды. Когда я это сделаю,

it will play the sentence

воспроизведётся предложение,

that generated that star.

которое создало эту звезду.

Stephen Hawking: There is one, and only one, arrangement

Стивен Хокинг: Существует одно и только одно положение,

in which the pieces make a complete picture.

в котором все части создают целую картину.

Jared Ficklin: Thank you. (Applause)

Джаред Фиклин: Спасибо. (Аплодисменты)

There are 1,400 stars.

Тут 1 400 звёзд.

It's a really fun way to explore the lecture,

Это очень интересный способ изучать лекцию,

and, I hope, a fitting homage.

и я надеюсь — достойный знак уважения.

All right. Let me close with a work in progress.

Ну, хорошо. Позвольте закончить, показав ещё одну работу.

I think, after 30 years, the opportunity exists

Думаю, спустя 30 лет будет возможность

to create an enhanced version of closed captioning.

создавать расширенную версию субтитров.

Now, we've all seen a lot of TEDTalks online,

Мы все видели большое количество выступлений TEDTalks в сети,

so let's watch one now with the sound turned off

так давайте сейчас посмотрим одно с выключенным звуком

and the closed captioning turned on.

и со включёнными субтитрами.

There's no closed captioning for the TED theme song,

Для музыкальной темы TED субтитров нет,

and we're missing it, but if you've watched enough of these,

мы её пропускаем, но если вы посмотрели достаточно таких видео,

you hear it in your mind's ear,

вы слышите её у себя в голове.

and then applause starts.

Потом начинаются аплодисменты.

It usually begins here, and it grows and then it falls.

Обычно они начинаются тут, становятся громче, потом утихают.

Sometimes you get a little star applause,

Иногда бывает, что звёздам аплодируют подольше,

and then I think even Bill Gates takes a nervous breath,

и, думаю, даже Билл Гейтс нервно вздыхает,

and the talk begins.

затем начинается речь.

All right, so let's watch this clip again.

Итак, давайте посмотрим этот клип ещё раз.

This time, I'm not going to talk at all.

В этот раз я помолчу.

There's still going to be no audio,

Будет звук,

but what I am going to do is I'm going to render the sound

но вот что я сделаю — я вынесу звук

visually in real time at the bottom of the screen.

визуально в том же времени вниз экрана.

So watch closely and see what your eyes can hear.

Смотрите внимательно и замечайте, что слышат ваши глаза.

This is fairly amazing to me.

Это кажется мне достаточно удивительным.

Even on the first view, your eyes will successfully

Даже в первый раз ваши глаза

pick out patterns, but on repeated views,

успешно выделят узоры, но в последующие разы

your brain actually gets better

ваш мозг уже лучше

at turning these patterns into information.

переводит эти узоры в информацию.

You can get the tone and the timbre

Вы можете уже понять интонацию,

and the pace of the speech,

тембр и скорость речи, то,

things that you can't get out of closed captioning.

чего вы не поймёте из простых субтитров.

That famous scene in horror movies

Знаменитая сцена из фильмов ужаса,

where someone is walking up from behind

где кто-то подкрадывается сзади —

is something you can see,

это то, что вы видите,

and I believe this information would be something

и я думаю, что эта информация

that is useful at times when the audio is turned off

была бы чем-то полезным тогда, когда звук выключен

or not heard at all, and I speculate that deaf audiences

или его нет вовсе, и я предполагаю, что глухой зритель,

might actually even be better

возможно, даже лучше бы

at seeing sound than hearing audiences.

воспринимал звук, нежели слышащий зритель.

I don't know. It's a theory right now.

Не знаю. Это пока ещё теория.

Actually, it's all just an idea.

Вообще, это всё пока только идея.

And let me end by saying that sound moves in all directions,

Закончу, сказав, что звук передвигается по всем направлениям,

and so do ideas.

так же движутся и идеи.

Thank you. (Applause)

Спасибо. (Аплодисменты)