Jared Ficklin: New ways to see music (with color! and fire!)

ジャレド・フィックリン 「新しい音楽の見かた（色で見る! 炎で見る!）」

Translator: Joseph Geni Reviewer: Morton Bast

翻訳: Kazunori Akashi 校正: Natsuhiko Mizutani

My passions

私が 情熱を注いでいるのは 音楽とテクノロジーと物作りです

are music, technology and making things.

私が 情熱を注いでいるのは 音楽とテクノロジーと物作りです

And it's the combination of these things

これらを組み合わせて

that has led me to the hobby of sound visualization,

音を視覚化することが趣味になりました

and, on occasion, has led me to play with fire.

時には 火も扱います

This is a Rubens' tube. It's one of many I've made over the years,

これはルーベンスチューブです

and I have one here tonight.

私が作った物の一つです　ご覧ください

It's about an 8-foot-long tube of metal,

2.4mほどの金属管で 約100個の穴があり ―

it's got a hundred or so holes on top,

2.4mほどの金属管で 約100個の穴があり ―

on that side is the speaker, and here

片側はスピーカ 反対はタンクへの配管です

is some lab tubing, and it's connected to this tank

片側はスピーカ 反対はタンクへの配管です

of propane.

プロパンガスです

So, let's fire it up and see what it does.

それでは火をつけてみましょう

So let's play a 550-herz frequency

次に周波数550Hzの音を流します

and watch what happens.

ご覧ください

(Frequency)

（音）

Thank you. (Applause)

ありがとう　（拍手）

It's okay to applaud the laws of physics,

物理法則に拍手するのはいいとして ここで起きたことは ―

but essentially what's happening here

物理法則に拍手するのはいいとして ここで起きたことは ―

-- (Laughter) --

（笑）

is the energy from the sound via the air and gas molecules

音のエネルギーが 空気とガスの分子を通して

is influencing the combustion properties of propane,

プロパンの燃焼性に影響を与え

creating a visible waveform,

波形を作り出します

and we can see the alternating regions of compression

圧力の高い部分と低い部分が

and rarefaction that we call frequency,

交互に ― つまり周波数が見えます

and the height is showing us amplitude.

高さは振幅を表します

So let's change the frequency of the sound,

それでは音の周波数を変えて

and watch what happens to the fire.

炎がどう変化するか見てみましょう

(Higher frequency)

（周波数を上げる）

So every time we hit a resonant frequency we get a standing wave

共振周波数になると定在波が生じて

and that emergent sine curve of fire.

炎のサイン曲線が表れます

So let's turn that off. We're indoors.

室内なので もう消しましょう

Thank you. (Applause)

ありがとう　（拍手）

I also have with me a flame table.

「フレイムテーブル」も持ってきました

It's very similar to a Rubens' tube, and it's also used

ルーベンスチューブと同様に

for visualizing the physical properties of sound,

音の物理特性を視覚化できます

such as eigenmodes, so let's fire it up

たとえば固有モードです

and see what it does.

火を点けて どうなるか見てみましょう

Ooh. (Laughter)

おっ　（笑）

Okay. Now, while the table comes up to pressure,

テーブルの圧力が上がる間に 指摘しておきたいのは

let me note here that the sound is not traveling

音は直線状に進むのではなく

in perfect lines. It's actually traveling in all directions,

あらゆる方向に進むということです

and the Rubens' tube's a little like bisecting those waves

ルーベンスチューブが音波を 線状に切り出すのに対して

with a line, and the flame table's a little like

フレイムテーブルは音波を

bisecting those waves with a plane,

平面的に切り出すと言えます

and it can show a little more subtle complexity, which is why

複雑さを細かく表せるので ジェフ・ファリーナのギター演奏を

I like to use it to watch Geoff Farina play guitar.

見るにはうってつけです

(Music)

（音楽）

All right, so it's a delicate dance.

繊細なダンスのようです

If you watch closely — (Applause)

よく見ると ― （拍手）

If you watch closely, you may have seen

固有モードが見えたかも知れません

some of the eigenmodes, but also you may have seen

炎とジャズは

that jazz music is better with fire.

相性がいいことにも気づくでしょう

Actually, a lot of things are better with fire in my world,

火と相性がいいものはたくさんあります

but the fire's just a foundation.

ただ 火は土台に過ぎません

It shows very well that eyes can hear,

目でも聞けることを 火が示しているのです

and this is interesting to me because

目でも聞けることを 火が示しているのです

technology allows us to present sound to the eyes

私が面白いと思うのは テクノロジーを使って

in ways that accentuate the strength of the eyes

目の特性を生かしながら 音を見えるようにできること ―

for seeing sound, such as the removal of time.

たとえば時間を無視できることです

So here, I'm using a rendering algorithm to paint

私はレンダリングアルゴリズムを使って

the frequencies of the song "Smells Like Teen Spirit"

ニルヴァーナの曲 「スメルズ・ライク・ティーン・スピリット」の

in a way that the eyes can take them in

周波数を 目で見えるように 1つのイメージにしました

as a single visual impression, and the technique

周波数を 目で見えるように 1つのイメージにしました

will also show the strengths of the visual cortex

この技術を使うと大脳視覚野が

for pattern recognition.

パターン認識に 優れていることもわかります

So if I show you another song off this album,

同じアルバムの別の曲を見ると ニルヴァーナが反復を用いていることが

and another, your eyes will easily pick out

同じアルバムの別の曲を見ると ニルヴァーナが反復を用いていることが

the use of repetition by the band Nirvana,

よくわかります

and in the frequency distribution, the colors,

周波数の分布 つまり色から

you can see the clean-dirty-clean sound

このバンドの特長である 清-濁-清 という音のパターンがわかります

that they are famous for,

このバンドの特長である 清-濁-清 という音のパターンがわかります

and here is the entire album as a single visual impression,

これはアルバム全体を1つのイメージにしたものです

and I think this impression is pretty powerful.

とても力強いイメージです

At least, it's powerful enough that

どのくらい力強いかというと

if I show you these four songs,

次の4曲を見て ―

and I remind you that this is "Smells Like Teen Spirit,"

ちなみにこれが「スメルズ・ライク・ ティーン・スピリット」ですが ―

you can probably correctly guess, without listening

音を聞かなくても おおむね正しく

to any music at all, that the song

筋金入りのニルヴァーナ・ファンが 気に入りそうなのはこの曲 ―

a die hard Nirvana fan would enjoy is this song,

筋金入りのニルヴァーナ・ファンが 気に入りそうなのはこの曲 ―

"I'll Stick Around" by the Foo Fighters,

フー・ファイターズの「アイル・ スティック・アラウンド」だと言える程です

whose lead singer is Dave Grohl,

リード・シンガーのデイヴ・グロールは

who was the drummer in Nirvana.

ニルヴァーナのドラマーをしていました

The songs are a little similar, but mostly

2曲は確かに似ていますが

I'm just interested in the idea that someday maybe

もっぱら私が関心があるのは

we'll buy a song because we like the way it looks.

曲を見た目で買う日が 来るかもしれないという発想です

All right, now for some more sound data.

さらに音のデータを見ましょう

This is data from a skate park,

これはスケートボード場で録音しました

and this is Mabel Davis skate park

テキサス州オースチンにある ―

in Austin, Texas. (Skateboard sounds)

メイベル・デイビス・スケートパークです （スケートボードの音）

And the sounds you're hearing came from eight

今 聞こえる音は

microphones attached to obstacles around the park,

障害物に取り付けた 8つのマイクで録りました

and it sounds like chaos, but actually

雑音のようですが 実際は

all the tricks start with a very distinct slap,

どの技も特徴的な音で始まり ―

but successful tricks end with a pop,

成功するとポンという音 ―

whereas unsuccessful tricks

失敗すると こすれる音や

more of a scratch and a tumble,

転がる音で終わります

and tricks on the rail will ring out like a gong, and

レールに乗る技はゴングのように響き

voices occupy very unique frequencies in the skate park.

人の声は特徴的な周波数を占めます

So if we were to render these sounds visually,

だから ここの音を視覚化したら

we might end up with something like this.

こんな感じになります

This is all 40 minutes of the recording,

これが40分にわたる録音の全てです

and right away the algorithm tells us

このアルゴリズムでわかることは

a lot more tricks are missed than are made,

技の多くは失敗し

and also a trick on the rails is a lot more likely

レールを使った技は

to produce a cheer, and if you look really closely,

歓声を伴うことが多いということです さらに細かく見ると

we can tease out traffic patterns.

移動パターンを知ることができます

You see the skaters often trick in this direction. The obstacles are easier.

スケーターはこの方向に滑ります この方が障害が簡単だからです

And in the middle of the recording, the mics pick this up,

これは録音中盤でマイクがとらえました

but later in the recording, this kid shows up,

ところが後半で少年が現れ ―

and he starts using a line at the top of the park

上にあるコースを使い トール・レールの上で

to do some very advanced tricks on something

とても難しい技を始めました

called the tall rail.

とても難しい技を始めました

And it's fascinating. At this moment in time,

興味深いことに この瞬間 ―

all the rest of the skaters turn their lines 90 degrees

他のスケーター全員がコースの方向を 90度変えて彼に場所を譲ったのです

to stay out of his way.

他のスケーター全員がコースの方向を 90度変えて彼に場所を譲ったのです

You see, there's a subtle etiquette in the skate park,

パークには細かい作法があり

and it's led by key influencers,

影響力をもつ人がいます

and they tend to be the kids who can do the best tricks,

そういう人は 腕がすごいとか 赤いパンツ姿と相場は決まっています

or wear red pants, and on this day the mics picked that up.

この日マイクが捉えたのは そんな作法です

All right, from skate physics to theoretical physics.

次はスケートボードの物理から 理論物理学へ移りましょう

I'm a big fan of Stephen Hawking,

私はスティーブン・ホーキングの大ファンで

and I wanted to use all eight hours

ケンブリッジでの講義8時間分を使って オマージュを制作しようと考えました

of his Cambridge lecture series to create an homage.

ケンブリッジでの講義8時間分を使って オマージュを制作しようと考えました

Now, in this series he's speaking with the aid of a computer,

この連続講義で ホーキング氏は コンピュータを使って話しています

which actually makes identifying the ends of sentences

だから文の終わりを特定するのは簡単です

fairly easy. So I wrote a steering algorithm.

そこで私はステアリング アルゴリズムを作りました

It listens to the lecture, and then it uses

これで講義を取り込み ―

the amplitude of each word to move a point on the x-axis,

個々の語の振幅を用いて X軸上の点を動かします

and it uses the inflection of sentences

さらに文の音調の変化をとらえて

to move a same point up and down on the y-axis.

その点をY軸にそって上下させます

And these trend lines, you can see, there's more questions

この傾向線を見ると 物理法則について

than answers in the laws of physics,

解答より 疑問の方が 多いことがわかります

and when we reach the end of a sentence,

文末に達すると

we place a star at that location.

そこに星を付けます

So there's a lot of sentences, so a lot of stars,

文が多いので たくさん星があります

and after rendering all of the audio, this is what we get.

音声を全て表示すると こうなります

This is Stephen Hawking's universe.

これがスティーブン・ホーキングの宇宙です

(Applause)

（拍手）

It's all eight hours of the Cambridge lecture series

8時間に渡るケンブリッジでの講義を

taken in as a single visual impression,

一枚のイメージにしたものです

and I really like this image,

私はこれを大変気に入っていますが

but a lot of people think it's fake.

いい加減だと考える人が多いので

So I made a more interactive version,

インタラクティブ版を作りました

and the way I did that is I used their position in time

講義における時間的な位置を使って

in the lecture to place these stars into 3D space,

三次元空間に 星を配置し

and with some custom software and a Kinect,

自作のソフトとKinectで

I can walk right into the lecture.

講義の中に入ることができるようにしました

I'm going to wave through the Kinect here

Kinectに向けて手を振り 操作します

and take control, and now I'm going to reach out

Kinectに向けて手を振り 操作します

and I'm going to touch a star, and when I do,

手を伸ばして星に触れると

it will play the sentence

その星を生成した元の文が再生できます

that generated that star.

その星を生成した元の文が再生できます

Stephen Hawking: There is one, and only one, arrangement

「各部分が完全な像を構成するような

in which the pieces make a complete picture.

唯一の配置があります」

Jared Ficklin: Thank you. (Applause)

ありがとう　（拍手）

There are 1,400 stars.

ここには1,400個の星があります

It's a really fun way to explore the lecture,

講義を楽しく探究できます

and, I hope, a fitting homage.

オマージュにふさわしいでしょうか

All right. Let me close with a work in progress.

最後に制作中の作品をご覧ください

I think, after 30 years, the opportunity exists

クローズド・キャプションの登場から30年 ―

to create an enhanced version of closed captioning.

強化版を作る機会を得ました

Now, we've all seen a lot of TEDTalks online,

みんなTEDトークをオンラインで見ますが

so let's watch one now with the sound turned off

音を消して クローズド・キャプションを ―

and the closed captioning turned on.

ONにしたものを見てみましょう

There's no closed captioning for the TED theme song,

TEDのテーマ曲には字幕がありません

and we're missing it, but if you've watched enough of these,

字幕がなくても たくさん見ていれば

you hear it in your mind's ear,

頭の中で

and then applause starts.

テーマと拍手が聞こえるでしょう

It usually begins here, and it grows and then it falls.

ここで始まり 盛り上がって消えます

Sometimes you get a little star applause,

拍手が特に大きい時もあります

and then I think even Bill Gates takes a nervous breath,

ビル・ゲイツですら不安そうに息をしてから

and the talk begins.

トークが始まります

All right, so let's watch this clip again.

もう一度ビデオを見ましょう

This time, I'm not going to talk at all.

今度は私はしゃべりません

There's still going to be no audio,

音声はありませんが

but what I am going to do is I'm going to render the sound

音を視覚的に描画して

visually in real time at the bottom of the screen.

画面下部にリアルタイムで表示します

So watch closely and see what your eyes can hear.

皆さんの目は 何を「聞く」ことができるでしょうか

This is fairly amazing to me.

すごいことだと思います

Even on the first view, your eyes will successfully

1度見ただけでも パターンが見つけられますが

pick out patterns, but on repeated views,

何度か見ると 皆さんの脳は

your brain actually gets better

パターンを情報に置き換えることに慣れ

at turning these patterns into information.

パターンを情報に置き換えることに慣れ

You can get the tone and the timbre

音調や音質 話すペースが わかるようになります

and the pace of the speech,

音調や音質 話すペースが わかるようになります

things that you can't get out of closed captioning.

字幕からはとらえられないものです

That famous scene in horror movies

ホラー映画でありがちな ―

where someone is walking up from behind

何者かが後ろから迫ってくる場面も

is something you can see,

見えるようになります

and I believe this information would be something

これらの情報は

that is useful at times when the audio is turned off

音声がオフの場合や 聞こえない場合に役立つでしょう

or not heard at all, and I speculate that deaf audiences

また耳が聞こえない人は 聞こえる人に比べて

might actually even be better

音を見ることに

at seeing sound than hearing audiences.

長けていると思うのです

I don't know. It's a theory right now.

まだ仮説で はっきりわかりません

Actually, it's all just an idea.

単なるアイデアです

And let me end by saying that sound moves in all directions,

最後になりますが ― 音はあらゆる方向に広がります

and so do ideas.

アイデアも同じです

Thank you. (Applause)

ありがとうございます　（拍手）