Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

번역: Woo Hwang 검토: K Bang

My passions

제가 열정적으로 하는 것에는

are music, technology and making things.

음악, 기술 그리고 뭔가를 만드는 일 같은 것을이 있습니다.

And it's the combination of these things

그래서 이런 것들을 조합하다보니

that has led me to the hobby of sound visualization,

제게 음향 시각화라는 취미를 갖게 만들었습니다.

and, on occasion, has led me to play with fire.

그리고 가끔은 불을 가지고 놀기도 했죠.

This is a Rubens' tube. It's one of many I've made over the years,

이건 루벤스 튜브인데요. 수년간 제가 만들었던 것들 중에 하나입니다.

and I have one here tonight.

오늘 저녁에 제가 한개 가지고 왔습니다.

It's about an 8-foot-long tube of metal,

2.4미터 정도 길이의 쇠로된 관입니다.

it's got a hundred or so holes on top,

윗부분에 수백개의 구멍이 나있고,

on that side is the speaker, and here

그 부분이 스피커라고 할 수 있습니다.

is some lab tubing, and it's connected to this tank

그리고 여기 관들을 이용해서

of propane.

프로판 가스 탱크와 연결합니다.

So, let's fire it up and see what it does.

자, 이제 불을 붙여서 어떻게 되는지 보죠.

So let's play a 550-herz frequency

550헤르쯔 주파수로 연주를 했을 때

and watch what happens.

어떻게 되는지 보시죠.

(Frequency)

(주파수)

Thank you. (Applause)

감사합니다. (박수)

It's okay to applaud the laws of physics,

물리 법칙에 박수를 보내는건 좋아요,

but essentially what's happening here

근본적으로 지금 여기에 벌어지고 있는 일은

-- (Laughter) --

(웃음)

is the energy from the sound via the air and gas molecules

공기를 통과하는 소리에서 나오는 에너지와 가스 분자가

is influencing the combustion properties of propane,

프로판 가스의 연소 성질에 영향을 주어,

creating a visible waveform,

시각적으로 물결 형태를 만들고 있습니다.

and we can see the alternating regions of compression

그리고 보통 주파수라고 부르는 압축과 희박함의 영역이

and rarefaction that we call frequency,

교차하는 것을 볼 수 있습니다.

and the height is showing us amplitude.

그리고 그 높이는 진폭을 보여주고 있습니다.

So let's change the frequency of the sound,

소리의 주파수를 바꿔보죠,

and watch what happens to the fire.

그리고 불이 어떻게 되는지 봅시다.

(Higher frequency)

(더 높은 주파수)

So every time we hit a resonant frequency we get a standing wave

공명 주파수를 보낼 때마다 정상파가 생기고

and that emergent sine curve of fire.

불의 모양이 새로운 사인(Sine)곡선을 만들게 됩니다.

So let's turn that off. We're indoors.

여기는 실내니까 이제 끄죠.

Thank you. (Applause)

감사합니다. (박수)

I also have with me a flame table.

저는 불꽃 탁자도 가지고 나왔는데요.

It's very similar to a Rubens' tube, and it's also used

루벤스 튜브와 아주 유사하고, 소리의 물리적 성질을

for visualizing the physical properties of sound,

시각화하는데 사용 할 수 있습니다.

such as eigenmodes, so let's fire it up

예를들어, 고유효과(Eigenmode)와 같은거 말이죠. 불을 붙여 볼께요.

and see what it does.

어떻게 되는지 보세요.

Ooh. (Laughter)

와..(웃음)

Okay. Now, while the table comes up to pressure,

네.. 탁자가 압력을 받는 동안은

let me note here that the sound is not traveling

소리가 흔들리지 않고 일정하게 퍼져나가죠.

in perfect lines. It's actually traveling in all directions,

사실 소리는 여러 방향으로 퍼집니다.

and the Rubens' tube's a little like bisecting those waves

그리고 루벤스 튜브는 그 불꽃파를 선으로 이등분하고,

with a line, and the flame table's a little like

이 탁자의 불꽃은

bisecting those waves with a plane,

불꽃파를 면으로 이등분하는 것과 같습니다.

and it can show a little more subtle complexity, which is why

이것은 미묘한 복잡성을 보여주는데 매우 적합합니다.

I like to use it to watch Geoff Farina play guitar.

그것이 제가 지오프 파리나(Geoff Farina)의 기타 연주를 보려고 이걸 사용하는 이유이기도 합니다.

(Music)

(음악)

All right, so it's a delicate dance.

좋습니다, 이건 아주 섬세한 춤이죠.

If you watch closely — (Applause)

더 가까이 보시면 - (박수)

If you watch closely, you may have seen

가까이 보시면 고유모드를

some of the eigenmodes, but also you may have seen

보실 수 있고, 또한 재즈음악이

that jazz music is better with fire.

불과 함께 들리니 더 좋아 보이기도 합니다.

Actually, a lot of things are better with fire in my world,

사실 제 작업에서는 많은 것들이 불과 함께 잘 어우러집니다.

but the fire's just a foundation.

하지만 불은 그냥 일종의 토대가 되는겁니다.

It shows very well that eyes can hear,

이것은 눈이 들을 수 있다는 것을 잘 보여주고

and this is interesting to me because

그리고 제가 여기서 재미를 느끼는 것은

technology allows us to present sound to the eyes

마치 시간을 제거하는 것 같이

in ways that accentuate the strength of the eyes

소리를 보는데 눈의 장점을 최대한 사용하는 방식으로

for seeing sound, such as the removal of time.

소리를 눈에 표현해주는 기술이기 때문입니다.

So here, I'm using a rendering algorithm to paint

그래서, 여기에 저는 "Smells Like Teen Spirit"라는 노래를

the frequencies of the song "Smells Like Teen Spirit"

눈이 하나의 시각적 영상으로 받아들일 수 있는 방식으로

in a way that the eyes can take them in

표현하는 알고리즘을 사용해 보았습니다.

as a single visual impression, and the technique

이런 기술은

will also show the strengths of the visual cortex

패턴 인식에 사용되는

for pattern recognition.

뇌속 시각 중추의 장점을 잘 보여주고 있습니다.

So if I show you another song off this album,

제가 이 앨범안의 다른 곡을 보여드리고,

and another, your eyes will easily pick out

또 한곡을 더 보여드리면, 너바나(Nirvana) 밴드가

the use of repetition by the band Nirvana,

반복적으로 사용하는 패턴을 쉽게 발견하실 수 있습니다.

and in the frequency distribution, the colors,

그리고 주파수 분포와 색깔에서

you can see the clean-dirty-clean sound

유명했던 곡의 소리가

that they are famous for,

깔끔하고 지저분해졌다가 다시 깔끔해지는 패턴을 볼 수 있습니다,

and here is the entire album as a single visual impression,

또한 이 사진은 전체 앨범을 단일 시각화 이미지로 그려본건데요,

and I think this impression is pretty powerful.

제 생각에 이런 이미지는 정말 강렬합니다.

At least, it's powerful enough that

제가 이 네개의 곡들을 보여드리면,

if I show you these four songs,

정말 대단한 걸 아실겁니다,

and I remind you that this is "Smells Like Teen Spirit,"

이곡이 조금전에 보여드린 "Smells Like Teen Spirit" 라는걸 기억하세요,

you can probably correctly guess, without listening

아마도 여러분이 듣지 않고도 어떤 음악이든지

to any music at all, that the song

알아 맞힐 수 있습니다, 광적인 너바나의 팬들이

a die hard Nirvana fan would enjoy is this song,

좋아하는 노래가 바로 이 노래라는걸 알게 됩니다.

"I'll Stick Around" by the Foo Fighters,

푸 파이터스(Foo Fighters)의 "I'll Stick Around" 인데요,

whose lead singer is Dave Grohl,

이 노래의 리더가 너바나의 드러머였던

who was the drummer in Nirvana.

데이브 그롤(Dave Grohl) 입니다.

The songs are a little similar, but mostly

이 노래들은 비슷하죠,

I'm just interested in the idea that someday maybe

하지만 대부분 제게 관심을 끄는 것은 언젠가는 눈에 비치는 노래의 모습이 좋아서

we'll buy a song because we like the way it looks.

그 노래를 구매하게 될지도 모른다는 점입니다.

All right, now for some more sound data.

네 좋습니다, 몇개의 다른 소리를 들어보죠.

This is data from a skate park,

이 소리는 스케이트 공원에서 추출했는데요,

and this is Mabel Davis skate park

텍사스 오스틴에 있는

in Austin, Texas. (Skateboard sounds)

마벨 데이비스(Mabel Davis) 스케이트 공원입니다. (스케이트 소리)

And the sounds you're hearing came from eight

그리고 여러분께서 듣고 있는 이 소리는 공원 주변에 설치된

microphones attached to obstacles around the park,

8개의 마이크에서 수집된 소리입니다.

and it sounds like chaos, but actually

이 소리는 소음처럼 들리지만, 사실은

all the tricks start with a very distinct slap,

모든 묘기들은 뚜렷한 박수 소리로 시작했다가,

but successful tricks end with a pop,

성공적으로 끝날 때는 뭔가 튀는 소리로 끝나죠,

whereas unsuccessful tricks

반면에 실패한 묘기는

more of a scratch and a tumble,

뭔가 긁거나 떨어지는 소리에 가깝습니다.

and tricks on the rail will ring out like a gong, and

그리고 레일위에서 하는 묘기는 징소리가 나구요,

voices occupy very unique frequencies in the skate park.

그리고 그케이트장에서 목소리는 매우 독특한 주파수를 만들게 됩니다.

So if we were to render these sounds visually,

그래서 이 소리들을 시각적으로 그려보면,

we might end up with something like this.

이렇게 그려질수 있습니다.

This is all 40 minutes of the recording,

이 화면은 40분간 녹음한 분량인데요,

and right away the algorithm tells us

이 알고리즘은 성공한 스케이트 묘기보다

a lot more tricks are missed than are made,

실패한 묘기가 더 많다는 사실을 말해줍니다.

and also a trick on the rails is a lot more likely

그리고 레일 위에서 펼친 묘기는

to produce a cheer, and if you look really closely,

더 많은 환호를 받죠, 그리고 더 자세히 보면,

we can tease out traffic patterns.

움직이는 패턴을 찾아 낼 수 있습니다.

You see the skaters often trick in this direction. The obstacles are easier.

스케이터의 묘기는 이 방향으로 자주 하는데요. 장애물이 더 쉽기 때문이죠.

And in the middle of the recording, the mics pick this up,

녹음 중간에 마이크가 이부분을 잡아 냈는데요,

but later in the recording, this kid shows up,

나중에 보면, 이 친구가 나타나서는,

and he starts using a line at the top of the park

공원의 제일 윗부분에 있는 레일을 사용해서

to do some very advanced tricks on something

"Tall Rail"이라고 부르는 아주 어려운 묘기를

called the tall rail.

하기 시작하죠.

And it's fascinating. At this moment in time,

그리고 이건 정말 대단한데요. 바로 이순간에,

all the rest of the skaters turn their lines 90 degrees

나머지 모든 스케이터들이 그 친구에게 길을 내주기 위해서

to stay out of his way.

진행 방향에서 90도 꺽어서 돌았다는 거죠.

You see, there's a subtle etiquette in the skate park,

그거 아세요, 이건 스케이트 공원에서는 중요한 에티켓인데요,

and it's led by key influencers,

핵심이 되는 스케이터들에 의해서 선행되는 행동들이죠.

and they tend to be the kids who can do the best tricks,

그들은 주로 가장 멋진 묘기를 선보이거나 빨간 바지를 입은

or wear red pants, and on this day the mics picked that up.

어린 아이들인데요, 이날 마이크가 그걸 잡아 낸거죠.

All right, from skate physics to theoretical physics.

네. 스케이트 물리에서 이론 물리학까지 보게 되네요.

I'm a big fan of Stephen Hawking,

저는 스티븐 호킹(Stephen Hawking) 박사를 굉장히 좋아합니다.

and I wanted to use all eight hours

그에 대한 경의를 표하려고 켐브리지 대학의 8시간 강의를

of his Cambridge lecture series to create an homage.

모두 제 실험에 사용하고 싶었습니다.

Now, in this series he's speaking with the aid of a computer,

이 강의에서 호킹 박사는 컴퓨터의 도움으로 말을 하는데요,

which actually makes identifying the ends of sentences

컴퓨터 덕분에 문장의 끝을 쉽게 찾을 수 있습니다.

fairly easy. So I wrote a steering algorithm.

그래서 조정 알고리즘을 작성했습니다.

It listens to the lecture, and then it uses

이 알고리즘에 강의 내용을 입력하고,

the amplitude of each word to move a point on the x-axis,

각 단어의 진폭을 사용해서 X축으로 점을 이동시킵니다,

and it uses the inflection of sentences

그리고 문장의 억양을 사용해서

to move a same point up and down on the y-axis.

같은 점을 Y축을 따라 위 아래로 움직입니다.

And these trend lines, you can see, there's more questions

추세선을 보면, 물리 법칙에 대한 대답 보다는

than answers in the laws of physics,

질문이 더 많습니다,

and when we reach the end of a sentence,

그리고 문장의 끝에 이르면,

we place a star at that location.

그 지점에 별표를 했습니다.

So there's a lot of sentences, so a lot of stars,

많은 문장들이 있기 때문에 각각의 별표시도 많습니다.

and after rendering all of the audio, this is what we get.

그리고 그 강의 음성을 그려 보았더니 이런 이미지가 되었습니다.

This is Stephen Hawking's universe.

이것이 바로 스티븐 호킹 박사가 생각하는 우주입니다.

(Applause)

(박수)

It's all eight hours of the Cambridge lecture series

이 사진이 하나의 시각화된 이미지로 표시한

taken in as a single visual impression,

케임브리지 대학에서의 8시간짜리 강의내용 입니다.

and I really like this image,

저는 이 사진을 정말 좋아지만,

but a lot of people think it's fake.

많은 사람들이 가짜라고 생각합니다.

So I made a more interactive version,

그래서 좀더 상호작용이 가능한 것을 만들었는데요,

and the way I did that is I used their position in time

제가 사용한 방법은, 3차원 공간상에

in the lecture to place these stars into 3D space,

강의시간중의 시간상 위치에 따라 별표시들을 위치시키는 방법을 사용했습니다.

and with some custom software and a Kinect,

이를 위해서 몇가지 소프트웨어와 키넥트(Kinect, 동작감지 센서)를 사용했습니다.

I can walk right into the lecture.

그래서 강의 안으로 걸어 들어갈 수도 있습니다.

I'm going to wave through the Kinect here

동작감지 센서를 통해 손을 흔들어보고,

and take control, and now I'm going to reach out

그리고 조종해보고, 가까이 대보기도 하고,

and I'm going to touch a star, and when I do,

그리고 별표시를 만지면,

it will play the sentence

별표시를 만들었던

that generated that star.

문장을 실행합니다.

Stephen Hawking: There is one, and only one, arrangement

스티븐 호킹: 조각이 모여서 완벽한 그림을

in which the pieces make a complete picture.

만든는 방법은 오직 한 가지밖에 없다.

Jared Ficklin: Thank you. (Applause)

감사합니다. (박수)

There are 1,400 stars.

1,400개의 별표시가 있습니다.

It's a really fun way to explore the lecture,

이건 강의를 정말 재밌게 청강할 수 있는 방법이고,

and, I hope, a fitting homage.

그리고 제 작품이 호킹 박사에게 적절히 헌정되면 좋겠네요.

All right. Let me close with a work in progress.

네 좋습니다. 이제 제가 진행중인 작업으로 마무리하겠습니다.

I think, after 30 years, the opportunity exists

30년 후에는, 청각장애자를 위해 더욱 향상된

to create an enhanced version of closed captioning.

자막 시스템이 만들어 질 것이라고 생각합니다.

Now, we've all seen a lot of TEDTalks online,

현재 우리는 많은 테드 강연을 온라인으로 보고 있는데요,

so let's watch one now with the sound turned off

강연 한개의 소리는 끄고,

and the closed captioning turned on.

자막을 보이게 해보겠습니다.

There's no closed captioning for the TED theme song,

테드 테마곡에는 자막이 없는데요,

and we're missing it, but if you've watched enough of these,

빠진것 같아요. 하지만 자주 보게되면,

you hear it in your mind's ear,

여러분들은 마음의 귀로 소리를 듣고

and then applause starts.

시작할 때 박수를 치기 시작합니다.

It usually begins here, and it grows and then it falls.

보통 여기서 시작하고 점점 커지다가 사라지죠.

Sometimes you get a little star applause,

때로는 작은 박수 갈채를 받고,

and then I think even Bill Gates takes a nervous breath,

그리고 빌 게이츠조차도 긴장된 숨을 몰아 쉬는 것 같아요,

and the talk begins.

그리고 강연이 시작됩니다.

All right, so let's watch this clip again.

자 이 동영상을 다시 보시죠.

This time, I'm not going to talk at all.

이번에는 제가 아무 말도 하지 않겠습니다.

There's still going to be no audio,

계속 음성은 꺼두겠습니다.

but what I am going to do is I'm going to render the sound

제가 하려는 것은 화면 하단에

visually in real time at the bottom of the screen.

실시간으로 소리를 시각적으로 그려 보겠습니다.

So watch closely and see what your eyes can hear.

자세히 보시고 여러분 눈으로 무엇을 듣는지 보세요.

This is fairly amazing to me.

이게 저에게는 꽤 재밌습니다.

Even on the first view, your eyes will successfully

첫번째 보셨을 때도 여러분은 패턴을 찾아 내실거고,

pick out patterns, but on repeated views,

반복적으로 보시게 되면,

your brain actually gets better

여러분의 뇌는이 패턴들을

at turning these patterns into information.

정보로 바꾸는게 더 능숙하게 될 겁니다.

You can get the tone and the timbre

어투, 음색, 그리고

and the pace of the speech,

강연의 속도도 아실 수 있습니다.

things that you can't get out of closed captioning.

이런 것들은 자막으로는 볼 수 없는 것들이죠.

That famous scene in horror movies

누군가가 뒤에서 다가오는,

where someone is walking up from behind

공포영화의 유명한 장면에서

is something you can see,

여러분은 뭔가를 보실 수 있습니다,

and I believe this information would be something

그리고 이런 정보는 소리가 없거나

that is useful at times when the audio is turned off

전혀 들을 수 없는 상황에서는 꽤 유용하고,

or not heard at all, and I speculate that deaf audiences

제가 생각할 때는

might actually even be better

청각장애인 청중들이, 들을 수 있는 청중보다

at seeing sound than hearing audiences.

더 잘 볼 수 있다고 생각합니다.

I don't know. It's a theory right now.

지금은 이론단게이고 아직은 잘 모르겠습니다.

Actually, it's all just an idea.

사실 단지 하나의 아이디어 이니까요.

And let me end by saying that sound moves in all directions,

이런 말로 강의를 마치도록하겠습니다. 소리는 사방으로 퍼져나갑니다.

and so do ideas.

아이디어도 마찬가지입니다.

Thank you. (Applause)

감사합니다. (박수)