Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

المترجم: Mira Kraïmia المدقّق: Emad Ahmad

My passions

غرامياتي

are music, technology and making things.

هي الموسيقى، والتكنولوجيا وصنع الأشياء.

And it's the combination of these things

المزيج بين كلّ هذه الأمور هو الذي

that has led me to the hobby of sound visualization,

قادني لهواية الصّوت المرئيّ،

and, on occasion, has led me to play with fire.

و أيضا لهواية اللّعب بالنّار.

This is a Rubens' tube. It's one of many I've made over the years,

هذا أنبوب روبنز. وهو واحد من عديد الأنابيب التي صنعتها لسنوات،

and I have one here tonight.

و هذا أحدها هنا اللّيلة.

It's about an 8-foot-long tube of metal,

إنّه أنبوب معدنيّ يبلغ طوله 8 أقدام (2.4 م)

it's got a hundred or so holes on top,

ويوجد أعلاه قرابة المائة ثقب،

on that side is the speaker, and here

من هذه الجهة هناك مكبّر الصّوت، و هناك

is some lab tubing, and it's connected to this tank

أنبوب مختبرات، وهو متّصل بهذا الخزّان

of propane.

من غاز البروبان.

So, let's fire it up and see what it does.

إذا، لنشعل النّيران و نرى ما الذي يقوم به.

So let's play a 550-herz frequency

لنضبطها على تردّد 550 هرتز

and watch what happens.

و نرى ما يحصل.

(Frequency)

(تردّد)

Thank you. (Applause)

شكرا. (تصفيق)

It's okay to applaud the laws of physics,

لا بأس أن نصفّق لقوانين الفيزياء،

but essentially what's happening here

لكن ما يحدث هنا أساسا

-- (Laughter) --

-- (ضحك) --

is the energy from the sound via the air and gas molecules

هو أنّ الطّاقة الصّادرة من الصّوت عبر جزيئات الهواء و الغاز

is influencing the combustion properties of propane,

تقوم بالتّأثير في خصائص الاحتراق الخاصّة بالبروبان،

creating a visible waveform,

ممّا يخلق شكلا موجيّا مرئيّا،

and we can see the alternating regions of compression

و نستطيع أن نرى مناطق الضغط المختلفة

and rarefaction that we call frequency,

و الخلخلة التي نسمّيها تردّدا،

and the height is showing us amplitude.

و العلوّ يكشف لنا السّعة.

So let's change the frequency of the sound,

لنغيّر تردّد الصّوت،

and watch what happens to the fire.

و نرى ما الذي يحدث للنّار.

(Higher frequency)

(تردّد أعلى)

So every time we hit a resonant frequency we get a standing wave

كلّ مرّة نصيب فيها تردّدا رنّانا، نتحصّل على موجة صاعدة

and that emergent sine curve of fire.

و هذا يتسبّب في وجود انحناءات بالنّيران.

So let's turn that off. We're indoors.

لنطفئ هذا الشيء.

Thank you. (Applause)

شكرا. (تصفيق)

I also have with me a flame table.

معي أيضا طاولة لهب.

It's very similar to a Rubens' tube, and it's also used

وهي شيء مشابه لأنبوب روبنز، وهي أيضا تستعمل

for visualizing the physical properties of sound,

لجعل الخصائص الفيزيائيّة للصوت مرئيّة،

such as eigenmodes, so let's fire it up

إذن لنقم باشعالها

and see what it does.

و نرى ما الذي سيحصل.

Ooh. (Laughter)

أوه (ضحك)

Okay. Now, while the table comes up to pressure,

حسنا. الآن، بينما هناك ضغط يرتكز على الطاولة،

let me note here that the sound is not traveling

دعوني أثير انتباهكم إلى أنّ الصّوت لا ينتقل

in perfect lines. It's actually traveling in all directions,

في خطوط مستقيمة. في الواقع، الصّوت ينتقل في كلّ الاتّجاهات،

and the Rubens' tube's a little like bisecting those waves

و أنبوب روبنز كأنّه قام بشقّ هذه الموجات إلى نصفين

with a line, and the flame table's a little like

بخطّ، بينما طاولة اللّهب تقوم بشقّ

bisecting those waves with a plane,

هذه الموجات بسطح مستو،

and it can show a little more subtle complexity, which is why

ويمكن أن تظهر تعقيدا أكثر دهاء، ولهذا

I like to use it to watch Geoff Farina play guitar.

أود أن استخدمه لمشاهدة جيف فارينا يلعب الغيتار.

(Music)

(موسيقى)

All right, so it's a delicate dance.

تماما، ذلك هو الرقص الحساس.

If you watch closely — (Applause)

إذا رأيتم عن قرب -- (تصفيق)

If you watch closely, you may have seen

إذا كنتم تراقبون عن كثب، لكنتم رأيتم

some of the eigenmodes, but also you may have seen

بعض الeigenmodes، وقد تكونون رأيتم

that jazz music is better with fire.

أنّ موسيقى الجاز أفضل مع النّار.

Actually, a lot of things are better with fire in my world,

في الواقع، العديد من الأشياء تكون أفضل مع النّار في عالمي،

but the fire's just a foundation.

لكن النّار مجرّد الأساس.

It shows very well that eyes can hear,

إنّها ترينا أنّ العين يمكنها أن تسمع،

and this is interesting to me because

و هذا أمر مثير للاهتمام بالنّسبة لي

technology allows us to present sound to the eyes

لأنّ التكنولوجيا تسمح لنا بعرض الصّوت على العينين

in ways that accentuate the strength of the eyes

بطرق تزيد من قوة العيون

for seeing sound, such as the removal of time.

لرؤية الصوت، مثل إزالة الزمن.

So here, I'm using a rendering algorithm to paint

هنا، أنا أستخدم خوارزمية التصيير لرسم

the frequencies of the song "Smells Like Teen Spirit"

تردّدات أغنية "Smells Like Teen Spirit"

in a way that the eyes can take them in

بطريقة يمكن فيها للعيون أن تراها

as a single visual impression, and the technique

كأنّها صورة مرئية واحدة، والتقنية

will also show the strengths of the visual cortex

سوف تظهر أيضا نقاط القوة في القشرة البصرية

for pattern recognition.

للتعرّف على الأنماط.

So if I show you another song off this album,

سأعرض لكم أغنية أخرى من هذا الألبوم،

and another, your eyes will easily pick out

و أخرى، وعيونكم ستميّز بسهولة

the use of repetition by the band Nirvana,

استخدام التّكرار من قبل فرقة نيرفانا،

and in the frequency distribution, the colors,

وفي توزّع التّردد و الألوان،

you can see the clean-dirty-clean sound

تستطيعون أن تروا الصوت نظيف-ملوّث-نظيف

that they are famous for,

الذي تشتهر به الفرقة،

and here is the entire album as a single visual impression,

و ها هو ألبوم كاملا كصورة مرئية واحدة،

and I think this impression is pretty powerful.

وأعتقد أنّ هذه الصورة قوية جدا.

At least, it's powerful enough that

على الاقل، إنّها قوية بما يكفي لدرجة

if I show you these four songs,

أنّني إن أريتكم هذه الأغاني الأربعة،

and I remind you that this is "Smells Like Teen Spirit,"

و أذكّركم أنّ هذه أغنية "Smells Like Teen Spirit"،

you can probably correctly guess, without listening

على الأرجح أنّكم تستطيعون تمييزها، من دون الاستماع

to any music at all, that the song

إلى أيّ موسيقى على الإطلاق، إنّها أغنية

a die hard Nirvana fan would enjoy is this song,

سيستمتع بها أيّ معجب بنيرفانا،

"I'll Stick Around" by the Foo Fighters,

"سأبقى في الجوار" لفرقة the Foo Fighters

whose lead singer is Dave Grohl,

التي بها ديف غروهل كمغن رئيسيّ،

who was the drummer in Nirvana.

الذي كان قارع الطبول بنيرفانا.

The songs are a little similar, but mostly

الأغاني متشابهة قليلا، ولكن في الغالب

I'm just interested in the idea that someday maybe

أنا مهتمّ فقط بفكرة أنّه يوما ما ربّما

we'll buy a song because we like the way it looks.

سنقوم بشراء أغنية فقط لأنّنا نحبّ الطريقة التي تبدو بها.

All right, now for some more sound data.

حسنا، الآن بالنسبة لبعض البيانات الصوتيّة.

This is data from a skate park,

هذه أصوات من حديقة تزلج.

and this is Mabel Davis skate park

وهذا هو مابل ديفيس بارك للتزلج

in Austin, Texas. (Skateboard sounds)

في أوستن، تكساس. (أصوات ألواح تزحلق)

And the sounds you're hearing came from eight

الأصوات التي تسمعونها مصدرها ثمانية

microphones attached to obstacles around the park,

الميكروفونات معلّقة على العقبات في جميع أنحاء الحديقة،

and it sounds like chaos, but actually

الصوت يبدو كأنّه ضجيج فوضويّ، ولكن في الواقع

all the tricks start with a very distinct slap,

كل الحركات تبدأ بصوت مميّز يشبه الصّفعة،

but successful tricks end with a pop,

ولكن الحركات الناجحة تنتهي بفرقعة،

whereas unsuccessful tricks

في حين أنّ الحركات الغير ناجحة

more of a scratch and a tumble,

تنتهي بصوت خربشة و تعثّر،

and tricks on the rail will ring out like a gong, and

والحركات فوق السياج سوف ترنّ مثل الجرس،

voices occupy very unique frequencies in the skate park.

أمّا الأصوات فلها تردّدات مميّزة في حديقة التزحلق.

So if we were to render these sounds visually,

إذن إن كنّا سنعرض هذه الأصوات مرئيّا،

we might end up with something like this.

قد تكون النّتيجة مشابهة لهذا.

This is all 40 minutes of the recording,

هذه نتيجة تسجيل لمدّة 40 دقيقة،

and right away the algorithm tells us

والآن فإنّ الخوارزميّة تخبرنا أنّ

a lot more tricks are missed than are made,

هناك العديد من الحركات الفاشلة،

and also a trick on the rails is a lot more likely

وأيضا أنّ حركة فوق السياج لها أكثر احتمال

to produce a cheer, and if you look really closely,

أن تنتج الكلام، وإن ركّزتم جيّدا،

we can tease out traffic patterns.

تستطيعون أن تعرفوا أنماط حركة السير.

You see the skaters often trick in this direction. The obstacles are easier.

ترون أنّ المتزحلقين يفضّلون هذا الاتجاه لأنّ العقبات أسهل.

And in the middle of the recording, the mics pick this up,

وفي نصف التّسجيل، التقطت الميكروفونات هذا،

but later in the recording, this kid shows up,

لكن فيما بعد، يظهر طفل ما،

and he starts using a line at the top of the park

ويبدأ باستخدام خطّ بأعلى الحديقة

to do some very advanced tricks on something

للقيام بحركات متقدّمة جدّا

called the tall rail.

تسمّى "the tall rail".

And it's fascinating. At this moment in time,

الأمر مدهش. في هذه اللحظة الزمنية،

all the rest of the skaters turn their lines 90 degrees

بقيةّ المتزحلقين يغيّرون مساراتهم 90 درجة

to stay out of his way.

حتّى يفسحوا المجال أمامه.

You see, there's a subtle etiquette in the skate park,

هناك نوع من القواعد السلوكية بحدائق التزحلق،

and it's led by key influencers,

يتحكّم بها من هم أكثر تأثيرا،

and they tend to be the kids who can do the best tricks,

وهؤلاء يكونون في الأغلب من هم الأبرع في الحركات،

or wear red pants, and on this day the mics picked that up.

أو من يرتدون سراويل حمراء.

All right, from skate physics to theoretical physics.

ننتقل من فيزياء التزحلق إلى فيزياء النظريّة.

I'm a big fan of Stephen Hawking,

أنا معجب كبير بستيفن هوكنغ،

and I wanted to use all eight hours

وأردت استخدام الساعات الثمانية كاملة

of his Cambridge lecture series to create an homage.

من سلسلة محاضراته بكامبردج لابتكار تكريم له.

Now, in this series he's speaking with the aid of a computer,

في هذه السلسلة، يتحدّث بمساعدة حاسوب،

which actually makes identifying the ends of sentences

ممّا يجعل التّعرف على نهايات الجمل

fairly easy. So I wrote a steering algorithm.

أمرا سهلا. قمت بكتابة خوارزميّة

It listens to the lecture, and then it uses

تستمع إلى المحاضرة، ثمّ تستخدم

the amplitude of each word to move a point on the x-axis,

مطال كلّ كلمة لنقل نقطة على المحور الأفقي،

and it uses the inflection of sentences

وتستخدم صرف الجمل

to move a same point up and down on the y-axis.

لتحريك نفس النقطة أعلى أو أسفل على المحور العمودي.

And these trend lines, you can see, there's more questions

وهذه الخطوط المنحنية، ترون أنّ عدد الأسئلة أكثر

than answers in the laws of physics,

من عدد الإجابات في قوانين الفيزياء،

and when we reach the end of a sentence,

وعند نهاية كلّ جملة،

we place a star at that location.

نضع نجما في ذلك الموضع.

So there's a lot of sentences, so a lot of stars,

إذن هناك العديد من الجمل بالتّالي العديد من النّجوم،

and after rendering all of the audio, this is what we get.

وفي النهاية، هذا ما نحصل عليه.

This is Stephen Hawking's universe.

هذا هو كون ستيفن هوكنغ.

(Applause)

(تصفيق)

It's all eight hours of the Cambridge lecture series

هذه ثمانية ساعات من سلسلة محاضرات كامبريدج

taken in as a single visual impression,

مأخوذة في صورة مرئيّة واحدة،

and I really like this image,

وأنا فعلا أحبّها لكن

but a lot of people think it's fake.

العديد يظنّون أنّها مزيّفة.

So I made a more interactive version,

لذلك صنعت نسخة أكثر تفاعلا،

and the way I did that is I used their position in time

وطريقة القيام بذلك هي استعمال موضعها الزّمني

in the lecture to place these stars into 3D space,

في المحاضرة لوضع هذه النجوم في فضاء ثلاثيّ الأبعاد،

and with some custom software and a Kinect,

و بمساعدة برمجيّة خاصّة وكنيكت،

I can walk right into the lecture.

أستطيع أن أخطو إلى داخل المحاضرة.

I'm going to wave through the Kinect here

سألوّح من خلال الكنيكت

and take control, and now I'm going to reach out

وأبدأ بالتحكّم، الآن سأحاول الوصول

and I'm going to touch a star, and when I do,

إلى نجم و لمسه، وعندها،

it will play the sentence

ستسمعون الجملة

that generated that star.

التي شكّلت ذلك النّجم.

Stephen Hawking: There is one, and only one, arrangement

هوكنغ:"هناك نظام واحد فقط،

in which the pieces make a complete picture.

يسمح للأجزاء أن تكوّن صورة كاملة."

Jared Ficklin: Thank you. (Applause)

جاريد فيكلن: شكرا. (تصفيق)

There are 1,400 stars.

هناك 1400 نجم.

It's a really fun way to explore the lecture,

إنّها طريقة ممتعة لاكتشاف المحاضرة،

and, I hope, a fitting homage.

و طريقة مناسبة للتكريم، كما أؤمل.

All right. Let me close with a work in progress.

حسنا، دعوني أختم بعمل لا يزال يتطوّر.

I think, after 30 years, the opportunity exists

أظّن أنّه بعد 30 سنة، ستوجد إمكانيّة

to create an enhanced version of closed captioning.

صنع تعليقات سفليّة محسّنة.

Now, we've all seen a lot of TEDTalks online,

كلّنا شاهدنا العديد من محادثات TED على الانترنت،

so let's watch one now with the sound turned off

لنشاهد الآن واحدة مع كتم الصّوت

and the closed captioning turned on.

ومع التّعليقات السفليّة.

There's no closed captioning for the TED theme song,

ليس هناك تعليقات مناسبة لأغنية البداية لTED،

and we're missing it, but if you've watched enough of these,

وذلك ينقصنا، لكن إن كنتم قد شاهدتموها كفاية سابقا،

you hear it in your mind's ear,

ستستمعون إليها في أذن العقل،

and then applause starts.

ثمّ سيبدأ التّصفيق.

It usually begins here, and it grows and then it falls.

في العادة يبدأ الأمر هنا، ثمّ يواصل ثمّ ينتهي.

Sometimes you get a little star applause,

أحيانا، تنال بعض التّصفيق لنجم صغير،

and then I think even Bill Gates takes a nervous breath,

ثمّ أظنّ أنّ بيل غايتس يتنفّس في عصبيّة،

and the talk begins.

ثمّ تبدأ المحادثة.

All right, so let's watch this clip again.

حسنا، لنشاهد ذلك مجدّدا.

This time, I'm not going to talk at all.

هذه المرّة لن أتكلّم بتاتا.

There's still going to be no audio,

ولا يزال الصّوت مكتوماـ

but what I am going to do is I'm going to render the sound

لكنني سوف أعرض الصّوت مرئيّا

visually in real time at the bottom of the screen.

آنيّا أسفل الشاشة.

So watch closely and see what your eyes can hear.

انتبهوا ولنرى ما الذي ستسمعه أعينكم.

This is fairly amazing to me.

هذا أمر رائع بالنّسبة لي.

Even on the first view, your eyes will successfully

منذ المرّة الأولى، ستتمكّن أعينكم من

pick out patterns, but on repeated views,

تمييز الأنماط، لكن مع تكرار العمليّة

your brain actually gets better

سوف يتحسّن دماغكم

at turning these patterns into information.

في تحويل هذه الأنماط إلى بيانات.

You can get the tone and the timbre

ويمكنكم تمييز اللّهجة والصّوت

and the pace of the speech,

و وتيرة الخطاب،

things that you can't get out of closed captioning.

الأمور التي لا يمكنكم معرفتها عبر التّعاليق السفليّة وحدها.

That famous scene in horror movies

ذلك المشهد الشّهير بأفلام الرّعب

where someone is walking up from behind

عندما يأتي شخص خلسة من وراء

is something you can see,

هو أمر يمكنكم رؤيته،

and I believe this information would be something

وأعتقد أنّ هذه البيانات ستكون

that is useful at times when the audio is turned off

مفيدة جدّا عندما يتمّ كتم الصّوت

or not heard at all, and I speculate that deaf audiences

أو في حالات الصّمم، وأعتقد أنّ الصّم من الجماهير

might actually even be better

قد يكونون في الواقع أفضل

at seeing sound than hearing audiences.

من القادرن على السّمع في رؤية الصّوت.

I don't know. It's a theory right now.

لا أعلم، إنّها نظريّة إلى حدّ الآن.

Actually, it's all just an idea.

في الواقع، لاتزال تلك مجرّد فكرة.

And let me end by saying that sound moves in all directions,

ودعوني أختم بقول أنّ الصّوت ينتقل في كلّ الاتّجاهات،

and so do ideas.

وكذلك تفعل الأفكار.

Thank you. (Applause)

شكرا لكم. (تصفيق)