Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

מתרגם: Orr Schlesinger מבקר: Ido Dekkers

My passions

יש לי תשוקה

are music, technology and making things.

למוזיקה, טכנולוגיה ויצירת דברים.

And it's the combination of these things

וזה השילוב של הדברים האלה

that has led me to the hobby of sound visualization,

שהוביל אותי אל התחביב של המחשה ויזואלית של צלילים,

and, on occasion, has led me to play with fire.

ומדי פעם, זה מוביל אותי גם למשחק באש.

This is a Rubens' tube. It's one of many I've made over the years,

זאת "צינורית רובן". אחת מני רבות שהכנתי לאורך השנים,

and I have one here tonight.

ויש לי אחת כזאת כאן הערב.

It's about an 8-foot-long tube of metal,

זאת צינורית מתכת באורך של כשניים וחצי מטרים,

it's got a hundred or so holes on top,

יש לה בערך מאה חורים בחלק העליון,

on that side is the speaker, and here

בצד אחד ישנו רמקול, וכאן

is some lab tubing, and it's connected to this tank

יש צנרת מעבדתית, שמחוברת למיכל הזה

of propane.

של פרופאן.

So, let's fire it up and see what it does.

אז בואו נדליק את זה ונראה מה זה עושה.

So let's play a 550-herz frequency

בואו נשמיע צליל בתדר של 550 הרץ

and watch what happens.

ונראה מה קורה.

(Frequency)

(צליל בתדר 550 הרץ)

Thank you. (Applause)

תודה רבה (מחיאות כפיים)

It's okay to applaud the laws of physics,

זה בסדר למחוא כפיים לחוקי הפיזיקה,

but essentially what's happening here

בעקרון מה שקורה פה

-- (Laughter) --

-- (צחוק) --

is the energy from the sound via the air and gas molecules

זה שהאנרגיה של גלי הקול דרך מולקולות האוויר והגז

is influencing the combustion properties of propane,

משפיעה על תכונות השריפה של פרופאן,

creating a visible waveform,

ויוצרת צורה של גל,

and we can see the alternating regions of compression

כך שאנו יכולים לראות לסירוגין אזורים של דחיסה

and rarefaction that we call frequency,

ודילול שלהם אנחנו קוראים תדר,

and the height is showing us amplitude.

כאשר הגובה מראה לנו על עוצמה.

So let's change the frequency of the sound,

אז בואו נשנה את התדר של הצליל,

and watch what happens to the fire.

ונראה מה קורה לאש.

(Higher frequency)

(צליל בתדר גבוה יותר)

So every time we hit a resonant frequency we get a standing wave

כל פעם שאנחנו מגיעים לתדר התהודה אנחנו מקבלים גל עומד

and that emergent sine curve of fire.

ואת גל הסינוס הזה שנוצר על ידי האש.

So let's turn that off. We're indoors.

בואו נכבה את זה, אנחנו בתוך חדר סגור.

Thank you. (Applause)

תודה רבה. (מחיאות כפיים)

I also have with me a flame table.

יש לי כאן גם שולחן אש.

It's very similar to a Rubens' tube, and it's also used

הוא מאוד דומה לצינורית רובן, והוא גם כן משמש

for visualizing the physical properties of sound,

להמחשה ויזואלית של העקרונות הפיזיקליים של גלי קול,

such as eigenmodes, so let's fire it up

כמו אופני תהודה עצמיים, אז בואו נדליק את זה

and see what it does.

ונראה מה זה עושה.

Ooh. (Laughter)

אוווווו. (צחוק)

Okay. Now, while the table comes up to pressure,

אוקיי. עד שהשולחן יגיע ללחץ הרצוי,

let me note here that the sound is not traveling

אני רוצה לציין שגלי הקול לא נעים

in perfect lines. It's actually traveling in all directions,

בקווים ישרים. למעשה הם נעים לכל הכיוונים,

and the Rubens' tube's a little like bisecting those waves

וצינורית רובנס כאילו חוצה את הגלים הללו

with a line, and the flame table's a little like

בקו אחד, ושולחן האש

bisecting those waves with a plane,

חותך את הגלים האלה במישור,

and it can show a little more subtle complexity, which is why

כך שהוא יכול להמחיש לנו במעט יותר מורכבות, שזו הסיבה

I like to use it to watch Geoff Farina play guitar.

שבגללה אני אוהב להשתמש בו על מנת לצפות בג'ף פארינה מנגן בגיטרה.

(Music)

(מוזיקה)

All right, so it's a delicate dance.

אוקיי, אז זה ריקוד עדין.

If you watch closely — (Applause)

ואם הסתכלתם טוב-- (מחיאות כפיים)

If you watch closely, you may have seen

אם הסתכלתם טוב, אולי ראיתם

some of the eigenmodes, but also you may have seen

כמה מאופני התהודה העצמיים, בנוסף גם ראיתם

that jazz music is better with fire.

שמוזיקת ג'אז יותר טובה להמחשה עם האש.

Actually, a lot of things are better with fire in my world,

למען האמת, הרבה דברים טובים יותר עם אש בעולם שלי,

but the fire's just a foundation.

אבל האש היא רק הבסיס.

It shows very well that eyes can hear,

היא ממחישה לנו צלילים ומאפשרת לנו לשמוע דרך העיניים.

and this is interesting to me because

וזה מעניין אותי כיוון

technology allows us to present sound to the eyes

שטכנולוגיה מאפשרת לנו להציג צלילים לעיניים בצורה ויזואלית

in ways that accentuate the strength of the eyes

באופן שמדגיש את החוזק של העיניים

for seeing sound, such as the removal of time.

בראיית צלילים, למשל בהוצאת זמן.

So here, I'm using a rendering algorithm to paint

אז כאן אני משתמש באלגוריתם עיבוד על מנת לצבוע

the frequencies of the song "Smells Like Teen Spirit"

את התדרים של השיר "מריח כמו רוח נעורים" (נירוונה)

in a way that the eyes can take them in

באופן שהעיניים יכולות לקלוט אותם

as a single visual impression, and the technique

כביטוי ויזואלי יחיד. הטכניקה

will also show the strengths of the visual cortex

שבה אני משתמש מראה את החוזק של החלק במוח שאחראי על הניתוח של המידע מהעיניים

for pattern recognition.

לזיהוי תבניות.

So if I show you another song off this album,

אם אני אראה לכם שיר אחר מהאלבום הזה,

and another, your eyes will easily pick out

ועוד שיר אחר, העיניים שלכם יזהו בקלות

the use of repetition by the band Nirvana,

את השימוש בחזרות על ידי הלהקה נירוונה,

and in the frequency distribution, the colors,

ואת מנעד התדרים, הצבעים,

you can see the clean-dirty-clean sound

תוכלו לראות את הצליל הנקי-מלוכלך-נקי

that they are famous for,

שהם כל כך ידועים בו,

and here is the entire album as a single visual impression,

וכאן יש את האלבום השלם בתמונה ויזואלית אחת,

and I think this impression is pretty powerful.

אני חושב שהתמונה הזו מאוד עצמתית.

At least, it's powerful enough that

עצמתית מספיק

if I show you these four songs,

על מנת שאם אני אראה לכם את ארבעת השירים הללו

and I remind you that this is "Smells Like Teen Spirit,"

ואני אזכיר לכם שזה "מריח כמו רוח נעורים,"

you can probably correctly guess, without listening

אתם כנראה תוכלו לנחש, ללא האזנה

to any music at all, that the song

למוזיקה כלל, שהשיר

a die hard Nirvana fan would enjoy is this song,

שממנו יהנה מעריץ שרוף של נירוונה הוא זה,

"I'll Stick Around" by the Foo Fighters,

"I'll stick around" של ה- Foo Fighters,

whose lead singer is Dave Grohl,

שהסולן שלה הוא דייב גרוהל,

who was the drummer in Nirvana.

שהיה בעבר מתופף בנירוונה.

The songs are a little similar, but mostly

השירים מעט דומים, אבל בגדול

I'm just interested in the idea that someday maybe

אני מתעניין רק ברעיון שיום אחד אולי

we'll buy a song because we like the way it looks.

נקנה שיר בגלל הדרך שהוא נראה.

All right, now for some more sound data.

אוקיי... בואו נראה עוד נתונים.

This is data from a skate park,

הנתונים האלה הם מפארק גלישה (סקייטבורד),

and this is Mabel Davis skate park

וזהו פארק הגלישה "מייבל דייוויס"

in Austin, Texas. (Skateboard sounds)

באוסטין, טקסס. (רעשי סקייטבורד)

And the sounds you're hearing came from eight

הצלילים שאתם שומעים מגיעים משמונה

microphones attached to obstacles around the park,

מקרופונים המחוברים למתקנים ולמכשולים שבפארק,

and it sounds like chaos, but actually

וזה נשמע כמו כאוס. אבל למעשה

all the tricks start with a very distinct slap,

כל הטריקים מתחילים עם אותו צליל מאפיין,

but successful tricks end with a pop,

אבל רק הטריקים המוצלחים מסתיימים בצליל "פופ",

whereas unsuccessful tricks

טריקים לא מוצלחים

more of a scratch and a tumble,

נשמעים יותר כמו שריטה ונפילה,

and tricks on the rail will ring out like a gong, and

וטריקים על מעקה מתכת מצלצלים כמו גונג,

voices occupy very unique frequencies in the skate park.

צלילים אלה נשמעים בתדרים מאוד מסויימים ברחבי פארק הגלישה.

So if we were to render these sounds visually,

אם נעבד את הצלילים הללו לכדי תמונה ויזואלית,

we might end up with something like this.

נגיע למשהו שנראה פחות או יותר כך.

This is all 40 minutes of the recording,

אלה הם כל ארבעים הדקות של ההקלטה,

and right away the algorithm tells us

וישר ניתן לראות בעזרת האלגוריתם

a lot more tricks are missed than are made,

שהרבה יותר טריקים מסתיימים בכשלון מאשר בהצלחה,

and also a trick on the rails is a lot more likely

בנוסף, טריק שמבוצע על המעקה, יש סיכוי הרבה יותר גדול

to produce a cheer, and if you look really closely,

שיגרור קריאות עידוד. אם תסתכלו טוב טוב,

we can tease out traffic patterns.

תוכלו להבחין בדפוסים של תנועה ברחוב.

You see the skaters often trick in this direction. The obstacles are easier.

אתם יכולים לראות שהרבה פעמים מבצעים טריקים בכוון הזה. המכשולים קלים יותר.

And in the middle of the recording, the mics pick this up,

באמצע ההקלטה המקרופונים קלטו את זה,

but later in the recording, this kid shows up,

אבל מאוחר יותר בהקלטה, הילד הזה מופיע,

and he starts using a line at the top of the park

ומתחיל להשתמש במסלול הזה במעלה הפארק

to do some very advanced tricks on something

על מנת לבצע טריקים מתקדמים מאוד על משהו

called the tall rail.

שנקרא מעקה גבוה.

And it's fascinating. At this moment in time,

זה מרתק. ברגע הזה בזמן,

all the rest of the skaters turn their lines 90 degrees

כל שאר הסקייטרים מסתובבים בתשעים מעלות

to stay out of his way.

על מנת לפנות לו את הדרך.

You see, there's a subtle etiquette in the skate park,

אתם רואים, יש כללי התנהגות נאותה בפארק הגלישה,

and it's led by key influencers,

שמונהגת על ידי אנשי מפתח,

and they tend to be the kids who can do the best tricks,

שנוטים להיות הילדים שמבצעים את הטריקים הכי טובים,

or wear red pants, and on this day the mics picked that up.

או לובשים מכנסיים אדומים, ובאותו יום המקרופונים קלטו את זה.

All right, from skate physics to theoretical physics.

אוקיי... נעבור מפיזיקה של גלישה לפיזיקה תיאורטית.

I'm a big fan of Stephen Hawking,

אני מעריץ גדול של סטיבן הוקינג,

and I wanted to use all eight hours

ורציתי להשתמש בכל שמונה השעות

of his Cambridge lecture series to create an homage.

של ההרצאה שלו בקיימברידג' על מנת לעשות לו מחווה.

Now, in this series he's speaking with the aid of a computer,

בסדרה הזו הוא מדבר בעזרת מחשב,

which actually makes identifying the ends of sentences

שלמעשה הופך את הזיהוי של סוף המשפט

fairly easy. So I wrote a steering algorithm.

לפשוט מאוד. אז רשמתי אלגוריתם הכוונה.

It listens to the lecture, and then it uses

הוא מאזין להרצאה, ואז הוא משתמש

the amplitude of each word to move a point on the x-axis,

באמפליטודה של כל מילה על מנת להזיז נקודה על ציר X,

and it uses the inflection of sentences

הוא גם משתמש בהטיה של משפטים

to move a same point up and down on the y-axis.

על מנת להזיז את אותה נקודה למעלה ולמטה על ציר Y.

And these trend lines, you can see, there's more questions

קווי המגמה שאתם יכולים לראות, יש יותר שאלות

than answers in the laws of physics,

מתשובות בחוקי הפיסיקה,

and when we reach the end of a sentence,

וכאשר אנו מגיעים לסוף של משפט,

we place a star at that location.

אנחנו שמים כוכב באותו מקום.

So there's a lot of sentences, so a lot of stars,

יש הרבה מאוד משפטים ולכן גם הרבה מאוד כוכבים,

and after rendering all of the audio, this is what we get.

ולאחר עיבוד כל קטע האודיו אנחנו מקבלים את זה.

This is Stephen Hawking's universe.

זה היקום של סטיבן הוקינג.

(Applause)

(מחיאות כפיים)

It's all eight hours of the Cambridge lecture series

אלה כל שמונה השעות של סידרת ההרצאות בקיימברידג'

taken in as a single visual impression,

בתמונה אחת,

and I really like this image,

אני מאוד אוהב את התמונה הזו,

but a lot of people think it's fake.

אבל הרבה אנשים חושבים שהיא מזוייפת.

So I made a more interactive version,

אז בניתי גירסא יותר אינטראקטיבית,

and the way I did that is I used their position in time

והדרך שבה עשיתי זאת, היא שהשתמשתי במיקום שלהם בזמן

in the lecture to place these stars into 3D space,

במהלך ההרצאה על מנת למקם אותם במרחב תלת-מימדי,

and with some custom software and a Kinect,

ובעזרת כמה תוכנות מיוחדות וקינקט,

I can walk right into the lecture.

אני יכול ללכת היישר לתוך ההרצאה.

I'm going to wave through the Kinect here

אני הולך לנופף דרך הקינקט כאן

and take control, and now I'm going to reach out

ולקחת שליטה, ועכשיו אני אשלח יד

and I'm going to touch a star, and when I do,

ואגע בכוכב, וכאשר אני עושה זאת,

it will play the sentence

הוא ינגן את המשפט

that generated that star.

שיצר את הכוכב הזה.

Stephen Hawking: There is one, and only one, arrangement

סטיבןן הוקינג: יש סידור אחד, ורק אחד

in which the pieces make a complete picture.

שבו החלקים יוצרים תמונה שלמה.

Jared Ficklin: Thank you. (Applause)

ג'ארד פיקלין: תודה רבה. (מחיאות כפיים)

There are 1,400 stars.

יש 1,400 כוכבים.

It's a really fun way to explore the lecture,

זאת דרך מהנה מאוד לנווט בתוך ההרצאה,

and, I hope, a fitting homage.

ואני מקווה שזו גם מחווה יפה.

All right. Let me close with a work in progress.

אוקיי... אני רוצה לסיים עם עבודה שעדיין בתהליך הכנה.

I think, after 30 years, the opportunity exists

אני חושב, שאחרי 30 שנה, ישנה הזדמנות

to create an enhanced version of closed captioning.

ליצור גרסא משופרת של כתוביות סמויות.

Now, we've all seen a lot of TEDTalks online,

כולנו ראינו הרבה מאוד הרצאות TED באינטרנט,

so let's watch one now with the sound turned off

אז בואו נצפה באחת ללא קול

and the closed captioning turned on.

ועם כתוביות.

There's no closed captioning for the TED theme song,

אין כתוביות לפתיח של TED,

and we're missing it, but if you've watched enough of these,

ואנחנו מפספסים אותו, אבל אם צפיתם במספיק כאלה,

you hear it in your mind's ear,

אתם שומעים אותו בדמיון שלכם,

and then applause starts.

ואז מתחילות מחיאות כפיים.

It usually begins here, and it grows and then it falls.

בדרך כלל זה מתחיל כאן, זה מתגבר ואז זה מפסיק.

Sometimes you get a little star applause,

לפעמים מקבלים מחיאות כפיים לכוכב,

and then I think even Bill Gates takes a nervous breath,

ואז אני חושב שאפילו ביל גייטס לוקח שאיפה עצבנית,

and the talk begins.

ההרצאה מתחילה.

All right, so let's watch this clip again.

אוקיי... בואו נצפה בקליפ הזה שוב.

This time, I'm not going to talk at all.

והפעם, אני לא הולך לדבר כלל.

There's still going to be no audio,

עדיין לא הולך להיות קול,

but what I am going to do is I'm going to render the sound

אבל מה שאני הולך לעשות זה לעבד את קטע האודיו

visually in real time at the bottom of the screen.

בצורה ויזואלית בזמן אמת בתחתית המסך.

So watch closely and see what your eyes can hear.

אז תסתכלו טוב ותראו מה העיניים שלכם יכולות לשמוע.

This is fairly amazing to me.

לדעתי זה מדהים.

Even on the first view, your eyes will successfully

אפילו בצפיה ראשונה, העיניים שלכם יצליחו

pick out patterns, but on repeated views,

למצוא תבניות, אבל בצפיות חוזרות,

your brain actually gets better

המוח שלכם אפילו נעשה טוב יותר

at turning these patterns into information.

בהפיכת התבניות הללו למידע.

You can get the tone and the timbre

אתם יכולים לקלוט את הטון, הנימה

and the pace of the speech,

ואת קצב הדיבור,

things that you can't get out of closed captioning.

דברים שאינכם יכולים לזהות בעזרת כתוביות.

That famous scene in horror movies

הסצינה הידועה בסרטי אימה

where someone is walking up from behind

כאשר מישהו מתגנב מאחור

is something you can see,

זה משהו שאפשר לראות,

and I believe this information would be something

ואני מאמין שהמידע הזה יהיה משהו

that is useful at times when the audio is turned off

מועיל כאשר הקול מכובה

or not heard at all, and I speculate that deaf audiences

או לא נשמע בכלל, ואני משער שהקהל של כבדי השמיעה

might actually even be better

יהיה אפילו טוב יותר

at seeing sound than hearing audiences.

בראיית צלילים מאשר קהל אנשים עם שמיעה תקינה.

I don't know. It's a theory right now.

אני לא יודע. זו תיאוריה כרגע.

Actually, it's all just an idea.

למען האמת, זה רק רעיון.

And let me end by saying that sound moves in all directions,

אני רוצה לסיים באמירה שגלי קול נעים בכל הכיוונים,

and so do ideas.

כך גם רעיונות.

Thank you. (Applause)

תודה רבה. (מחיאות כפיים)