Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Μετάφραση: Eleana Tyradelli Επιμέλεια: Mary Keramida

My passions

Τα πάθη μου

are music, technology and making things.

είναι η μουσική, η τεχνολογία και το να φτιάχνω πράγματα.

And it's the combination of these things

Ο συνδυασμός των τριών αυτών πραγμάτων

that has led me to the hobby of sound visualization,

με οδήγησε να ασχοληθώ με την απεικόνιση του ήχου

and, on occasion, has led me to play with fire.

και, ενίοτε, στο παιχνίδι με τη φωτιά.

This is a Rubens' tube. It's one of many I've made over the years,

Αυτός είναι ένας σωλήνας Ρούμπενς. Έχω φτιάξει πολλούς

and I have one here tonight.

κι έφερα έναν απόψε εδώ.

It's about an 8-foot-long tube of metal,

Είναι ένας μεταλλικός σωλήνας 2,5 μέτρων.

it's got a hundred or so holes on top,

Έχει περίπου 100 τρύπες.

on that side is the speaker, and here

Σ' αυτή τη μεριά έχω το μικρόφωνο

is some lab tubing, and it's connected to this tank

κι εδώ έχω συνδέσει έναν σωλήνα

of propane.

μ' αυτό το δοχείο προπανίου.

So, let's fire it up and see what it does.

Ας το ανάψουμε να δούμε τι κάνει.

So let's play a 550-herz frequency

Ας παίξουμε μια συχνότητα 550hz

and watch what happens.

να δούμε τι θα συμβεί.

(Frequency)

(Συχνότητα)

Thank you. (Applause)

Ευχαριστώ. (Χειροκρότημα)

It's okay to applaud the laws of physics,

Μπορούμε να χειροκροτούμε τους νόμους της φυσικής,

but essentially what's happening here

αλλά αυτό που συμβαίνει εδώ

-- (Laughter) --

--(Γέλια)--

is the energy from the sound via the air and gas molecules

είναι ότι η ενέργεια του ήχου, μέσω του αέρα και των μορίων του αερίου,

is influencing the combustion properties of propane,

επηρεάζει τις ιδιότητες καύσης του προπανίου,

creating a visible waveform,

σχηματίζοντας μια ορατή κυματομορφή.

and we can see the alternating regions of compression

Bλέπουμε τις περιοχές συμπίεσης που εναλλάσσονται,

and rarefaction that we call frequency,

την αραίωση που αποκαλούμε συχνότητα

and the height is showing us amplitude.

και το ύψος που δείχνει πλάτος κύματος.

So let's change the frequency of the sound,

Ας αλλάξουμε τη συχνότητα του ήχου,

and watch what happens to the fire.

να δούμε τι θα συμβεί στη φωτιά.

(Higher frequency)

(Υψηλότερη συχνότητα)

So every time we hit a resonant frequency we get a standing wave

Η αλλαγή συχνότητας προκαλεί ένα στάσιμο κύμα κι αναγκάζει τη φλόγα

and that emergent sine curve of fire.

να σχηματίσει ημιτονοειδή καμπύλη.

So let's turn that off. We're indoors.

Ας το σβήσουμε καλύτερα. Είμαστε σε εσωτερικό χώρο.

Thank you. (Applause)

Ευχαριστώ. (Χειροκρότημα)

I also have with me a flame table.

Έχω φέρει κι αυτό το τραπέζι.

It's very similar to a Rubens' tube, and it's also used

Μοιάζει με τον σωλήνα Ρούμπενς

for visualizing the physical properties of sound,

και οπτικοποιεί τις ιδιότητες του ήχου,

such as eigenmodes, so let's fire it up

όπως τους ιδιορυθμούς. Ας βάλουμε φωτιά

and see what it does.

κι ας δούμε τι κάνει.

Ooh. (Laughter)

Ω! (Γέλια)

Okay. Now, while the table comes up to pressure,

Καθώς η πίεση στο τραπέζι αυξάνεται,

let me note here that the sound is not traveling

βλέπετε ότι ο ήχος ταξιδεύει άτακτα

in perfect lines. It's actually traveling in all directions,

προς όλες τις κατευθύνσεις

and the Rubens' tube's a little like bisecting those waves

κι ότι ο σωλήνας Ρούμπενς διχοτομεί τα κύματα

with a line, and the flame table's a little like

με μία γραμμή, ενώ το τραπέζι

bisecting those waves with a plane,

τα διχοτομεί με ένα επίπεδο

and it can show a little more subtle complexity, which is why

και μπορεί να απεικονίσει περισσότερες λεπτομέρειες,

I like to use it to watch Geoff Farina play guitar.

γι' αυτό μ' αρέσει να το χρησιμοποιώ

(Music)

για να βλέπω τον Τζεφ Φαρίνα να παίζει κιθάρα.

(Μουσική)

All right, so it's a delicate dance.

Είναι ένας όμορφος χορός.

If you watch closely — (Applause)

(Χειροκρότημα)

Αν προσέξετε, μπορεί να δείτε

If you watch closely, you may have seen

some of the eigenmodes, but also you may have seen

κάποιες από τις ιδιομορφές,

that jazz music is better with fire.

αλλά και ότι η τζάζ είναι πιο ωραία με φωτιά.

Actually, a lot of things are better with fire in my world,

Στον κόσμο μου, πολλά είναι πιο ωραία με φωτιά,

but the fire's just a foundation.

αλλά αυτή είναι μόνο η βάση.

It shows very well that eyes can hear,

Δείχνει ότι τα μάτια μπορούν να ακούσουν.

and this is interesting to me because

Έχει ενδιαφέρον γιατί η τεχνολογία

technology allows us to present sound to the eyes

μας επιτρέπει να παρουσιάσουμε τον ήχο στα μάτια

in ways that accentuate the strength of the eyes

με τρόπους που εντείνουν την ικανότητα των ματιών

for seeing sound, such as the removal of time.

να βλέπουν τον ήχο, όπως η αφαίρεση του χρόνου.

So here, I'm using a rendering algorithm to paint

Εδώ χρησιμοποιώ έναν αλγόριθμο για να χρωματίσω

the frequencies of the song "Smells Like Teen Spirit"

τις συχνότητες του τραγουδιού «Smells Like Teen Spirit»

in a way that the eyes can take them in

ώστε να μπορούν τα μάτια να τις αντιληφθούν

as a single visual impression, and the technique

σαν μία οπτική εντύπωση και η τεχνική θα δείξει

will also show the strengths of the visual cortex

και τη δυνατότητα του οπτικού φλοιού

for pattern recognition.

να αναγνωρίζει μοτίβα.

So if I show you another song off this album,

Αν σας δείξω κι άλλα τραγούδια,

and another, your eyes will easily pick out

τα μάτια σας θα ξεχωρίσουν εύκολα

the use of repetition by the band Nirvana,

τα κοινά σημεία των τραγουδιών των Nirvana,

and in the frequency distribution, the colors,

και στην κατανομή συχνότητας τα χρώματα

you can see the clean-dirty-clean sound

δείχνουν τον καθαρό-βρώμικο-καθαρό ήχο

that they are famous for,

για τον οποίο είναι διάσημοι

and here is the entire album as a single visual impression,

κι εδώ είναι η οπτική εντύπωση ολόκληρου του άλμπουμ.

and I think this impression is pretty powerful.

Πιστεύω ότι είναι πολύ ισχυρή.

At least, it's powerful enough that

Τουλάχιστον τόσο ώστε

if I show you these four songs,

αν σας δείξω αυτά τα 4 τραγούδια

and I remind you that this is "Smells Like Teen Spirit,"

και σας πω ότι αυτό είναι το «Smells Like Teen Spirit»

you can probably correctly guess, without listening

θα μπορέσετε να μαντέψετε, χωρίς να ακούσετε,

to any music at all, that the song

ότι το τραγούδι που ένας οπαδός

a die hard Nirvana fan would enjoy is this song,

των Nirvana θα προτιμούσε,

"I'll Stick Around" by the Foo Fighters,

είναι αυτό, το «I'll Stick Around» των Foo Fighters,

whose lead singer is Dave Grohl,

των οποίων τραγουδιστής είναι ο Ντέιβ Γκρολ

who was the drummer in Nirvana.

που ήταν ο ντράμερ των Nirvana.

The songs are a little similar, but mostly

Τα τραγούδια μοιάζουν,

I'm just interested in the idea that someday maybe

αλλά με ενδιαφέρει ότι κάποτε

we'll buy a song because we like the way it looks.

ίσως θα επιλέγουμε ένα τραγούδι από την εικόνα του.

All right, now for some more sound data.

Λίγα ακόμη δεδομένα ήχου.

This is data from a skate park,

Αυτά είναι από ένα πάρκο που κάνουν σκέιτμπορντ

and this is Mabel Davis skate park

το Μέημπελ Ντέηβις

in Austin, Texas. (Skateboard sounds)

στο Ώστιν του Τέξας. (Ήχοι από σκέιτμπορντ)

And the sounds you're hearing came from eight

Οι ήχοι προέρχονται από οκτώ

microphones attached to obstacles around the park,

μικρόφωνα που τοποθετήθηκαν στο πάρκο

and it sounds like chaos, but actually

και μοιάζουν χαοτικοί, αλλά στην πραγματικότητα

all the tricks start with a very distinct slap,

τα κόλπα ξεκινούν με έναν χαρακτηριστικό ήχο

but successful tricks end with a pop,

και τα πετυχημένα κόλπα τελειώνουν με ένα ποπ

whereas unsuccessful tricks

ενώ τα αποτυχημένα

more of a scratch and a tumble,

με ένα γρατζούνισμα και μια τούμπα.

and tricks on the rail will ring out like a gong, and

Το κόλπα στο κάγκελο κάνουν ένα κουδούνισμα σαν γκονγκ

voices occupy very unique frequencies in the skate park.

και οι φωνές έχουν ιδιαίτερες συχνότητες στο πάρκο.

So if we were to render these sounds visually,

Αν απεικονίζαμε αυτούς τους ήχους,

we might end up with something like this.

θα είχαμε κάτι τέτοιο.

This is all 40 minutes of the recording,

Εδώ έχουμε αρχείο διάρκειας 40 λεπτών

and right away the algorithm tells us

και αμέσως ο αλγόριθμος μας λέει

a lot more tricks are missed than are made,

ότι τα περισσότερα κόλπα έχουν αποτύχει

and also a trick on the rails is a lot more likely

κι ότι τα κόλπα στο κάγκελο είναι πιο πιθανό

to produce a cheer, and if you look really closely,

να προκαλέσουν επευφημίες κι αν προσέξετε,

we can tease out traffic patterns.

μπορείτε να δείτε την κατεύθυνση.

You see the skaters often trick in this direction. The obstacles are easier.

Συχνά κινούνται προς αυτή την κατεύθυνση γιατί τα εμπόδια είναι ευκολότερα.

And in the middle of the recording, the mics pick this up,

Στη μέση του αρχείου το μικρόφωνο καταγράφει αυτό,

but later in the recording, this kid shows up,

αλλά αργότερα εμφανίζεται ένα παιδί

and he starts using a line at the top of the park

που χρησιμοποιεί μια γραμμή στην κορυφή του πάρκου

to do some very advanced tricks on something

για να κάνει πιο προχωρημένα κόλπα σε ένα ψηλό κάγκελο.

called the tall rail.

And it's fascinating. At this moment in time,

Είναι φανταστικό. Από αυτή τη στιγμή,

all the rest of the skaters turn their lines 90 degrees

όλοι οι άλλοι αλλάζουν τις γραμμές τους κατά 90 μοίρες

to stay out of his way.

για να μην πέσουν πάνω του.

You see, there's a subtle etiquette in the skate park,

Βλέπετε, υπάρχουν άτυποι κανόνες σ' αυτό το πάρκο,

and it's led by key influencers,

που ορίζονται από εκείνους

and they tend to be the kids who can do the best tricks,

που μπορούν να κάνουν τα καλύτερα κόλπα ή που φορούν κόκκινο παντελόνι

or wear red pants, and on this day the mics picked that up.

και το μικρόφωνο το κατέγραψε αυτό.

All right, from skate physics to theoretical physics.

Ας περάσουμε τώρα στη θεωρητική φυσική.

I'm a big fan of Stephen Hawking,

Είμαι οπαδός του Στήβεν Χόκινγκ

and I wanted to use all eight hours

και ήθελα να χρησιμοποιήσω και τις οκτώ ώρες

of his Cambridge lecture series to create an homage.

της ομιλίας του στο Κέημπριτζ σαν αφιέρωμα.

Now, in this series he's speaking with the aid of a computer,

Σε αυτή τη σειρά μιλά με τη βοήθεια υπολογιστή,

which actually makes identifying the ends of sentences

κάτι που διευκολύνει την αναγνώριση του τέλους των προτάσεων.

fairly easy. So I wrote a steering algorithm.

Έτσι έγραψα έναν αλγόριθμο.

It listens to the lecture, and then it uses

Ακούει την ομιλία και στη συνέχεια

the amplitude of each word to move a point on the x-axis,

χρησιμοποιεί το πλάτος κύματος κάθε λέξης για να κινηθεί στον άξονα χ

and it uses the inflection of sentences

και τη διακύμανση των προτάσεων

to move a same point up and down on the y-axis.

για να κινηθεί στον άξονα ψ.

And these trend lines, you can see, there's more questions

Αυτές είναι γραμμές τάσεις. Στους νόμους της φυσικής

than answers in the laws of physics,

υπάρχουν περισσότερες ερωτήσεις παρά απαντήσεις.

and when we reach the end of a sentence,

Όταν φτάσουμε στο τέλος μιας πρότασης,

we place a star at that location.

τοποθετούμε ένα αστέρι στο σημείο αυτό.

So there's a lot of sentences, so a lot of stars,

Υπάρχουν πολλές προτάσεις άρα και πολλά αστέρια.

and after rendering all of the audio, this is what we get.

Αφού απεικονίσουμε όλο το αρχείο καταλήγουμε σε αυτό.

This is Stephen Hawking's universe.

Αυτό είναι το σύμπαν του Στήβεν Χόκινγκ.

(Applause)

(Χειροκρότημα)

It's all eight hours of the Cambridge lecture series

Είναι ολόκληρη η 8ωρη σειρά ομιλιών του στο Κέημπριτζ

taken in as a single visual impression,

σε μια και μοναδική εικόνα

and I really like this image,

και μ' αρέσει πολύ αυτή η εικόνα,

but a lot of people think it's fake.

αλλά πολλοί πιστεύουν ότι είναι ψεύτικη.

So I made a more interactive version,

Έτσι, έφτιαξα μια πιο διαδραστική εκδοχή,

and the way I did that is I used their position in time

χρησιμοποιώντας τη χρονική θέση των αστεριών

in the lecture to place these stars into 3D space,

στην ομιλία για να τα κάνω τρισδιάστατα.

and with some custom software and a Kinect,

Με συγκεκριμένο λογισμικό και ένα Kinect,

I can walk right into the lecture.

μπορώ να περπατήσω μέσα στην ομιλία.

I'm going to wave through the Kinect here

Θα χαιρετήσω το Kinect

and take control, and now I'm going to reach out

για να το ενεργοποιήσω

and I'm going to touch a star, and when I do,

και θα αγγίξω ένα αστέρι

it will play the sentence

κι αυτό θα αναπαράγει την πρόταση

that generated that star.

από την οποία προήλθε.

Stephen Hawking: There is one, and only one, arrangement

Στήβεν Χόκινγκ: Υπάρχει μία και μοναδική διάταξη

in which the pieces make a complete picture.

κατά την οποία τα κομμάτια συνθέτουν μια ολοκληρωμένη εικόνα.

Jared Ficklin: Thank you. (Applause)

Τζάρεντ Φίκλιν: Ευχαριστώ. (Χειροκρότημα)

There are 1,400 stars.

Υπάρχουν 1.400 αστέρια.

It's a really fun way to explore the lecture,

Είναι ένας διασκεδαστικός τρόπος εξερεύνησης της ομιλίας

and, I hope, a fitting homage.

κι ελπίζω, πρέπων φόρος τιμής.

All right. Let me close with a work in progress.

Θα κλείσω με ένα έργο που δεν έχει ολοκληρωθεί ακόμα.

I think, after 30 years, the opportunity exists

Πιστεύω ότι σε 30 χρόνια, υπάρχει η πιθανότητα

to create an enhanced version of closed captioning.

να δημιουργηθεί μια βελτιωμένη εκδοχή υποτίτλων.

Now, we've all seen a lot of TEDTalks online,

Έχουμε δει πολλές Ομιλίες TED στο διαδίκτυο.

so let's watch one now with the sound turned off

Ας δούμε μία με τον ήχο απενεργοποιημένο,

and the closed captioning turned on.

αλλά με ενεργοποιημένους υπότιτλους.

There's no closed captioning for the TED theme song,

Δεν υπάρχουν υπότιτλοι για την εισαγωγική μουσική του TED,

and we're missing it, but if you've watched enough of these,

αλλά εάν έχετε δει πολλά τέτοια βίντεο,

you hear it in your mind's ear,

την ακούτε στο μυαλό σας.

and then applause starts.

Και αρχίζει το χειροκρότημα.

Κάπου εδώ συνήθως, δυναμώνει και χαμηλώνει.

It usually begins here, and it grows and then it falls.

Sometimes you get a little star applause,

Μερικές φορές δίνεται στον υπότιτλο το χειροκρότημα

and then I think even Bill Gates takes a nervous breath,

και μετα ο Μπιλ Γκέητς παίρνει μια νευρική ανάσα

and the talk begins.

και ξεκινά να μιλά.

All right, so let's watch this clip again.

Ας δούμε το βίντεο ξανά.

Αυτή τη φορά δεν θα πω τίποτα.

This time, I'm not going to talk at all.

There's still going to be no audio,

Δεν θα υπάρχει ήχος,

but what I am going to do is I'm going to render the sound

αλλά θα απεικονίσω τον ήχο

visually in real time at the bottom of the screen.

σε πραγματικό χρόνο στο κάτω μέρος της οθόνης.

So watch closely and see what your eyes can hear.

Παρακολουθήστε τι ακούν τα μάτια σας.

This is fairly amazing to me.

Το βρίσκω απίθανο.

Even on the first view, your eyes will successfully

Με την πρώτη ματιά, τα μάτια σας

pick out patterns, but on repeated views,

θα εντοπίσουν μοτίβα, αλλά με την επανάληψη

your brain actually gets better

ο εγκέφαλος αρχίζει να μετατρέπει

at turning these patterns into information.

τα μοτίβα σε πληροφορία.

You can get the tone and the timbre

Αναγνωρίζετε τον τόνο, τη χροιά

and the pace of the speech,

και τον ρυθμό της φωνής,

things that you can't get out of closed captioning.

πράγματα που δεν φαίνονται στους υπότιτλους.

That famous scene in horror movies

Εκείνη η κλασική σκηνή στις ταινίες τρόμου

where someone is walking up from behind

που κάποιος πετάγεται από πίσω,

is something you can see,

γίνεται κάτι που μπορείτε να δείτε

and I believe this information would be something

και νομίζω ότι αυτή η πληροφορία

that is useful at times when the audio is turned off

θα ήταν χρήσιμη σε περιπτώσεις όπου δεν υπάρχει ήχος.

or not heard at all, and I speculate that deaf audiences

Πιθανολογώ ότι το κωφάλαλο κοινό

might actually even be better

ίσως να είναι ικανότερο

at seeing sound than hearing audiences.

στο να βλέπει τον ήχο.

I don't know. It's a theory right now.

Δεν ξέρω. Είναι ακόμα θεωρία.

Actually, it's all just an idea.

Είναι μόνο μια ιδέα.

And let me end by saying that sound moves in all directions,

Θα κλείσω λέγοντας ότι ο ήχος κινείται προς όλες τις κατευθύνσεις

and so do ideas.

όπως ακριβώς και οι ιδέες.

Thank you. (Applause)

Ευχαριστώ. (Χειροκρότημα)