Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Translator: Guillermo Parra Reviewer: Rocío Gutiérrez Muñoz de la Torre

My passions

Les meves passions

are music, technology and making things.

són la música, la tecnologia i provar coses.

And it's the combination of these things

I és la combinació d'aquestes coses

that has led me to the hobby of sound visualization,

la que m'ha portat al hobby de la visualització del so

and, on occasion, has led me to play with fire.

i, en ocasions, també m'ha portat a jugar amb foc.

This is a Rubens' tube. It's one of many I've made over the years,

Això és un tub de Rubens, un dels molts que he anat fent.

and I have one here tonight.

Us n'he portat un avui.

It's about an 8-foot-long tube of metal,

Està format per un tub metàl·lic

it's got a hundred or so holes on top,

amb forats a la part superior,

on that side is the speaker, and here

un altaveu allà

is some lab tubing, and it's connected to this tank

i uns tubs de laboratori, tot connectat a aquest tanc

of propane.

de propà.

So, let's fire it up and see what it does.

Encenem-lo, a veure què fa.

So let's play a 550-herz frequency

Posaré una freqüència de 550 hertzs

and watch what happens.

i veurem què passa.

(Frequency)

(FREQÜÈNCIA)

Thank you. (Applause)

(APLAUDIMENTS) Gràcies.

It's okay to applaud the laws of physics,

Està molt bé que aplaudiu les lleis de la física.

but essentially what's happening here

El que passa

-- (Laughter) --

(RIALLES)

is the energy from the sound via the air and gas molecules

és que l'energia del so es transmet per mitjà de les molècules de gas

is influencing the combustion properties of propane,

i altera les propietats de combustió del propà,

creating a visible waveform,

fent la forma d'una ona.

and we can see the alternating regions of compression

Podem veure l'alternança entre les zones de compressió

and rarefaction that we call frequency,

i rarefacció, que anomenem "freqüència".

and the height is showing us amplitude.

L'alçària ens mostra l'amplitud.

So let's change the frequency of the sound,

Ara canviem la freqüència del so

and watch what happens to the fire.

i observem què li passa al foc.

(Higher frequency)

(FREQÜÈNCIA MÉS ALTA)

So every time we hit a resonant frequency we get a standing wave

Cada vegada que trobem una ressonància obtenim una ona estacionària

and that emergent sine curve of fire.

i aquesta curva sinusoïdal del foc.

So let's turn that off. We're indoors.

Millor ho apaguem,

Thank you. (Applause)

que no som al carrer. Gràcies. (APLAUDIMENTS)

I also have with me a flame table.

També he portat una taula de foc.

It's very similar to a Rubens' tube, and it's also used

És molt semblant a un tub de Rubens, i s'utilitza

for visualizing the physical properties of sound,

per visualitzar les propietats físiques del so,

such as eigenmodes, so let's fire it up

com els modes de vibració. Així que encenem-la

and see what it does.

i vegem què fa.

Ooh. (Laughter)

Oh! (RIALLES)

Okay. Now, while the table comes up to pressure,

Mentre la taula arriba a la pressió adequada,

let me note here that the sound is not traveling

permeteu-me que us expliqui que el so no es propaga

in perfect lines. It's actually traveling in all directions,

de forma perfectament lineal, sinó en totes direccions.

and the Rubens' tube's a little like bisecting those waves

El tub de Rubens "biseca" les ones

with a line, and the flame table's a little like

amb una línia, i la taula de foc

bisecting those waves with a plane,

ho fa amb un pla, mostrant

and it can show a little more subtle complexity, which is why

així detalls més complexos i subtils. Per això m'agrada

I like to use it to watch Geoff Farina play guitar.

utilitzar-la per veure Geoff Farina tocant la guitarra.

(Music)

(MÚSICA DE GUITARRA)

All right, so it's a delicate dance.

Com veieu, és un ball molt delicat.

If you watch closely — (Applause)

Si l'heu observat atentament, (APLAUDIMENTS)

If you watch closely, you may have seen

potser haureu notat

some of the eigenmodes, but also you may have seen

alguns dels modes de vibració, o potser també

that jazz music is better with fire.

que la música jazz és millor amb foc.

Actually, a lot of things are better with fire in my world,

De fet, moltes coses són millors amb foc en el meu món.

but the fire's just a foundation.

Però el foc només és una base.

It shows very well that eyes can hear,

Ens demostra que els ulls poden sentir,

and this is interesting to me because

i em sembla molt interessant, perquè

technology allows us to present sound to the eyes

la tecnologia ens permet ensenyar sons als ulls

in ways that accentuate the strength of the eyes

de formes que aguditzen la capacitat de l'ull

for seeing sound, such as the removal of time.

per veure el so, com l'eliminació del temps.

So here, I'm using a rendering algorithm to paint

Aquí utilitzo un algoritme de processament per pintar

the frequencies of the song "Smells Like Teen Spirit"

les freqüències de la cançó "Smells Like Teen Spirit"

in a way that the eyes can take them in

de forma que els ulls les perceben

as a single visual impression, and the technique

com una impressió visual única, i la tècnica

will also show the strengths of the visual cortex

també demostra les capacitats del còrtex visual

for pattern recognition.

per al reconeixement de patrons.

So if I show you another song off this album,

Així que, si us ensenyo una altra cançó d'aquest àlbum,

and another, your eyes will easily pick out

i una altra, els vostres ulls reconeixeran fàcilment

the use of repetition by the band Nirvana,

l'ús de la repetició que fa el grup Nirvana.

and in the frequency distribution, the colors,

En la distribució de freqüències, els colors,

you can see the clean-dirty-clean sound

podeu apreciar el famós so net-brut-net

that they are famous for,

que els caracteritza,

and here is the entire album as a single visual impression,

Aquí teniu l'àlbum sencer en forma d'una única impressió visual,

and I think this impression is pretty powerful.

i crec que està carregada d'energia.

At least, it's powerful enough that

Almenys, en té la suficient com per a que,

if I show you these four songs,

si us ensenyo aquestes quatre cançons,

and I remind you that this is "Smells Like Teen Spirit,"

i us recordo que aquesta és "Smells Like Teen Spirit",

you can probably correctly guess, without listening

pogueu endevinar, sense escoltar res,

to any music at all, that the song

que aquesta és la cançó

a die hard Nirvana fan would enjoy is this song,

que podria agradar a un fanàtic de Nirvana.

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around", del grup Foo Fighters,

whose lead singer is Dave Grohl,

el cantant del qual és Dave Grohl,

who was the drummer in Nirvana.

que a la vegada era el bateria de Nirvana.

The songs are a little similar, but mostly

Les cançons són bastant semblants, però sobretot

I'm just interested in the idea that someday maybe

m'interessa la idea

we'll buy a song because we like the way it looks.

que potser algun dia en comprarem una perquè ens agrada el seu aspecte.

All right, now for some more sound data.

Bé, aquí teniu més exemples.

This is data from a skate park,

Aquesta informació la vaig extreure

and this is Mabel Davis skate park

del parc de patinatge "Mabel Davis",

in Austin, Texas. (Skateboard sounds)

a Austin, Texas. (SOROLL DE MONOPATINS)

And the sounds you're hearing came from eight

I els sons que sentiu van ser gravats

microphones attached to obstacles around the park,

per vuit micròfons als diferents obstacles del parc.

and it sounds like chaos, but actually

Sona un poc caòtic, però en realitat

all the tricks start with a very distinct slap,

tots els trucs comencen amb un so reconeixible.

but successful tricks end with a pop,

Els trucs que surten bé acaben amb un esclat,

whereas unsuccessful tricks

mentre els que no, acaben

more of a scratch and a tumble,

amb una rascada o una caiguda.

and tricks on the rail will ring out like a gong, and

Els trucs al rail sonen com un gong, i les veus tenen

voices occupy very unique frequencies in the skate park.

les seves pròpies freqüències al parc.

So if we were to render these sounds visually,

Si haguéssim de representar visualment aquests sons,

we might end up with something like this.

arribaríem a una cosa semblant.

This is all 40 minutes of the recording,

Aquí hi ha els 40 minuts de gravació,

and right away the algorithm tells us

i de seguida l'algorisme ens ensenya

a lot more tricks are missed than are made,

que es fallen molts més trucs dels que es fan bé,

and also a trick on the rails is a lot more likely

o que és molt més provable que hi hagi elogis

to produce a cheer, and if you look really closely,

després d'un truc al rail, i si l'observem atentament,

we can tease out traffic patterns.

descobrirem pautes de trànsit.

You see the skaters often trick in this direction. The obstacles are easier.

Els patinadors circulen més d'aquesta manera. Els obstacles són més fàcils.

And in the middle of the recording, the mics pick this up,

Això van registrar els micròfons a la meitat de la gravació,

but later in the recording, this kid shows up,

però després apareix aquest noi,

and he starts using a line at the top of the park

que comença a utilitzar aquesta zona

to do some very advanced tricks on something

per fer trucs molt avançats en un obstacle

called the tall rail.

anomenat "la barana".

And it's fascinating. At this moment in time,

I és fascinant. En aquest moment,

all the rest of the skaters turn their lines 90 degrees

la resta de patinadors desvien les seves trajectòries 90º

to stay out of his way.

per no fer nosa.

You see, there's a subtle etiquette in the skate park,

Com veieu, hi ha una norma tàcita al parc

and it's led by key influencers,

que depèn dels individus més influents,

and they tend to be the kids who can do the best tricks,

que solen ser els nois que fan els millors trucs,

or wear red pants, and on this day the mics picked that up.

o que porten pantalons vermells, segons les dades que tenim.

All right, from skate physics to theoretical physics.

Bé, ara passem de la física del patí a la física teòrica.

I'm a big fan of Stephen Hawking,

Sóc un gran fan d'Stephen Hawking,

and I wanted to use all eight hours

i volia aprofitar les vuit hores

of his Cambridge lecture series to create an homage.

de la seva sèrie de conferències a Cambridge per fer-li un homenatge.

Now, in this series he's speaking with the aid of a computer,

En aquesta sèrie, parla amb l'ajuda d'un ordinador,

which actually makes identifying the ends of sentences

que ens permet identificar fàcilment el final de les frases.

fairly easy. So I wrote a steering algorithm.

Així que vaig escriure un algorisme de direcció.

It listens to the lecture, and then it uses

Registra la conferència i després utilitza

the amplitude of each word to move a point on the x-axis,

l'amplitud de cada paraula per desplaçar-se per l'eix d'abscisses

and it uses the inflection of sentences

i la inflexió de les frases per desplaçar-se

to move a same point up and down on the y-axis.

amunt i avall per l'eix d'ordenades.

And these trend lines, you can see, there's more questions

I aquestes són les línies de tendència. Hi ha més preguntes

than answers in the laws of physics,

que respostes en les lleis de la física.

and when we reach the end of a sentence,

Quan arribem al final d'una frase,

we place a star at that location.

col·loquem un estel en aquesta posició.

So there's a lot of sentences, so a lot of stars,

Moltes frases i molts estels,

and after rendering all of the audio, this is what we get.

i després de processar tot l'audio, això és el que obtenim.

This is Stephen Hawking's universe.

Aquest és l'univers d'Stephen Hawking.

(Applause)

(APLAUDIMENTS)

It's all eight hours of the Cambridge lecture series

Les vuit hores de conferències

taken in as a single visual impression,

en una sola impressió visual.

and I really like this image,

Aquesta imatge m'encanta,

but a lot of people think it's fake.

però molta gent pensa que és falsa.

So I made a more interactive version,

Així que vaig fer-ne

and the way I did that is I used their position in time

una versió més interactiva, utilitzant la seva posició en el temps

in the lecture to place these stars into 3D space,

durant la conferència per col·locar els estels en un espai tridimensional.

and with some custom software and a Kinect,

Amb un poc de tecnologia i Kinect

I can walk right into the lecture.

ara puc ficar-me en la conferència.

I'm going to wave through the Kinect here

Us en faré una demostració.

and take control, and now I'm going to reach out

Alçaré el braç

and I'm going to touch a star, and when I do,

i tocaré un estel, i quan ho faci,

it will play the sentence

reproduirà la frase

that generated that star.

que el va generar.

Stephen Hawking: There is one, and only one, arrangement

(Stephen Hawking) Hi ha una disposició, i només una, en la qual

in which the pieces make a complete picture.

les peces formen una imatge completa.

Jared Ficklin: Thank you. (Applause)

Gràcies. (APLAUDIMENTS)

There are 1,400 stars.

Hi ha 1400 estels.

It's a really fun way to explore the lecture,

És una forma molt entretinguda d'explorar la conferència,

and, I hope, a fitting homage.

i espero que un bon homenatge.

All right. Let me close with a work in progress.

Permeteu-me que acabi amb un projecte en què estic treballant.

I think, after 30 years, the opportunity exists

Després de 30 anys, crec que existeix l'oportunitat

to create an enhanced version of closed captioning.

de crear una versió millorada del subtitulat ocult.

Now, we've all seen a lot of TEDTalks online,

Tots hem vist moltes de les xerrades de TED,

so let's watch one now with the sound turned off

però vegem ara una sense so

and the closed captioning turned on.

i amb els subtítols activats.

There's no closed captioning for the TED theme song,

La cançó d'obertura no està subtitulada

and we're missing it, but if you've watched enough of these,

i ens la perdem, però si heu vist prou xerrades,

you hear it in your mind's ear,

segur que la deveu tenir al cap.

and then applause starts.

Després venen els aplaudiments.

It usually begins here, and it grows and then it falls.

Solen començar aquí: creixen i després desapareixen.

Sometimes you get a little star applause,

De vegades t'aplaudeixen més,

and then I think even Bill Gates takes a nervous breath,

i llavors crec que fins i tot Bill Gates respira nerviós

and the talk begins.

i comença a parlar.

All right, so let's watch this clip again.

D'acord. Doncs ara vegem el vídeo de nou.

This time, I'm not going to talk at all.

Aquesta vegada no diré res.

There's still going to be no audio,

Seguirà sense haver-hi so,

but what I am going to do is I'm going to render the sound

però el que faré serà representar-lo

visually in real time at the bottom of the screen.

visualment, en temps real, a la part inferior de la pantalla.

So watch closely and see what your eyes can hear.

Observeu atentament, a veure què podeu sentir amb els ulls.

This is fairly amazing to me.

Em sembla bastant sorprenent.

Even on the first view, your eyes will successfully

Fins i tot a primera vista, els vostres ulls captaran

pick out patterns, but on repeated views,

pautes, però quan el vegeu més vegades,

your brain actually gets better

el vostre cervell podrà

at turning these patterns into information.

transformar aquestes pautes en informació.

You can get the tone and the timbre

Es pot captar el to, el timbre

and the pace of the speech,

i el ritme del discurs.

things that you can't get out of closed captioning.

Coses que els subtítols no poden transmetre.

That famous scene in horror movies

La típica escena de les pel·lícules de terror

where someone is walking up from behind

on algú s'acosta per darrere...

is something you can see,

Només la pots veure,

and I believe this information would be something

i crec que aquesta informació pot ser

that is useful at times when the audio is turned off

útil quan no podem sentir l'àudio

or not heard at all, and I speculate that deaf audiences

i, és una especulació, però és possible

might actually even be better

que el públic sord sigui millor

at seeing sound than hearing audiences.

que el públic general identificant els sons.

I don't know. It's a theory right now.

No ho sé. És la meva teoria.

Actually, it's all just an idea.

De moment només és una idea.

And let me end by saying that sound moves in all directions,

Però m'agradaria acabar dient que el so es mou en totes direccions,

and so do ideas.

i el mateix fan les idees.

Thank you. (Applause)

Gràcies. (APLAUDIMENTS)