Jared Ficklin: New ways to see music (with color! and fire!)

Jared Ficklin: Nuevas formas de ver la música (¡con color y fuego!)

Translator: Joseph Geni Reviewer: Morton Bast

Traductor: Veronica Martinez Starnes Revisor: Ciro Gomez

My passions

Mis pasiones

are music, technology and making things.

son la música, la tecnología y fabricar cosas.

And it's the combination of these things

Y es la combinación de las tres

that has led me to the hobby of sound visualization,

la que me ha llevado a la afición de la visualización del sonido

and, on occasion, has led me to play with fire.

y, en ocasiones, me ha llevado a jugar con fuego.

This is a Rubens' tube. It's one of many I've made over the years,

Este es un tubo de Rubens. Es uno de los muchos que he hecho durante años

and I have one here tonight.

y tengo uno aquí esta noche.

It's about an 8-foot-long tube of metal,

Es un tubo de metal de 2,4 metros de largo,

it's got a hundred or so holes on top,

con un centenar de agujeros en la parte superior;

on that side is the speaker, and here

el parlante está en este lado

is some lab tubing, and it's connected to this tank

y aquí hay un tubo de laboratorio conectado a este tanque

of propane.

de propano.

So, let's fire it up and see what it does.

Vamos a encenderlo para ver qué hace.

So let's play a 550-herz frequency

Usemos una frecuencia de 550 herz

and watch what happens.

y veamos qué pasa.

(Frequency)

(Frecuencia)

Thank you. (Applause)

Gracias. (Aplausos)

It's okay to applaud the laws of physics,

Está bien que aplaudamos a las leyes de la física,

but essentially what's happening here

pero esencialmente lo que pasa aquí

-- (Laughter) --

–(Risas)–

is the energy from the sound via the air and gas molecules

es que la energía del sonido a través del aire y las moléculas del gas

is influencing the combustion properties of propane,

influye en las propiedades de combustión del propano

creating a visible waveform,

creando una onda visible

and we can see the alternating regions of compression

y podemos ver las regiones alternantes de compresión

and rarefaction that we call frequency,

y de la rarefacción que llamamos frecuencia

and the height is showing us amplitude.

y la altura nos muestra la amplitud.

So let's change the frequency of the sound,

Cambiemos la frecuencia del sonido

and watch what happens to the fire.

y veamos qué sucede con el fuego.

(Higher frequency)

(Frecuencia más alta)

So every time we hit a resonant frequency we get a standing wave

Cada vez que encontramos una resonancia, obtenemos una onda estacionaria

and that emergent sine curve of fire.

y esta curva sinusoidal que emerge del fuego.

So let's turn that off. We're indoors.

Apaguémoslo. Estamos en interiores.

Thank you. (Applause)

Gracias. (Aplausos)

I also have with me a flame table.

También he traído una mesa de fuego.

It's very similar to a Rubens' tube, and it's also used

Es muy similar al tubo de Rubens y también se usa

for visualizing the physical properties of sound,

para visualizar las propiedades físicas del sonido,

such as eigenmodes, so let's fire it up

como sus vibraciones y oscilaciones, así que vamos a encenderla

and see what it does.

y veremos qué hace.

Ooh. (Laughter)

¡Oh! (Risas)

Okay. Now, while the table comes up to pressure,

Mientras esperamos que la mesa alcance presión,

let me note here that the sound is not traveling

permítanme señalar aquí que el sonido no viaja

in perfect lines. It's actually traveling in all directions,

en líneas perfectas. De hecho, viaja en todas direcciones

and the Rubens' tube's a little like bisecting those waves

y el tubo de Rubens hace como un corte en dos en las ondas con una línea;

with a line, and the flame table's a little like

la mesa de fuego también hace como un corte en dos

bisecting those waves with a plane,

de las ondas, pero con un plano

and it can show a little more subtle complexity, which is why

y puede mostrar una complejidad un poco más sutil,

I like to use it to watch Geoff Farina play guitar.

por ello, me gusta usarla para ver a Geoff Farina tocar guitarra.

(Music)

(Música)

All right, so it's a delicate dance.

Muy bien, es una danza delicada.

If you watch closely — (Applause)

Si observan con atención... (Aplausos)

If you watch closely, you may have seen

si miran de cerca, es posible que hayan visto

some of the eigenmodes, but also you may have seen

algunas de las oscilaciones, pero también pueden haber visto

that jazz music is better with fire.

que la música jazz es mejor con fuego.

Actually, a lot of things are better with fire in my world,

En realidad, en mi mundo, muchas cosas son mejores con fuego,

but the fire's just a foundation.

pero este es solo la base.

It shows very well that eyes can hear,

Muestra muy bien que los ojos pueden oír

and this is interesting to me because

y esto es interesante para mí porque

technology allows us to present sound to the eyes

la tecnología nos permite presentar sonido a los ojos

in ways that accentuate the strength of the eyes

de formas que acentúan las fortalezas de los ojos

for seeing sound, such as the removal of time.

para ver el sonido, tal como la eliminación del tiempo.

So here, I'm using a rendering algorithm to paint

Aquí uso un algoritmo de procesamiento para pintar las frecuencias

the frequencies of the song "Smells Like Teen Spirit"

de la canción “Smells Like Teen Spirit” (Huele a espíritu adolescente)

in a way that the eyes can take them in

de una forma en que los ojos las pueden tomar

as a single visual impression, and the technique

como una sola impresión visual

will also show the strengths of the visual cortex

y la técnica también muestra las fortalezas de la corteza visual

for pattern recognition.

para el reconocimiento de patrones.

So if I show you another song off this album,

Así que si les muestro otra canción de este álbum,

and another, your eyes will easily pick out

y otra más, sus ojos fácilmente reconocerán

the use of repetition by the band Nirvana,

el uso de la repetición de la banda Nirvana

and in the frequency distribution, the colors,

y en la distribución de frecuencias, los colores,

you can see the clean-dirty-clean sound

podrán ver el sonido limpio-sucio-limpio

that they are famous for,

que los caracterizó.

and here is the entire album as a single visual impression,

Aquí está todo el álbum como una única impresión visual

and I think this impression is pretty powerful.

y creo que es muy poderosa.

At least, it's powerful enough that

Al menos, es lo suficientemente potente

if I show you these four songs,

para que al mostrarles estas 4 canciones,

and I remind you that this is "Smells Like Teen Spirit,"

y les recuerdo que esta es “Smells Like Teen Spirit”,

you can probably correctly guess, without listening

probablemente puedan adivinar correctamente, sin escuchar

to any music at all, that the song

la música en absoluto, que la canción

a die hard Nirvana fan would enjoy is this song,

que un admirador de Nirvana podría disfrutar,

"I'll Stick Around" by the Foo Fighters,

es esta: “I’ll Stick Around” (Me quedaré aquí) de los Foo Fighters,

whose lead singer is Dave Grohl,

cuyo cantante es Dave Grohl

who was the drummer in Nirvana.

quien fue el baterista de Nirvana.

The songs are a little similar, but mostly

Las canciones son un poco similares, pero sobre todo

I'm just interested in the idea that someday maybe

estoy interesado en la idea de que algún día tal vez

we'll buy a song because we like the way it looks.

vamos a comprar una canción porque nos gusta cómo se ve.

All right, now for some more sound data.

Bien, tengo más datos sobre el sonido.

This is data from a skate park,

Estos son los datos de un parque de patinaje

and this is Mabel Davis skate park

y este es el “Mabel Davis skate park”

in Austin, Texas. (Skateboard sounds)

en Austin, Texas. (Sonidos de patín)

And the sounds you're hearing came from eight

Los sonidos que están escuchando proceden

microphones attached to obstacles around the park,

de 8 micrófonos conectados a los obstáculos de todo el parque,

and it sounds like chaos, but actually

y suena como una gran confusión, pero en realidad

all the tricks start with a very distinct slap,

todas las acrobacias empiezan con un toque muy distinto,

but successful tricks end with a pop,

pero las acrobacias exitosas terminan con un estallido,

whereas unsuccessful tricks

mientras que las fallidas

more of a scratch and a tumble,

terminan con un rasguño y una caída

and tricks on the rail will ring out like a gong, and

y las acrobacias sobre el carril resuenan como un gong

voices occupy very unique frequencies in the skate park.

y las voces ocupan frecuencias muy singulares en el parque de patinaje.

So if we were to render these sounds visually,

Si tuviésemos que representar estos sonidos visualmente,

we might end up with something like this.

podríamos obtener algo como esto.

This is all 40 minutes of the recording,

Aquí están los 40 minutos de la grabación

and right away the algorithm tells us

y, de inmediato, el algoritmo nos dice

a lot more tricks are missed than are made,

que hay más acrobacias fallidas que exitosas

and also a trick on the rails is a lot more likely

y también que una acrobacia en los rieles tiene más probabilidades

to produce a cheer, and if you look really closely,

de producir aclamación, y si miramos muy de cerca,

we can tease out traffic patterns.

podemos desentrañar la trayectoria de las acrobacias.

You see the skaters often trick in this direction. The obstacles are easier.

Se ve que los patinadores suelen ir en esta dirección. Los obstáculos no son tan difíciles.

And in the middle of the recording, the mics pick this up,

Y en medio de la grabación, los micrófonos grabaron esto,

but later in the recording, this kid shows up,

pero más tarde en la grabación, aparece este chico

and he starts using a line at the top of the park

y hace una línea en la parte superior del parque

to do some very advanced tricks on something

para hacer acrobacias muy avanzadas en algo

called the tall rail.

llamado carril alto.

And it's fascinating. At this moment in time,

Y es fascinante. En ese mismo momento,

all the rest of the skaters turn their lines 90 degrees

los demás patinadores giran su líneas en 90 grados

to stay out of his way.

para permanecer fuera de su camino.

You see, there's a subtle etiquette in the skate park,

Se observa una marca sutil en el parque de patinaje

and it's led by key influencers,

y está dirigida por los más influyentes

and they tend to be the kids who can do the best tricks,

y suelen ser los niños los que hacen las mejores acrobacias

or wear red pants, and on this day the mics picked that up.

o usan pantalones rojos y, este día, los micrófonos grabaron esto.

All right, from skate physics to theoretical physics.

Ahora pasemos de la física del patín a la física teórica.

I'm a big fan of Stephen Hawking,

Soy un gran admirador de Stephen Hawking

and I wanted to use all eight hours

y quería usar las 8 horas

of his Cambridge lecture series to create an homage.

de su ciclo de conferencias en Cambridge para hacerle un homenaje.

Now, in this series he's speaking with the aid of a computer,

En estas conferencias, él habla con la ayuda de un computador

which actually makes identifying the ends of sentences

que hace que identifiquemos fácilmente el final de las frases.

fairly easy. So I wrote a steering algorithm.

Así que escribí un algoritmo de dirección

It listens to the lecture, and then it uses

que escucha la conferencia y luego usa

the amplitude of each word to move a point on the x-axis,

la amplitud de cada palabra para mover un punto en el eje x

and it uses the inflection of sentences

y la inflexión de las frases

to move a same point up and down on the y-axis.

para mover el mismo punto hacia arriba y hacia abajo en el eje y.

And these trend lines, you can see, there's more questions

Las líneas de tendencia, como pueden ver, muestran que en las leyes de la física

than answers in the laws of physics,

hay más preguntas que respuestas

and when we reach the end of a sentence,

y cuando llegamos al final de una oración,

we place a star at that location.

colocamos una estrella en ese lugar.

So there's a lot of sentences, so a lot of stars,

Y hay muchas frases, por lo tanto, una gran cantidad de estrellas

and after rendering all of the audio, this is what we get.

y esto es lo que tenemos después de grabar todo el audio.

This is Stephen Hawking's universe.

Este es el universo de Stephen Hawking.

(Applause)

(Aplausos)

It's all eight hours of the Cambridge lecture series

Aquí están las 8 horas de la serie de conferencias en Cambridge

taken in as a single visual impression,

tomadas en una sola impresión visual;

and I really like this image,

me encanta esta imagen,

but a lot of people think it's fake.

pero mucha gente piensa que es falsa.

So I made a more interactive version,

Así que hice una versión más interactiva

and the way I did that is I used their position in time

mediante su posición en el tiempo

in the lecture to place these stars into 3D space,

en la conferencia para colocar estas estrellas en uno espacio 3D

and with some custom software and a Kinect,

y con “software” personalizado y un Kinect,

I can walk right into the lecture.

puedo caminar sobre la conferencia.

I'm going to wave through the Kinect here

Aquí voy hacer una señal a través del Kinect,

and take control, and now I'm going to reach out

tomo el control y ahora voy a estirarme

and I'm going to touch a star, and when I do,

hasta tocar una estrella y, cuando lo hago,

it will play the sentence

reproduzco la frase

that generated that star.

que generó la estrella.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: “Hay un arreglo, solamente uno,

in which the pieces make a complete picture.

en el que las piezas forman una imagen completa”.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Gracias. (Aplausos)

There are 1,400 stars.

Hay 1400 estrellas.

It's a really fun way to explore the lecture,

Es una manera muy divertida de explorar la conferencia

and, I hope, a fitting homage.

y, espero, un homenaje apropiado.

All right. Let me close with a work in progress.

Permítanme concluir con un proyecto en el que estoy trabajando.

I think, after 30 years, the opportunity exists

Creo que, después de 30 años, existe la posibilidad

to create an enhanced version of closed captioning.

de crear una versión mejorada de subtítulos.

Now, we've all seen a lot of TEDTalks online,

Todos hemos visto muchas charlas TEDTalks en línea,

so let's watch one now with the sound turned off

así que vamos a ver una ahora con el sonido apagado,

and the closed captioning turned on.

pero con subtítulos.

There's no closed captioning for the TED theme song,

No hay subtítulos para el tema musical de TED,

and we're missing it, but if you've watched enough of these,

eso nos falta, pero si han visto suficientes charlas,

you hear it in your mind's ear,

lo pueden oír mentalmente,

and then applause starts.

luego empiezan los aplausos.

It usually begins here, and it grows and then it falls.

Por lo general, comienza aquí, crece y luego cae.

Sometimes you get a little star applause,

A veces tenemos una pequeña estrella de aplausos

and then I think even Bill Gates takes a nervous breath,

y después, creo hasta Bill Gates suelta un suspiro nervioso

and the talk begins.

y la charla comienza.

All right, so let's watch this clip again.

Veamos el clip nuevamente.

This time, I'm not going to talk at all.

Esta vez, no voy a hablar en absoluto.

There's still going to be no audio,

Y vamos a seguir sin sonido,

but what I am going to do is I'm going to render the sound

pero voy a reproducirlo

visually in real time at the bottom of the screen.

visualmente en tiempo real en la parte inferior de la pantalla.

So watch closely and see what your eyes can hear.

Observen con atención y verán lo que sus ojos pueden oír.

This is fairly amazing to me.

Para mí, esto es bastante sorprendente.

Even on the first view, your eyes will successfully

Incluso la primera vez que lo ven, sus ojos

pick out patterns, but on repeated views,

identificarán exitosamente los patrones, pero si lo ven repetidas veces,

your brain actually gets better

sus cerebros se volverán más agudos

at turning these patterns into information.

para convertir estos patrones en información.

You can get the tone and the timbre

Podrán notar el tono, el timbre

and the pace of the speech,

y el ritmo del discurso,

things that you can't get out of closed captioning.

cosas que no se aprecian en los subtítulos.

That famous scene in horror movies

Esa famosa escena en las películas de terror,

where someone is walking up from behind

en la que alguien camina por detrás,

is something you can see,

es algo que podemos ver,

and I believe this information would be something

y creo que esta información sería algo

that is useful at times when the audio is turned off

útil en momentos en que el audio está apagado

or not heard at all, and I speculate that deaf audiences

o no se escucha nada, y me anticipo a pensar que la gente sorda

might actually even be better

sería todavía más aguda

at seeing sound than hearing audiences.

para ver el sonido, que los que pueden oír.

I don't know. It's a theory right now.

No sé. Es una teoría en estos momentos.

Actually, it's all just an idea.

En realidad, todo es solo una idea.

And let me end by saying that sound moves in all directions,

Permítanme terminar diciendo que el sonido se mueve en todas direcciones

and so do ideas.

y las ideas también.

Thank you. (Applause)

Gracias. (Aplausos)