Jared Ficklin: New ways to see music (with color! and fire!)

Jared Ficklin : de nouvelles façons de voir la musique (en couleur ! et en flammes !)

Translator: Joseph Geni Reviewer: Morton Bast

Traducteur: Elisabeth Buffard Relecteur: Gilchrist DADAGLO

My passions

Mes passions

are music, technology and making things.

sont la musique, la technologie et fabriquer des choses.

And it's the combination of these things

Et c'est la combinaison de ces choses

that has led me to the hobby of sound visualization,

qui m'a amené à faire de la visualisation sonore mon passe temps.

and, on occasion, has led me to play with fire.

et, à l'occasion, m'a amené à jouer avec le feu.

This is a Rubens' tube. It's one of many I've made over the years,

Il s'agit de tube de Rubens. C'est un des nombreux que j'ai fait au fil des ans,

and I have one here tonight.

et j'en ai un ici ce soir.

It's about an 8-foot-long tube of metal,

Il s'agit d'un tube en métal de 2,40 m de long,

it's got a hundred or so holes on top,

il a environ une centaine de trous sur le dessus,

on that side is the speaker, and here

le haut-parleur est de ce côté, et ici

is some lab tubing, and it's connected to this tank

il y a un tuyau de laboratoire, et il est relié à ce réservoir

of propane.

de propane.

So, let's fire it up and see what it does.

Alors, allumons le feu et voyons ce qu'il fait.

So let's play a 550-herz frequency

Jouons à une fréquence de 550 herz

and watch what happens.

et regardons ce qui se passe.

(Frequency)

(Fréquence)

Thank you. (Applause)

Merci. (Applaudissements)

It's okay to applaud the laws of physics,

on peut applaudir les lois de la physique,

but essentially what's happening here

mais en gros ce qui se passe ici

-- (Laughter) --

--(Rires)--

is the energy from the sound via the air and gas molecules

est que l'énergie du son via les molécules d'air et de gaz

is influencing the combustion properties of propane,

influence les propriétés de combustion du propane,

creating a visible waveform,

et crée une forme d'onde visible,

and we can see the alternating regions of compression

et nous pouvons voir les régions de compression

and rarefaction that we call frequency,

et de raréfaction alternées que nous appelons fréquence,

and the height is showing us amplitude.

et la hauteur nous montrer l'amplitude.

So let's change the frequency of the sound,

Modifions donc la fréquence du son,

and watch what happens to the fire.

et regardons ce qui arrive au feu.

(Higher frequency)

(Fréquence plus élevée)

So every time we hit a resonant frequency we get a standing wave

Donc chaque fois à qu'on atteint une fréquence de résonnance nous obtenons une onde stationnaire

and that emergent sine curve of fire.

et cette courbe sinusoïdale émergente du feu.

So let's turn that off. We're indoors.

Alors éteignons-le. Nous sommes à l'intérieur.

Thank you. (Applause)

Merci. (Applaudissements)

I also have with me a flame table.

J'ai aussi un tableau de flammes avec moi.

It's very similar to a Rubens' tube, and it's also used

Il est très similaire au tube de Rubens, et on s'en sert aussi

for visualizing the physical properties of sound,

pour visualiser les propriétés physiques du son,

such as eigenmodes, so let's fire it up

comme les modes propres, alors allumons le feu

and see what it does.

et voyons ce qu'il fait.

Ooh. (Laughter)

Ooh. (Rires)

Okay. Now, while the table comes up to pressure,

D'accord. Maintenant, pendant que la table monte en pression,

let me note here that the sound is not traveling

permettez-moi de signaler ici que le son ne voyage pas

in perfect lines. It's actually traveling in all directions,

en lignes parfaites. Il voyage en fait dans toutes les directions,

and the Rubens' tube's a little like bisecting those waves

et le tube de Rubens, c'est un peu comme si on coupe en deux ces ondes

with a line, and the flame table's a little like

avec une ligne, et le tableau à flamme c'est un peu comme

bisecting those waves with a plane,

si on coupe en deux les ondes avec un plan,

and it can show a little more subtle complexity, which is why

et ça peut montrer un peu plus complexité subtile, et c'est pourquoi

I like to use it to watch Geoff Farina play guitar.

j'aime m'en servir pour regarder Geoff Farina jouer de la guitare.

(Music)

(Musique)

All right, so it's a delicate dance.

Bon, donc c'est une danse délicate.

If you watch closely — (Applause)

Si vous regardez attentivement, (Applaudissements)

If you watch closely, you may have seen

Si vous regardez attentivement, vous avez peut-être vu

some of the eigenmodes, but also you may have seen

certains des modes propres, mais vous avez peut-être vu aussi

that jazz music is better with fire.

que la musique jazz est meilleure avec le feu.

Actually, a lot of things are better with fire in my world,

En fait, beaucoup de choses sont mieux avec le feu dans mon monde,

but the fire's just a foundation.

mais le feu n'est qu'une base.

It shows very well that eyes can hear,

Il montre très bien que les yeux peuvent entendre,

and this is interesting to me because

et c'est intéressant pour moi parce que

technology allows us to present sound to the eyes

la technologie nous permet de présenter du son aux yeux

in ways that accentuate the strength of the eyes

dans des manières qui accentuent le point fort qu'ont les yeux

for seeing sound, such as the removal of time.

pour voir le son, telles que la suppression du temps.

So here, I'm using a rendering algorithm to paint

Donc ici, j'utilise un algorithme de rendu pour peindre

the frequencies of the song "Smells Like Teen Spirit"

les fréquences de la chanson « Smells Like Teen Spirit »

in a way that the eyes can take them in

de façon à ce que les yeux puissent les percevoir

as a single visual impression, and the technique

comme une impression visuelle unique et la technique

will also show the strengths of the visual cortex

montrera également les points forts du cortex visuel

for pattern recognition.

pour la reconnaissance des formes.

So if I show you another song off this album,

Donc, si je vous montre une autre chanson de cet album,

and another, your eyes will easily pick out

et encore une autre, vos yeux trouveront facilement

the use of repetition by the band Nirvana,

l'utilisation de la répétition du groupe Nirvana,

and in the frequency distribution, the colors,

et dans la distribution de fréquence, les couleurs,

you can see the clean-dirty-clean sound

vous pouvez voir le son propre-sale-propre

that they are famous for,

qui les a rendus célèbres,

and here is the entire album as a single visual impression,

et voici l'album entier sous forme dune impression visuelle unique,

and I think this impression is pretty powerful.

et je crois que cette impression est assez puissante.

At least, it's powerful enough that

Tout du moins, elle est assez puissante

if I show you these four songs,

pour que si je vous montre ces quatre chansons,

and I remind you that this is "Smells Like Teen Spirit,"

et je vous rappelle que c'est « Smells Like Teen Spirit »

you can probably correctly guess, without listening

vous puissiez probablement deviner correctement, sans écouter

to any music at all, that the song

aucune musique, que la chanson

a die hard Nirvana fan would enjoy is this song,

qu'un vrai fan de Nirvana apprécierait cette chanson,

"I'll Stick Around" by the Foo Fighters,

« I'll Stick Around » par les Foo Fighters,

whose lead singer is Dave Grohl,

dont le chanteur est Dave Grohl,

who was the drummer in Nirvana.

qui était le batteur de Nirvana.

The songs are a little similar, but mostly

Les chansons sont un peu similaires, mais surtout

I'm just interested in the idea that someday maybe

je suis seulement intéressé par l'idée qu'un jour peut-être

we'll buy a song because we like the way it looks.

nous achèterons une chanson parce que nous aimons son aspect visuel.

All right, now for some more sound data.

Bon, maintenant pour encore plus de données sur le son.

This is data from a skate park,

Il s'agit de données provenant d'un skate park,

and this is Mabel Davis skate park

et c'est le skate park Mabel Davis

in Austin, Texas. (Skateboard sounds)

à Austin, au Texas. (Sons de planche à roulettes)

And the sounds you're hearing came from eight

Les sons que vous avez entendu provenaient de huit

microphones attached to obstacles around the park,

microphones fixés aux obstacles du parc,

and it sounds like chaos, but actually

et ça ressemble au chaos, mais en réalité

all the tricks start with a very distinct slap,

toutes les figures commencent avec un clac très distinct,

but successful tricks end with a pop,

mais les figures réussies finissent par un pop,

whereas unsuccessful tricks

alors que les figures ratées

more of a scratch and a tumble,

finissent plutôt par un son de frottement et une chute,

and tricks on the rail will ring out like a gong, and

et les figures sur le rail sonneront comme un gong, et

voices occupy very unique frequencies in the skate park.

les voix occupent des fréquences très uniques dans le skate parc.

So if we were to render these sounds visually,

Donc, si nous devions rendre ces sons visuellement,

we might end up with something like this.

nous pourrions nous retrouver avec quelque chose comme ça.

This is all 40 minutes of the recording,

Il s'agit des 40 minutes d'enregistrement,

and right away the algorithm tells us

et tout de suite l'algorithme nous dit

a lot more tricks are missed than are made,

que beaucoup plus de figures sont ratées que réussies,

and also a trick on the rails is a lot more likely

et aussi qu' une figure sur les rails est beaucoup plus susceptible

to produce a cheer, and if you look really closely,

de produire une acclamation, et si vous regardez très attentivement,

we can tease out traffic patterns.

nous pouvons démêler les schémas de circulation.

You see the skaters often trick in this direction. The obstacles are easier.

Vous voyez les skateurs font souvent des figures dans cette direction. Les obstacles sont plus faciles.

And in the middle of the recording, the mics pick this up,

Et au milieu de l'enregistrement, les micros l'enregsitrent,

but later in the recording, this kid shows up,

mais plus tard dans l'enregistrement, ce gamin se ramène

and he starts using a line at the top of the park

et il commence à utiliser une ligne en haut du parc

to do some very advanced tricks on something

pour faire quelques figures très avancées sur une chose

called the tall rail.

appelée le grand rail.

And it's fascinating. At this moment in time,

Et c'est fascinant. A ce moment-là,

all the rest of the skaters turn their lines 90 degrees

tous les autres skateurs tournent leurs lignes de 90 degrés

to stay out of his way.

pour rester hors de son chemin.

You see, there's a subtle etiquette in the skate park,

Vous voyez, il y a une étiquette subtile dans le skate park,

and it's led by key influencers,

et elle est dirigée par les plus infuents,

and they tend to be the kids who can do the best tricks,

et ils ont tendance à être les enfants qui peuvent faire les meilleures figures,

or wear red pants, and on this day the mics picked that up.

ou qui portent un pantalon rouge, et ce jour-ci les micros ont enregistré ça.

All right, from skate physics to theoretical physics.

Bon, de la physique du skate à la physique théorique.

I'm a big fan of Stephen Hawking,

Je suis un grand fan de Stephen Hawking,

and I wanted to use all eight hours

et je voulais utiliser la totalité des huit heures

of his Cambridge lecture series to create an homage.

de sa série de conférences de Cambridge afin de créer un hommage.

Now, in this series he's speaking with the aid of a computer,

Dans cette série il parle à l'aide d'un ordinateur,

which actually makes identifying the ends of sentences

ce qui rend l'identification des fins de phrases

fairly easy. So I wrote a steering algorithm.

vraiment facile. Alors j'ai écrit un algorithme de pilotage.

It listens to the lecture, and then it uses

Il écoute la conférence, et ensuite, il utilise

the amplitude of each word to move a point on the x-axis,

l'amplitude de chaque mot pour déplacer un point sur l'axe des x,

and it uses the inflection of sentences

et il utilise l'inflexion des phrases

to move a same point up and down on the y-axis.

pour déplacer un même point vers le haut et le bas sur l'axe des y.

And these trend lines, you can see, there's more questions

Et ces lignes de tendance, vous pouvez le voir, il y a plus de questions

than answers in the laws of physics,

que de réponses dans les lois de la physique,

and when we reach the end of a sentence,

et quand on arrive à la fin d'une phrase,

we place a star at that location.

on place une étoile à cet endroit.

So there's a lot of sentences, so a lot of stars,

Donc il y a beaucoup de phrases, donc beaucoup d'étoiles,

and after rendering all of the audio, this is what we get.

et après la restitution de tout l'audio, voici ce que nous obtenons.

This is Stephen Hawking's universe.

Il s'agit d'univers de Stephen Hawking.

(Applause)

(Applaudissements)

It's all eight hours of the Cambridge lecture series

C'est la totalité des huit heures de la série de conférences de Cambridge

taken in as a single visual impression,

mises en une impression visuelle unique,

and I really like this image,

et j'aime beaucoup cette image,

but a lot of people think it's fake.

mais beaucoup de gens pense que c'est une fausse.

So I made a more interactive version,

Donc j'ai fait une version plus interactive,

and the way I did that is I used their position in time

et pour ce faire, j'ai utilisé leur position dans le temps

in the lecture to place these stars into 3D space,

dans la conférence pour placer ces étoiles dans l'espace 3D

and with some custom software and a Kinect,

et avec des logiciels personnalisés et un Kinect,

I can walk right into the lecture.

je peux entrer dans la conférence.

I'm going to wave through the Kinect here

Je vais faire un signe au Kinect ici

and take control, and now I'm going to reach out

et prendre le contrôle, et maintenant je vais tenre la main

and I'm going to touch a star, and when I do,

et je vais toucher une étoile, et quand je le ferai,

it will play the sentence

ça jouera la phrase

that generated that star.

qui a généré cette étoile.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking : Il existe un arrangement et un seul,

in which the pieces make a complete picture.

dans lequel les pièces forment une image complète.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin : Merci. (Applaudissements)

There are 1,400 stars.

Il y a 1 400 étoiles.

It's a really fun way to explore the lecture,

C'est un vraiment une manière amusante d'explorer la conférence,

and, I hope, a fitting homage.

et, je l'espère, un hommage approprié.

All right. Let me close with a work in progress.

D'accord. Permettez-moi de terminer avec un travail en cours.

I think, after 30 years, the opportunity exists

Je pense que, d'ici 30 ans, il y aura la possibilité

to create an enhanced version of closed captioning.

de créer une version améliorée de sous-titrage.

Now, we've all seen a lot of TEDTalks online,

Nous avons tous vu beaucoup de TEDTalks en ligne,

so let's watch one now with the sound turned off

alors regardons-en un en désactivant le son

and the closed captioning turned on.

et en activant le sous-titrage.

There's no closed captioning for the TED theme song,

Il n'y a aucun sous-titrage pour le thème musical de TED,

and we're missing it, but if you've watched enough of these,

et ça nous manque, mais si vous avez vu assez de ces TEDtalks

you hear it in your mind's ear,

vous l'entendez dans l'oreille de votre esprit,

and then applause starts.

et puis les applaudissements démarre.

It usually begins here, and it grows and then it falls.

Ils commencent habituellement ici et ils s'amplifient et ils retombent.

Sometimes you get a little star applause,

Parfois, on a un peu d'applaudissements vedette,

and then I think even Bill Gates takes a nervous breath,

et puis je pense que même Bill Gates prend un souffle nerveux,

and the talk begins.

et commence à parler.

All right, so let's watch this clip again.

Bon, donc regardons ce clip à nouveau.

This time, I'm not going to talk at all.

Cette fois, je ne vais pas parler du tout.

There's still going to be no audio,

Il n'y aura toujours pas d'audio,

but what I am going to do is I'm going to render the sound

mais ce que je vais faire, c'est ce que je vais rendre le son

visually in real time at the bottom of the screen.

visuellement en temps réel au bas de l'écran.

So watch closely and see what your eyes can hear.

Donc soyez attentifs et voyez ce que vos yeux peuvent entendre.

This is fairly amazing to me.

C'est assez incroyable pour moi.

Even on the first view, your eyes will successfully

Même en le voyant pour la première fois, vos yeux réussiront

pick out patterns, but on repeated views,

à voir des modèles, mais en le regardant plusieurs fois,

your brain actually gets better

votre cerveau s'améliore effectivement

at turning these patterns into information.

pour transformer ces modèles en information.

You can get the tone and the timbre

Vous pouvez saisir le ton et le timbre

and the pace of the speech,

et le rythme de la parole,

things that you can't get out of closed captioning.

des choses que vous ne pouvez saisir avec le sous-titrage.

That famous scene in horror movies

Cette célèbre scène de films d'horreur

where someone is walking up from behind

où quelqu'un vient par derrière

is something you can see,

est quelque chose que vous pouvez voir,

and I believe this information would be something

et je crois que ces informations seraient une chose

that is useful at times when the audio is turned off

parfois utile lorsque l'audio est désactivé

or not heard at all, and I speculate that deaf audiences

ou pas entendu du tout, et je pense que les publics sourds

might actually even be better

pourraient même s'avérer meilleurs

at seeing sound than hearing audiences.

pour voir les sons que les publics entendants.

I don't know. It's a theory right now.

Je ne sais pas. C'est une théorie pour l'instant.

Actually, it's all just an idea.

En fait, c'est tout simplement une idée.

And let me end by saying that sound moves in all directions,

Et permettez-moi de finir en disant que le son se déplace dans toutes les directions,

and so do ideas.

et les idées font de même.

Thank you. (Applause)

Merci. (Applaudissements)