Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Traduttore: Evelina Capasso Revisore: Anna Cristiana Minoli

My passions

Le mie passioni

are music, technology and making things.

sono la musica, la tecnologia e creare cose.

And it's the combination of these things

Ed è l'insieme di queste cose

that has led me to the hobby of sound visualization,

che mi ha portato all'hobby della visualizzazione sonora,

and, on occasion, has led me to play with fire.

e, in certe occasioni, mi ha portato a giocare con il fuoco.

This is a Rubens' tube. It's one of many I've made over the years,

Questo è il tubo di Rubens. È uno dei tanti che ho creato negli anni,

and I have one here tonight.

e ne ho portato qui uno stasera.

It's about an 8-foot-long tube of metal,

È un tubo di metallo lungo circa 2 metri e mezzo,

it's got a hundred or so holes on top,

ha circa un centinaio di fori nella parte superiore,

on that side is the speaker, and here

su quel lato c'è l'altoparlante, e qui

is some lab tubing, and it's connected to this tank

ci sono alcuni cilindri da laboratorio, ed è connesso a questa tanica

of propane.

di propano.

So, let's fire it up and see what it does.

Bene, accendiamolo e vediamo che cosa fa.

So let's play a 550-herz frequency

Ora produciamo un suono di 550 Hertz di frequenza

and watch what happens.

e vediamo cosa succede.

(Frequency)

(Frequenza)

Thank you. (Applause)

Grazie. (Applausi)

It's okay to applaud the laws of physics,

Va bene applaudire alle leggi della fisica,

but essentially what's happening here

ma sostanzialmente, quello che succede qui

-- (Laughter) --

-- (Risate) --

is the energy from the sound via the air and gas molecules

è che l'energia del suono tramite l'aria e le molecole del gas

is influencing the combustion properties of propane,

influenzano le proprietà di combustione del propano,

creating a visible waveform,

creando un'onda visibile,

and we can see the alternating regions of compression

e possiamo vedere l'alternanza di zone di compressione

and rarefaction that we call frequency,

e la rarefazione che chiamiamo frequenza,

and the height is showing us amplitude.

e l'altezza ci mostra l'ampiezza.

So let's change the frequency of the sound,

Ora cambiamo le frequenza del suono,

and watch what happens to the fire.

e guardiamo cosa succede al fuoco.

(Higher frequency)

(Frequenza più alta)

So every time we hit a resonant frequency we get a standing wave

Per cui ogni volta che tocchiamo una frequenza risonante otteniamo un'onda stazionaria

and that emergent sine curve of fire.

e quella curva sinusoidale del fuoco.

So let's turn that off. We're indoors.

Spegniamo. Siamo al chiuso.

Thank you. (Applause)

Grazie. (Applausi)

I also have with me a flame table.

Ho portato anche un tavolo a fiamme.

It's very similar to a Rubens' tube, and it's also used

È molto simile al tubo di Rubens, ed viene anch'esso usato

for visualizing the physical properties of sound,

per visualizzare le proprietà fisiche del suono,

such as eigenmodes, so let's fire it up

tipo l'autostato, per cui accendiamolo

and see what it does.

e vediamo cosa fa.

Ooh. (Laughter)

Ooh. (Risate)

Okay. Now, while the table comes up to pressure,

OK. Ora, mentre il tavolo raggiunge la pressione,

let me note here that the sound is not traveling

notiamo che il suono non viaggia

in perfect lines. It's actually traveling in all directions,

in moto rettilineo. Ma viaggia in tutte le direzioni,

and the Rubens' tube's a little like bisecting those waves

e il tubo di Rubens, funziona un pò come se stesse bisezionando quelle onde

with a line, and the flame table's a little like

con una linea, e il tavolo a fiamme funziona un pò

bisecting those waves with a plane,

come se stesse bisezionando quelle onde con un piano,

and it can show a little more subtle complexity, which is why

e mostra una certa complessità nascosta, motivo per cui

I like to use it to watch Geoff Farina play guitar.

mi piace usarlo per guardare Goeff Farina suonare la chitarra.

(Music)

(Musica)

All right, so it's a delicate dance.

Bene, quindi è una danza delicata.

If you watch closely — (Applause)

Se guardate con attenzione - (Applausi)

If you watch closely, you may have seen

Se guardate con attenzione, avrete notato

some of the eigenmodes, but also you may have seen

alcune degli autostati, ma avrete anche visto

that jazz music is better with fire.

che la musica jazz è meglio con il fuoco.

Actually, a lot of things are better with fire in my world,

Anzi, nel mio mondo molte cose sono migliori col fuoco,

but the fire's just a foundation.

ma il fuoco è solo il punto di partenza.

It shows very well that eyes can hear,

Mostra molto bene come gli occhi possano sentire,

and this is interesting to me because

e questo per me è interessante perchè

technology allows us to present sound to the eyes

la tecnologia ci permette di mostrare il suono agli occhi

in ways that accentuate the strength of the eyes

in modi che accentuano la forza degli occhi

for seeing sound, such as the removal of time.

nel vedere i suoni, per esempio rimuovendo il tempo.

So here, I'm using a rendering algorithm to paint

Qui sto usando un algoritmo di rendering per colorare

the frequencies of the song "Smells Like Teen Spirit"

le frequenze della canzone "Smells Like Teen Spirit"

in a way that the eyes can take them in

in modo che gli occhi possano vederle

as a single visual impression, and the technique

come una singola immagine, e la tecnica

will also show the strengths of the visual cortex

mostra anche la potenza della corteccia visiva

for pattern recognition.

per il riconoscimento di un motivo.

So if I show you another song off this album,

Se vi mostro un'altra canzone tratta da questo album,

and another, your eyes will easily pick out

e un'altra, i vostro occhi individueranno facilmente

the use of repetition by the band Nirvana,

l'uso della ripetizione dei Nirvana,

and in the frequency distribution, the colors,

e nella distribuzione della frequenza, i colori,

you can see the clean-dirty-clean sound

vedete il suono pulito-sporco-pulito

that they are famous for,

per il quale sono famosi,

and here is the entire album as a single visual impression,

ed ecco l'intero album in una singola immagine,

and I think this impression is pretty powerful.

e penso che questa immagine sia piuttosto efficace.

At least, it's powerful enough that

O almeno, è così efficace

if I show you these four songs,

che se vi mostro queste 4 canzoni,

and I remind you that this is "Smells Like Teen Spirit,"

e vi ricordo che questa è "Smells Line Teeen Spirit",

you can probably correctly guess, without listening

potrete probabilmente indovinare senza ascoltare

to any music at all, that the song

nessuna musica, che la canzone

a die hard Nirvana fan would enjoy is this song,

che un appassionato dei Nirvana si godrebbe è questa canzone,

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around" dei Foo Fighters,

whose lead singer is Dave Grohl,

con il solista Dave Grohl,

who was the drummer in Nirvana.

che era il batterista dei Nirvana.

The songs are a little similar, but mostly

Le canzoni sono piuttosto simili, ma più che altro

I'm just interested in the idea that someday maybe

io sono interessato all'idea che un giorno forse

we'll buy a song because we like the way it looks.

compreremo una canzone perché ci piace il suo aspetto.

All right, now for some more sound data.

OK, adesso vediamo altri dati sonori.

This is data from a skate park,

Questi sono dati di una skatepark,

and this is Mabel Davis skate park

e questo è lo skatepark di Mable Davis

in Austin, Texas. (Skateboard sounds)

ad Austin, Texas. (Suoni di skateboard)

And the sounds you're hearing came from eight

E i suoni che state sentendo vengono da

microphones attached to obstacles around the park,

8 microfoni attaccati agli ostacoli presenti nel parco,

and it sounds like chaos, but actually

ed è il suono del caos, mentre in effetti

all the tricks start with a very distinct slap,

tutte le acrobazie cominciano con una botta,

but successful tricks end with a pop,

ma le acrobazie ben riuscite finiscono con un pop,

whereas unsuccessful tricks

mentre le acrobazie malriuscite

more of a scratch and a tumble,

più con un strisciata o un capitombolo,

and tricks on the rail will ring out like a gong, and

e le acrobazie sulla ringhiera hanno il suono di un gong, e

voices occupy very unique frequencies in the skate park.

le voci hanno delle frequenze davvero uniche in uno skatepark.

So if we were to render these sounds visually,

Per cui se volessimo tradurre i suoni in immagini,

we might end up with something like this.

ci potremmo ritrovare con qualcosa del genere.

This is all 40 minutes of the recording,

Questo è l'intera registrazione di 40 minuti,

and right away the algorithm tells us

e subito l'algoritmo ci dice che

a lot more tricks are missed than are made,

sono più le acrobazie malriuscite rispetto a quelle riuscite

and also a trick on the rails is a lot more likely

e anche che le acrobazie sulle ringhiere ricevono

to produce a cheer, and if you look really closely,

più facilmente un'ovazione, e se guardate davvero attentamente,

we can tease out traffic patterns.

potete identificare gli schemi del traffico.

You see the skaters often trick in this direction. The obstacles are easier.

Vedete che gli acrobati spesso fanno le acrobazie in questa direzione. Gli ostacoli sono più facili.

And in the middle of the recording, the mics pick this up,

E nel bel mezzo della registrazione, i microfoni lo rilevano

but later in the recording, this kid shows up,

ma più avanti nella registrazione, arriva questo ragazzo,

and he starts using a line at the top of the park

e comincia a usare un tratto all'inizio del parco

to do some very advanced tricks on something

per fare delle acrobazie più avanzate su una cosa

called the tall rail.

chiamata la ringhiera alta.

And it's fascinating. At this moment in time,

Ed è sorprendente. In questo esatto momento,

all the rest of the skaters turn their lines 90 degrees

tutti gli acrobati ruotano le loro traiettorie di 90 gradi

to stay out of his way.

per non ostacolarlo.

You see, there's a subtle etiquette in the skate park,

Vedete, c'è una convezione non scritta negli skatepark,

and it's led by key influencers,

ed è gestita da figure chiave,

and they tend to be the kids who can do the best tricks,

che di solito sono i ragazzi che riescono a fare le acrobazie migliori,

or wear red pants, and on this day the mics picked that up.

o che vestono pantaloni rossi, e quel giorno i microfoni lo hanno rilevato.

All right, from skate physics to theoretical physics.

OK, dalla fisica degli skateboard alla fisica teorica.

I'm a big fan of Stephen Hawking,

Io sono un grande fan di Stephen Hawking,

and I wanted to use all eight hours

e ho voluto usare tutte le 8 ore

of his Cambridge lecture series to create an homage.

della sua serie di lezioni a Cambridge per creare un omaggio.

Now, in this series he's speaking with the aid of a computer,

In questa serie, lui parla aiutato da un computer,

which actually makes identifying the ends of sentences

che permette di identificare la fine delle frasi

fairly easy. So I wrote a steering algorithm.

abbastanza facilmente. Così ho scritto un algoritmo guida.

It listens to the lecture, and then it uses

Ascolta le lezioni, e poi usa

the amplitude of each word to move a point on the x-axis,

l'ampiezza di ogni parola per muovere un punto su l'asse delle x,

and it uses the inflection of sentences

e usa l'intonazione delle frasi

to move a same point up and down on the y-axis.

per muovere lo stesso punto lungo l'asse delle y.

And these trend lines, you can see, there's more questions

E da queste tendenze vedete che ci sono piu' domande

than answers in the laws of physics,

che risposte nelle leggi della fisica

and when we reach the end of a sentence,

e quando arriviamo alla fine di una frase,

we place a star at that location.

posizioniamo una stella in quel punto.

So there's a lot of sentences, so a lot of stars,

Così ci sono molte frasi, e di conseguenza molte stelle,

and after rendering all of the audio, this is what we get.

e alla fine della visualizzazione di tutto l'audio, questo è quello che otteniamo.

This is Stephen Hawking's universe.

Questo è l'universo di Stephen Hawking.

(Applause)

(Applausi)

It's all eight hours of the Cambridge lecture series

Questo è l'intera serie di 8 ore di lezione a Cambridge

taken in as a single visual impression,

visualizzate in una sola immagine,

and I really like this image,

e questa immagine mi piace molto,

but a lot of people think it's fake.

ma molte persone pensano sia finta.

So I made a more interactive version,

Per cui ho creato una versione più interattiva,

and the way I did that is I used their position in time

e l'ho fatto usando la loro posizione temporale

in the lecture to place these stars into 3D space,

durante le lezioni per posizionare le stelle in uno spazio in 3D,

and with some custom software and a Kinect,

e con software dedicati e un Kinect,

I can walk right into the lecture.

posso camminare dentro la lezione.

I'm going to wave through the Kinect here

Mi metto a salutare attraverso il Kinect

and take control, and now I'm going to reach out

e prendo il controllo, e ora mi allungo

and I'm going to touch a star, and when I do,

e vado a toccare una stella, e facendolo

it will play the sentence

faccio partire la frase

that generated that star.

che ha generato quella stella.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: C'è una, ed una sola disposizione

in which the pieces make a complete picture.

in cui i pezzi formano una figura completa.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Grazie. (Applausi)

There are 1,400 stars.

Ci sono 1400 stelle.

It's a really fun way to explore the lecture,

È un modo molto divertente di esplorare la lezione,

and, I hope, a fitting homage.

e, spero, un omaggio adeguato.

All right. Let me close with a work in progress.

Bene. Fatemi concludere con un lavoro in corso.

I think, after 30 years, the opportunity exists

Dopo 30 anni penso che esista la possibilità

to create an enhanced version of closed captioning.

di creare una versione avanzata della sottotitolatura.

Now, we've all seen a lot of TEDTalks online,

Abbiamo visto molti dei TEDTalks online,

so let's watch one now with the sound turned off

per cui guardiamone uno con l'audio spento

and the closed captioning turned on.

e con i sottotitoli.

There's no closed captioning for the TED theme song,

Non ci sono sottotitoli per la colonna sonora di TED,

and we're missing it, but if you've watched enough of these,

per cui ce la perdiamo, ma se ne avete visti parecchi,

you hear it in your mind's ear,

la sentite nell'orecchio della vostra mente,

and then applause starts.

e poi inizia l'applauso.

It usually begins here, and it grows and then it falls.

Di solito comincia qui, cresce e poi si spegne.

Sometimes you get a little star applause,

A volte c'è anche un piccolo applauso da star,

and then I think even Bill Gates takes a nervous breath,

e poi penso che anche Bill Gates fa un respiro nervoso,

and the talk begins.

e l'intervento comincia.

All right, so let's watch this clip again.

Ok, riguardiamo questo video.

This time, I'm not going to talk at all.

Questa volta, non dirò una parola.

There's still going to be no audio,

E di nuovo non ci sarà l'audio,

but what I am going to do is I'm going to render the sound

ma quello che farò è interpretare il suono

visually in real time at the bottom of the screen.

visivamente in tempo reale alla base dello schermo.

So watch closely and see what your eyes can hear.

Per cui guardate con attenzione e vedete cosa i vostri occhi riescono a sentire.

This is fairly amazing to me.

Secondo me è piuttosto straordinario.

Even on the first view, your eyes will successfully

Già dalla prima visione, i vostri occhi noteranno facilmente dei

pick out patterns, but on repeated views,

motivi, ma riguardando più volte,

your brain actually gets better

il vostro cervello impara

at turning these patterns into information.

a convertire questi motivi in informazioni.

You can get the tone and the timbre

Riuscite a percepire il tono e il timbro

and the pace of the speech,

e l'andamento del discorso,

things that you can't get out of closed captioning.

cose che non si percepiscono tramite i sottotitoli.

That famous scene in horror movies

Quella famosa scena dei film dell'orrore

where someone is walking up from behind

in cui qualcuno si avvicina da dietro

is something you can see,

è una cosa che si puo' vedere,

and I believe this information would be something

e io credo che questa informazione sarebbe qualcosa

that is useful at times when the audio is turned off

di molto utile nei momenti in cui l'audio è spento

or not heard at all, and I speculate that deaf audiences

o non si sente, e suppongo che un pubblico non udente

might actually even be better

sarebbe anche più bravo a vedere il suono

at seeing sound than hearing audiences.

rispetto ad un pubblico che riesce a sentire.

I don't know. It's a theory right now.

Non so. Per ora è solo teoria.

Actually, it's all just an idea.

Anzi, è semplicemente un'idea.

And let me end by saying that sound moves in all directions,

E fatemi finire dicendo che il suono si muove in tutte le direzioni,

and so do ideas.

così come le idee.

Thank you. (Applause)

Grazie. (Applausi)