Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Vertaald door: Christel Foncke Nagekeken door: Thijs Wegkamp

My passions

Mijn passies

are music, technology and making things.

zijn muziek, technologie en dingen maken.

And it's the combination of these things

De combinatie van deze dingen leidde

that has led me to the hobby of sound visualization,

mij naar geluidsvisualisatie

and, on occasion, has led me to play with fire.

en, af en toe, spelen met vuur.

This is a Rubens' tube. It's one of many I've made over the years,

Dit is een van de vele vlambuizen die ik maakte

and I have one here tonight.

en ik heb er één mee vanavond.

It's about an 8-foot-long tube of metal,

Het is een 2,5m lange metalen buis,

it's got a hundred or so holes on top,

met aan de bovenkant ongeveer honderd gaten.

on that side is the speaker, and here

Aan die kant zit de luidspreker en hier

is some lab tubing, and it's connected to this tank

is een labobuis, verbonden met

of propane.

een propaantank.

So, let's fire it up and see what it does.

Ik maak het vuur aan en kijk naar het resultaat.

So let's play a 550-herz frequency

Ik speel een frequentie van 550 hertz.

and watch what happens.

Kijk wat er gebeurt.

(Frequency)

(Frequentie)

Thank you. (Applause)

Dank je. (Applaus)

It's okay to applaud the laws of physics,

Oké, een applaus voor de fysica-wetten.

but essentially what's happening here

Hier gebeurt eigenlijk het volgende:

-- (Laughter) --

(Gelach)

is the energy from the sound via the air and gas molecules

de energie van het geluid beïnvloedt via de lucht- en gasmoleculen

is influencing the combustion properties of propane,

de verbrandingseigenschappen van het propaangas

creating a visible waveform,

en creëert een zichtbare golfvorm.

and we can see the alternating regions of compression

We zien de afwisselende regio's van uitzetting

and rarefaction that we call frequency,

en inkrimping, wat wij frequentie noemen.

and the height is showing us amplitude.

De hoogte toont de amplitude.

So let's change the frequency of the sound,

Ik wijzig de frequentie van het geluid.

and watch what happens to the fire.

Kijk wat er gebeurt met het vuur.

(Higher frequency)

(Hogere frequentie)

So every time we hit a resonant frequency we get a standing wave

Telkens als we een resonante frequentie raken, krijgen we een staande golf

and that emergent sine curve of fire.

en een opkomende sinuscurve van vuur.

So let's turn that off. We're indoors.

Ik schakel even uit.

Thank you. (Applause)

(Applaus)

I also have with me a flame table.

Ik heb ook een vlamtafel mee,

It's very similar to a Rubens' tube, and it's also used

vergelijkbaar met een vlambuis. Ik gebruik ze ook

for visualizing the physical properties of sound,

voor het visualiseren van de fysieke eigenschappen van geluid,

such as eigenmodes, so let's fire it up

zoals eigenmodes. Ik verhoog de druk even.

and see what it does.

Kijk wat het doet.

Ooh. (Laughter)

Ooh. (Gelach)

Okay. Now, while the table comes up to pressure,

Oké

let me note here that the sound is not traveling

Ik merk hier dat het geluid niet

in perfect lines. It's actually traveling in all directions,

in perfecte lijnen loopt. Het loopt in alle richtingen.

and the Rubens' tube's a little like bisecting those waves

De vlambuis deelt die golven als het ware met een lijn in twee.

with a line, and the flame table's a little like

De vlamtafel doet hetzelfde maar een beetje

bisecting those waves with a plane,

zoals een vliegtuig.

and it can show a little more subtle complexity, which is why

Het toont een meer subtiele complexiteit. Daarom gebruik ik het graag

I like to use it to watch Geoff Farina play guitar.

om naar Geoff Farina's gitaarspel te ‘kijken’.

(Music)

(Muziek)

All right, so it's a delicate dance.

Oké, het is een delicate dans.

If you watch closely — (Applause)

Als je aandachtig kijkt, (Applaus)

If you watch closely, you may have seen

zag je misschien

some of the eigenmodes, but also you may have seen

enkele van de eigenmodes, maar misschien ook

that jazz music is better with fire.

dat jazzmuziek beter is met vuur.

Actually, a lot of things are better with fire in my world,

Voor mij is zowat alles beter met vuur.

but the fire's just a foundation.

Het vuur is gewoon een basis

It shows very well that eyes can hear,

die zeer goed toont dat ogen kunnen ‘horen’

and this is interesting to me because

Voor mij is het boeiend dat technologie geluid kan maken voor de ogen

technology allows us to present sound to the eyes

Voor mij is het boeiend dat technologie geluid kan maken voor de ogen

in ways that accentuate the strength of the eyes

op een manier die de kracht van de ogen accentueert

for seeing sound, such as the removal of time.

om geluid te zien, zoals het wegvallen van de tijd.

So here, I'm using a rendering algorithm to paint

Met behulp van een algoritme schilder ik

the frequencies of the song "Smells Like Teen Spirit"

de frequenties van het lied 'Smells Like Teen Spirit'

in a way that the eyes can take them in

op een manier die de ogen begrijpen

as a single visual impression, and the technique

als één enkele visuele indruk. De techniek

will also show the strengths of the visual cortex

toont ook de sterke punten van de visuele cortex

for pattern recognition.

voor patroonherkenning.

So if I show you another song off this album,

Als ik je een paar nummers van dit album laat zien,

and another, your eyes will easily pick out

zullen je ogen gemakkelijk het gebruik van herhaling herkennen van Nirvana,

the use of repetition by the band Nirvana,

zullen je ogen gemakkelijk het gebruik van herhaling herkennen van Nirvana,

and in the frequency distribution, the colors,

In de frequentieverdeling, in de kleuren,

you can see the clean-dirty-clean sound

zie je het netjes-vuil-netjes-geluid

that they are famous for,

waarvoor ze beroemd zijn.

and here is the entire album as a single visual impression,

Hier is het volledige album als een enkele visuele indruk.

and I think this impression is pretty powerful.

Deze indruk is vrij krachtig.

At least, it's powerful enough that

In ieder geval krachtig genoeg dat

if I show you these four songs,

als ik je vier nummers zou tonen,

and I remind you that this is "Smells Like Teen Spirit,"

en zeg dat dit ‘Smells Like Teen Spirit’ is,

you can probably correctly guess, without listening

je waarschijnlijk juist raadt, zonder te luisteren

to any music at all, that the song

naar enige muziek. Het lied

a die hard Nirvana fan would enjoy is this song,

dat een échte fan van Nirvana graag hoort,

"I'll Stick Around" by the Foo Fighters,

is ‘I'll Stick Around’ van de Foo Fighters,

whose lead singer is Dave Grohl,

gezongen door Dave Grohl,

who was the drummer in Nirvana.

de drummer van Nirvana.

The songs are a little similar, but mostly

De nummers zijn vergelijkbaar, maar mij interesseert

I'm just interested in the idea that someday maybe

De nummers zijn vergelijkbaar, maar mij interesseert

we'll buy a song because we like the way it looks.

enkel het idee dat we ooit een liedje zullen kopen, omdat het er mooi uitziet.

All right, now for some more sound data.

Meer geluidsgegevens nu.

This is data from a skate park,

Dit zijn gegevens van een skatepark.

and this is Mabel Davis skate park

Dit is Mabel Davis Skatepark

in Austin, Texas. (Skateboard sounds)

in Austin, Texas. (Skateboard geluiden)

And the sounds you're hearing came from eight

De geluiden die je hoort, komen uit acht

microphones attached to obstacles around the park,

microfoons, aangebracht in het park.

and it sounds like chaos, but actually

Het klinkt als chaos, maar eigenlijk

all the tricks start with a very distinct slap,

beginnen alle stunts met een duidelijke klap.

but successful tricks end with a pop,

Succesvolle stunts eindigen met een ‘pop’,

whereas unsuccessful tricks

Mislukte stunts met

more of a scratch and a tumble,

een kras en een tuimeling.

and tricks on the rail will ring out like a gong, and

Stunts op de spoorstaaf klinken als een gong.

voices occupy very unique frequencies in the skate park.

Stemmen bezetten zeer unieke frequenties in het skatepark.

So if we were to render these sounds visually,

Als wij deze geluiden visueel willen voorstellen,

we might end up with something like this.

zou het iets als dit worden.

This is all 40 minutes of the recording,

Dit is de volledige opname van 40 min.

and right away the algorithm tells us

het algoritme vertelt ons meteen

a lot more tricks are missed than are made,

dat veel meer stunts gemist dan gemaakt worden

and also a trick on the rails is a lot more likely

en ook dat een stunt op de rails veel meer kans

to produce a cheer, and if you look really closely,

geeft op gejuich en als je echt goed kijkt,

we can tease out traffic patterns.

kan je er bepaalde patronen uithalen.

You see the skaters often trick in this direction. The obstacles are easier.

De schaatsers stunten vaak in deze richting: de obstakels zijn gemakkelijker.

And in the middle of the recording, the mics pick this up,

De microfoon neemt constant op.

but later in the recording, this kid shows up,

Later in de opname verschijnt een jongen

and he starts using a line at the top of the park

die met behulp van een lijn aan de bovenkant van het park

to do some very advanced tricks on something

enkele heel geavanceerde stunts op het hoge spoor

called the tall rail.

uitvoert.

And it's fascinating. At this moment in time,

Het is fascinerend. Op dit moment

all the rest of the skaters turn their lines 90 degrees

draait de rest van de schaatsers 90° en

to stay out of his way.

gaat opzij.

You see, there's a subtle etiquette in the skate park,

Je ziet dat er een subtiele etiquette heerst in het skatepark

and it's led by key influencers,

geleid door belangrijke beïnvloeders,

and they tend to be the kids who can do the best tricks,

meestal de kinderen die de beste stunts uithalen,

or wear red pants, and on this day the mics picked that up.

of in rode broek. De microfoons registreren dat.

All right, from skate physics to theoretical physics.

Van skate-natuurkunde naar theoretische natuurkunde.

I'm a big fan of Stephen Hawking,

Ik ben een grote fan van Stephen Hawking.

and I wanted to use all eight hours

Ik wilde gebruik maken van zijn acht uur

of his Cambridge lecture series to create an homage.

durende Cambridge-lezingenreeks voor een eerbetoon.

Now, in this series he's speaking with the aid of a computer,

In deze serie spreekt hij met behulp van een computer,

which actually makes identifying the ends of sentences

waardoor identificatie van het einde van zinnen

fairly easy. So I wrote a steering algorithm.

vrij gemakkelijk is. Ik schreef een sturend algoritme.

It listens to the lecture, and then it uses

Het luistert naar de lezing en gebruikt vervolgens

the amplitude of each word to move a point on the x-axis,

de amplitude van elk woord en plaatst een punt op de x-as.

and it uses the inflection of sentences

Het maakt gebruik van de verbuiging van zinnen om eenzelfde punt

to move a same point up and down on the y-axis.

omhoog en omlaag te zetten op de y-as.

And these trend lines, you can see, there's more questions

Op deze trendlijnen kan je zien dat er meer vragen

than answers in the laws of physics,

dan antwoorden zijn in de fysicawetten.

and when we reach the end of a sentence,

Op het einde van een zin

we place a star at that location.

plaatsen we een ster.

So there's a lot of sentences, so a lot of stars,

Een heleboel zinnen betekent een heleboel sterren.

and after rendering all of the audio, this is what we get.

en na het verwerken van alle audio krijgen we dit:

This is Stephen Hawking's universe.

dit is Stephen Hawkings universum.

(Applause)

(Applaus)

It's all eight hours of the Cambridge lecture series

De acht uren van de Cambridge-lezingenreeks,

taken in as a single visual impression,

samengebracht in één enkele visuele impressie.

and I really like this image,

Ik houd echt van dit beeld,

but a lot of people think it's fake.

maar veel mensen denken dat het nep is.

So I made a more interactive version,

Ik maakte een meer interactieve versie,

and the way I did that is I used their position in time

door gebruik te maken van hun tijdspositie

in the lecture to place these stars into 3D space,

in de lezing plaatste ik deze sterren in een 3D-ruimte.

and with some custom software and a Kinect,

Met behulp van aangepaste software en een Kinect

I can walk right into the lecture.

kan ik door de lezing lopen.

I'm going to wave through the Kinect here

Ik wuif in de Kinect hier

and take control, and now I'm going to reach out

en neem controle. Ik raak een ster aan

and I'm going to touch a star, and when I do,

en op dat moment

it will play the sentence

speelt de zin van deze ster af.

that generated that star.

speelt de zin van deze ster af.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: Er is één en slechts één orde

in which the pieces make a complete picture.

waar de delen een geheel maken.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Dank je. (Applaus)

There are 1,400 stars.

Er zijn 1400 sterren.

It's a really fun way to explore the lecture,

Het is echt een leuke manier om de lezing te verkennen en een passend eerbetoon.

and, I hope, a fitting homage.

Het is echt een leuke manier om de lezing te verkennen en een passend eerbetoon.

All right. Let me close with a work in progress.

Ik sluit af met een werk waaraan ik nog bezig ben.

I think, after 30 years, the opportunity exists

Ik denk dat, na 30 jaar, de mogelijkheid bestaat

to create an enhanced version of closed captioning.

om een verbeterde ondertiteling te maken.

Now, we've all seen a lot of TEDTalks online,

We hebben allemaal een heleboel TEDTalks online gezien.

so let's watch one now with the sound turned off

Ik laat jullie nu kijken met het geluid uitgeschakeld

and the closed captioning turned on.

en de ondertiteling ingeschakeld.

There's no closed captioning for the TED theme song,

Er is geen ondertiteling voor de TED-themamuziek.

and we're missing it, but if you've watched enough of these,

We missen het, maar als je genoeg talks hebt bekeken,

you hear it in your mind's ear,

hoor je de muziek in je geestesoor.

and then applause starts.

Dan klinkt het applaus.

It usually begins here, and it grows and then it falls.

Het begint meestal hier, het zwelt aan en valt dan weg.

Sometimes you get a little star applause,

Soms krijg je een klein sterrenapplaus,

and then I think even Bill Gates takes a nervous breath,

dan ademt zelfs Bill Gates even nerveus,

and the talk begins.

en het gesprek begint.

All right, so let's watch this clip again.

We kijken opnieuw naar de clip.

This time, I'm not going to talk at all.

Deze keer spreek ik niet, ook nog steeds geen geluid.

There's still going to be no audio,

Deze keer spreek ik niet, ook nog steeds geen geluid.

but what I am going to do is I'm going to render the sound

Ik maak het geluid zichtbaar

visually in real time at the bottom of the screen.

in real time aan de onderkant van het scherm.

So watch closely and see what your eyes can hear.

Kijk aandachtig en zie wat je ogen kunnen ‘horen’.

This is fairly amazing to me.

Ik vind dit verbazingwekkend.

Even on the first view, your eyes will successfully

Zelfs bij de eerste weergave zullen je ogen met succes

pick out patterns, but on repeated views,

patronen opmerken en als je opnieuw kijkt, kunnen je hersenen nog beter

your brain actually gets better

patronen opmerken en als je opnieuw kijkt, kunnen je hersenen nog beter

at turning these patterns into information.

deze patronen omzetten in informatie.

You can get the tone and the timbre

Je ziet de toon, het timbre

and the pace of the speech,

en het tempo van de toespraak,

things that you can't get out of closed captioning.

dingen die je niet uit de ondertitels haalt.

That famous scene in horror movies

Een beroemde scène uit horrorfilms,

where someone is walking up from behind

waar iemand je langs achter besluipt,

is something you can see,

wordt iets dat je kunt zien.

and I believe this information would be something

Deze informatie zou bruikbaar kunnen zijn

that is useful at times when the audio is turned off

als de audio is uitgeschakeld

or not heard at all, and I speculate that deaf audiences

of niet gehoord kan worden. Ik veronderstel dat een doof publiek

might actually even be better

zelfs beter zou kunnen zijn in het zien van geluid dan horend publiek.

at seeing sound than hearing audiences.

zelfs beter zou kunnen zijn in het zien van geluid dan horend publiek.

I don't know. It's a theory right now.

Ik weet het niet. Het is nog een theorie.

Actually, it's all just an idea.

Eigenlijk is het allemaal gewoon een idee.

And let me end by saying that sound moves in all directions,

Ik wil eindigen met te zeggen dat geluid in alle richtingen gaat…

and so do ideas.

en ideeën ook.

Thank you. (Applause)

Dank je. (Applaus)