Jared Ficklin: New ways to see music (with color! and fire!)

Jared Ficklin: Musik auf eine neue Weise sehen (mit Farbe! und Feuer!)

Translator: Joseph Geni Reviewer: Morton Bast

Übersetzung: Friederike Oeldorf Lektorat: Carolin Kaiser

My passions

Meine Leidenschaften

are music, technology and making things.

sind Musik, Technologie und Dinge herzustellen.

And it's the combination of these things

Und es ist die Kombination dieser Dinge,

that has led me to the hobby of sound visualization,

die mich zu meinem Hobby der Lautvisualisierung gebracht hat,

and, on occasion, has led me to play with fire.

und manchmal dazu, mit dem Feuer zu spielen.

This is a Rubens' tube. It's one of many I've made over the years,

Das ist ein Rubensrohr. Eines von den vielen, die ich über die Jahre hergestellt habe,

and I have one here tonight.

und ich habe heute abend eins mitgebracht.

It's about an 8-foot-long tube of metal,

Es ist ein etwa 2,5 Meter langes Metallrohr,

it's got a hundred or so holes on top,

mit etwa 100 Löchern darauf,

on that side is the speaker, and here

an der Seite ist der Lautsprecher,

is some lab tubing, and it's connected to this tank

und hier ist ein Schlauch, durch den es mit einer Propangasflasche

of propane.

verbunden ist.

So, let's fire it up and see what it does.

Zünden wir es an und gucken, was passiert.

So let's play a 550-herz frequency

Spielen wir eine 550-Hertz-Frequenz

and watch what happens.

und beobachten, was passiert.

(Frequency)

(Frequenz)

Thank you. (Applause)

Danke schön. (Applaus)

It's okay to applaud the laws of physics,

Die Gesetze der Physik verdienen ihren Applaus,

but essentially what's happening here

aber was hier eigentlich passiert,

-- (Laughter) --

(Lachen)

is the energy from the sound via the air and gas molecules

ist, dass die Energie des Tons durch die Luft- und Gasmoleküle

is influencing the combustion properties of propane,

das Brennverhalten des Propans beeinflusst

creating a visible waveform,

und so eine sichtbare Wellenform erzeugt,

and we can see the alternating regions of compression

durch die wir die wechselnden Bereiche der Verdichtung

and rarefaction that we call frequency,

und Verdünnung sehen können, die so genannte Frequenz,

and the height is showing us amplitude.

und die Höhe zeigt uns die Amplitude.

So let's change the frequency of the sound,

Ändern wir also die Frequenz des Tons,

and watch what happens to the fire.

und schauen, was mit dem Feuer passiert.

(Higher frequency)

(Höhere Frequenz)

So every time we hit a resonant frequency we get a standing wave

Jede Resonanzfrequenz erzeugt eine stehende Welle

and that emergent sine curve of fire.

und diese aufstrebende Sinuskurve aus Feuer.

So let's turn that off. We're indoors.

Schalten wir das aus. Wir sind in einem Gebäude.

Thank you. (Applause)

Danke schön. (Applaus)

I also have with me a flame table.

Ich habe auch einen Flammentisch dabei.

It's very similar to a Rubens' tube, and it's also used

Er ist dem Flammenrohr sehr ähnlich und wird auch verwendet,

for visualizing the physical properties of sound,

um die physikalischen Eigenschaften von Schall sichtbar zu machen,

such as eigenmodes, so let's fire it up

wie zum Beispiel die Eigenform, also zünden wir ihn an

and see what it does.

und schauen, was er kann.

Ooh. (Laughter)

Uuh! (Gelächter)

Okay. Now, while the table comes up to pressure,

Okay. Während der Tisch Druck aufbaut,

let me note here that the sound is not traveling

lassen Sie mich Ihnen sagen, dass der Schall nicht

in perfect lines. It's actually traveling in all directions,

in perfekten Linien wandert. Er wandert tatsächlich in alle Richtungen,

and the Rubens' tube's a little like bisecting those waves

und das Rubensrohr halbiert diese Wellen sozusagen

with a line, and the flame table's a little like

durch eine Gerade, und der Flammentisch

bisecting those waves with a plane,

teilt diese Wellen durch eine Ebene,

and it can show a little more subtle complexity, which is why

und kann so eine etwas subtilere Komplexität darstellen,

I like to use it to watch Geoff Farina play guitar.

und darum nutze ich es gern, um mir Geoff Farinas Gitarrenspiel anzusehen.

(Music)

(Musik)

All right, so it's a delicate dance.

Das war ein graziler Tanz.

If you watch closely — (Applause)

Wenn Sie genau hingeschaut haben – (Applaus)

If you watch closely, you may have seen

Wenn Sie genau hingeschaut haben, haben Sie vielleicht

some of the eigenmodes, but also you may have seen

einige der Eigenformen gesehen, aber vielleicht auch,

that jazz music is better with fire.

dass Jazzmusik gut zu Feuer passt.

Actually, a lot of things are better with fire in my world,

Viele Dinge in meiner Welt passen gut zu Feuer,

but the fire's just a foundation.

aber das Feuer ist nur eine Grundlage.

It shows very well that eyes can hear,

Es zeigt sehr gut, dass Augen hören können,

and this is interesting to me because

und das finde ich sehr interessant, denn

technology allows us to present sound to the eyes

die Technologie erlaubt es uns, Schall für die Augen auf eine Weise darzustellen,

in ways that accentuate the strength of the eyes

die die Fähigkeit der Augen, Schall zu sehen, betont,

for seeing sound, such as the removal of time.

wie zum Beispiel das Entfernen von Zeit.

So here, I'm using a rendering algorithm to paint

Hier verwende ich einen Renderalgorithmus,

the frequencies of the song "Smells Like Teen Spirit"

um die Frequenzen des Lieds "Smells Like Teen Spirit" darzustellen,

in a way that the eyes can take them in

so dass die Augen diese als einen

as a single visual impression, and the technique

einzigen visuellen Eindruck aufnehmen können, und diese Technik

will also show the strengths of the visual cortex

verdeutlicht auch die Stärke des visuellen Kortex für

for pattern recognition.

die Wiedererkennung von Mustern.

So if I show you another song off this album,

Wenn ich Ihnen also ein anderes Lied aus diesem Album zeige,

and another, your eyes will easily pick out

und noch ein anderes, dann erkennen Ihre Augen sofort

the use of repetition by the band Nirvana,

die Verwendung von Wiederholungen duch die Band Nirvana

and in the frequency distribution, the colors,

und in der Verteilung der Frequenzen und der Farben

you can see the clean-dirty-clean sound

können Sie den typischen "sauber-schmutzig-sauber"-Klang sehen,

that they are famous for,

für den sie berühmt sind,

and here is the entire album as a single visual impression,

und dies hier ist das gesamte Album als einziger visueller Eindruck,

and I think this impression is pretty powerful.

und ich finde, dass dieser Eindruck ganz schön kraftvoll ist.

At least, it's powerful enough that

Er ist immerhin so aussagekräftig, dass

if I show you these four songs,

wenn ich Ihnen diese vier Lieder zeige,

and I remind you that this is "Smells Like Teen Spirit,"

und ich Sie daran erinnere, dass dieses "Smells Like Teen Spirit" ist,

you can probably correctly guess, without listening

Sie wahrscheinlich erraten können, ohne irgendwelche

to any music at all, that the song

Musik zu hören, dass das Lied,

a die hard Nirvana fan would enjoy is this song,

das ein echter Nirvana-Fan mögen würde, dieses ist:

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around" von den Foo Fighters,

whose lead singer is Dave Grohl,

deren Sänger Dave Grohl ist,

who was the drummer in Nirvana.

der vorher Schlagzeuger bei Nirvana war.

The songs are a little similar, but mostly

Die Lieder sind sich ähnlich, aber eigentlich

I'm just interested in the idea that someday maybe

interessiert mich hauptsächlich die Idee, dass wir vielleicht

we'll buy a song because we like the way it looks.

eines Tages Musik kaufen, weil wir mögen, wie sie aussieht.

All right, now for some more sound data.

Nun zu einigen weiteren Klangdaten.

This is data from a skate park,

Das sind Daten aus einem Skaterpark,

and this is Mabel Davis skate park

und zwar vom Mabel-Davis-Skaterpark

in Austin, Texas. (Skateboard sounds)

in Austin, Texas. (Geräusche von Skateboards)

And the sounds you're hearing came from eight

Und die Geräusche, die Sie hören,

microphones attached to obstacles around the park,

kommen von acht Mikrophonen an Hindernissen im Park,

and it sounds like chaos, but actually

und es hört sich chaotisch an, aber eigentlich

all the tricks start with a very distinct slap,

beginnen alle Tricks mit einem ganz bestimmten Schlag,

but successful tricks end with a pop,

aber erfolgreiche Tricks enden mit einem Knall,

whereas unsuccessful tricks

wohingegen missglückte Tricks

more of a scratch and a tumble,

eher mit einem Kratzen und einem Sturz enden,

and tricks on the rail will ring out like a gong, and

und Tricks auf einem Geländer klingeln wie ein Gong, und

voices occupy very unique frequencies in the skate park.

Stimmen haben im Skatepark ganz einzigartige Frequenzen.

So if we were to render these sounds visually,

Wenn wir diese Geräusche also visuell darstellen,

we might end up with something like this.

dann könnten wir so ein Ergebnis erhalten.

This is all 40 minutes of the recording,

Dies sind 40 Minuten der Aufnahme

and right away the algorithm tells us

und der Algorithmus sagt uns sofort,

a lot more tricks are missed than are made,

dass viel mehr Tricks missglückt sind als geklappt haben,

and also a trick on the rails is a lot more likely

und dass ein Trick auf dem Geländer viel eher

to produce a cheer, and if you look really closely,

Beifall hervorruft und, wenn Sie genau hinschauen,

we can tease out traffic patterns.

dann können wir Verkehrsmuster erkennen.

You see the skaters often trick in this direction. The obstacles are easier.

Man sieht, dass die Skater häufiger hier üben. Die Hindernisse sind einfacher.

And in the middle of the recording, the mics pick this up,

In der Mitte der Aufnahme nimmt das Mikrophon das hier auf,

but later in the recording, this kid shows up,

aber später in der Aufnahme taucht dieser Junge auf

and he starts using a line at the top of the park

und er beginnt, eine Route am oberen Ende des Parks zu nutzen,

to do some very advanced tricks on something

um einige sehr fortgeschrittene Tricks auf dem so genannten

called the tall rail.

hohen Geländer zu probieren.

And it's fascinating. At this moment in time,

Es ist faszinierend. In diesem Moment

all the rest of the skaters turn their lines 90 degrees

verändern alle anderen Skater ihre Fahrtrichtung um 90 Grad,

to stay out of his way.

um ihm nicht im Weg zu sein.

You see, there's a subtle etiquette in the skate park,

Es gibt also einen feinen Verhaltenskodex im Skaterpark

and it's led by key influencers,

und dieser wird durch die Hauptpersonen beeinflusst,

and they tend to be the kids who can do the best tricks,

und das sind meist die, die die besten Tricks beherrschen

or wear red pants, and on this day the mics picked that up.

oder rote Hosen tragen, und das haben die Mikrophone an diesem Tag aufgenommen.

All right, from skate physics to theoretical physics.

Gut, von der Skaterphysik zur theoretischen Physik.

I'm a big fan of Stephen Hawking,

Ich bin ein großer Fan von Stephen Hawking,

and I wanted to use all eight hours

und ich wollte die gesamten acht Stunden

of his Cambridge lecture series to create an homage.

seiner Cambridge-Vorlesungsserie nutzen, um eine Hommage zu kreieren.

Now, in this series he's speaking with the aid of a computer,

In dieser Serie spricht er mit Hilfe eines Computers,

which actually makes identifying the ends of sentences

was das Identifizieren der Satzenden

fairly easy. So I wrote a steering algorithm.

relativ einfach macht. Also schrieb ich einen Lenkalgorithmus.

It listens to the lecture, and then it uses

Er verfolgt den Vortrag und dann bewegt er mit Hilfe

the amplitude of each word to move a point on the x-axis,

der Amplitude jedes Wortes einen Punkt auf der x-Achse

and it uses the inflection of sentences

und nutzt den Tonfall der Sätze,

to move a same point up and down on the y-axis.

um den Punkt auf der y-Achse hoch und runter zu bewegen.

And these trend lines, you can see, there's more questions

Sie sehen, es gibt mehr Fragen

than answers in the laws of physics,

als Antworten bei den Gesetzen der Physik,

and when we reach the end of a sentence,

und wenn wir das Ende eines Satzes erreichen,

we place a star at that location.

dann setzen wir dort einen Stern.

So there's a lot of sentences, so a lot of stars,

Da gibt es viele Sätze und deshalb auch viele Sterne,

and after rendering all of the audio, this is what we get.

und nachdem wir die ganze Audio-Datei bearbeitet haben, erhalten wir dies.

This is Stephen Hawking's universe.

Das ist das Universum von Stephen Hawking.

(Applause)

(Applaus)

It's all eight hours of the Cambridge lecture series

Das sind die gesamten acht Stunden der Cambridge-Vorlesungsserie,

taken in as a single visual impression,

aufgenommen in eine einzige visuelle Darstellung,

and I really like this image,

und ich mag dieses Bild wirklich sehr,

but a lot of people think it's fake.

aber viele Menschen glauben, es wäre nicht echt.

So I made a more interactive version,

Deshalb habe ich eine interaktivere Version erstellt,

and the way I did that is I used their position in time

und habe hier ihre zeitliche Position innerhalb der Vorlesung genutzt,

in the lecture to place these stars into 3D space,

um diese Sterne in einem dreidimensionalen Raum zu platzieren,

and with some custom software and a Kinect,

und mit besonderer Software und einer Kinect

I can walk right into the lecture.

kann ich direkt in die Vorlesung hineingehen.

I'm going to wave through the Kinect here

Ich winke hier durch die Kinect

and take control, and now I'm going to reach out

und übernehme die Kontrolle, und jetzt hole ich aus

and I'm going to touch a star, and when I do,

und werde einen Stern berühren, und wenn ich das tue,

it will play the sentence

dann wird der Satz abgespielt,

that generated that star.

der den Stern hervorgebracht hat.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: "Es gibt eine, und nur eine einzige Ordnung,

in which the pieces make a complete picture.

in der die Einzelteile ein Gesamtbild ergeben."

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Danke schön. (Applaus)

There are 1,400 stars.

Hier sind 1.400 Sterne.

It's a really fun way to explore the lecture,

Es macht wirklich Spaß, die Vorlesung so zu erleben

and, I hope, a fitting homage.

und ich hoffe, dies ist eine passende Hommage.

All right. Let me close with a work in progress.

Gut. Lassen Sie mich mit einem laufenden Projekt abschließen.

I think, after 30 years, the opportunity exists

Ich denke, dass nach 30 Jahren die Möglichkeit besteht,

to create an enhanced version of closed captioning.

eine verbesserte Art Untertitel zu kreieren.

Now, we've all seen a lot of TEDTalks online,

Wir haben alle schon viele TEDTalks online angeschaut,

so let's watch one now with the sound turned off

lassen Sie uns nun einen ohne Ton,

and the closed captioning turned on.

aber mit Untertiteln anschauen.

There's no closed captioning for the TED theme song,

Es gibt keine Untertitel für die TED-Titelmelodie

and we're missing it, but if you've watched enough of these,

und wir verpassen sie, aber wenn man genug Talks gesehen hat,

you hear it in your mind's ear,

dann hört sie das geistige Ohr,

and then applause starts.

und dann beginnt der Applaus.

It usually begins here, and it grows and then it falls.

Normalerweise beginnt er hier, dann steigert er sich und dann fällt er ab.

Sometimes you get a little star applause,

Machmal gibt es einen kleinen extra Applaus für Stars

and then I think even Bill Gates takes a nervous breath,

und dann, glaube ich, holt sogar Bill Gates einmal nervös Luft,

and the talk begins.

und dann beginnt der Vortrag.

All right, so let's watch this clip again.

Nun lassen Sie uns dieses Video noch einmal anschauen.

This time, I'm not going to talk at all.

Dieses Mal werde ich überhaupt nichts sagen.

There's still going to be no audio,

Es wird immer noch keinen Ton geben,

but what I am going to do is I'm going to render the sound

aber ich werde den Ton visuell in Echtzeit

visually in real time at the bottom of the screen.

am unteren Bildrand wiedergeben.

So watch closely and see what your eyes can hear.

Passen Sie gut auf und schauen Sie, was Ihre Augen hören können.

This is fairly amazing to me.

Ich finde das ziemlich erstaunlich.

Even on the first view, your eyes will successfully

Schon beim ersten Zuschauen werden Ihre Augen erfolgreich

pick out patterns, but on repeated views,

Muster erkennen, aber nach mehrmaligem Zuschauen

your brain actually gets better

wird Ihr Gehirn noch besser darin,

at turning these patterns into information.

diese Muster in Informationen umzuwandeln.

You can get the tone and the timbre

Sie erkennen den Tonfall, die Klangfarbe

and the pace of the speech,

und das Tempo der Rede,

things that you can't get out of closed captioning.

Dinge, die aus Untertiteln nicht ersichtlich werden.

That famous scene in horror movies

Diese berühmte Szene in Horrorfilmen,

where someone is walking up from behind

wo sich jemand von hinten nähert,

is something you can see,

ist etwas, das Sie sehen können,

and I believe this information would be something

und ich glaube, diese Information wäre nützlich,

that is useful at times when the audio is turned off

wenn der Ton abgestellt oder nicht zu hören ist,

or not heard at all, and I speculate that deaf audiences

und ich gehe davon aus, dass taube Zuschauer

might actually even be better

tatsächlich besser darin sein könnten,

at seeing sound than hearing audiences.

Geräusche zu sehen, als hörende Zuschauer.

I don't know. It's a theory right now.

Ich weiß es nicht. Es ist im Moment noch eine Theorie.

Actually, it's all just an idea.

Eigentlich ist das alles nur eine Idee.

And let me end by saying that sound moves in all directions,

Lassen Sie mich damit schließen, dass Schall sich in alle Richtungen ausbreitet,

and so do ideas.

ebenso wie Ideen.

Thank you. (Applause)

Danke schön. (Applaus)