Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Tłumaczenie: Capa Girl Korekta: Marta Krzeminska

My passions

Moje pasje to

are music, technology and making things.

muzyka, technologia i tworzenie nowych rzeczy.

And it's the combination of these things

Wszystkie razem zaowocowały hobby,

that has led me to the hobby of sound visualization,

jakim jest wizualizacja dźwięków

and, on occasion, has led me to play with fire.

i, przy okazji, do igrania z ogniem.

This is a Rubens' tube. It's one of many I've made over the years,

To rura Rubensa. Zrobiłem ich kilka

and I have one here tonight.

i jedną przyniosłem.

It's about an 8-foot-long tube of metal,

To 2,5 metrowa rura,

it's got a hundred or so holes on top,

z metalu, mająca na górze około 100 otworów.

on that side is the speaker, and here

Tam jest głośnik,

is some lab tubing, and it's connected to this tank

a tu przewód podłączony do butli

of propane.

z propanem.

So, let's fire it up and see what it does.

Podpalmy gaz i zobaczmy, jak to wszystko działa.

So let's play a 550-herz frequency

Zagram dźwięk o częstotliwości 550 herców.

and watch what happens.

Patrzcie, co się stanie.

(Frequency)

(Częstotliwość)

Thank you. (Applause)

Dziękuję. (Brawa)

It's okay to applaud the laws of physics,

Można oklaskiwać prawa fizyki,

but essentially what's happening here

ale w skrócie...

-- (Laughter) --

(Śmiech)

is the energy from the sound via the air and gas molecules

Energia dźwięku z powietrza i cząsteczek gazu

is influencing the combustion properties of propane,

wpływa na właściwości spalania propanu,

creating a visible waveform,

tworząc tym samym kształt fali

and we can see the alternating regions of compression

i pokazując zmieniające się miejsca kompresji

and rarefaction that we call frequency,

i rozrzedzenia, które nazywamy częstotliwością,

and the height is showing us amplitude.

a wysokość pokazuje amplitudę.

So let's change the frequency of the sound,

A teraz zmieńmy częstotliwość dźwięku

and watch what happens to the fire.

i sprawdźmy, co stanie się z ogniem.

(Higher frequency)

(Wyższa częstotliwość)

So every time we hit a resonant frequency we get a standing wave

Zwiększając częstotliwość rezonansową otrzymujemy stojącą falę

and that emergent sine curve of fire.

oraz wyłaniającą się sinusoidę ognia.

So let's turn that off. We're indoors.

Zgaszę to.

Thank you. (Applause)

Dziękuję. (Brawa)

I also have with me a flame table.

Mam również płomienny stół.

It's very similar to a Rubens' tube, and it's also used

Tak samo jak rura Rubensa,

for visualizing the physical properties of sound,

służy do wizualizacji właściwości dźwięku,

such as eigenmodes, so let's fire it up

takich jak drgania własne. Odpalmy go

and see what it does.

i zobaczymy, co potrafi.

Ooh. (Laughter)

(Śmiech)

Okay. Now, while the table comes up to pressure,

Stół nabiera ciśnienia.

let me note here that the sound is not traveling

Dźwięk nie przemieszcza się po prostych,

in perfect lines. It's actually traveling in all directions,

ale w różnych kierunkach.

and the Rubens' tube's a little like bisecting those waves

Rurki Rubensa przepoławiają fale linią,

with a line, and the flame table's a little like

a płomienny stół

bisecting those waves with a plane,

przepoławia płomienie płaszczyzną,

and it can show a little more subtle complexity, which is why

wykazując subtelną złożoność. To dlatego odpalam go,

I like to use it to watch Geoff Farina play guitar.

żeby zobaczyć, jak Geoff Farina gra na gitarze.

(Music)

(Muzyka)

All right, so it's a delicate dance.

To delikatny taniec.

If you watch closely — (Applause)

Jeśli przyjrzeć się dokładniej... (Brawa)

If you watch closely, you may have seen

Co uważniejsi mogli zauważyć

some of the eigenmodes, but also you may have seen

drgania własne, a także fakt,

that jazz music is better with fire.

że jazz "smakuje" lepiej przy ogniu.

Actually, a lot of things are better with fire in my world,

W moim świecie ogień ulepsza wiele rzeczy,

but the fire's just a foundation.

ale ogień to tylko fundament.

It shows very well that eyes can hear,

Pokazuje, że oczy słyszą,

and this is interesting to me because

co mnie interesuje,

technology allows us to present sound to the eyes

bo technologia pozwala prezentować dźwięk oczom

in ways that accentuate the strength of the eyes

w sposób akcentujący siłę oczu

for seeing sound, such as the removal of time.

potrzebną do widzenia dźwięku, na przykład usuwając wymiar czasu.

So here, I'm using a rendering algorithm to paint

Tutaj używam algorytmu renderującego,

the frequencies of the song "Smells Like Teen Spirit"

który odtwarza częstotliwości "Smells Like Teen Spirit"

in a way that the eyes can take them in

w sposób, który pozwoli je zobaczyć

as a single visual impression, and the technique

jako pojedyncze wizualne doświadczenie.

will also show the strengths of the visual cortex

Ta technika ukazuje moc kory wzrokowej

for pattern recognition.

w procesie rozpoznawania kształtów.

So if I show you another song off this album,

Zobaczywszy inne piosenki,

and another, your eyes will easily pick out

bez trudu rozpoznacie wzrokowo

the use of repetition by the band Nirvana,

charakterystyczne powtórki w muzyce Nirvany,

and in the frequency distribution, the colors,

a w dystrybucji częstotliwości, w kolorach,

you can see the clean-dirty-clean sound

widać schemat czystych i nieczystych dźwięków,

that they are famous for,

z którego słynie zespół.

and here is the entire album as a single visual impression,

To cały album jako jeden obraz.

and I think this impression is pretty powerful.

Myślę, że robi bardzo silne wrażenie.

At least, it's powerful enough that

Jest na tyle silne,

if I show you these four songs,

że jeśli pokażę 4 utwory,

and I remind you that this is "Smells Like Teen Spirit,"

a przypominam, że to "Smells Like Teen Spirit",

you can probably correctly guess, without listening

łatwo zgadniecie, nawet bez dźwięku,

to any music at all, that the song

że zagorzały fan Nirvany

a die hard Nirvana fan would enjoy is this song,

polubiłby właśnie ten utwór,

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around" Foo Fighters,

whose lead singer is Dave Grohl,

gdzie śpiewa Dave Grohl,

who was the drummer in Nirvana.

były perkusista Nirvany.

The songs are a little similar, but mostly

Utwory są trochę podobne,

I'm just interested in the idea that someday maybe

ale mnie interesuje fakt,

we'll buy a song because we like the way it looks.

że może kiedyś kupimy utwór, bo spodoba nam się jej wygląd.

All right, now for some more sound data.

Teraz więcej o dźwięku.

This is data from a skate park,

To dane ze skate parku,

and this is Mabel Davis skate park

znajdującego się w parku Mabel Davis

in Austin, Texas. (Skateboard sounds)

w Austin w Teksasie. (Dźwięk skateboardingu)

And the sounds you're hearing came from eight

Rozstawiono 8 mikrofonów,

microphones attached to obstacles around the park,

przymocowanych do przeszkód w parku.

and it sounds like chaos, but actually

Brzmi to trochę chaotycznie, ale w rzeczywistości

all the tricks start with a very distinct slap,

wszystkie skateboard-owe triki zaczynają się wyraźnym uderzeniem,

but successful tricks end with a pop,

a kończą się trzaśnięciem.

whereas unsuccessful tricks

Mniej udane popisy

more of a scratch and a tumble,

kończą się skrzypnięciem i upadkiem,

and tricks on the rail will ring out like a gong, and

a triki na balustradzie dzwonią jak gong.

voices occupy very unique frequencies in the skate park.

Głosy w skate parku dają unikalne częstotliwości.

So if we were to render these sounds visually,

Gdy przedstawimy te dźwięki wizualnie,

we might end up with something like this.

otrzymamy coś takiego.

This is all 40 minutes of the recording,

To 40 minut nagrania

and right away the algorithm tells us

i od razu algorytm mówi nam,

a lot more tricks are missed than are made,

że dużo więcej jest trików nieudanych,

and also a trick on the rails is a lot more likely

oraz że triki na poręczy

to produce a cheer, and if you look really closely,

mogą spowodować radosne okrzyki. Badają to uważniej,

we can tease out traffic patterns.

możemy prześledzić wzorce ruchu.

You see the skaters often trick in this direction. The obstacles are easier.

Skaterzy często robią triki na tej linii, gdzie przeszkody są łatwiejsze.

And in the middle of the recording, the mics pick this up,

Zarejestrowano to w środku nagrania.

but later in the recording, this kid shows up,

Ale później pojawia się on

and he starts using a line at the top of the park

zaczyna jeździć na krawędzi parku

to do some very advanced tricks on something

i robi zaawansowane triki

called the tall rail.

na balustradzie.

And it's fascinating. At this moment in time,

To fascynujące. W tym momencie

all the rest of the skaters turn their lines 90 degrees

pozostali zmieniają drogę o 90 stopni,

to stay out of his way.

żeby mu nie zawadzać.

You see, there's a subtle etiquette in the skate park,

Skate park ma swoją niepisaną etykietę,

and it's led by key influencers,

którą wyznaczają najbardziej wpływowi

and they tend to be the kids who can do the best tricks,

i na ogół są to ci, którzy robią najlepsze triki

or wear red pants, and on this day the mics picked that up.

albo mają czerwone spodnie, a mikrofony to wyłapały.

All right, from skate physics to theoretical physics.

Od fizyki skaterskiej do teoretycznej.

I'm a big fan of Stephen Hawking,

Jestem wielkim fanem Stephena Hawkinga

and I wanted to use all eight hours

i jako hołd

of his Cambridge lecture series to create an homage.

użyłem ośmiogodzinnej serii jego wykładów z Cambridge.

Now, in this series he's speaking with the aid of a computer,

Hawking porozumiewa się przy pomocy komputera,

which actually makes identifying the ends of sentences

co sprawia, że odgadnięcie końca zdania

fairly easy. So I wrote a steering algorithm.

przychodzi dość łatwo. Napisałem algorytm sterujący.

It listens to the lecture, and then it uses

Słucha wykładu i bierze amplitudę słowa,

the amplitude of each word to move a point on the x-axis,

na której podstawie przesuwa punkt na osi x,

and it uses the inflection of sentences

a z każdą modulacją zdania

to move a same point up and down on the y-axis.

przesuwa punkt na osi y.

And these trend lines, you can see, there's more questions

Te linie trendu wskazują, że w prawach fizyki

than answers in the laws of physics,

jest więcej pytań niż odpowiedzi.

and when we reach the end of a sentence,

Kiedy dochodzimy do końca zdania,

we place a star at that location.

umieszczamy w tym miejscu gwiazdę.

So there's a lot of sentences, so a lot of stars,

Istnieje wiele zdań, więc mamy wiele gwiazd.

and after rendering all of the audio, this is what we get.

Oto wynik po przetworzeniu całego dźwięku.

This is Stephen Hawking's universe.

Wszechświat Stephena Hawkinga.

(Applause)

(Brawa)

It's all eight hours of the Cambridge lecture series

Oto 8 godzin serii wykładów Cambridge

taken in as a single visual impression,

przedstawionych wizualnie.

and I really like this image,

Bardzo lubię ten obraz,

but a lot of people think it's fake.

jednak wiele osób uważa to za oszustwo.

So I made a more interactive version,

Więc zrobiłem interaktywną wersję.

and the way I did that is I used their position in time

Na podstawie pozycji zdań w czasie wykładu

in the lecture to place these stars into 3D space,

umieściłem te gwiazdy w przestrzeni 3D

and with some custom software and a Kinect,

i używając specjalnego programu oraz Kinecta,

I can walk right into the lecture.

mogę "wejść" w wykład,

I'm going to wave through the Kinect here

dzięki Kinectowi pomachać,

and take control, and now I'm going to reach out

przejąć sterowanie

and I'm going to touch a star, and when I do,

i dotknąć gwiazdy, a kiedy to zrobię,

it will play the sentence

zostanie odtworzone zdanie,

that generated that star.

które ją wygenerowało.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: Istnieje jeden i tylko jeden układ,

in which the pieces make a complete picture.

w którym kawałki tworzą kompletny obrazek.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Dziękuję. (Brawa)

There are 1,400 stars.

Istnieje 1400 gwiazd.

It's a really fun way to explore the lecture,

To naprawdę fajny sposób na zbadanie wykładu,

and, I hope, a fitting homage.

i chyba stosowny hołd.

All right. Let me close with a work in progress.

Na koniec pokażę projekt w toku.

I think, after 30 years, the opportunity exists

Myślę, że po 30 latach jest szansa

to create an enhanced version of closed captioning.

na lepsze napisy dla niesłyszących.

Now, we've all seen a lot of TEDTalks online,

Wszyscy widzieliśmy wykłady TED.

so let's watch one now with the sound turned off

Obejrzyjmy jeden bez dźwięku

and the closed captioning turned on.

i z włączonymi napisami.

There's no closed captioning for the TED theme song,

Nie ma napisów do czołówki TED,

and we're missing it, but if you've watched enough of these,

ale jeśli oglądaliście wystarczającą ilość razy,

you hear it in your mind's ear,

słyszycie ją "w głowie".

and then applause starts.

Zaczynają się oklaski.

It usually begins here, and it grows and then it falls.

Zwykle najpierw rosną, potem opadają.

Sometimes you get a little star applause,

"Gwiazdom" klaszczemy dłużej.

and then I think even Bill Gates takes a nervous breath,

Bill Gates bierze nerwowy oddech

and the talk begins.

i zaczyna mówić.

All right, so let's watch this clip again.

Obejrzyjmy ten klip jeszcze raz.

This time, I'm not going to talk at all.

Tym razem nie będę się odzywać.

There's still going to be no audio,

Będzie bez dźwięku,

but what I am going to do is I'm going to render the sound

ale dodam jego wizualizację

visually in real time at the bottom of the screen.

w czasie rzeczywistym, na dole ekranu.

So watch closely and see what your eyes can hear.

Zobaczcie, co usłyszycie oczami.

This is fairly amazing to me.

Dla mnie to niesamowite.

Even on the first view, your eyes will successfully

Nawet za pierwszym razem oczy radzą sobie

pick out patterns, but on repeated views,

z rozpoznaniem prawidłowości, a im więcej powtórzeń,

your brain actually gets better

tym sprawniej mózg

at turning these patterns into information.

zmienia te prawidłowości w informacje.

You can get the tone and the timbre

Możecie wychwycić ton, barwę

and the pace of the speech,

i tempo mowy.

things that you can't get out of closed captioning.

Rzeczy, których nie ma w napisach.

That famous scene in horror movies

Tą słynna scenę w horrorach,

where someone is walking up from behind

gdzie ktoś podchodzi od tyłu,

is something you can see,

można teraz zobaczyć

and I believe this information would be something

i uważam, że te informacje

that is useful at times when the audio is turned off

są pomocne, gdy dźwięk jest wyłączony

or not heard at all, and I speculate that deaf audiences

lub niesłyszalny, i sądzę, że głucha publiczność

might actually even be better

może się okazać lepsza

at seeing sound than hearing audiences.

w postrzeganiu dźwięku niż widzowie słyszący.

I don't know. It's a theory right now.

Nie wiem. To na razie teoria.

Actually, it's all just an idea.

Właściwie tylko pomysł.

And let me end by saying that sound moves in all directions,

Zakończę stwierdzeniem, że dźwięk porusza się w wielu kierunkach,

and so do ideas.

a idee również.

Thank you. (Applause)

Dziękuję. (Brawa)