Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Traducător: Ruxandra Taleanu Corector: Dan Codrut

My passions

Pasiunile mele

are music, technology and making things.

sunt muzica, tehnologia și să construiesc lucruri.

And it's the combination of these things

Combinarea acestora

that has led me to the hobby of sound visualization,

m-a condus la hobby-ul vizualizării sunetului

and, on occasion, has led me to play with fire.

și uneori am ajuns să mă joc cu focul.

This is a Rubens' tube. It's one of many I've made over the years,

Acesta e un tub Rubens, unul dintre multele pe care le-am făcut de-a lungul anilor.

and I have one here tonight.

Am unul aici, în seara asta.

It's about an 8-foot-long tube of metal,

E un tub metalic de 2,5 m,

it's got a hundred or so holes on top,

are vreo sută de orificii,

on that side is the speaker, and here

pe partea asta e difuzorul,

is some lab tubing, and it's connected to this tank

iar aici e tubulatură de laborator conectată

of propane.

la acest rezervor de propan.

So, let's fire it up and see what it does.

Să-l aprindem să vedem ce face.

So let's play a 550-herz frequency

Să redăm frecvența de 550 Hz

and watch what happens.

și să urmărim ce se întâmplă.

(Frequency)

(Frecvență)

Thank you. (Applause)

Mulțumesc. (Aplauze)

It's okay to applaud the laws of physics,

E OK să aplaudăm legile fizicii,

but essentially what's happening here

dar ce se întâmplă aici, în esență --

-- (Laughter) --

(Râsete)

is the energy from the sound via the air and gas molecules

energia sunetului transmisă prin aer și moleculele de gaz

is influencing the combustion properties of propane,

influențează proprietățile de ardere ale propanului,

creating a visible waveform,

creând o formă de undă vizibilă.

and we can see the alternating regions of compression

Vedem regiunile alternative de compresie

and rarefaction that we call frequency,

și rarefiere pe care o numim frecvență,

and the height is showing us amplitude.

iar înălțimea ne arată amplitudinea.

So let's change the frequency of the sound,

Să schimbăm frecvența sunetului

and watch what happens to the fire.

și să vedem ce se întâmplă cu focul.

(Higher frequency)

(Frecvență mai mare)

So every time we hit a resonant frequency we get a standing wave

De fiecare dată când atingem o frecvență de rezonanță obținem o undă staționară,

and that emergent sine curve of fire.

respectiv o curbă sinusoidală a focului.

So let's turn that off. We're indoors.

S-o închidem. Suntem înăuntru.

Thank you. (Applause)

Mulțumesc. (Aplauze)

I also have with me a flame table.

Am cu mine și o masă cu flăcări.

It's very similar to a Rubens' tube, and it's also used

E similară tubului Rubens,

for visualizing the physical properties of sound,

e folosită în vizualizarea proprietăților fizice ale sunetelor

such as eigenmodes, so let's fire it up

precum stările eigen.

and see what it does.

S-o aprindem să vedem ce face.

Ooh. (Laughter)

O! (Râsete)

Okay. Now, while the table comes up to pressure,

OK, până când masa își egalizează presiunea,

let me note here that the sound is not traveling

observați că sunetul nu se transmite în linii perfecte.

in perfect lines. It's actually traveling in all directions,

De fapt, se transmite în toate direcțiile,

and the Rubens' tube's a little like bisecting those waves

tubul Rubens reprezentând intersecția undelor cu o linie,

with a line, and the flame table's a little like

iar masa cu flăcări e ca și cum

bisecting those waves with a plane,

ai intersecta undele cu un plan,

and it can show a little more subtle complexity, which is why

etalând o complexitate puțin mai subtilă, motiv pentru care îmi place s-o folosesc

I like to use it to watch Geoff Farina play guitar.

să-l ascult pe Geoff Farina cântând la chitară.

(Music)

(Muzică)

All right, so it's a delicate dance.

E un dans delicat.

If you watch closely — (Applause)

Dacă priviți cu atenție — (Aplauze)

If you watch closely, you may have seen

Dacă ați privit cu atenție poate ați văzut

some of the eigenmodes, but also you may have seen

unele eigen-stări, dar poate ați văzut

that jazz music is better with fire.

și că muzica jazz sună mai bine cu foc.

Actually, a lot of things are better with fire in my world,

De fapt, multe merg mai bine cu foc în lumea mea,

but the fire's just a foundation.

dar focul e doar mediul revelator.

It shows very well that eyes can hear,

Demonstrează clar că ochii pot auzi.

and this is interesting to me because

Mi se pare interesant pentru că

technology allows us to present sound to the eyes

tehnologia ne permite să prezentăm ochilor sunetul

in ways that accentuate the strength of the eyes

în moduri care accentuează capacitatea ochilor

for seeing sound, such as the removal of time.

de a vedea sunetul, precum eliminarea timpului.

So here, I'm using a rendering algorithm to paint

Aici folosesc un algoritm de redare pentru a evidenția

the frequencies of the song "Smells Like Teen Spirit"

frecvențele cântecului „Smells Like Teen Spirit”

in a way that the eyes can take them in

într-un mod în care ochii le pot interpreta

as a single visual impression, and the technique

ca pe o singură amprentă vizuală.

will also show the strengths of the visual cortex

Tehnica va demonstra de asemenea capacitatea cortexului vizual

for pattern recognition.

de a recunoaște tipare.

So if I show you another song off this album,

Dacă vă arăt un alt cântec din acest album,

and another, your eyes will easily pick out

și încă unul, ochii voștri vor distinge imediat

the use of repetition by the band Nirvana,

folosirea repetiției de către formația Nirvana,

and in the frequency distribution, the colors,

iar în distribuția frecvențelor, a culorilor,

you can see the clean-dirty-clean sound

puteți observa sunetul curat-murdar-curat

that they are famous for,

pentru care sunt faimoși.

and here is the entire album as a single visual impression,

Iată întregul album ca o singură amprentă vizuală.

and I think this impression is pretty powerful.

Cred că această amprentă e destul de puternică.

At least, it's powerful enough that

Cel puțin atât de puternică încât,

if I show you these four songs,

dacă vă arăt aceste patru cântece

and I remind you that this is "Smells Like Teen Spirit,"

și să vă reamintesc că acela e „Smells like Teen Spirit”,

you can probably correctly guess, without listening

veți putea probabil ghici corect,

to any music at all, that the song

fără a asculta muzică de loc,

a die hard Nirvana fan would enjoy is this song,

că piesa pe care un fan Nirvana ar agrea-o este

"I'll Stick Around" by the Foo Fighters,

„I'll Stick Around” a celor de la Foo Fighters,

whose lead singer is Dave Grohl,

al căror solist principal este Dave Grohl,

who was the drummer in Nirvana.

fost toboșar în formația Nirvana.

The songs are a little similar, but mostly

Cântecele sunt oarecum asemănătoare, dar cel mai mult

I'm just interested in the idea that someday maybe

mă interesează ideea că poate cândva

we'll buy a song because we like the way it looks.

vom cumpăra un cântec pentru că ne place cum arată.

All right, now for some more sound data.

OK, acum mai multe date despre sunet.

This is data from a skate park,

Astea sunt date dintr-un parc de skateboard,

and this is Mabel Davis skate park

iar acesta e parcul de skateboard Mabel Davis

in Austin, Texas. (Skateboard sounds)

din Austin, Texas. (Sunete de skateboard)

And the sounds you're hearing came from eight

Sunetele pe care le auziți veneau de la opt

microphones attached to obstacles around the park,

microfoane atașate obstacolelor din parc

and it sounds like chaos, but actually

și sună haotic, dar de fapt

all the tricks start with a very distinct slap,

toate trucurile încep cu o pocnitură distinctă,

but successful tricks end with a pop,

însă trucurile care ies bine se încheie cu o pocnitură,

whereas unsuccessful tricks

pe când trucurile eșuate

more of a scratch and a tumble,

mai mult cu o zgârietură și o cădere.

and tricks on the rail will ring out like a gong, and

Trucurile de pe șină vor suna ca un gong,

voices occupy very unique frequencies in the skate park.

iar vocile ocupă frecvențe unice în parcul de skateboard.

So if we were to render these sounds visually,

Dacă am reda vizual aceste sunete,

we might end up with something like this.

am putea ajunge la așa ceva.

This is all 40 minutes of the recording,

Iată toate cele 40 de minute ale înregistrării,

and right away the algorithm tells us

algoritmul ne spune imediat

a lot more tricks are missed than are made,

că mult mai multe trucuri sunt ratate decât reușite,

and also a trick on the rails is a lot more likely

și, de asemenea, că un truc pe șină e mai probabil

to produce a cheer, and if you look really closely,

să producă o ovație, iar dacă priviți foarte atent,

we can tease out traffic patterns.

puteți extrage tiparele de trafic.

You see the skaters often trick in this direction. The obstacles are easier.

Vedeți patinatorii făcând trucurile în direcția asta. Obstacolele sunt mai ușoare.

And in the middle of the recording, the mics pick this up,

În mijlocul înregistrării, microfoanele au arătat asta,

but later in the recording, this kid shows up,

însă mai târziu în înregistrare apare puștiul ăsta

and he starts using a line at the top of the park

care începe să folosească o linie din vârful parcului

to do some very advanced tricks on something

pentru a face niște trucuri foarte avansate

called the tall rail.

pe ceva numit șina înaltă.

And it's fascinating. At this moment in time,

E fascinant. În acest moment

all the rest of the skaters turn their lines 90 degrees

toți ceilalți patinatori își schimbă direcția cu 90 de grade

to stay out of his way.

pentru a nu-i sta în cale.

You see, there's a subtle etiquette in the skate park,

Există o etichetă subtilă în parcul de skateboard,

and it's led by key influencers,

condusă de influenți cheie

and they tend to be the kids who can do the best tricks,

care tind să fie puștii care pot face trucurile cele mai bune,

or wear red pants, and on this day the mics picked that up.

sau care poartă pantaloni roșii, iar în acea zi microfoanele au arătat asta.

All right, from skate physics to theoretical physics.

OK, de la fizica patinajului la fizica teoretică.

I'm a big fan of Stephen Hawking,

Sunt un mare fan al lui Stephen Hawking.

and I wanted to use all eight hours

Voiam să folosesc toate cele opt ore

of his Cambridge lecture series to create an homage.

ale cursului său la Cambridge pentru a-i aduce un omagiu.

Now, in this series he's speaking with the aid of a computer,

În această serie el vorbește cu ajutorul unui calculator,

which actually makes identifying the ends of sentences

care face ca identificarea finalurilor de propoziție să fie relativ ușoară.

fairly easy. So I wrote a steering algorithm.

Așa că am scris un algoritm de urmărire,

It listens to the lecture, and then it uses

care ascultă prelegerea și apoi folosește

the amplitude of each word to move a point on the x-axis,

amplitudinea fiecărui cuvânt să mute un punct pe abscisă

and it uses the inflection of sentences

și folosește inflexiunea propozițiilor

to move a same point up and down on the y-axis.

să mute același punct în sus și în jos pe ordonată.

And these trend lines, you can see, there's more questions

Iar aceste linii de trend, vedeți, sunt mai multe întrebări

than answers in the laws of physics,

decât răspunsuri în legile fizicii,

and when we reach the end of a sentence,

iar când ajungem la sfârșitul unei propoziții,

we place a star at that location.

plasăm o stea în acea locație.

So there's a lot of sentences, so a lot of stars,

Așadar, sunt multe propoziții, deci multe stele.

and after rendering all of the audio, this is what we get.

Redând întreaga înregistrare audio, iată ce obținem.

This is Stephen Hawking's universe.

Acesta e universul lui Stephen Hawking.

(Applause)

(Aplauze)

It's all eight hours of the Cambridge lecture series

Sunt cele opt ore ale seriei de prelegeri de la Cambridge

taken in as a single visual impression,

redate într-o singură amprentă vizuală.

and I really like this image,

Chiar îmi place imaginea asta,

but a lot of people think it's fake.

dar mulți oameni cred că nu e reală.

So I made a more interactive version,

Așa că am construit o versiune mai interactivă

and the way I did that is I used their position in time

și am făcut asta folosind poziția lor în timpul conferinței

in the lecture to place these stars into 3D space,

pentru a plasa aceste stele în spațiul 3D,

and with some custom software and a Kinect,

iar cu niște programe dedicate și un Kinect,

I can walk right into the lecture.

pot păși în mijlocul prelegerii.

I'm going to wave through the Kinect here

O să-i fac cu mâna dispozitivului Kinect acum

and take control, and now I'm going to reach out

și o să preiau controlul, iar acum am să întind mâna

and I'm going to touch a star, and when I do,

și am să ating o stea, iar când o voi face

it will play the sentence

va reda propoziția

that generated that star.

care a generat acea stea.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: Există un aranjament și numai unul

in which the pieces make a complete picture.

în care piesele alcătuiesc o imagine completă.”

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Mulțumesc. (Aplauze)

There are 1,400 stars.

Sunt 1400 de stele.

It's a really fun way to explore the lecture,

E un mod distractiv de a explora prelegerea

and, I hope, a fitting homage.

și, sper, un omagiu adecvat.

All right. Let me close with a work in progress.

OK. Permiteți-mi să închei cu un proiect în lucru.

I think, after 30 years, the opportunity exists

Cred că, după 30 de ani, există posibilitatea

to create an enhanced version of closed captioning.

de a crea o versiune îmbunătățită a subtitrărilor pentru surdomuți.

Now, we've all seen a lot of TEDTalks online,

Am văzut cu toții multe prezentări TED online,

so let's watch one now with the sound turned off

deci haideți să urmărim acum una cu sunetul oprit

and the closed captioning turned on.

dar cu subtitrarea pornită.

There's no closed captioning for the TED theme song,

Nu există subtitrare pentru melodia generică TED,

and we're missing it, but if you've watched enough of these,

și ne lipsește, dar dacă ați văzut suficient de multe

you hear it in your mind's ear,

o puteți auzi cu urechea minții.

and then applause starts.

Apoi încep aplauzele.

It usually begins here, and it grows and then it falls.

În general încep aici, sunetul se amplifică și apoi cade.

Sometimes you get a little star applause,

Uneori auzi câteva aplauze singuratice,

and then I think even Bill Gates takes a nervous breath,

după care cred că și Bill Gates respiră cu emoție

and the talk begins.

și începe discuția.

All right, so let's watch this clip again.

În regulă, să urmărim acest clip din nou.

This time, I'm not going to talk at all.

De data asta n-am să vorbesc deloc.

There's still going to be no audio,

Nu se va auzi nimic,

but what I am going to do is I'm going to render the sound

dar voi reda sunetul vizual,

visually in real time at the bottom of the screen.

în timp real, la baza ecranului.

So watch closely and see what your eyes can hear.

Urmăriți cu atenție și vedeți ce pot auzi ochii dvs.

This is fairly amazing to me.

Pentru mine e chiar uimitor.

Even on the first view, your eyes will successfully

Chiar la prima vizionare, ochii vor distinge

pick out patterns, but on repeated views,

cu succes tiparele, iar după vizionări repetate

your brain actually gets better

creierul devine tot mai bun

at turning these patterns into information.

la transformarea acestor tipare în informație.

You can get the tone and the timbre

Puteți înțelege tonul, timbrul

and the pace of the speech,

și ritmul discursului,

things that you can't get out of closed captioning.

lucruri pe care nu le puteți observa din subtitrări.

That famous scene in horror movies

Acea scenă faimoasă din filmele de groază

where someone is walking up from behind

în care cineva vine încet din spate

is something you can see,

e ceva ce puteți vedea

and I believe this information would be something

și cred că informația asta ar fi utilă

that is useful at times when the audio is turned off

în momentele în care sunetul e închis

or not heard at all, and I speculate that deaf audiences

sau nu se aude deloc. Bănuiesc că audiența surdomută

might actually even be better

ar putea fi chiar mai bună

at seeing sound than hearing audiences.

în a vedea sunetele decât audiența normală.

I don't know. It's a theory right now.

Nu știu. Momentan e o teorie.

Actually, it's all just an idea.

De fapt, totul e doar o idee.

And let me end by saying that sound moves in all directions,

Și permiteți-mi să închei spunând că sunetul se propagă în toate direcțiile,

and so do ideas.

iar ideile la fel.

Thank you. (Applause)

Mulțumesc. (Aplauze)