Jared Ficklin: New ways to see music (with color! and fire!)

Jared Ficklin: Novas maneiras de ver a música (usando cores! e o fogo!)

Translator: Joseph Geni Reviewer: Morton Bast

Tradutor: Raissa Mendes Revisor: Nadja Nathan

My passions

Minhas paixões

are music, technology and making things.

são música, tecnologia e construir coisas.

And it's the combination of these things

E foi a combinação dessas coisas

that has led me to the hobby of sound visualization,

que me levou ao hobby de visualização do som,

and, on occasion, has led me to play with fire.

me levando, por vezes, a brincar com fogo.

This is a Rubens' tube. It's one of many I've made over the years,

Este é o tubo de Rubens. Um dos muitos que construí ao longo dos anos,

and I have one here tonight.

e eu tenho um aqui esta noite.

It's about an 8-foot-long tube of metal,

É um tubo de metal de aproximadamente 2,5 metros de comprimento.

it's got a hundred or so holes on top,

Ele tem uns cem buracos na parte de cima,

on that side is the speaker, and here

naquele lado tem um alto-falante, e aqui

is some lab tubing, and it's connected to this tank

tem um tubo de laboratório conectado a este tanque

of propane.

de propano.

So, let's fire it up and see what it does.

Então, vamos acender e ver o que acontece.

So let's play a 550-herz frequency

Vamos tocar uma frequência de 550 hertz

and watch what happens.

e observar o que acontece.

(Frequency)

(Frequência)

Thank you. (Applause)

Obrigado. (Aplausos)

It's okay to applaud the laws of physics,

Tudo bem aplaudir as leis da física,

but essentially what's happening here

mas basicamente o que está acontecendo aqui

-- (Laughter) --

-- (Risos) --

is the energy from the sound via the air and gas molecules

é que a energia do som através do ar e as moléculas de gás

is influencing the combustion properties of propane,

está influenciando as propriedades de combustão do propano,

creating a visible waveform,

criando uma forma visível de onda,

and we can see the alternating regions of compression

e nós podemos ver as regiões de alternância da compressão

and rarefaction that we call frequency,

e rarefação que chamamos de frequência,

and the height is showing us amplitude.

e a altura está nos mostrando amplitude.

So let's change the frequency of the sound,

Então vamos mudar a frequência do som,

and watch what happens to the fire.

e observar o que acontece com o fogo.

(Higher frequency)

(Frequência mais alta)

So every time we hit a resonant frequency we get a standing wave

Cada vez que alcançamos uma frequência ressonante, nós obtemos uma onda estacionária

and that emergent sine curve of fire.

e aquela curva senoidal que emerge do fogo.

So let's turn that off. We're indoors.

Bem, vamos desligar isso. Afinal de contas, estamos num ambiente fechado.

Thank you. (Applause)

Obrigado. (Aplausos)

I also have with me a flame table.

Eu também tenho comigo uma mesa de chamas.

It's very similar to a Rubens' tube, and it's also used

É muito parecida com um tubo de Rubens, e também é usada

for visualizing the physical properties of sound,

para visualizar as propriedades físicas do som,

such as eigenmodes, so let's fire it up

tais como suas vibrações e oscilações. Então, vamos acendê-la

and see what it does.

e ver o que acontece.

Ooh. (Laughter)

Opa. (Risos)

Okay. Now, while the table comes up to pressure,

OK, agora, enquanto a mesa alcança a pressão necessária,

let me note here that the sound is not traveling

eu chamaria a atenção aqui para o fato de que o som não está viajando

in perfect lines. It's actually traveling in all directions,

em linhas perfeitas. Na verdade viaja em todas as direções,

and the Rubens' tube's a little like bisecting those waves

e o tubo de Rubens está meio que cortando aquelas ondas

with a line, and the flame table's a little like

com uma linha, e a mesa de chamas está meio que

bisecting those waves with a plane,

cortando aquelas ondas com um plano,

and it can show a little more subtle complexity, which is why

e ela pode mostrar uma complexidade um pouco mais sutil, razão pela qual

I like to use it to watch Geoff Farina play guitar.

eu gosto de usá-la para observar Geoff Farina tocar violão.

(Music)

(Música)

All right, so it's a delicate dance.

Tudo bem, é uma dança delicada.

If you watch closely — (Applause)

E se prestarem bastante atenção -- (Aplausos)

If you watch closely, you may have seen

Se vocês prestarem atenção, poderão ver

some of the eigenmodes, but also you may have seen

algumas das vibrações e oscilações, mas também vão ver

that jazz music is better with fire.

que jazz é melhor com fogo.

Actually, a lot of things are better with fire in my world,

Na verdade, muitas coisas são melhores com fogo no meu mundo,

but the fire's just a foundation.

mas o fogo é apenas uma base.

It shows very well that eyes can hear,

Ele mostra muito bem que os olhos podem ouvir,

and this is interesting to me because

e isso me interessa porque

technology allows us to present sound to the eyes

a tecnologia nos permite apresentar o som para os olhos

in ways that accentuate the strength of the eyes

de maneiras que acentuam o poder dos olhos

for seeing sound, such as the removal of time.

para ver o som, tal como a eliminação do tempo.

So here, I'm using a rendering algorithm to paint

Então aqui eu estou usando um algoritmo de processamento para pintar

the frequencies of the song "Smells Like Teen Spirit"

as frequências da música "Smells Like Teen Spirit"

in a way that the eyes can take them in

de um jeito que os olhos possam percebê-las

as a single visual impression, and the technique

como uma única impressão visual, e a técnica

will also show the strengths of the visual cortex

vai mostrar também as forças do córtex visual

for pattern recognition.

no reconhecimento de padrões.

So if I show you another song off this album,

Assim, se eu lhes mostrar outra música desse álbum,

and another, your eyes will easily pick out

e mais uma, seus olhos vão facilmente distinguir

the use of repetition by the band Nirvana,

o uso da repetição pela banda Nirvana,

and in the frequency distribution, the colors,

e na distribuição da frequência, as cores,

you can see the clean-dirty-clean sound

vocês podem enxergar o som limpo-sujo-limpo,

that they are famous for,

pelos quais eles são famosos.

and here is the entire album as a single visual impression,

E aqui está o álbum inteiro como uma única impressão visual,

and I think this impression is pretty powerful.

e eu acho que essa impressão é bem poderosa.

At least, it's powerful enough that

Pelo menos, é poderosa o suficiente para que,

if I show you these four songs,

se eu lhes mostrar essas quatro músicas,

and I remind you that this is "Smells Like Teen Spirit,"

e lembrar a vocês que esta é "Smells Like Teen Spirit",

you can probably correctly guess, without listening

vocês provavelmente vão adivinhar corretamente, sem ouvir

to any music at all, that the song

nenhuma música, que a canção

a die hard Nirvana fan would enjoy is this song,

que um fã de carteirinha do Nirvana curtiria seria essa música.

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around", da banda Foo Fighters,

whose lead singer is Dave Grohl,

cujo vocalista é Dave Grohl,

who was the drummer in Nirvana.

que era o baterista do Nirvana.

The songs are a little similar, but mostly

As músicas são um pouco parecidas, mas

I'm just interested in the idea that someday maybe

eu estou interessado sobretudo na ideia de que algum dia talvez

we'll buy a song because we like the way it looks.

a gente venha a comprar uma música por causa da sua "aparência".

All right, now for some more sound data.

Tudo bem, agora vamos a mais alguns dados.

This is data from a skate park,

Esses são dados de um parque com pista de skate,

and this is Mabel Davis skate park

e este é o parque de skate Mabel Davis

in Austin, Texas. (Skateboard sounds)

em Austin, no Texas. (Sons da pista de skate).

And the sounds you're hearing came from eight

E os sons que vocês estão ouvindo vêm de oito

microphones attached to obstacles around the park,

microfones colocados em obstáculos ao redor do parque,

and it sounds like chaos, but actually

e soa de forma caótica, mas, na verdade,

all the tricks start with a very distinct slap,

todas as manobras começam com um barulho bem distinto,

but successful tricks end with a pop,

mas as manobras bem-sucedidas terminam com um estalo,

whereas unsuccessful tricks

enquanto as manobras mal sucedidas

more of a scratch and a tumble,

terminam com um arranhão e uma queda,

and tricks on the rail will ring out like a gong, and

e manobras no corrimão soam como um gongo, e

voices occupy very unique frequencies in the skate park.

vozes ocupam frequências bem singulares na pista de skate,

So if we were to render these sounds visually,

Assim, se fôssemos representar visualmente esses sons,

we might end up with something like this.

nós chegaríamos a algo como isso aqui.

This is all 40 minutes of the recording,

Isso são todos os 40 minutos de gravação,

and right away the algorithm tells us

e imediatamente o algoritmo nos diz

a lot more tricks are missed than are made,

que houve muito mais manobras perdidas que realizadas,

and also a trick on the rails is a lot more likely

e também uma manobra nos corrimãos tem muito mais chance

to produce a cheer, and if you look really closely,

de produzir uma ovação, e se vocês prestarem atenção,

we can tease out traffic patterns.

nós podemos perceber padrões de tráfego.

You see the skaters often trick in this direction. The obstacles are easier.

Vemos que os skatistas geralmente manobram nessa direção. Os obstáculos são mais fáceis.

And in the middle of the recording, the mics pick this up,

E, no meio da gravação, os microfones pegam isso,

but later in the recording, this kid shows up,

mas mais à frente na gravação, esse garoto aparece,

and he starts using a line at the top of the park

e começa a usar a linha na parte de cima da pista

to do some very advanced tricks on something

para fazer algumas manobras bem avançadas em algo

called the tall rail.

chamado de corrimão alto.

And it's fascinating. At this moment in time,

E é fascinante. Nesse momento,

all the rest of the skaters turn their lines 90 degrees

todos os demais skatistas giram suas posições 90 graus

to stay out of his way.

para ficarem fora do caminho dele.

You see, there's a subtle etiquette in the skate park,

Vejam bem, existe uma etiqueta sutil nas pistas de skate,

and it's led by key influencers,

e é liderada pelos skatistas mais influentes,

and they tend to be the kids who can do the best tricks,

que tendem a ser os garotos que conseguem fazer as melhores manobras,

or wear red pants, and on this day the mics picked that up.

ou vestir calças vermelhas, e nesse dia os microfones pegaram isso.

All right, from skate physics to theoretical physics.

Tudo bem, da física do skate para a física teórica.

I'm a big fan of Stephen Hawking,

Eu sou um grande fã de Stephen Hawking,

and I wanted to use all eight hours

e queria usar todas as oito horas

of his Cambridge lecture series to create an homage.

de sua série de palestras em Cambridge para prestar uma homenagem.

Now, in this series he's speaking with the aid of a computer,

Bem, nessa série ele fala com a ajuda de um computador,

which actually makes identifying the ends of sentences

que na realidade facilita bastante a identificação dos finais

fairly easy. So I wrote a steering algorithm.

das frases. Então, eu escrevi um algoritmo de direção.

It listens to the lecture, and then it uses

Ele ouve a palestra, e então usa

the amplitude of each word to move a point on the x-axis,

a amplitude de cada palavra para mover um ponto no eixo horizontal,

and it uses the inflection of sentences

e usa a inflexão das frases

to move a same point up and down on the y-axis.

para mover um mesmo ponto para cima e para baixo no eixo vertical.

And these trend lines, you can see, there's more questions

E essas linhas de tendências mostram que existem mais perguntas

than answers in the laws of physics,

que respostas nas leis da física,

and when we reach the end of a sentence,

e quando chegamos ao final de uma frase,

we place a star at that location.

colocamos ali uma estrela.

So there's a lot of sentences, so a lot of stars,

Bem, existe um monte de frases, um monte de estrelas,

and after rendering all of the audio, this is what we get.

e, depois de processar todo o áudio, isso é o que obtemos.

This is Stephen Hawking's universe.

Este é o universo de Stephen Hawking.

(Applause)

(Aplausos)

It's all eight hours of the Cambridge lecture series

São todas as oito horas da série de palestras em Cambridge

taken in as a single visual impression,

condensadas numa única impressão visual,

and I really like this image,

e eu gosto demais dessa imagem,

but a lot of people think it's fake.

mas muitas pessoas pensam que é falsa.

So I made a more interactive version,

Então eu fiz uma versão mais interativa,

and the way I did that is I used their position in time

e eu fiz isso usando as posições delas no tempo

in the lecture to place these stars into 3D space,

na palestra para colocar essas estrelas dentro de um espaço 3D,

and with some custom software and a Kinect,

e com a ajuda de um software customizado e um Kinect (sensor de movimentos),

I can walk right into the lecture.

eu consigo andar dentro da palestra.

I'm going to wave through the Kinect here

Eu vou acenar por meio do Kinect aqui

and take control, and now I'm going to reach out

e assumir o controle, e agora vou me aproximar

and I'm going to touch a star, and when I do,

e tocar uma estrela, e quando eu faço isso,

it will play the sentence

ela reproduz a frase

that generated that star.

que gerou aquela estrela.

Stephen Hawking: There is one, and only one, arrangement

Stephen Kawking: Existe um, e apenas um, arranjo

in which the pieces make a complete picture.

nos quais as partes fazem um quadro completo.

Jared Ficklin: Thank you. (Applause)

Jared Ficklin: Obrigado. (Aplausos)

There are 1,400 stars.

Existem 1.400 estrelas.

It's a really fun way to explore the lecture,

Essa é uma maneira bastante divertida de explorar a palestra,

and, I hope, a fitting homage.

e, espero, uma homenagem à altura.

All right. Let me close with a work in progress.

Tudo bem. Deixem-me fechar com um trabalho ainda em curso.

I think, after 30 years, the opportunity exists

Penso que, depois de 30 anos, existe hoje a oportunidade

to create an enhanced version of closed captioning.

de criar uma versão aperfeiçoada de legendas para deficientes.

Now, we've all seen a lot of TEDTalks online,

Bem, nós todos já assistimos a uma porção de palestras do TED on-line,

so let's watch one now with the sound turned off

então vamos assistir a uma agora com o som desligado

and the closed captioning turned on.

e com as legendas para deficientes ligadas.

There's no closed captioning for the TED theme song,

Não existe legenda para deficiente para a música tema do TED,

and we're missing it, but if you've watched enough of these,

e nós perdemos essa parte, mas se já assistiram a muitas palestra,

you hear it in your mind's ear,

vocês vão ouvi-la no ouvido da mente,

and then applause starts.

e então os aplausos começam.

It usually begins here, and it grows and then it falls.

Normalmente começam aqui, crescem e depois diminuem.

Sometimes you get a little star applause,

Às vezes, se for um astro, acontecem mais alguns aplausos,

and then I think even Bill Gates takes a nervous breath,

e aí, acho que até Bill Gates respira tenso,

and the talk begins.

e a palestra começa.

All right, so let's watch this clip again.

Tudo bem, vamos assistir a esse vídeo de novo.

This time, I'm not going to talk at all.

Dessa vez, não vou falar nada.

There's still going to be no audio,

Ainda é para ser sem áudio,

but what I am going to do is I'm going to render the sound

mas o que vou fazer é representar o som

visually in real time at the bottom of the screen.

visualmente em tempo real na parte de baixo da tela.

So watch closely and see what your eyes can hear.

Então prestem atenção e vejam o que seus olhos podem ouvir.

This is fairly amazing to me.

Pra mim, isso é realmente impressionante.

Even on the first view, your eyes will successfully

Mesmo na primeira vez, seus olhos vão conseguir

pick out patterns, but on repeated views,

distinguir padrões, mas depois de assistir repetidas vezes,

your brain actually gets better

seu cérebro fica cada vez mais perspicaz

at turning these patterns into information.

para transformar esses padrões em informação.

You can get the tone and the timbre

Vocês podem perceber o tom e o timbre

and the pace of the speech,

e a velocidade da fala,

things that you can't get out of closed captioning.

coisas que não são possíveis com legendas para deficientes.

That famous scene in horror movies

Aquela famosa cena dos filmes de terror

where someone is walking up from behind

em que alguém surge por trás,

is something you can see,

é algo que vocês vão conseguir ver,

and I believe this information would be something

e eu acredito que essa informação seja

that is useful at times when the audio is turned off

útil quando o áudio está desligado

or not heard at all, and I speculate that deaf audiences

ou quando não houver qualquer som, e eu imagino que platéias de surdos

might actually even be better

tenham mais habilidade

at seeing sound than hearing audiences.

para ver o som do que platéias de ouvintes.

I don't know. It's a theory right now.

Sei lá. Isso é apenas uma teoria até agora.

Actually, it's all just an idea.

Na verdade, essa é apenas uma ideia.

And let me end by saying that sound moves in all directions,

E permitam-me terminar dizendo que o som se move em todas as direções,

and so do ideas.

assim como as ideias.

Thank you. (Applause)

Muito obrigado. (Aplausos)