Jared Ficklin: New ways to see music (with color! and fire!)

Translator: Joseph Geni Reviewer: Morton Bast

Tradutor: Catarina Palas Revisora: Paulo Duarte

My passions

As minhas paixões

are music, technology and making things.

são a música, a tecnologia e criar coisas.

And it's the combination of these things

E foi a combinação destas coisas

that has led me to the hobby of sound visualization,

que me levou à visualização do som

and, on occasion, has led me to play with fire.

e, por vezes, a brincar com o fogo.

This is a Rubens' tube. It's one of many I've made over the years,

Isto é um tubo de Rubens,

um dos muitos que fiz ao longo dos anos e hoje tenho um aqui.

and I have one here tonight.

It's about an 8-foot-long tube of metal,

É um tubo de metal com 2,5 metros.

it's got a hundred or so holes on top,

Tem uns cem buracos no topo.

on that side is the speaker, and here

Daquele lado é o altifalante

is some lab tubing, and it's connected to this tank

E aqui há uns tubos ligados a este tanque de propano.

of propane.

So, let's fire it up and see what it does.

Vamos acender as chamas e ver o que acontece.

So let's play a 550-herz frequency

Vamos tocar a uma frequência de 550 hertz e ver o que acontece.

and watch what happens.

(Frequency)

Thank you. (Applause)

Obrigado.

Aplausos)

It's okay to applaud the laws of physics,

Podem bater palmas às leis da física

but essentially what's happening here

mas o que está a acontecer...

-- (Laughter) --

(Risos)

is the energy from the sound via the air and gas molecules

é que a energia do som que vem das moléculas do gás e do ar

is influencing the combustion properties of propane,

está a influenciar as propriedades de combustão do propano,

creating a visible waveform,

criando uma onda visível.

and we can see the alternating regions of compression

Vemos as regiões de compressão a alternar

and rarefaction that we call frequency,

e a rarefação a que chamamos frequência

and the height is showing us amplitude.

e as alturas mostram-nos a amplitude.

So let's change the frequency of the sound,

Vamos mudar a frequência do som

and watch what happens to the fire.

e ver o que acontece com o fogo.

(Higher frequency)

So every time we hit a resonant frequency we get a standing wave

Sempre que atingimos uma frequência ressonante dá-se uma onda estacionária

and that emergent sine curve of fire.

e uma onda sinusoidal de fogo.

So let's turn that off. We're indoors.

Vamos desligar isto. Estamos dentro de um edifício.

Thank you. (Applause)

Obrigado.

(Aplausos)

I also have with me a flame table.

Também tenho uma mesa de chamas.

It's very similar to a Rubens' tube, and it's also used

É parecida com o tubo de Rubens.

for visualizing the physical properties of sound,

Usa-se para visualizar as propriedades físicas do som

such as eigenmodes, so let's fire it up

como os "modos próprios".

and see what it does.

Vamos acender isto e ver o que acontece.

Ooh. (Laughter)

(Risos)

Okay. Now, while the table comes up to pressure,

Enquanto a mesa atinge a pressão,

let me note here that the sound is not traveling

deixem-me salientar que o som não se está a mover

in perfect lines. It's actually traveling in all directions,

em linhas perfeitas, mas sim em todas as direções.

and the Rubens' tube's a little like bisecting those waves

O tubo de Rubens está como que a dividir as ondas

with a line, and the flame table's a little like

com as linhas e é como se a mesa

bisecting those waves with a plane,

estivesse a dividir aquelas ondas com um plano

and it can show a little more subtle complexity, which is why

e pode mostrar uma complexidade mais subtil.

I like to use it to watch Geoff Farina play guitar.

É por isso que eu gosto de a usar para ver o Geoff Farina a tocar guitarra.

(Music)

(Música de guitarra)

All right, so it's a delicate dance.

Pronto, é uma dança delicada.

If you watch closely — (Applause)

Aplausos)

If you watch closely, you may have seen

Se observaram com atenção, podem ter visto

alguns dos "modos próprios", mas também podem ter reparado

some of the eigenmodes, but also you may have seen

that jazz music is better with fire.

que a música jazz é melhor com fogo.

Na verdade, muitas coisas são melhores com fogo,

Actually, a lot of things are better with fire in my world,

but the fire's just a foundation.

mas o fogo é só a fundação.

It shows very well that eyes can hear,

Mostra bem que os olhos podem ouvir.

and this is interesting to me because

Acho isto interessante porque a tecnologia permite

technology allows us to present sound to the eyes

apresentar o som aos olhos

in ways that accentuate the strength of the eyes

em formas que acentuam a força dos olhos

for seeing sound, such as the removal of time.

para ver o som, como a remoção do tempo.

So here, I'm using a rendering algorithm to paint

Aqui estou a usar um algoritmo de processamento para pintar

the frequencies of the song "Smells Like Teen Spirit"

as frequências da música "Smells Like Teen Spirit"

in a way that the eyes can take them in

de forma a que os olhos as absorvam

as a single visual impression, and the technique

como uma única impressão visual.

will also show the strengths of the visual cortex

Esta técnica também mostra os pontos fortes do córtex visual

for pattern recognition.

para o reconhecimento de padrões.

So if I show you another song off this album,

Assim, se mostrar outra música deste álbum

and another, your eyes will easily pick out

e outra, os vossos olhos facilmente se apercebem

the use of repetition by the band Nirvana,

do uso da repetição pelos Nirvana.

and in the frequency distribution, the colors,

E na distribuição da frequência, as cores,

you can see the clean-dirty-clean sound

podem ver o som limpo-sujo-limpo

that they are famous for,

de que eles são famosos.

and here is the entire album as a single visual impression,

E aqui está o álbum inteiro numa única impressão visual.

and I think this impression is pretty powerful.

Acho que esta impressão é muito forte.

At least, it's powerful enough that

Pelo menos, é forte o suficiente

if I show you these four songs,

porque, se eu mostrar 4 músicas,

and I remind you that this is "Smells Like Teen Spirit,"

e lembro-vos de que esta é a "Smells Like Teen Spirit" —

you can probably correctly guess, without listening

provavelmente podem adivinhar, sem ouvir qualquer música,

to any music at all, that the song

a die hard Nirvana fan would enjoy is this song,

que a canção de que um verdadeiro fã dos Nirvana iria gostar é esta,

"I'll Stick Around" by the Foo Fighters,

"I'll Stick Around" dos Foo Fighters,

whose lead singer is Dave Grohl,

cujo vocalista é Dave Grohl,

who was the drummer in Nirvana.

que foi baterista dos Nirvana.

As músicas são um bocado parecidas,

The songs are a little similar, but mostly

I'm just interested in the idea that someday maybe

mas estou mais interessado na ideia de que, um dia,

we'll buy a song because we like the way it looks.

compremos uma canção porque gostamos da sua aparência.

All right, now for some more sound data.

Mais alguns dados de som.

This is data from a skate park,

Estes dados são de um parque de "skate".

and this is Mabel Davis skate park

Este é o parque Mabel Davis

in Austin, Texas. (Skateboard sounds)

em Austin, Texas (Sons de "skates")

And the sounds you're hearing came from eight

Os sons que ouvem vêm de 8 microfones

microphones attached to obstacles around the park,

presos a vários obstáculos pelo parque.

and it sounds like chaos, but actually

Parece um caos, mas, na verdade,

all the tricks start with a very distinct slap,

todos os truques começam com um estalo muito distinto.

but successful tricks end with a pop,

Os truques bem-sucedidos acabam com um "pop"

whereas unsuccessful tricks

enquanto os falhados

more of a scratch and a tumble,

acabam com uma espécie de arranhão ou tombo.

and tricks on the rail will ring out like a gong, and

Os truques no corrimão vão soar como um gongo.

voices occupy very unique frequencies in the skate park.

As vozes têm frequências muito únicas no parque.

So if we were to render these sounds visually,

Se tornássemos estes sons em algo visual,

we might end up with something like this.

acabaríamos com algo como isto.

This is all 40 minutes of the recording,

Aqui estão os 40 minutos da gravação.

and right away the algorithm tells us

E o algoritmo diz-nos imediatamente

a lot more tricks are missed than are made,

que há mais truques falhados do que bem-sucedidos

and also a trick on the rails is a lot more likely

e que um truque nos corrimões tem mais probabilidade

to produce a cheer, and if you look really closely,

de receber aplausos.

Se olharmos com atenção, podemos extrair padrões de tráfego.

we can tease out traffic patterns.

You see the skaters often trick in this direction. The obstacles are easier.

Vemos que os "skaters" se movem nesta direção.

Os obstáculos são mais fáceis.

And in the middle of the recording, the mics pick this up,

A meio da gravação, os microfones captaram isto.

but later in the recording, this kid shows up,

Mas mais tarde, este miúdo aparece

and he starts using a line at the top of the park

e começa a usar uma linha na parte superior do parque

to do some very advanced tricks on something

para fazer uns truques muito avançados no corrimão alto.

called the tall rail.

And it's fascinating. At this moment in time,

É fascinante.

all the rest of the skaters turn their lines 90 degrees

Neste momento, todos os "skaters" giram 90 graus

to stay out of his way.

para ficar fora do seu caminho.

You see, there's a subtle etiquette in the skate park,

Há uma etiqueta subtil no parque de "skate",

and it's led by key influencers,

dirigida por influenciadores importantes,

and they tend to be the kids who can do the best tricks,

os miúdos que fazem os melhores truques, que usam calças vermelhas.

or wear red pants, and on this day the mics picked that up.

E os microfones captaram isso.

All right, from skate physics to theoretical physics.

Ok, da física dos "skates" à física teórica.

I'm a big fan of Stephen Hawking,

Sou um grande fã de Stephen Hawking

and I wanted to use all eight hours

e queria usar as 8 horas da sua série de palestras em Cambridge

of his Cambridge lecture series to create an homage.

para criar uma homenagem.

Now, in this series he's speaking with the aid of a computer,

Nesta série, ele está a falar com a ajuda de um computador

which actually makes identifying the ends of sentences

o que faz com que seja fácil identificar o fim das frases.

fairly easy. So I wrote a steering algorithm.

Por isso, escrevi um algoritmo de direção.

It listens to the lecture, and then it uses

Ouve a palestra e depois usa a amplitude de cada palavra

the amplitude of each word to move a point on the x-axis,

para mover um ponto no eixo x

and it uses the inflection of sentences

e usa a inflexão das frases

to move a same point up and down on the y-axis.

para mover o mesmo ponto para cima e para baixo no eixo y.

And these trend lines, you can see, there's more questions

Estas linhas de tendência... como veem há mais perguntas

than answers in the laws of physics,

do que respostas às leis da física

and when we reach the end of a sentence,

e quando chegamos ao fim da frase,

we place a star at that location.

pomos uma estrela naquela localização.

So there's a lot of sentences, so a lot of stars,

Portanto, há muitas frases, muitas estrelas

and after rendering all of the audio, this is what we get.

quando o áudio estiver completo é isto que temos.

This is Stephen Hawking's universe.

Este é o universo de Stephen Hawking.

(Applause)

(Aplausos)

It's all eight hours of the Cambridge lecture series

São as 8 horas da série de palestras de Cambridge

taken in as a single visual impression,

numa única impressão visual.

and I really like this image,

Adoro esta imagem,

but a lot of people think it's fake.

mas muitas pessoas acham que é falsa.

So I made a more interactive version,

Por isso fiz uma versão mais interativa.

and the way I did that is I used their position in time

Usei a sua posição no tempo

in the lecture to place these stars into 3D space,

na palestra para pôr estas estrelas num espaço 3D

and with some custom software and a Kinect,

e com um software personalizável e um sensor Kinect

I can walk right into the lecture.

posso caminhar diretamente na palestra.

I'm going to wave through the Kinect here

Aqui vou acenar através do Kinect

and take control, and now I'm going to reach out

assumir o controlo e agora vou estender a mão

and I'm going to touch a star, and when I do,

e vou tocar numa estrela.

it will play the sentence

Quando o fizer, vai reproduzir a frase que gerou aquela estrela.

that generated that star.

Stephen Hawking: There is one, and only one, arrangement

Stephen Hawking: "Há uma única disposição

in which the pieces make a complete picture.

para que as peças criem uma imagem completa."

Jared Ficklin: Thank you. (Applause)

Obrigado.

(Aplausos)

There are 1,400 stars.

Há 1400 estrelas.

It's a really fun way to explore the lecture,

É uma forma divertida de explorar a palestra

and, I hope, a fitting homage.

All right. Let me close with a work in progress.

e, espero, uma homenagem adequada.

Pronto. Vou acabar com um projeto em andamento.

I think, after 30 years, the opportunity exists

Penso que, ao fim de 30 anos, há a oportunidade

to create an enhanced version of closed captioning.

de criar uma versão melhorada das legendas ocultas.

Now, we've all seen a lot of TEDTalks online,

Já todos vimos vídeos de conferências TED online.

so let's watch one now with the sound turned off

Vamos ver um sem som

and the closed captioning turned on.

mas com as legendas ocultas ligadas.

There's no closed captioning for the TED theme song,

Não há legendas ocultas para o tema da TED.

and we're missing it, but if you've watched enough of these,

Mas, se viram suficientes, podem ouvi-lo na vossa memória.

you hear it in your mind's ear,

and then applause starts.

e depois vem o aplauso.

It usually begins here, and it grows and then it falls.

Normalmente começa aqui, aumenta e depois diminui.

Sometimes you get a little star applause,

Às vezes ouvimos um pequeno aplauso,

and then I think even Bill Gates takes a nervous breath,

depois acho que o Bill Gates até dá um suspiro nervoso

and the talk begins.

e a conferência começa.

All right, so let's watch this clip again.

Pronto, vamos ver este clip outra vez.

This time, I'm not going to talk at all.

Desta vez não vou falar.

There's still going to be no audio,

Ainda não vai haver áudio,

but what I am going to do is I'm going to render the sound

mas vou fazer aparecer visualmente o som

visually in real time at the bottom of the screen.

em tempo real na parte inferior do ecrã.

So watch closely and see what your eyes can hear.

Por isso vejam com atenção o que os vossos olhos podem ouvir.

This is fairly amazing to me.

Para mim isto é formidável.

Even on the first view, your eyes will successfully

Mesmo à primeira vista, os vossos olhos

irão conseguir reconhecer padrões.

pick out patterns, but on repeated views,

Mas, no caso de visualizações repetidas, o vosso cérebro melhora

your brain actually gets better

at turning these patterns into information.

a transformar estes padrões em informação.

You can get the tone and the timbre

Obtemos o tom e o timbre e a velocidade do discurso,

and the pace of the speech,

things that you can't get out of closed captioning.

coisas a que não temos acesso com as legendas ocultas.

That famous scene in horror movies

Aquela cena famosa dos filmes de terror

where someone is walking up from behind

em que alguém está a aproximar-se por trás

is something you can see,

é algo que podem ver,

and I believe this information would be something

e acredito que esta informação seria útil

that is useful at times when the audio is turned off

para as alturas em que o som está desligado

or not heard at all, and I speculate that deaf audiences

ou simplesmente não se ouve.

Especulo que a audiência surda pode ser melhor

might actually even be better

at seeing sound than hearing audiences.

a ver o som do que a audiência não surda.

I don't know. It's a theory right now.

Não sei. Por enquanto é só uma teoria.

Actually, it's all just an idea.

And let me end by saying that sound moves in all directions,

É só uma ideia.

Vou acabar dizendo que o som move-se em todas as direções

and so do ideas.

tal como as ideias.

Thank you. (Applause)

Obrigado.

(Aplausos)