How volumetric video brings a new dimension to filmmaking | Diego Prilusky

Tradutor: Maurício Kakuei Tanaka Revisor: Ruy Lopes Pereira

I love making movies.

Adoro fazer filmes.

Motion pictures have been in existence for more than a hundred years.

Os filmes cinematográficos existem há mais de um século.

Filmmaking hasn't changed for the dimensional mindset.

A produção cinematográfica não mudou a mentalidade bidimensional.

Placing the camera in a scene and pressing "record" hasn't changed.

O modo de posicionar a câmera em uma cena e pressionar "gravar" não mudou.

Filmmaking is still a frontal experience,

A produção cinematográfica continua sendo uma experiência direta,

and creating the film has the possibility

e a criação de filmes tem a possibilidade

to follow the same direction of the content creation.

de seguir o mesmo rumo da criação de conteúdo.

We still stand in front of a flat image,

Continuamos diante de uma imagem plana,

watching the fiction.

assistindo à ficção.

There's nothing wrong with it.

Não há nada errado com isto.

I love watching movies and going to the theaters.

Adoro ver filmes e ir ao cinema.

The experiences can be such emotional experiences.

As experiências podem ser muito emocionantes.

The art and craft of emotional experiences within a frame

A arte de criar experiências emocionantes por meio de um fotograma

can be so strong to drive a stronger emotion.

pode ser muito intensa e gerar uma emoção mais forte.

The question we're asking is,

A pergunta que fazemos é:

How the experience of motion pictures can exist beyond the flat screen.

"Como a experiência dos filmes pode transcender a tela plana?"

How can we start creating content

"Como podemos começar a criar conteúdo

for the next generation of content experiences?

para a próxima geração de experiências de conteúdo?"

Traditionally, when we imagine a scene,

Geralmente, ao imaginar uma cena,

we look at the frame and the composition.

observamos o quadro e a composição.

We have to think about how we create depth and parallax

Temos que pensar em um modo de criar profundidade e paralaxe,

using foreground, background elements as the camera moves.

usando elementos de primeiro plano e de fundo, à medida que a câmera se move.

With the technology today and devices of VR glasses,

Com a tecnologia atual e os dispositivos inteligentes,

com óculos de realidade virtual e de realidade aumentada,

AR glasses, smart devices,

allowing three-dimensional and full navigation in space,

que permitem uma navegação tridimensional e completa no espaço,

we have the possibility to enable audiences

temos a possibilidade de permitir que o espectador experimente o conteúdo

to experience content from multiple perspectives.

por várias perspectivas.

What we have to think about is how we take this technology,

Temos que pensar no modo de pegar essa tecnologia e todos os recursos

all the capabilities,

and enable the experience to move farther away inside the scene.

e permitir que a experiência avance ainda mais dentro da cena.

Now we're not talking about video games or computer-generated actors,

Não se trata de videogames ou de atores gerados por computador,

which look tremendously realistic.

que parecem muito realistas.

We're talking about real actors and real performance,

Trata-se de atores reais e de atuação real no palco.

performing onstage.

We have to start thinking how we capture the actors

Temos que começar a pensar no modo de captura dos atores e da cena real

and how we capture the real scene

in order to immerse inside.

para fazer uma imersão.

Now, we're familiar with the 360-degree video,

Estamos familiarizados com o vídeo de 360 graus,

where you place a camera inside the scene

no qual se coloca uma câmera dentro da cena

and you can create this beautiful panoramic image all around you,

e se cria esta bela imagem panorâmica ao redor.

but from the same aspect,

Mas, pelo mesmo aspecto,

filmmaking is still frontal.

a produção cinematográfica continua sendo direta.

In order to emerge fully inside the scene,

Para emergir totalmente dentro da cena,

we will need to capture the light from all the possible directions.

precisaremos capturar a luz de todos os ângulos possíveis.

We will have to surround the scene with an enormous amount of sensors,

Teremos que rodear a cena com uma quantidade enorme de sensores

with all possible capabilities to capture the light

e todos os recursos possíveis para capturar a luz

and enable us to emerge inside afterwards again.

e nos permitir depois mergulhar novamente na cena.

Now, in this setup,

Nessa configuração,

there's no more foreground or background

não há mais primeiro plano, plano de fundo,

or a camera placed in space

nem câmeras posicionadas no espaço,

but hundreds of sensors capturing the light

mas centenas de sensores

que capturam a luz e o movimento de todos os ângulos possíveis.

and capturing the motion from all the possible directions.

With the new technological advancements,

Com os novos avanços tecnológicos,

we can start looking at 3D photography,

podemos começar a analisar a fotografia tridimensional,

capturing the light from multiple perspectives,

capturar a luz de várias perspectivas,

enabling us to reconstruct the object.

o que nos permite reconstruir o objeto.

This is like photography in 3D space.

É como a fotografia no espaço tridimensional.

Now, with these technological advancements,

Com esses avanços tecnológicos,

we can record video not just as a flat image

podemos gravar vídeo não apenas como uma imagem plana,

but as a volume.

mas como um volume.

This is what we call "volumetric video,"

É o que chamamos de "vídeo volumétrico",

and it has the capability to record every action of the scene

capaz de gravar todas as ações da cena

as a full three-dimensional volume.

como um volume tridimensional completo.

Now, what is a voxel?

Agora, o que é um "voxel"?

A voxel is like a three-dimensional pixel,

Um voxel é como um pixel tridimensional,

but instead of being a flat image square, staying light and colored,

mas, em vez de ser um quadrado de imagem plana, leve e colorido,

it's like a three-dimensional cube in space,

é como um cubo tridimensional no espaço,

with x, y, and z positions.

com posições nos eixos x, y e z,

This enables us to create a full capture of the scene

que nos permite criar uma captura completa da cena

from any perspective.

de qualquer perspectiva

Now this renders a fully light-immersive scene

e reproduz uma cena totalmente imersiva em luz

from multiple perspectives.

de várias perspectivas.

This capability requires an insane amount of information to be processed.

Esse recurso requer o processamento de uma quantidade imensa de dados.

We will have to capture the light from an enormous amount of cameras

Teremos que capturar a luz de uma quantidade enorme de câmeras

to create this information.

para criar esses dados.

Now, in order to do such a thing,

Para isso, precisaríamos de uma configuração

we would need a setup that would host a numerous amount of cameras

que abrigasse uma grande quantidade de câmeras

installed in a stage

instaladas em um palco grande o suficiente

and a stage big enough in order to fit a full cinematic experience.

para prover uma experiência cinematográfica completa.

Now that sounds like a crazy idea, but that's exactly what we did.

Parece uma ideia maluca, mas foi exatamente o que fizemos.

For the last three years,

Nos últimos três anos,

we have been building a huge volumetric camera chamber.

construímos um enorme espaço para abrigar câmeras volumétricas.

It's 10,000 square feet of a stage,

Os cerca de 930 m² de palco

enabling to capture the action from any location.

permitem capturar a ação de qualquer local.

We have deployed hundreds of cameras,

Implantamos centenas de câmeras,

sending a tremendous amount of information

que enviam uma quantidade imensa de dados

to a huge data center powered by Intel supercomputers.

a um enorme centro de processamento de dados

movido por supercomputadores Intel.

The ability to have this 10,000 feet

São cerca de 930 m² de palco

enables us to fit any kind of action,

que nos permitem preparar qualquer tipo de ação e atuação.

any kind of performance.

It is the size of an average Broadway stage.

É do tamanho de um palco médio da Broadway.

We call it Intel Studios,

Nós o chamamos de Intel Studios,

and it's the largest volumetric stage in the world,

o maior palco volumétrico do mundo,

with the objective of enabling and exploring

com o objetivo de possibilitar e explorar

the next generation of this immersive media filmmaking.

a próxima geração da produção de mídia cinematográfica imersiva.

Now, to test these ideas,

Para testar estas ideias,

we were thinking about what we can do as the first scene to try it out.

pensamos no que fazer para a primeira cena.

So we chose the Western scene.

Escolhemos a cena do faroeste.

We brought horses, set designers, dirt,

Levamos cavalos, cenógrafos, terra,

everything needed to create the full scene of a Western.

tudo o que era necessário para criar a cena completa de um faroeste.

But this time, there was no camera inside.

Mas, desta vez, não havia câmeras no interior.

There was nothing really moving besides all the cameras

Não havia nada realmente em movimento

além de todas as câmeras instaladas na parte externa.

installed outside.

The challenge of the actors was tremendous.

O desafio dos atores era enorme.

They have to perform a flawless action visible from all the directions.

Eles precisavam fazer uma atuação sem falhas, visível de todos os ângulos.

There's no possibility to hide a punch or not show the action.

Não havia possibilidade de ocultar um soco ou de não mostrar a ação.

Everything is captured and everything is seen.

Tudo era capturado e visto.

The output of the capture --

O resultado de nossa primeira captura

this is our future capture --

opened our eyes for the immense capabilities.

abriu nossos olhos para as imensas capacidades.

It was like a full 3D scan of the entire scene.

Era como uma visão tridimensional da cena inteira.

We were able to move around and travel in the space.

Conseguíamos nos movimentar e viajar no espaço.

The thing about this,

A questão é que não se trata mais da percepção da luz emitida por uma tela,

it's not anymore about perceiving the light emitted from a screen

but now traveling inside the light,

mas da viagem dentro da luz e da cena.

traveling inside the scene.

This obviously opens possibilities for an enormous amount

É claro que isso abre possibilidades

para uma quantidade enorme de narrativas e metodologias de criação.

of storytelling and methodologies of creation.

This is the possibilities of your personal narrative,

É a possibilidade de nossa narrativa pessoal.

the possibility of creating your own story inside,

É a possibilidade de criar nossa própria história lá dentro

or maybe following other stories.

ou de talvez seguir outras histórias.

Let's take a look at one of the last renders and see.

Vamos analisar uma das últimas renderizações.

(Music)

(Música)

What you're seeing here is full volumetric video,

Eis um vídeo totalmente volumétrico,

and there's no physical camera in the scene.

sem câmeras físicas na cena.

(Music)

(Música)

We have the full control

Temos o controle total

(Music, sounds of combat)

(Música, sons de combate)

of space and time.

do espaço e do tempo.

(Music, sounds of combat)

(Música, sons de combate)

Now, again, no physical camera was here.

Novamente, não havia câmeras físicas.

Everything was captured surrounding.

Tudo foi capturado ao redor.

Now, this is very nice,

Isto é ótimo,

but what if we wanted to see the scene, maybe, from the eyes of the horse?

mas, e se quiséssemos ver a cena talvez pelos olhos do cavalo?

Well, we can do that as well.

Também podemos fazer isto.

(Horse galloping)

(Cavalo galopando)

So what you're seeing right now is the same action,

Vemos agora a mesma ação,

but this time, we're watching exactly from the eyes of the horse.

mas, desta vez, vemos exatamente pelos olhos do cavalo.

The possibilities are, well, unlimited.

As possibilidades são, assim, ilimitadas.

(Applause)

(Aplausos)

Thank you.

Obrigado.

(Applause)

(Aplausos)

So this is all great for creators and storytellers.

Tudo isso é ótimo para criadores e contadores de histórias.

It really opens a huge canvas

Abre uma tela imensa

for a different type of storytelling and moviemaking.

para um tipo diferente de narrativa e produção cinematográfica.

But what about the audience?

Mas e quanto ao espectador?

How can the audience experience this differently?

Como o espectador pode sentir isso de maneira diferente?

In order to [create] our explorations,

Com esse objetivo, fizemos uma parceria com a Paramount Pictures

we partnered with Paramount Pictures

in order to explore immersive media in a Hollywood movie production.

para explorar mídias imersivas

em uma produção cinematográfica de Hollywood.

Together with the director Randal Kleiser,

Junto com o diretor Randal Kleiser,

we reimagined the iconic movie of 1978,

regravamos o famoso filme de 1978, "Grease - Nos Tempos da Brilhantina".

"Grease."

Alguns de vocês o conhecem; outros, não.

Some of you know it, some of you don't.

A 40-year-old movie, amazing experience.

Um filme de 40 anos, uma experiência incrível.

And our goal was really to look at how we can take this iconic action and dance

Nosso objetivo era analisar como pegar uma ação e uma dança famosas,

and bring it deeper into the experience,

aprofundar a experiência

bring it deeper into the audience.

e trazê-la para mais perto do espectador.

Imagine that you can not just watch the movie

Imaginem que vocês possam não apenas assistir ao filme,

but get inside it and dance with the actors

mas entrar nele, dançar com os atores

and dance with the performance.

atuando junto com eles.

Now we're breaking, really, the traditional 2D mindset of thinking,

Rompendo a mentalidade tradicional de pensamento bidimensional,

and bringing a much richer possibility of moviemaking

trouxemos uma possibilidade muito mais rica

de produção cinematográfica e criação de conteúdo.

and content creation.

But why watch it on the screen?

Mas por que assistir na tela?

Let's try to bring these actors here on the stage.

Vamos tentar trazer os atores aqui para o palco.

So they're not going to really come --

Eles não virão realmente aqui.

I'm going to use an iPad.

Vou usar um iPad.

(Laughter)

(Risos)

Sorry.

Desculpem.

I'm going to use an iPad in order to bring in augmented reality.

Vou usar um iPad para apresentar a realidade aumentada.

Now, obviously, these devices have their own limitations

É claro que esses dispositivos têm suas limitações

in terms of the data-computing process,

em termos de processamento de dados.

so we have to reduce the amount of resolution.

Portanto, precisamos reduzir a resolução.

So what I'm doing now, I'm placing here a marker,

Estou colocando aqui um sinal

so I'll be able to position exactly where I want everyone to appear.

para poder posicionar exatamente onde quero que todos apareçam.

OK.

Tudo bem.

I think we have them here.

Acho que estão aqui.

(Applause)

(Aplausos)

John Travolta, or --

John Travolta, ou...

(Laughter)

(Risos)

a version of him.

uma versão dele.

Let's take a look.

Vamos ver.

(Vídeo) Mulher: Oi.

(Video) Female: Hey.

Male: And that is how it's done.

Homem: É assim que se faz.

Female: Your turn.

Mulher: Sua vez.

Male: Hey, guys! Check this out.

Homem: Pessoal, vejam isto.

(Música - "You're the one that I want")

(Song: "You're the one that I want")

Danny: Sandy!

Danny: Sandy!

Sandy: Tell me about it, stud.

Sandy: E aí, gostosão?

(Singing) I got chills. They're multiplying

♪ Estou com calafrios ♪

♪ Eles estão aumentando ♪

And I'm losing control

♪ E estou perdendo o controle ♪

'Cause the power you're supplying

♪ Porque a energia que você libera ♪

It's electrifying!

♪ É eletrizante! ♪

(Video ends)

(Fim do vídeo)

(Applause and cheers)

(Aplausos) (Vivas)

Diego Prilusky: Thank you.

Diego Prilusky: Obrigado.

(Applause and cheers)

(Aplausos) (Vivas)

So as you can see,

Como podem ver,

we can watch and experience content in the traditional way

é possível ver e experimentar conteúdo da maneira tradicional

or in an immersive way.

ou da maneira imersiva.

Really, the possibilities are open.

As possibilidades estão abertas.

We're not trying to change or replace movies.

Não estamos tentando mudar nem substituir os filmes.

We're enhancing them.

Queremos aprimorá-los.

The technologies enable new possibilities to start thinking beyond the flat screen.

As tecnologias permitem novas possibilidades

para começar a pensar além da tela plana.

We're in immersive and really exciting times in filmmaking.

Estamos num momento imersivo e emocionante da produção cinematográfica,

We're at the threshold of a new era.

no limiar de uma nova era,

We're opening the gates for new possibilities

abrindo as portas para novas possibilidades

of immersive storytelling,

da narrativa imersiva

and exploration and defining what immersive media filmmaking means.

e da exploração e definição

do significado da produção de mídia cinematográfica imersiva.

We're really just at the beginning,

Só estamos começando

and we invite you all to join us.

e convidamos todos vocês a se juntarem a nós.

Thank you.

Obrigado.

(Applause)

(Aplausos)