How volumetric video brings a new dimension to filmmaking | Diego Prilusky

Tradutor: Joel Santos Revisora: Margarida Ferreira

I love making movies.

Eu adoro fazer filmes.

Motion pictures have been in existence for more than a hundred years.

Os filmes têm já mais de cem anos.

Filmmaking hasn't changed for the dimensional mindset.

O cinema não mudou a sua mentalidade dimensional.

Placing the camera in a scene and pressing "record" hasn't changed.

Como posicionar a câmara numa cena e pressionar "gravar" não mudou.

Filmmaking is still a frontal experience,

O cinema ainda é uma experiência direta,

and creating the film has the possibility

pois a criação do filme permite

to follow the same direction of the content creation.

seguir no mesmo sentido da criação de conteúdo.

We still stand in front of a flat image,

Continuamos perante uma imagem plana,

watching the fiction.

a observar a ficção.

There's nothing wrong with it.

O que não tem nada de mal.

I love watching movies and going to the theaters.

Adoro ver filmes e ir ao cinema.

The experiences can be such emotional experiences.

Pode ser uma experiência muito emocional.

The art and craft of emotional experiences within a frame

A arte de criar experiências emocionais num só "frame"

can be so strong to drive a stronger emotion.

pode ser tão intensa que pode suscitar uma emoção mais forte.

The question we're asking is,

A questão que colocamos é:

How the experience of motion pictures can exist beyond the flat screen.

Como é que a experiência do filme pode transcender o ecrã plano.

How can we start creating content

Como podemos começar a criar conteúdo

for the next generation of content experiences?

para as audiências da próxima geração?

Traditionally, when we imagine a scene,

Normalmente, quando imaginamos uma cena

we look at the frame and the composition.

focamo-nos no "frame" e na composição.

We have to think about how we create depth and parallax

Temos de pensar numa forma de criar profundidade e paralaxe

using foreground, background elements as the camera moves.

usando todos os elementos do cenário enquanto a câmara se move.

With the technology today and devices of VR glasses,

Com a tecnologia atual e óculos de realidade virtual,

AR glasses, smart devices,

óculos antirreflexo, dispositivos inteligentes,

allowing three-dimensional and full navigation in space,

que permitem navegação a três dimensões no espaço.

we have the possibility to enable audiences

temos a capacidade de possibilitar às audiências

to experience content from multiple perspectives.

desfrutar o conteúdo de múltiplas perspetivas.

What we have to think about is how we take this technology,

Temos de pensar como podemos usar esta tecnologia,

all the capabilities,

todas as suas capacidades,

and enable the experience to move farther away inside the scene.

e permitir que a experiência se mova ainda mais para o interior da cena.

Now we're not talking about video games or computer-generated actors,

Não estamos a falar de videojogos ou atores gerados por computador,

which look tremendously realistic.

que são extremamente realistas.

We're talking about real actors and real performance,

Estamos a falar de atores e "performances" reais,

performing onstage.

a atuarem num palco.

We have to start thinking how we capture the actors

Temos de pensar como podemos filmar os atores

and how we capture the real scene

e como podemos filmar a cena real

in order to immerse inside.

para que a imersão seja maior.

Now, we're familiar with the 360-degree video,

Já todos conhecemos o vídeo em 360º,

where you place a camera inside the scene

em que colocamos uma câmara no meio da cena

and you can create this beautiful panoramic image all around you,

e podemos criar uma bela imagem panorâmica à nossa volta,

but from the same aspect,

mas sempre da mesma perspetiva,

filmmaking is still frontal.

o cinema continua frontal.

In order to emerge fully inside the scene,

Para a imersão ser total,

we will need to capture the light from all the possible directions.

temos de captar a luz de todos os ângulos possíveis.

We will have to surround the scene with an enormous amount of sensors,

Temos de rodear a cena de uma quantidade enorme de sensores,

with all possible capabilities to capture the light

com todas as capacidades possíveis para captar a luz

and enable us to emerge inside afterwards again.

e permitir-nos de seguida emergir novamente.

Now, in this setup,

Agora, com esta instalação,

there's no more foreground or background

deixa de existir o primeiro plano ou o fundo

or a camera placed in space

ou uma câmara colocada no espaço

but hundreds of sensors capturing the light

mas sim centenas de sensores que captam a luz

and capturing the motion from all the possible directions.

e captam o movimento de todas as direções possíveis.

With the new technological advancements,

Com os novos avanços tecnológicos,

we can start looking at 3D photography,

podemos começar a olhar para a fotografia 3D,

capturing the light from multiple perspectives,

captar a luz de múltiplas perspetivas,

enabling us to reconstruct the object.

o que nos permite reconstruir o objeto.

This is like photography in 3D space.

Isto é como fotografia 3D mas no espaço.

Now, with these technological advancements,

Com estes avanços tecnológicos,

we can record video not just as a flat image

podemos gravar um vídeo não apenas como uma imagem plana

but as a volume.

mas como um volume.

This is what we call "volumetric video,"

É o que chamamos de "vídeo volumétrico,"

and it has the capability to record every action of the scene

e tem a capacidade de gravar toda a ação de uma cena

as a full three-dimensional volume.

enquanto um volume de três dimensões.

Now, what is a voxel?

Agora, o que é um "voxel"?

A voxel is like a three-dimensional pixel,

Um voxel é como se fosse um pixel em três dimensões,

but instead of being a flat image square, staying light and colored,

mas ao invés de uma imagem quadrada com luz e cor,

it's like a three-dimensional cube in space,

é um cubo em três dimensões,

with x, y, and z positions.

com posições x, y e z,

This enables us to create a full capture of the scene

o que nos permite criar uma captação total da cena

from any perspective.

de qualquer perspetiva.

Now this renders a fully light-immersive scene

Isto cria uma cena iluminada totalmente imersa na luz,

from multiple perspectives.

de múltiplas perspetivas.

This capability requires an insane amount of information to be processed.

Fazer isto requer processar uma quantidade enorme de informações.

We will have to capture the light from an enormous amount of cameras

Temos de captar a luz com uma quantidade enorme de câmaras

to create this information.

para criar essas informações.

Now, in order to do such a thing,

Para se fazer algo do género,

we would need a setup that would host a numerous amount of cameras

temos de ter uma quantidade enorme de câmaras

installed in a stage

instaladas num palco,

and a stage big enough in order to fit a full cinematic experience.

e num palco com dimensão suficiente para uma experiência cinemática completa.

Now that sounds like a crazy idea, but that's exactly what we did.

Sei que parece uma loucura mas foi exatamente o que fizemos,

For the last three years,

Nos últimos três anos,

we have been building a huge volumetric camera chamber.

construímos uma cúpula enorme com câmaras volumétricas.

It's 10,000 square feet of a stage,

São cerca de 1000 m2 de palco,

enabling to capture the action from any location.

o que nos permite captar a ação de qualquer local.

We have deployed hundreds of cameras,

Colocámos centenas de câmaras,

sending a tremendous amount of information

que enviam uma quantidade tremenda de informações

to a huge data center powered by Intel supercomputers.

para um centro de dados suportado por supercomputadores da Intel.

The ability to have this 10,000 feet

A capacidade de ter um palco com 1000 m2

enables us to fit any kind of action,

permite-nos realizar todo o tipo de ações,

any kind of performance.

todo o tipo de "performances".

It is the size of an average Broadway stage.

É o tamanho médio de um palco da Broadway.

We call it Intel Studios,

Chamamos-lhe os Estúdios Intel,

and it's the largest volumetric stage in the world,

e é o maior palco volumétrico do mundo,

with the objective of enabling and exploring

com o objetivo de capacitar e explorar

the next generation of this immersive media filmmaking.

esta nova geração de cinema imersivo.

Now, to test these ideas,

Agora, para testar estas ideias,

we were thinking about what we can do as the first scene to try it out.

pensámos no que poderíamos fazer numa primeira cena experimental.

So we chose the Western scene.

Por isso optámos por uma cena "Western".

We brought horses, set designers, dirt,

Arranjámos cavalos, cenógrafos, poeira,

everything needed to create the full scene of a Western.

tudo o que é necessário para criar uma cena típica de um "Western".

But this time, there was no camera inside.

Mas desta vez, não havia uma câmara dentro da cena.

There was nothing really moving besides all the cameras

Nada se movia à exceção de todas as câmaras

installed outside.

instaladas ao redor.

The challenge of the actors was tremendous.

O desafio para os atores foi tremendo.

They have to perform a flawless action visible from all the directions.

Tinham de ter uma "performance" sem falhas, visível de todos os ângulos.

There's no possibility to hide a punch or not show the action.

Não é possível esconder um soco ou ocultar a ação.

Everything is captured and everything is seen.

Tudo é captado e tudo é visionado.

The output of the capture --

O resultado desta nossa primeira captação

this is our future capture --

opened our eyes for the immense capabilities.

abriu os nossos olhos para as imensas possibilidades.

It was like a full 3D scan of the entire scene.

É como uma digitalização 3D de toda a cena.

We were able to move around and travel in the space.

Somos capazes de nos movermos e viajarmos pela cena.

The thing about this,

O que se trata aqui

it's not anymore about perceiving the light emitted from a screen

é que já não se trata de interpretar a luz emitida de um ecrã

but now traveling inside the light,

mas sim de viajar dentro da luz.

traveling inside the scene.

viajar dentro da cena.

This obviously opens possibilities for an enormous amount

Isto abre obviamente muitas possibilidades

of storytelling and methodologies of creation.

ao nível das narrativas e metodologias de criação.

This is the possibilities of your personal narrative,

São as possibilidades da nossa narrativa pessoal,

the possibility of creating your own story inside,

a possibilidade de criar a nossa própria história,

or maybe following other stories.

ou talvez assistir a outras histórias.

Let's take a look at one of the last renders and see.

Vamos assistir a uma das últimas versões.

(Music)

(Música)

What you're seeing here is full volumetric video,

O que estão a ver é vídeo volumétrico,

and there's no physical camera in the scene.

não há uma câmara física na cena.

(Music)

We have the full control

Temos o controlo total...

(Music, sounds of combat)

of space and time.

do espaço e do tempo.

(Music, sounds of combat)

Now, again, no physical camera was here.

Mais uma vez, não existe uma câmara física.

Everything was captured surrounding.

Tudo foi captado por câmaras em redor.

Now, this is very nice,

Isto é muito bom,

but what if we wanted to see the scene, maybe, from the eyes of the horse?

mas e se quiséssemos ver a cena do ponto de vista do cavalo?

Well, we can do that as well.

Também é possível.

(Horse galloping)

(Cavalo a galope)

So what you're seeing right now is the same action,

O que estão a ver agora é a mesma ação,

but this time, we're watching exactly from the eyes of the horse.

mas desta vez do ponto de vista do cavalo.

The possibilities are, well, unlimited.

As possibilidades são ilimitadas.

(Applause)

(Aplausos)

Thank you.

Obrigado.

(Applause)

(Aplausos)

So this is all great for creators and storytellers.

Tudo isto é ótimo para os criadores e para os argumentistas.

It really opens a huge canvas

Abre uma enorme tela em branco

for a different type of storytelling and moviemaking.

para um tipo diferente de narrativas e realização.

But what about the audience?

Mas e a audiência?

How can the audience experience this differently?

Como pode isto ser diferenciado para a audiência?

In order to [create] our explorations,

A fim de testarmos as nossas ideias,

we partnered with Paramount Pictures

fizemos uma parceria com a Paramount Pictures

in order to explore immersive media in a Hollywood movie production.

para explorarmos os "media" imersivos numa produção de Hollywood.

Together with the director Randal Kleiser,

Juntamente com o realizador Randal Kleiser,

we reimagined the iconic movie of 1978,

recriámos o filme icónico de 1978,

"Grease."

"Brilhantina."

Some of you know it, some of you don't.

Alguns de vocês conhecem-no, outros não.

A 40-year-old movie, amazing experience.

Um filme com 40 anos, uma experiência fantástica .

And our goal was really to look at how we can take this iconic action and dance

O nosso objetivo era perceber como podíamos pegar na icónica dança

and bring it deeper into the experience,

e aprofundá-la com esta experiência,

bring it deeper into the audience.

aproximá-la mais da audiência.

Imagine that you can not just watch the movie

Imaginem que podem não apenas ver o filme

but get inside it and dance with the actors

mas estar lá dentro e dançar com os atores

and dance with the performance.

e acompanhar a "performance".

Now we're breaking, really, the traditional 2D mindset of thinking,

Estamos a quebrar a barreira da mentalidade tradicional do 2D,

and bringing a much richer possibility of moviemaking

e a trazer uma forma muito mais rica de fazer filmes

and content creation.

e criar conteúdo.

But why watch it on the screen?

Mas porquê assistir num ecrã?

Let's try to bring these actors here on the stage.

Vamos tentar trazer estes atores aqui para o palco.

So they're not going to really come --

Não vão estar aqui realmente.

I'm going to use an iPad.

Vou usar um Ipad.

(Laughter)

(Risos)

Sorry.

Desculpem.

I'm going to use an iPad in order to bring in augmented reality.

Vou usar um Ipad para criar uma realidade aumentada.

Now, obviously, these devices have their own limitations

Obviamente, estes aparelhos têm as suas limitações

in terms of the data-computing process,

ao nível de processamento de dados computacionais,

so we have to reduce the amount of resolution.

por isso temos de reduzir a resolução.

So what I'm doing now, I'm placing here a marker,

É o que estou a fazer, vou colocar aqui um marcador,

so I'll be able to position exactly where I want everyone to appear.

para poder indicar com exatião onde quero que todos apareçam.

OK.

OK.

I think we have them here.

Aqui estão eles.

(Applause)

(Aplausos)

John Travolta, or --

John Travolta, ou...

(Laughter)

(Risos)

a version of him.

uma versão dele.

Let's take a look.

Vamos ver então.

(Video) Female: Hey.

(Vídeo): Rapariga: Ei.

Male: And that is how it's done.

Rapaz: E é assim que se faz.

Female: Your turn.

Rapariga: É a tua vez.

Male: Hey, guys! Check this out.

Rapaz: Malta! Vejam isto.

(Song: "You're the one that I want")

(Canção: "You´re the one that I want")

Danny: Sandy!

Danny: Sandy!

Sandy: Tell me about it, stud.

Sandy: Nem mais, borracho.

(Singing) I got chills. They're multiplying

♪ Até tenho arrepios. E são cada vez mais.

And I'm losing control

♪ Estou a ficar descontrolada.

'Cause the power you're supplying

♪ A energia que libertas

It's electrifying!

♪ É eletrizante!

(Video ends)

(Fim do vídeo)

(Applause and cheers)

(Aplausos)

Diego Prilusky: Thank you.

Diego Prilusky: Obrigado.

(Applause and cheers)

(Aplausos)

So as you can see,

Como podem ver,

we can watch and experience content in the traditional way

podemos ver e viver conteúdo de uma forma tradicional

or in an immersive way.

ou de uma forma imersiva.

Really, the possibilities are open.

É verdade, as possibilidades estão em aberto.

We're not trying to change or replace movies.

Não estamos a tentar mudar ou substituir os filmes.

We're enhancing them.

Estamos a melhorá-los.

The technologies enable new possibilities to start thinking beyond the flat screen.

A tecnologia permite a possibilidade de pensarmos para além de um ecrã plano.

We're in immersive and really exciting times in filmmaking.

Vivemos tempos entusiasmantes e imersivos no cinema.

We're at the threshold of a new era.

Estamos no limiar de uma nova era.

We're opening the gates for new possibilities

Estamos a abrir o portão a novas possibilidades

of immersive storytelling,

de narrativas imersivas,

and exploration and defining what immersive media filmmaking means.

à exploração e definição do que significa cinema imersivo.

We're really just at the beginning,

Estamos apenas no início,

and we invite you all to join us.

e convidamos-vos a todos a juntarem-se a nós.

Thank you.

Obrigado.

(Applause)

(Aplausos)