How volumetric video brings a new dimension to filmmaking | Diego Prilusky

번역: 현선 안 검토: Jihyeon J. Kim

I love making movies.

전 영화 만드는 걸 좋아합니다.

Motion pictures have been in existence for more than a hundred years.

영화 산업이 존재하게 된 지 백 년이 넘었습니다만

Filmmaking hasn't changed for the dimensional mindset.

영화 제작은 다차원적 사고방식에 맞춰 성장하지 못했습니다.

Placing the camera in a scene and pressing "record" hasn't changed.

한 장면에 카메라를 놓고 녹화 버튼을 누르는 것도 그대로죠.

Filmmaking is still a frontal experience,

영화 제작은 여전히 화면과 평행한 경험이며

and creating the film has the possibility

영화 창작은 내용 생성에 있어 같은 방식을 따를 가능성이 크죠.

to follow the same direction of the content creation.

We still stand in front of a flat image,

우리는 여전히 평면 이미지를 앞에 두고 허구를 감상합니다.

watching the fiction.

There's nothing wrong with it.

그게 잘못된 건 아닙니다.

I love watching movies and going to the theaters.

저도 영화 감상과 극장에 가는 걸 좋아합니다.

The experiences can be such emotional experiences.

그런 경험들은 감정적 경험이 될 수 있죠.

The art and craft of emotional experiences within a frame

한 장면 속의 감정적인 경험의 예술과 특정 기술은

can be so strong to drive a stronger emotion.

더 강렬한 감정을 이끌어 낼 수도 있을 만큼 강렬하죠.

The question we're asking is,

여기서 우리의 질문은,

How the experience of motion pictures can exist beyond the flat screen.

영화적 경험이 과연 평면 스크린을 뛰어넘을 수 있는지

How can we start creating content

차세대의 콘텐츠 경험을 위해

for the next generation of content experiences?

어떤 식으로 콘텐츠 창작을 할지 입니다.

Traditionally, when we imagine a scene,

통상적으로 우리가 어떤 장면을 상상할 때

we look at the frame and the composition.

장면의 프레임과 구성을 생각합니다.

We have to think about how we create depth and parallax

어떻게 깊이와 시차를 만들지도 생각해야 합니다.

using foreground, background elements as the camera moves.

카메라가 움직일 때 전경 및 배경적 요소를 이용해서요.

With the technology today and devices of VR glasses,

오늘날의 기술과 VR 및 AR 안경이나

AR glasses, smart devices,

스마트 기기가 있으면

allowing three-dimensional and full navigation in space,

전면적인 3차원 공간 체험이 가능해지고

we have the possibility to enable audiences

다양한 관점으로 관객들이

to experience content from multiple perspectives.

콘텐츠 경험을 하는 게 가능해졌습니다.

What we have to think about is how we take this technology,

여기서 생각해 볼 문제는 어떻게 이러한 기술과

all the capabilities,

모든 역량을 갖고

and enable the experience to move farther away inside the scene.

영화적 경험이 좀 더 장면 밖을 벗어날 수 있게 할지입니다.

Now we're not talking about video games or computer-generated actors,

비디오 게임이나 컴퓨터로 구현한 배우를 말하는 게 아닙니다.

which look tremendously realistic.

물론 그것들이 매우 실사적으로 보이긴 하죠.

We're talking about real actors and real performance,

저희는 실제 배우의 실제 연기가 무대 위에서

performing onstage.

이루어지는 것을 말하는 겁니다.

We have to start thinking how we capture the actors

실제 배우와 실사 장면을 포착하여

and how we capture the real scene

어떻게 실감나게 구현할 수 있는지 생각해 볼 겁니다.

in order to immerse inside.

Now, we're familiar with the 360-degree video,

요즘은 360도 동영상이 낯선 개념이 아니죠.

where you place a camera inside the scene

360도 동영상에선 현장 내부에 카메라를 두고

and you can create this beautiful panoramic image all around you,

주변의 모든 아름다운 전경을 이미지화 할 수 있습니다.

but from the same aspect,

하지만 이와 같은 관점에서도

filmmaking is still frontal.

영화 제작은 여전히 입체적이지 않습니다.

In order to emerge fully inside the scene,

현장 내부에서 피사체가 완전히 나오려면

we will need to capture the light from all the possible directions.

가능한 모든 방향에서 나오는 빛을 잡아야 합니다.

We will have to surround the scene with an enormous amount of sensors,

엄청나게 많은 센서들로 현장을 둘러싸게 하여

with all possible capabilities to capture the light

가능한 모든 기술을 총동원해 빛을 잡아내면

and enable us to emerge inside afterwards again.

그 이후에 다시 피사체가 내부에서 나올 수 있습니다.

Now, in this setup,

지금 이 곳의 무대 설정에서는

there's no more foreground or background

더 다른 전경이나 배경이 없으며

or a camera placed in space

심지어 공간에 카메라도 없습니다.

but hundreds of sensors capturing the light

하지만 수백 개의 센서가 빛을 잡아내고

and capturing the motion from all the possible directions.

그 센서들이 가능한 모든 방향의 움직임을 잡아냅니다.

With the new technological advancements,

신기술의 발전으로

we can start looking at 3D photography,

3D 촬영에 눈을 돌리면서

capturing the light from multiple perspectives,

다양한 관점에서 빛을 잡아내어

enabling us to reconstruct the object.

대상을 재구성 할 수 있게 됐습니다.

This is like photography in 3D space.

이는 3차원 공간 촬영과도 같습니다.

Now, with these technological advancements,

현재는 이러한 기술 발전에 힘입어

we can record video not just as a flat image

평면 이미지 동영상 뿐만 아니라

but as a volume.

형체로도 영상촬영이 가능합니다.

This is what we call "volumetric video,"

이를 '볼류메트릭 비디오'라 합니다.

and it has the capability to record every action of the scene

볼류메트릭 비디오로 현장의 모든 액션을

as a full three-dimensional volume.

3차원 볼륨으로 기록할 수 있습니다.

Now, what is a voxel?

그러면 복셀(Voxel)은 무엇일까요?

A voxel is like a three-dimensional pixel,

복셀은 3D 화소같은 것인데,

but instead of being a flat image square, staying light and colored,

평면 정사각형 이미지가 아닌 빛과 색을 유지하는

it's like a three-dimensional cube in space,

공간적 3차원 정육면체로

with x, y, and z positions.

X, Y, Z 축을 갖고 있습니다.

This enables us to create a full capture of the scene

'복셀'로 우리는 어느 관점에서도

from any perspective.

장면을 완전히 담아낼 수 있어요.

Now this renders a fully light-immersive scene

이는 다각도에서 장면이 완전히

from multiple perspectives.

빛으로 몰입되게 만들어줍니다.

This capability requires an insane amount of information to be processed.

이 기술은 어마어마한 정보처리량을 요구하는데요.

We will have to capture the light from an enormous amount of cameras

매우 많은 카메라의 빛을 포착해

to create this information.

정보를 생성해야 하거든요.

Now, in order to do such a thing,

이를 가능하게 하려면

we would need a setup that would host a numerous amount of cameras

카메라를 많이 설치할 수 있는 무대 환경을 조성해야 하고

installed in a stage

완전한 영화적 경험에 걸맞는 큰 무대가 필요합니다.

and a stage big enough in order to fit a full cinematic experience.

Now that sounds like a crazy idea, but that's exactly what we did.

불가능한 아이디어 같지만 그걸 저희가 해냈지요.

For the last three years,

저희는 지난 3년간

we have been building a huge volumetric camera chamber.

대형 볼류메트릭 촬영 공간을 만들고 있습니다.

It's 10,000 square feet of a stage,

1만 평방 피트의 이 무대는

enabling to capture the action from any location.

어떤 장소에서도 액션을 잡아냅니다.

We have deployed hundreds of cameras,

저희는 수백 대의 카메라를 설치했고

sending a tremendous amount of information

인텔 수퍼컴퓨터로 구동되는 대규모의 데이터 센터로

to a huge data center powered by Intel supercomputers.

어마어마한 양의 정보를 보냅니다.

The ability to have this 10,000 feet

1만 평방 피트의 무대 공간을 확보함으로써

enables us to fit any kind of action,

어떤 종류의 액션이든 연기든 찍을 수 있습니다.

any kind of performance.

It is the size of an average Broadway stage.

브로드웨이 무대 평균 크기인 그것을

We call it Intel Studios,

'인텔 스튜디오'라고 부르는데요.

and it's the largest volumetric stage in the world,

세계적으로 가장 큰 이 볼류메트릭 무대는

with the objective of enabling and exploring

차세대 실감 미디어 영화제작을 가능하게 하고

the next generation of this immersive media filmmaking.

탐구하는데 그 목적이 있습니다.

Now, to test these ideas,

이러한 아이디어들을 시험하기 위한

we were thinking about what we can do as the first scene to try it out.

첫 번째 장면으로 무엇을 찍을지 고민한 끝에

So we chose the Western scene.

서부극으로 결정했습니다.

We brought horses, set designers, dirt,

서부의 총체적 느낌을 만드는데 필요한 모든 것들인

everything needed to create the full scene of a Western.

말, 모래, 무대 디자이너도 동원했습니다.

But this time, there was no camera inside.

그러나 이번엔 현장 내 카메라를 두지 않았습니다.

There was nothing really moving besides all the cameras

전혀 움직이는 거 하나 없이 모든 카메라는 외부에 설치했습니다.

installed outside.

The challenge of the actors was tremendous.

촬영 배우들의 고충이 상당했는데

They have to perform a flawless action visible from all the directions.

모든 방향에서 실수 없이 액션을 해내야 했기 때문이죠.

There's no possibility to hide a punch or not show the action.

펀치를 날리거나 하는 액션 장면이 가려지지 않은채로

Everything is captured and everything is seen.

모든 게 포착되고 보이는 것입니다.

The output of the capture --

이렇게 캡쳐된 결과물, 이 미래적 캡쳐 기술이

this is our future capture --

opened our eyes for the immense capabilities.

놀라운 기술적 역량에 대한 시야를 트이게 했습니다.

It was like a full 3D scan of the entire scene.

마치 씬 전체를 3D 스캔하는 기술인 거죠.

We were able to move around and travel in the space.

덕분에 촬영 공간을 자유롭게 이동할 수 있었습니다.

The thing about this,

여기서 중요한 것은,

it's not anymore about perceiving the light emitted from a screen

이젠 스크린의 빛을 인지하는 차원을 떠나서

but now traveling inside the light,

빛의 내부에서 움직이면서

traveling inside the scene.

장면 안에서 이동한다는 것입니다.

This obviously opens possibilities for an enormous amount

이는 분명히 넘쳐나는 콘텐츠 스토리텔링과

of storytelling and methodologies of creation.

방법론에 가능성을 제시합니다.

This is the possibilities of your personal narrative,

여러분의 개인적인 이야기를 풀어내고,

the possibility of creating your own story inside,

자신만의 스토리를 만들고 다른 스토리를 다룰 수 있는

or maybe following other stories.

기회를 열어주는 것입니다.

Let's take a look at one of the last renders and see.

이제 마지막 영상을 보고 또 얘기하겠습니다.

(Music)

(음악)

What you're seeing here is full volumetric video,

지금 보시는 영상은 전부 볼류메트릭으로 찍은 건데,

and there's no physical camera in the scene.

여기 보면 카메라가 전혀 없죠.

(Music)

(음악)

We have the full control

장소와 시간을

(Music, sounds of combat)

(음악, 싸우는 소리)

of space and time.

완전히 통제했고요.

(Music, sounds of combat)

(음악, 싸우는 소리)

Now, again, no physical camera was here.

다시 말하지만 카메라가 전혀 없는 상태에서

Everything was captured surrounding.

공간의 모든 것이 캡쳐됐어요.

Now, this is very nice,

물론 이것도 대단하지만

but what if we wanted to see the scene, maybe, from the eyes of the horse?

영화 속 말의 관점으로 장면을 보고 싶다면요?

Well, we can do that as well.

그것도 가능합니다.

(Horse galloping)

(말발굽 소리)

So what you're seeing right now is the same action,

지금 보시는 건 같은 액션이지만

but this time, we're watching exactly from the eyes of the horse.

이번엔 정확히 말의 관점입니다.

The possibilities are, well, unlimited.

볼류메트릭의 가능성은 무한대인 거죠.

(Applause)

(박수)

Thank you.

감사합니다.

(Applause)

(박수)

So this is all great for creators and storytellers.

이는 창작자나 작가 모두에게 좋은 일입니다.

It really opens a huge canvas

거대한 캔버스를 열고선

for a different type of storytelling and moviemaking.

색다른 스토리텔링이나 영화제작을 해 볼 수 있는거죠.

But what about the audience?

그렇다면 관객들도 이를 누릴 수 있을까요?

How can the audience experience this differently?

어떻게 관객들은 이런 색다른 경험을 할 수 있을까요?

In order to [create] our explorations,

저희는 이를 위해

we partnered with Paramount Pictures

영화제작사 파라마운트와 제휴를 맺었습니다.

in order to explore immersive media in a Hollywood movie production.

할리우드 영화 제작 방식에서 실감 미디어를 탐구하기 위해서죠.

Together with the director Randal Kleiser,

그리고 영화 감독인 랜달 클라이저와 함께

we reimagined the iconic movie of 1978,

1978년의 대표적 영화인 '그리스'를 재해석했어요.

"Grease."

이 영화를 아는 분들도 그렇지 않은 분들도 있겠죠.

Some of you know it, some of you don't.

A 40-year-old movie, amazing experience.

40년이 지난 이 영화가 놀라운 경험을 선사합니다.

And our goal was really to look at how we can take this iconic action and dance

여기서 저희의 목표는 영화의 대표적인 액션과 댄스 장면을

and bring it deeper into the experience,

좀 더 깊은 경험으로 녹여내서

bring it deeper into the audience.

관객의 체험으로 만드는 것이었습니다.

Imagine that you can not just watch the movie

단순히 영화를 보는걸로 그치는 게 아니라

but get inside it and dance with the actors

장면 안에 들어가 배우들과 춤추고

and dance with the performance.

공연한다고 상상해보세요.

Now we're breaking, really, the traditional 2D mindset of thinking,

기존의 2D적 사고방식을 깨부수고

and bringing a much richer possibility of moviemaking

영화 제작과 콘텐츠 창작에 훨씬 풍부한 가능성을 가져오는 겁니다.

and content creation.

But why watch it on the screen?

그런데 그게 어떻게 스크린 위에서 이뤄지냐고요?

Let's try to bring these actors here on the stage.

이 무대에 배우들을 데려오겠습니다.

So they're not going to really come --

이들이 진짜 오는 건 아니고요.

I'm going to use an iPad.

아이패드를 쓸 거예요.

(Laughter)

(웃음)

Sorry.

죄송합니다.

I'm going to use an iPad in order to bring in augmented reality.

아이패드로 증강 현실을 불러 올 겁니다.

Now, obviously, these devices have their own limitations

아무래도 기계들이 데이터 처리 과정에 있어

in terms of the data-computing process,

한계가 좀 있다보니

so we have to reduce the amount of resolution.

해상도를 낮출 수 밖에 없습니다.

So what I'm doing now, I'm placing here a marker,

제가 지금 여기 표시하는 걸로

so I'll be able to position exactly where I want everyone to appear.

모두가 나왔으면 하는 곳에 정확히 위치시킬 수 있습니다.

OK.

됐습니다.

I think we have them here.

배우들이 나온 것 같네요.

(Applause)

(박수)

John Travolta, or --

존 트라볼타죠?

(Laughter)

(웃음)

a version of him.

그를 재현할 겁니다.

Let's take a look.

보시죠.

(Video) Female: Hey.

(영상) 여자: 안녕.

Male: And that is how it's done.

남자: 바로 그렇게 하는거야!

Female: Your turn.

여자: 네 차례야.

Male: Hey, guys! Check this out.

남자: 야, 여기봐!

(Song: "You're the one that I want")

(음악: 'You're the one that I want')

Danny: Sandy!

대니: 샌디!

Sandy: Tell me about it, stud.

샌디: 나 어때, 자기?

(Singing) I got chills. They're multiplying

(노래) 소름이 돋아. 자꾸 커져만 가.

And I'm losing control

정신을 차릴 수 없네.

'Cause the power you're supplying

네가 뿜어내는 전기 때문에

It's electrifying!

감전되겠어!

(Video ends)

(영상 종료)

(Applause and cheers)

(박수, 환호)

Diego Prilusky: Thank you.

디에고 프릴러스키: 감사합니다.

(Applause and cheers)

(박수, 환호)

So as you can see,

보셨다시피,

we can watch and experience content in the traditional way

콘텐츠를 기존의 방식으로 보고 경험할 수도 있지만

or in an immersive way.

이제 우리는 실감하면서 즐길 수 있게 됐습니다.

Really, the possibilities are open.

정말로 가능성이 열린 거죠.

We're not trying to change or replace movies.

저희는 영화를 바꾸려는 것도 대체하려는 것도 아닙니다.

We're enhancing them.

영화의 경험을 높이려는 거죠.

The technologies enable new possibilities to start thinking beyond the flat screen.

기술로 새로운 가능성이 열리고 스크린을 뛰어넘는 사고가 가능해졌어요.

We're in immersive and really exciting times in filmmaking.

우리는 영상을 실감하는 흥미로운 시대에 살고 있고

We're at the threshold of a new era.

새로운 시대의 분수령에서

We're opening the gates for new possibilities

우리는 새로운 기회의 문을 여는 중입니다.

of immersive storytelling,

실감 스토리 텔링, 미디어 영화제작을 탐구하고 정의하는 데 있어서 말이죠.

and exploration and defining what immersive media filmmaking means.

We're really just at the beginning,

아직 시작 단계에 불과하지만

and we invite you all to join us.

여러분 모두가 지켜봐주셨음 합니다.

Thank you.

감사합니다.

(Applause)

(박수)