How volumetric video brings a new dimension to filmmaking | Diego Prilusky

Переводчик: Elena Bakova Редактор: Anton Zamaraev

I love making movies.

Я люблю снимать кино.

Motion pictures have been in existence for more than a hundred years.

Кинофильмы существуют уже более сотни лет.

Filmmaking hasn't changed for the dimensional mindset.

Кинопроизводство не изменилось в отношении измерений.

Placing the camera in a scene and pressing "record" hasn't changed.

Положение камеры в сцене и кнопка «Запись» остались теми же.

Filmmaking is still a frontal experience,

Кинопроизводство всё ещё фронтально,

and creating the film has the possibility

и съёмка фильмов даёт возможность

to follow the same direction of the content creation.

следовать направлению, схожему с созданием контента.

We still stand in front of a flat image,

Мы всё ещё находимся перед плоским изображением,

watching the fiction.

созерцая нечто вымышленное.

There's nothing wrong with it.

И в этом нет ничего зазорного.

I love watching movies and going to the theaters.

Я обожаю смотреть кино и посещать кинотеатры.

The experiences can be such emotional experiences.

Такие ощущения способны принести широкий спектр эмоций.

The art and craft of emotional experiences within a frame

Искусство и ремесло эмоционального заряда в кадре

can be so strong to drive a stronger emotion.

обладают способностью вызывать ещё более сильные эмоции.

The question we're asking is,

Вопрос состоит в том,

How the experience of motion pictures can exist beyond the flat screen.

как вынести эмоции фильма за пределы плоского экрана.

How can we start creating content

Что можно сделать

for the next generation of content experiences?

в следующем поколении восприятия контента?

Traditionally, when we imagine a scene,

Обычно, представляя киносцену,

we look at the frame and the composition.

мы рассматриваем кадр и его композицию.

We have to think about how we create depth and parallax

Нам приходится думать, как создать глубину и параллакс,

using foreground, background elements as the camera moves.

используя элементы заднего и переднего планов относительно движения камеры.

With the technology today and devices of VR glasses,

С сегодняшними технологиями и очками VR,

AR glasses, smart devices,

очками AR, «умными» устройствами,

allowing three-dimensional and full navigation in space,

обеспечивающими обзор и полную навигацию в трёхмерном пространстве,

we have the possibility to enable audiences

имеется возможность предоставить зрителю

to experience content from multiple perspectives.

воспринимать творчество под разными углами.

What we have to think about is how we take this technology,

Необходимо придумать, как использовать эту технологию,

all the capabilities,

все её возможности,

and enable the experience to move farther away inside the scene.

чтобы сдвинуть ощущения при просмотре вглубь самого экрана.

Now we're not talking about video games or computer-generated actors,

Речь идёт не о компьютерных играх,

which look tremendously realistic.

не о невероятно реалистично выглядящих CGI-актёрах.

We're talking about real actors and real performance,

Имеются в виду живые актёры, их работа в кадре,

performing onstage.

выступления на сцене.

We have to start thinking how we capture the actors

Необходимо начать думать о том, как снимать актёров,

and how we capture the real scene

как снимать так,

in order to immerse inside.

чтобы глубже погрузиться в действие.

Now, we're familiar with the 360-degree video,

Уже известна круговая видеопанорама,

where you place a camera inside the scene

когда камера помещается внутрь сцены,

and you can create this beautiful panoramic image all around you,

создавая красивую, обзорную картину окружающего,

but from the same aspect,

но всё равно с той же точки,

filmmaking is still frontal.

кинопроизводство всё еще фронтально.

In order to emerge fully inside the scene,

Чтобы достичь эффекта полного погружения,

we will need to capture the light from all the possible directions.

необходимо запечатлеть свет со всевозможных направлений.

We will have to surround the scene with an enormous amount of sensors,

Сцену надо окружить массой датчиков,

with all possible capabilities to capture the light

чтобы не упустить ни одной возможности запечатлеть свет

and enable us to emerge inside afterwards again.

и добавить ощущение присутствия в кадре.

Now, in this setup,

С использованием такого подхода

there's no more foreground or background

пропадают понятия заднего и переднего планов,

or a camera placed in space

а также расположения камеры в пространстве,

but hundreds of sensors capturing the light

на смену которым приходят сотни фиксирующих свет

and capturing the motion from all the possible directions.

и движение со всевозможных направлений датчиков.

With the new technological advancements,

С таким технологическим прогрессом

we can start looking at 3D photography,

открываются возможности трёхмерной фотографии,

capturing the light from multiple perspectives,

фиксирующей свет с многих ракурсов,

enabling us to reconstruct the object.

позволяя воссоздать объект.

This is like photography in 3D space.

Это как фотография в трёхмерном пространстве.

Now, with these technological advancements,

С такими технологиями

we can record video not just as a flat image

можно снимать видео не как плоское,

but as a volume.

а как объёмное изображение.

This is what we call "volumetric video,"

Это и есть «объёмное видео»,

and it has the capability to record every action of the scene

позволяющее снять все действия в кадре

as a full three-dimensional volume.

в трёхмерном изображении.

Now, what is a voxel?

Итак, что такое воксел?

A voxel is like a three-dimensional pixel,

Воксел — это как трёхмерный пиксел,

but instead of being a flat image square, staying light and colored,

только вместо плоского, подсвеченного цветного квадрата,

it's like a three-dimensional cube in space,

это трёхмерный пространственный куб,

with x, y, and z positions.

имеющий оси x, y и z.

This enables us to create a full capture of the scene

Это даёт возможность полного охвата сцены

from any perspective.

с любого ракурса.

Now this renders a fully light-immersive scene

Это позволяет полностью запечатлеть свет

from multiple perspectives.

со всех направлений.

This capability requires an insane amount of information to be processed.

Такая возможность требует обработки безумного объёма информации.

We will have to capture the light from an enormous amount of cameras

Для создания такой информации

to create this information.

нужно снимать свет с огромнейшего количества камер.

Now, in order to do such a thing,

Чтобы такое осуществить,

we would need a setup that would host a numerous amount of cameras

нужна система, состоящая из огромного количества камер,

installed in a stage

установленных на месте съёмки,

and a stage big enough in order to fit a full cinematic experience.

и достаточно большая сцена, чтобы уместить всё это оборудование.

Now that sounds like a crazy idea, but that's exactly what we did.

Звучит безумно, но нам удалось создать такое безумие.

For the last three years,

Последние три года

we have been building a huge volumetric camera chamber.

мы строили огромную сцену для объёмной камерной съемки.

It's 10,000 square feet of a stage,

Её площадь составляет более 900 квадратных метров,

enabling to capture the action from any location.

что позволяет снимать с любой точки.

We have deployed hundreds of cameras,

Мы разместили там сотни камер,

sending a tremendous amount of information

отправляющих огромное количество информации

to a huge data center powered by Intel supercomputers.

в гигантский центр обработки данных, управляемый суперкомпьютерами Intel.

The ability to have this 10,000 feet

Обладая сценой такой площади,

enables us to fit any kind of action,

можно снять что угодно,

any kind of performance.

какое угодно представление.

It is the size of an average Broadway stage.

Наша сцена соразмерна со средней бродвейской сценой.

We call it Intel Studios,

Мы называем её Intel Studios,

and it's the largest volumetric stage in the world,

и она является крупнейшей сценой объёмной съемки в мире,

with the objective of enabling and exploring

ставящей цель распространения и исследования

the next generation of this immersive media filmmaking.

нового поколения кинопроизводства с погружением.

Now, to test these ideas,

Итак, чтобы проверить эти идеи,

we were thinking about what we can do as the first scene to try it out.

мы задумались о том, какой может быть первая тестовая съёмка.

So we chose the Western scene.

И выбрали жанр Дикого Запада.

We brought horses, set designers, dirt,

Взяли лошадей, наняли дизайнеров, раскидали грязь,

everything needed to create the full scene of a Western.

всё, чтобы создать зарисовку в жанре Дикого Запада.

But this time, there was no camera inside.

Но на этот раз не было внутренней камеры.

There was nothing really moving besides all the cameras

Ничего не двигалось кроме камер,

installed outside.

установленных снаружи.

The challenge of the actors was tremendous.

Это было настоящим испытанием для актёров.

They have to perform a flawless action visible from all the directions.

Их игра должна была быть безупречной со всех ракурсов.

There's no possibility to hide a punch or not show the action.

Не было возможности смазать удар или не показать действие.

Everything is captured and everything is seen.

Всё снималось, всё было на виду.

The output of the capture --

Результат этой съёмки —

this is our future capture --

съёмки будущего —

opened our eyes for the immense capabilities.

открыл нам глаза на невиданные возможности.

It was like a full 3D scan of the entire scene.

Всё выглядело как трёхмерный скан всей сцены.

We were able to move around and travel in the space.

Мы могли двигаться по всему пространству.

The thing about this,

Теперь суть всего этого

it's not anymore about perceiving the light emitted from a screen

состоит не в восприятии света от экрана,

but now traveling inside the light,

а в передвижении внутри этого самого света,

traveling inside the scene.

в передвижении внутри сцены.

This obviously opens possibilities for an enormous amount

Это несомненно открывает небывалые возможности

of storytelling and methodologies of creation.

для развития сюжета и методологии творческого процесса.

This is the possibilities of your personal narrative,

Это даёт возможность создания вашего личного повествования,

the possibility of creating your own story inside,

сотворения собственного рассказа изнутри

or maybe following other stories.

или же наблюдения за другими историями.

Let's take a look at one of the last renders and see.

Давайте посмотрим один из последних вариантов.

(Music)

(Музыка)

What you're seeing here is full volumetric video,

Здесь вы видите полное объёмное видео,

and there's no physical camera in the scene.

и на месте съёмки нет никакой настоящей камеры.

(Music)

(Музыка)

We have the full control

У нас есть полный контроль

(Music, sounds of combat)

(Музыка, звуки сражения)

of space and time.

времени и пространства.

(Music, sounds of combat)

(Музыка, звуки сражения)

Now, again, no physical camera was here.

Повторюсь, никакой камеры как таковой здесь не было.

Everything was captured surrounding.

Съёмка была сделана тем, что окружало сцену.

Now, this is very nice,

Это всё, конечно, круто,

but what if we wanted to see the scene, maybe, from the eyes of the horse?

но что, если мы вдруг захотим увидеть сцену глазами лошади?

Well, we can do that as well.

Так мы и это можем.

(Horse galloping)

(Лошадиный галоп)

So what you're seeing right now is the same action,

То, что вы здесь видите, является частью того же действия,

but this time, we're watching exactly from the eyes of the horse.

но в этот раз глазами лошади.

The possibilities are, well, unlimited.

Возможности, в общем-то, безграничны.

(Applause)

(Аплодисменты)

Thank you.

Спасибо.

(Applause)

(Аплодисменты)

So this is all great for creators and storytellers.

Это всё очень пригодится сценаристам и рассказчикам.

It really opens a huge canvas

Откроет огромное полотно

for a different type of storytelling and moviemaking.

для иного вида сценариев и кинопроизводства.

But what about the audience?

Но как насчёт зрителей?

How can the audience experience this differently?

Как это будет воспринимать зритель?

In order to [create] our explorations,

Чтобы провести такие исследования,

we partnered with Paramount Pictures

мы объединились с Paramount Pictures

in order to explore immersive media in a Hollywood movie production.

для исследования средств погружения в голливудском кинопроизводстве.

Together with the director Randal Kleiser,

Вместе с кинорежиссером Рэндалом Клайзером,

we reimagined the iconic movie of 1978,

мы взяли легендарный фильм 1978 года

"Grease."

«Бриолин».

Some of you know it, some of you don't.

Кто-то из вас знает этот фильм, кто-то — нет.

A 40-year-old movie, amazing experience.

Фильму уже 40 лет, отличная картина.

And our goal was really to look at how we can take this iconic action and dance

Мы попытались представить, как можно было бы переделать

and bring it deeper into the experience,

эту легендарную постановку с привлечением средств погружения,

bring it deeper into the audience.

чтобы принести её ближе к зрителю.

Imagine that you can not just watch the movie

Представьте, что вы можете не просто смотреть фильм,

but get inside it and dance with the actors

но и проникнуть вглубь него, танцуя вместе с актёрами,

and dance with the performance.

участвуя в самой постановке.

Now we're breaking, really, the traditional 2D mindset of thinking,

Мы ломаем стереотипы двухмерного мышления

and bringing a much richer possibility of moviemaking

и привносим более широкие возможности в кинопроизводство

and content creation.

и творческий процесс в целом.

But why watch it on the screen?

Но зачем смотреть фильм на экране?

Let's try to bring these actors here on the stage.

Ведь действие можно перенести прямиком на эту сцену.

So they're not going to really come --

Они, конечно, не придут прямо сюда —

I'm going to use an iPad.

я воспользуюсь iPad.

(Laughter)

(Смех)

Sorry.

Прошу прощения.

I'm going to use an iPad in order to bring in augmented reality.

iPad я использую для привлечения дополненной реальности.

Now, obviously, these devices have their own limitations

У этих устройств, очевидно, есть ограничения

in terms of the data-computing process,

в плане обработки информации,

so we have to reduce the amount of resolution.

так что придётся понизить разрешение.

So what I'm doing now, I'm placing here a marker,

Так вот, я ставлю здесь метку,

so I'll be able to position exactly where I want everyone to appear.

чтобы всё появились там, где я этого хочу.

OK.

Так.

I think we have them here.

Пусть будут здесь.

(Applause)

(Аплодисменты)

John Travolta, or --

Джон Траволта, или —

(Laughter)

(Смех)

a version of him.

некая его версия.

Let's take a look.

Давайте посмотрим

(Video) Female: Hey.

(Видео) Девушка: Эй.

Male: And that is how it's done.

Мужчина: Вот как надо.

Female: Your turn.

Девушка: Твоя очередь.

Male: Hey, guys! Check this out.

Мужчина: Эй, ребята! Смотрите.

(Song: "You're the one that I want")

(Песня: «You're the one that I want»)

Danny: Sandy!

Дэнни: Сэнди!

Sandy: Tell me about it, stud.

Сэнди: Ну-ка расскажи мне, жеребец.

(Singing) I got chills. They're multiplying

(Пение) По мне бегут мурашки Их всё больше и больше

And I'm losing control

И я теряю контроль

'Cause the power you're supplying

Потому что твоя мощь

It's electrifying!

Зажигательна как электричество!

(Video ends)

(Видео заканчивается)

(Applause and cheers)

(Аплодисменты и одобрительные возгласы)

Diego Prilusky: Thank you.

Диего Прилуски: Спасибо.

(Applause and cheers)

(Аплодисменты и одобрительные возгласы)

So as you can see,

Как вы сами могли убедиться,

we can watch and experience content in the traditional way

творчество можно созерцать традиционно,

or in an immersive way.

а можно с погружением.

Really, the possibilities are open.

Возможности безграничны.

We're not trying to change or replace movies.

Мы не пытаемся изменить или заменить кино.

We're enhancing them.

Мы усиливаем его эффект.

The technologies enable new possibilities to start thinking beyond the flat screen.

С нашими технологиями можно думать и за пределами плоского экрана.

We're in immersive and really exciting times in filmmaking.

Мы находимся в погружающей и захватывающей эпохе кинематографа.

We're at the threshold of a new era.

Мы стоим на пороге новой эры.

We're opening the gates for new possibilities

Мы открываем врата для новых возможностей

of immersive storytelling,

историй с погружением,

and exploration and defining what immersive media filmmaking means.

исследования и определения погружения в кино.

We're really just at the beginning,

Мы буквально стоим у истоков

and we invite you all to join us.

и приглашаем всех вас присоединиться.

Thank you.

Спасибо.

(Applause)

(Аплодисменты)