How volumetric video brings a new dimension to filmmaking | Diego Prilusky

Översättare: Urban Skargren Granskare: Annika Bidner

I love making movies.

Jag älskar att göra film.

Motion pictures have been in existence for more than a hundred years.

Rörliga bilder har existerat i över hundra år.

Filmmaking hasn't changed for the dimensional mindset.

Men filmskapandet har inte ändrat sitt rumsliga tänkesätt.

Placing the camera in a scene and pressing "record" hasn't changed.

Att placera kameran i en scen och att trycka "Rec" har inte ändrats.

Filmmaking is still a frontal experience,

Filmskapande är fortfarande en frontal upplevelse,

and creating the film has the possibility

och att skapa filmen har möjligheten

to follow the same direction of the content creation.

att följa samma riktning som det innehåll vi skapar.

We still stand in front of a flat image,

Vi står fortfarande inför en platt bild

watching the fiction.

när vi tittar på historien.

There's nothing wrong with it.

Det är inget fel med det.

I love watching movies and going to the theaters.

Jag älskar att se film och att gå på bio.

The experiences can be such emotional experiences.

Upplevelserna kan verkligen vara känslomässiga.

The art and craft of emotional experiences within a frame

Konsten och hantverket bakom upplevelserna på en bildruta

can be so strong to drive a stronger emotion.

kan vara väldigt kraftfulla och skapa starka känslor.

The question we're asking is,

Frågan vi ställer oss är,

How the experience of motion pictures can exist beyond the flat screen.

kan filmupplevelsen existera som något bortom filmduken?

How can we start creating content

Hur kan vi börja skapa innehåll

for the next generation of content experiences?

för nästa generation innehållsupplevelser?

Traditionally, when we imagine a scene,

Traditionellt när vi tänker oss en scen,

we look at the frame and the composition.

så tittar vi på utsnittet och kompositionen.

We have to think about how we create depth and parallax

Vi behöver tänka på hur vi kan skapa djup och parallax

using foreground, background elements as the camera moves.

genom att använda för- och bakgrund medan kameran rör sig.

With the technology today and devices of VR glasses,

Med dagens teknik och VR-glasögon,

AR glasses, smart devices,

AR-glasögon, smarta apparater,

allowing three-dimensional and full navigation in space,

som tillåter full 3D-navigering i rummet

we have the possibility to enable audiences

så har vi möjligheten att låta publiken

to experience content from multiple perspectives.

uppleva innehållet från olika perspektiv.

What we have to think about is how we take this technology,

Vad vi behöver fundera på är hur vi kan ta den här tekniken,

all the capabilities,

med all dess kapacitet,

and enable the experience to move farther away inside the scene.

och låta upplevelsen röra sig djupare in i scenen.

Now we're not talking about video games or computer-generated actors,

Här pratar vi inte om videospel eller datorgenererade skådespelare,

which look tremendously realistic.

som i sig ser otroligt verkliga ut.

We're talking about real actors and real performance,

Vi pratar om verkliga skådespelare och verkligt uppträdande,

performing onstage.

ett uppträdande på en scen.

We have to start thinking how we capture the actors

Vi behöver börja fundera på hur vi registrerar skådespelarnas rörelser

and how we capture the real scene

och hur vi fångar den verkliga scenen

in order to immerse inside.

för att komma in på djupet.

Now, we're familiar with the 360-degree video,

Vi känner ju till 360-graders video,

where you place a camera inside the scene

där man placerar en kamera inne i scenen

and you can create this beautiful panoramic image all around you,

och vi kan skapa en vacker panoramabild runt oss

men från ett enda perspektiv.

but from the same aspect,

filmmaking is still frontal.

Filmskapandet är fortfarande frontalt.

In order to emerge fully inside the scene,

För att verkligen komma in på djupet i en scen

we will need to capture the light from all the possible directions.

måste vi registrera ljuset från alla möjliga vinklar.

We will have to surround the scene with an enormous amount of sensors,

Vi måste omge scenen med massor av sensorer

with all possible capabilities to capture the light

med all möjlig kapacitet att registrera ljuset

and enable us to emerge inside afterwards again.

och därefter låta oss komma in på djupet igen.

Now, in this setup,

I den här modellen

there's no more foreground or background

finns inte för- och bakgrund

or a camera placed in space

eller en kamera som är placerad i rummet,

but hundreds of sensors capturing the light

men i stället hundratals sensorer som registrerar ljuset

and capturing the motion from all the possible directions.

och rörelserna från alla möjliga håll.

With the new technological advancements,

Med de nya teknologiska framstegen

we can start looking at 3D photography,

kan vi börja titta på 3D-fotografi

capturing the light from multiple perspectives,

som registrerar ljuset från olika håll,

enabling us to reconstruct the object.

vilket låter oss återskapa ett objekt.

This is like photography in 3D space.

Det här är som fotografi i 3D-rymden.

Now, with these technological advancements,

Med de här teknologiska framstegen

we can record video not just as a flat image

kan vi spela in video inte bara som en platt bild

but as a volume.

utan som en volym.

This is what we call "volumetric video,"

Vi kallar detta "volumetrisk video",

and it has the capability to record every action of the scene

och det gör att vi kan registrera varje händelse i en scen

as a full three-dimensional volume.

som en full tredimensionell volym.

Now, what is a voxel?

Men, vad är en voxel?

A voxel is like a three-dimensional pixel,

En voxel är som en tredimensionell pixel,

but instead of being a flat image square, staying light and colored,

men i stället för att vara en liten platt ruta med ljus och färg

it's like a three-dimensional cube in space,

så är det som en tredimensionell kub i rummet

with x, y, and z positions.

med X- Y- och Z-positioner.

This enables us to create a full capture of the scene

Det här ger oss möjligheten att registrera scenen fullständigt,

from any perspective.

från vilket perspektiv som helst.

Now this renders a fully light-immersive scene

Det här skapar en fullständigt ljusfördjupad scen

from multiple perspectives.

från flera perspektiv.

This capability requires an insane amount of information to be processed.

Den här tekniken kräver en otroligt stor mängd information som måste behandlas.

We will have to capture the light from an enormous amount of cameras

Vi måste fånga in ljuset från enormt många kameror

to create this information.

för att skapa den här informationen.

Now, in order to do such a thing,

För att det här ska bli möjligt,

we would need a setup that would host a numerous amount of cameras

så skulle vi behöva använda ett stort antal kameror

installed in a stage

som monteras runt en scen

and a stage big enough in order to fit a full cinematic experience.

och en tillräckligt stor scen för att skapa en fullständig filmisk upplevelse.

Now that sounds like a crazy idea, but that's exactly what we did.

Det låter ju som en vansinnig idé men det är precis vad vi gjorde.

For the last three years,

De senaste tre åren

we have been building a huge volumetric camera chamber.

har vi byggt en enorm volumetrisk kamerastudio.

It's 10,000 square feet of a stage,

Det är en närmare 1 000 kvadratmeter stor scen

enabling to capture the action from any location.

som låter oss registrera handlingen från alla håll.

We have deployed hundreds of cameras,

Vi använder hundratals kameror,

sending a tremendous amount of information

som sänder en otrolig mängd information

to a huge data center powered by Intel supercomputers.

till ett jättestort datacenter med Intelbaserade superdatorer.

The ability to have this 10,000 feet

Att ha närmare 1 000 kvadratmeter

enables us to fit any kind of action,

gör att vi kan få plats med vilken handling som helst

any kind of performance.

och vilka rörelser som helst.

It is the size of an average Broadway stage.

Scenen är lika stor som en Broadwayscen.

We call it Intel Studios,

Vi kallar det för Intel Studios

and it's the largest volumetric stage in the world,

och det är den största volumetriska scenen i världen,

with the objective of enabling and exploring

med målet att möjliggöra och utforska nästa generation

the next generation of this immersive media filmmaking.

av detta immersiva filmskapande.

Now, to test these ideas,

För att testa de här idéerna

we were thinking about what we can do as the first scene to try it out.

så funderade vi på vilken slags scen vi skulle kunna prova att filma.

So we chose the Western scene.

Vi valde en vilda västern-scen.

We brought horses, set designers, dirt,

Vi tog dit hästar, scenografer och jord,

everything needed to create the full scene of a Western.

allt som behövdes för att skapa en komplett vilda västern-scen.

But this time, there was no camera inside.

Men denna gång fanns ingen kamera inne på scenen.

There was nothing really moving besides all the cameras

Det fanns egentligen ingenting där förutom alla kameror utanför scenen.

installed outside.

The challenge of the actors was tremendous.

Skådespelarnas utmaning var enorm.

They have to perform a flawless action visible from all the directions.

De måste agera perfekt så att det kan ses från alla håll.

There's no possibility to hide a punch or not show the action.

Man kan inte dölja slag eller rörelser.

Everything is captured and everything is seen.

Allt registreras och allt ses.

The output of the capture --

Resultatet av denna första filmning,

this is our future capture --

opened our eyes for the immense capabilities.

öppnade våra ögon för otroliga möjligheter.

It was like a full 3D scan of the entire scene.

Det var som en komplett 3D-skanning av hela scenen.

We were able to move around and travel in the space.

Vi kunde röra oss runt helt fritt och resa i rymden.

The thing about this,

Tänk er detta,

it's not anymore about perceiving the light emitted from a screen

det handlar inte längre om att uppfatta ljuset från en filmduk,

but now traveling inside the light,

utan att resa inuti ljuset, att resa inne i scenen.

traveling inside the scene.

This obviously opens possibilities for an enormous amount

Det här öppnar förstås massor av möjligheter för historieberättande

of storytelling and methodologies of creation.

och metoder för skapande.

This is the possibilities of your personal narrative,

Det här är möjligheterna för din egen historia,

the possibility of creating your own story inside,

möjligheterna att skapa din egen historia där inne,

or maybe following other stories.

eller kanske följa andra historier.

Let's take a look at one of the last renders and see.

Vi ska titta på en av våra senaste renderingar.

(Music)

(Musik)

What you're seeing here is full volumetric video,

Vad ni ser här är full volumetrisk video

and there's no physical camera in the scene.

och det finns ingen fysisk kamera inne på scenen.

(Music)

(Musik)

We have the full control

Vi har full kontroll

(Music, sounds of combat)

(Musik och ljud från slagsmål)

of space and time.

över rum och tid.

(Music, sounds of combat)

(Musik och ljud från slagsmål och hästar)

Now, again, no physical camera was here.

Återigen, ingen fysisk kamera fanns där.

Everything was captured surrounding.

Allt filmades utifrån.

Now, this is very nice,

Ja, det här är ju väldigt trevligt,

but what if we wanted to see the scene, maybe, from the eyes of the horse?

men hur skulle det vara om vi vill se scenen från hästens perspektiv?

Well, we can do that as well.

Det kan vi också ordna.

(Horse galloping)

(Häst galopperar)

So what you're seeing right now is the same action,

Det ni ser här är samma handling

but this time, we're watching exactly from the eyes of the horse.

men den här gången sett från hästens ögon.

The possibilities are, well, unlimited.

Möjligheterna är obegränsade.

(Applause)

(Applåder)

Thank you.

Tack.

(Applause)

(Applåder)

So this is all great for creators and storytellers.

Det här är verkligen fantastiskt för skapare och historieberättare.

It really opens a huge canvas

Det breder ut en enorm filmduk

for a different type of storytelling and moviemaking.

för ett annat slags historieberättande och filmskapande.

But what about the audience?

Men vad händer med publiken?

How can the audience experience this differently?

Hur kan publiken uppleva det här på ett annorlunda sätt?

In order to [create] our explorations,

För att vidga våra utforskningar,

we partnered with Paramount Pictures

samarbetade vi med Paramount Pictures

in order to explore immersive media in a Hollywood movie production.

för att utforska immersiv media i en Hollywoodproduktion.

Together with the director Randal Kleiser,

Tillsammans med regissören Randal Kleiser

we reimagined the iconic movie of 1978,

återskapade vi den klassiska filmen från 1978,

"Grease."

"Grease".

Some of you know it, some of you don't.

En del av er känner till den, andra inte.

A 40-year-old movie, amazing experience.

En 40-årig film, en fantastisk upplevelse.

And our goal was really to look at how we can take this iconic action and dance

Vårt mål var att se hur vi kan ta den här klassiska handlingen och dansen

and bring it deeper into the experience,

och föra dem djupare in i upplevelsen,

bring it deeper into the audience.

ta dem djupare in i publiken.

Imagine that you can not just watch the movie

Tänk dig att du inte bara kan se filmen

but get inside it and dance with the actors

utan vistas inuti den, och dansa med skådespelarna

and dance with the performance.

och vara med i deras uppträdande.

Now we're breaking, really, the traditional 2D mindset of thinking,

Nu bryter vi verkligen vårt traditionella 2D-tankesätt.

and bringing a much richer possibility of moviemaking

och öppnar vägen för mycket vidare möjligheter för filmskapande

and content creation.

och innehållsskapande.

But why watch it on the screen?

Men måste vi se det på en duk?

Let's try to bring these actors here on the stage.

Låt oss försöka få hit skådespelarna till den här scenen.

So they're not going to really come --

De kommer inte hit på riktigt,

I'm going to use an iPad.

utan jag ska använda en iPad.

(Laughter)

(Skratt)

Sorry.

Förlåt.

I'm going to use an iPad in order to bring in augmented reality.

Jag ska använda en iPad för att skapa en förstärkt verklighet.

Now, obviously, these devices have their own limitations

Nu har ju de här apparaterna sina egna begränsningar

in terms of the data-computing process,

när det gäller databehandling,

so we have to reduce the amount of resolution.

så vi måste minska upplösningen.

So what I'm doing now, I'm placing here a marker,

Vad jag gör nu är att jag placerar en markör här

so I'll be able to position exactly where I want everyone to appear.

så att jag kan välja exakt var alla ska synas.

OK.

Okej.

I think we have them here.

Jag tror att de är här nu.

(Applause)

(Applåder)

John Travolta, or --

John Travolta, eller...

(Laughter)

(Skratt)

a version of him.

en version av honom.

Let's take a look.

Låt oss ta en titt.

(Video) Female: Hey.

(Video) Kvinna: Hej.

Male: And that is how it's done.

Man: Det är så man gör det.

Female: Your turn.

Kvinna: Din tur.

Male: Hey, guys! Check this out.

Man: Hörni! Kolla in det här.

(Song: "You're the one that I want")

(Sång: "You're the one I want")

Danny: Sandy!

Danny: Sandy!

Sandy: Tell me about it, stud.

Sandy: Visa mig, snygging.

(Singing) I got chills. They're multiplying

♪ Jag ryser, det blir allt värre ♪

And I'm losing control

♪ och jag tappar all kontroll. ♪

'Cause the power you're supplying

♪ För den kraft som du ger mig ♪

It's electrifying!

♪ är elektrisk! ♪

(Video ends)

(Videon slutar)

(Applause and cheers)

(Applåder och jubel)

Diego Prilusky: Thank you.

Diego Prilusky: Tack.

(Applause and cheers)

(Applåder)

So as you can see,

Så som ni kan se

we can watch and experience content in the traditional way

så kan vi se och uppleva innehåll på det traditionella sättet

or in an immersive way.

eller på ett fördjupat sätt.

Really, the possibilities are open.

Möjligheterna är verkligen öppna.

We're not trying to change or replace movies.

Vi försöker inte ändra eller byta ut de vanliga filmerna.

We're enhancing them.

Vi förbättrar dem.

The technologies enable new possibilities to start thinking beyond the flat screen.

Tekniken skapar nya möjligheter att tänka bortom den platta duken.

We're in immersive and really exciting times in filmmaking.

Vi befinner oss i en immersiv och spännande tid för filmskapande.

We're at the threshold of a new era.

Vi står på tröskeln till en ny era.

We're opening the gates for new possibilities

Vi öppnar portarna till nya möjligheter

of immersive storytelling,

för immersivt berättande,

and exploration and defining what immersive media filmmaking means.

en utforskning och definition av vad immersivt filmskapande innebär.

We're really just at the beginning,

Vi är egentligen bara i början ännu

and we invite you all to join us.

och vi inbjuder er alla att vara med oss i detta.

Thank you.

Tack.

(Applause)

(Applåder och jubel)