Paul Debevec animates a photo-real digital face

מתרגם: Ido Dekkers מבקר: Sigal Tifferet

One of the biggest challenges in computer graphics

אחד מהאתגרים הגדולים בגרפיקה ממוחשבת

has been being able to create a photo-real,

היה ליצור פרצוף אנושי,

digital human face.

פוטו ראליסטי.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

ואחת הסיבות שזה כל כך קשה, היא שבניגוד לחייזרים ודינוזאורים,

we look at human faces every day.

אנחנו מביטים בפנים האנושיות כל יום.

They are very important to how we communicate with each other.

הן חשובות מאוד לדרך בה אנו מתקשרים אחד עם השני.

As a result, we're tuned in to the subtlest things

כתוצאה מכך, אנחנו מכווונים להבדיל בדברים הקטנים ביותר

that could possibly be wrong with a computer rendering,

שיכולים להיות שגויים בתוצאה הממוחשבת,

in order to believe whether these things are realistic.

כדי להבדיל אם הם ראליסטיים או לא.

And what I'm going to do in the next five minutes

ומה שאני עומד לעשות בחמש הדקות הקרובות

is take you through a process

זה לקחת אתכם דרך תהליך

where we tried to create a reasonably photo-realistic computer-generated face,

בו ניסינו ליצור פרצוף ממוחשב פוטו ראליסטי טוב מספיק,

using some computer graphics technology we've developed,

תוך שימוש בטכנולוגית גרפיקה ממוחשבת שפיתחנו,

and also some collaborators at a company called Image Metrics.

ושותפים בחברה הנראת "Image Metrics".

And we're going to try to do a photo-real face

ואנחנו עומדים לנסות לעשות פרצוף

of an actress named Emily O'Brien, who is right there.

של שחקנית בשם אמילי אוברייאן, שנמצאת שם.

And that's actually a completely computer-generated rendering of her face.

וזה בעצם יצוג ממוחשב לחלוטין של הפנים שלה.

By the end of the talk, we're going to see it move.

בסוף השיחה, נראה אותו זז.

The way that we did this is we tried to start with Emily herself,

הדרך שבה עשינו זאת היא להתחיל עם אמילי עצמה,

who was gracious enough to come to our laboratory

שהיתה נדיבה מספיק לבוא למעבדה שלנו

in Marina Del Rey, and sit for a session in Light Stage 5.

במרינה דל ריי, ולשבת בסשן בבמה 5.

This is a face-scanning sphere, with 156 white LEDs all around

זה ספרה סורקת פנים, עם 156 לדים לבנים מסביב,

that allow us to photograph her

שמאפשרת לנו לצלם אותה

in a series of very controlled illumination conditions.

בסדרה של מצבי תאורה מבוקרים.

And the lighting that we use these days looks something like this.

והתאורה שבה אנו משתמשים נראת בערך ככה.

We shoot all of these photographs in about three seconds.

אנחנו מצלמים את כל התמונות תוך בערך שלוש שניות.

And we basically capture enough information

ואנחנו מקבלים מספיק מידע

with video projector patterns that drape over the contours of her face,

עם מקרני וידאו שעוטפים את כל קווי הפנים שלה,

and different principle directions of light from the light stage,

וכיווני תאורה עיקריים שונים מבמת התאורה,

to figure out both the coarse-scale

כדי לקבל גם קנה מידה גס

and the fine-scale detail of her face.

וגם את הפרטים העדינים של הפנים שלה.

If we zoom in on this photograph right here,

אם נעשה זום על התמונה הזו כאן,

we can see it's a really nice photograph to have of her,

אפשר לראות שזו ממש תמונה טובה שלה,

because she is lit from absolutely everywhere at the same time

מפני שהיא מוארת מכל הכיוונים באותו זמן

to get a nice image of her facial texture.

כדי לקבל תמונה טובה של הטקסטורה של הפנים שלה.

And in addition, we've actually used polarizers on all the lights --

ובנוסף, השתמשנו במקטבים על כל התאורה --

just like polarized sunglasses can block

כמו שמשקפי שמש מקוטבות יכולות לחסום

the glare off of the road,

את החזרי האור מהכביש,

polarizers can block the shine off of the skin,

מקטבים יכולים לחסום את הבוהק של העור,

so we don't get all those specular reflections to take this map.

אז אנחנו לא מקבלים את כל הבוהקים האלה כדי ליצור את המפה הזאת.

Now, if we turn the polarizers around just a little bit,

עכשיו, אם נסובב את המקטבים רק קצת,

we can actually bring that specular reflection

נוכל להחזיר את הבוהקים

of the skin back in,

של העור בחזרה,

and you can see she looks kind of shiny and oily at this point.

ואתם יכולים לראות שהיא קצת בוהקת ושמנונית עכשיו.

If you take the difference between these two images here,

אם תקחו את ההבדל בין שתי התמונות,

you can get an image lit from the entire sphere of light

תקבלו תמונה מוארת מכל כדור האור

of just the shine off of Emily's skin.

של רק הבוהק של העור של אמילי.

I don't think any photograph like this had ever been taken

אני לא חושב שאי פעם צילמו תמונה כזאת

before we had done this.

לפני שעשינו את זה.

And this is very important light to capture,

וזה אור מאוד חשוב לתפוס,

because this is the light that reflects off the first surface of the skin.

מפני שזה האור המוחזר מהשכבה הראשונה של העור.

It doesn't get underneath the translucent

הוא לא מגיע מתחת לשכבות

layers of the skin and blur out.

השקופות למחצה של העור ומתפזר.

And, as a result, it's a very good cue

וכתוצאה מכך, זה סמן טוב מאוד

to the detailed shape of the skin-pore structure

למבנה המדוייק של נקבוביות העור

and all of the fine wrinkles that all of us have,

וכל הקמטים העדינים שלכולנו יש,

the things that actually make us look like real humans.

הדברים שגורמים לנו להראות באמת אנושיים.

So, if we use information that comes off of this specular reflection,

אז, אם נשתמש במידע שמגיע מההשתקפות הזאת

we can go from a traditional face scan

נוכל לעבור מסריקת פנים רגילה

that might have the gross contours of the face and the basic shape,

שנותנת את הקווים הכלליים של הפנים והצורות הבסיסיות,

and augment it with information

ולרבד אותה עם מידע

that puts in all of that skin pore structure and fine wrinkles.

שמוסיף את כל נקבוביות העור והקמטים.

And, even more importantly,

ואפילו חשוב יותר,

since this is a photometric process that only takes three seconds to capture,

מאחר וזה תהליך צילומי שלוקח רק שלוש שניות,

we can shoot Emily

אנחנו יכולים לצלם את אמילי

in just part of an afternoon,

בחלק מאחרי הצהריים,

in many different facial poses and facial expressions.

בהרבה פרצופים והבעות פנים.

So, here you can see her moving her eyes around, moving her mouth around.

אז, כאן אתם יכולים לראות אותה מזיזה את העיניים לצדדים, מזיזה את הפה.

And these we're actually going to use to create a photo-real digital character.

ובאלה בעצם נשתמש כדי ליצור דמות ממוחשבת.

If you take a look at these scans that we have of Emily,

אם תביטו בסריקות האלה שיש לנו של פניה של אמילי,

you can see that the human face does an enormous amount of amazing things

תראו שהפנים האנושיות עושות טווח רחב של דברים מדהימים

as it goes into different facial expressions.

כשהם עוברות להבעות פנים שונות.

You can see things. Not only the face shape changes,

תוכלו לראות דברים, לא רק צורת הפנים משתנה,

but all sorts of different skin buckling and skin wrinkling occurs.

אלא כל מיני התקפלויות של העור וקימוטים שונים.

You can see that the skin pore structure changes enormously

רואים שמבנה הנקבוביות משתנה לחלוטין

from stretched skin pores

מנקבוביות מתוחות,

to the regular skin texture.

לטקסטורת עור רגילה.

You can see the furrows in the brow and how the microstructure changes there.

אתם יכולים לראות את החריצים בגבה ואיך המבנה המיקרוסקופי משתנה שם.

You can see muscles pulling down at flesh to bring her eyebrows down.

אפשר לראות את השרירים מושכים את הבשר כדי להוריד את הגבות.

Her muscles bulging in her forehead when she winces like that.

השרירים מתנפחים במצח שלה כשהיא נרתעת ככה.

In addition to this kind of high-resolution geometry,

בנוסף לגאומטריה ברזולוציה גבוהה,

since it's all captured with cameras, we've got a great texture map to use for the face.

מאחר והכל נקלט במצלמות, יש לנו מפת טקסטורה מעולה לשימוש בפנים.

And by looking at how the different color channels of the illumination,

וכשמביטים בכל ערוצי הצבע בתאורה,

the red and the green and the blue,

האדום והירוק והכחול,

diffuse the light differently,

מפזרים את האור בצורה שונה,

we can come up with a way of shading the skin on the computer.

נוכל להגיע לדרך להצליל את העור במחשב.

Then, instead of looking like a plaster mannequin,

ואז, במקום להראות כמו בובת פלסטיק,

it actually looks like it's made out of living human flesh.

היא נראית כאילו היא באמת עשוייה מעור אדם.

And this is what we used

וזה מה שנתנו

to give to the company Image Metrics

לחברת Image Metrics

to create a rigged, digital version of Emily.

כדי ליצור גירסה דיגיטלית מאובזרת של אמילי.

We're just seeing the coarse-scale geometry here.

אנחנו רק רואים את הגאומטריה הגסה פה.

But they basically created a digital puppet of her,

אבל הם בעצם יצרו בובה דיגיטלית שלה,

where you can pull on these various strings,

שבה אפשר למשוך את כל החוטים האלה,

and it actually moves her face in ways that are

וזה באמת מזיז את הפנים שלה בדרכים

completely consistent with the scans that we took.

עקביות לחלוטין לסריקות שלקחנו.

And, in addition to the coarse-scale geometry,

ובנוסף לגאומטריה הגסה,

they also used all of that detail

הם השתמשו בכל הפרטים שלה

to create a set of what are called "displacement maps"

כדי ליצור סט של מה שאנחנו קוראים לו "מפות הזחה"

that animate as well.

שאפשר גם להנפיש.

These are the displacement maps here.

אלה מפות ההזחה כאן.

And you can see those different wrinkles actually show up as she animates.

ואפשר לראות שהקמטים ממש מופיעים כשהיא מונפשת.

So the next process was then to animate her.

אז השלב הבא היה להנפיש אותה.

We actually used one of her own performances to provide the source data.

השתמשנו ממש באחת ההופעות שלה כדי לספק מידע.

So, by analyzing this video with computer vision techniques,

אז, על ידיד ניתוח הסרטון הזה עם טכניקות מוחשבות,

they were able to drive the facial rig

הם הצליחו להפעיל את הפנים

with the computer-generated performance.

עם ההופעה שנוצרה במחשב.

So what you're going to see now, after this,

אז מה שתראו עכשיו, אחרי זה,

is a completely photo-real digital face.

הן פנים פוטוראליסטיות דיגיטליות.

We can turn the volume up a little bit if that's available.

נוכל להגביר קצת את הווליום אם זה אפשרי.

Emily: Image Metrics is a markerless, performance-driven animation company.

אמילי: Image Metrics היא חברת אנימציה מונעת ביצועים.

We specialize in high-quality facial animation

אנחנו מתמחים באנימציות פנים באיכות גבוהה

for video games and films.

למשחקי מחשב וסרטים.

Image Metrics is a markerless, performance-driven animation company.

Image Metrics היא חברת אנימציה מונעת ביצועים.

We specialize in high quality facial animation

אנחנו מתמחים באנימציות פנים באיכות גבוהה

for video games and films.

למשחקי מחשב וסרטים.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

פול דבווק: אז, אם נשבור את זה לשכבות, הנה שכבת ההחזרה

we saw in the first slide.

שראינו בשקופית הראשונה.

Here is the specular component animating.

הנה החלק האחורי מונפש.

You can see all the wrinkles happening there.

אפשר לראות את כל הקמטים נוצרים כאן.

And there is the underlying wireframe mesh.

והנה שכבת הגאומטריה הבסיסית שמתחת.

And that is Emily herself.

וזו אמילי עצמה.

Now, where are we going with this here?

עכשיו, לאן אנחנו הולכים עם זה עכשיו?

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

עברנו קצת את בימת האור 5. זו בימת אור 6.

and we're looking at taking this technology

ואנחנו רוצים לקחת את הטכנולוגיה הזאת

and applying it to whole human bodies.

וליישם אותה על גוף אנושי שלם.

This is Bruce Lawmen, one of our researchers in the group,

זה ברוס לאומן, אחד מהחוקרים בקבוצה,

who graciously agreed to get captured running in the Light Stage.

שהסכים ברוב טובו להצטלם רץ בבימת האור.

And let's take a look at a computer-generated version

ובא נביט בגרסה הממוחשבת

of Bruce, running in a new environment.

של ברוס, רץ בסביבה חדשה.

And thank you very much.

ותודה לכם מאוד.

(Applause)

(מחיאות כפיים)