Paul Debevec animates a photo-real digital face

Μετάφραση: Marios Papas Επιμέλεια: Lazaros Boudakidis

One of the biggest challenges in computer graphics

Μια από τις μεγαλύτερες προκλήσεις στα γραφικά υπολογιστών

has been being able to create a photo-real,

είναι η δυνατότητα να δημιουργηθεί ένα φώτο-ρεαλιστικό

digital human face.

ψηφιακό ανθρώπινο πρόσωπο.

And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,

Και ένας από τους λόγους που είναι τόσο δύσκολο είναι ότι, αντιθέτως με τους εξωγήινους και τους δεινόσαυρους,

we look at human faces every day.

βλέπουμε ανθρώπινα πρόσωπα κάθε μέρα.

They are very important to how we communicate with each other.

Είναι πολύ σημαντικά στο πώς επικοινωνούμε μεταξύ μας.

As a result, we're tuned in to the subtlest things

Σαν αποτέλεσμα, προσέχουμε τις παραμικρές λεπτομέρειες

that could possibly be wrong with a computer rendering,

που θα μπορούσαν να είναι λάθος σε μια ψηφιακή εικόνα,

in order to believe whether these things are realistic.

για να πιστέψουμε εάν τα πράγματα είναι ρεαλιστικά.

And what I'm going to do in the next five minutes

Και αυτό που θα κάνω στα επόμενα πέντε λεπτά

is take you through a process

είναι να σας εξηγήσω μία διαδικασία

where we tried to create a reasonably photo-realistic computer-generated face,

στην οποία προσπαθήσαμε να δημιουργήσουμε ένα σχετικά φωτο-ρεαλιστικό ψηφιακό πρόσωπο

using some computer graphics technology we've developed,

με την χρήση τεχνολογίας γραφικών υπολογιστών που δημιουργήσαμε

and also some collaborators at a company called Image Metrics.

με κάποιους συνεργάτες στην εταιρεία Image Metrics.

And we're going to try to do a photo-real face

Θα προσπαθήσουμε να δημιουργήσουμε ένα φωτο-ρεαλιστικό πρόσωπο

of an actress named Emily O'Brien, who is right there.

της ηθοποιού Έμιλι Ο’Μπράιαν, την οποία βλέπετε εδώ

And that's actually a completely computer-generated rendering of her face.

Πρόκειται για μία εικόνα του προσώπου της, η οποία δημιουργήθηκε εξ ολοκλήρου στον υπολογιστή.

By the end of the talk, we're going to see it move.

Στο τέλος αυτής της ομιλίας, θα την δούμε να κινείται.

The way that we did this is we tried to start with Emily herself,

Για να το κάνουμε, προσπαθήσαμε να ξεκινήσουμε με την Έμιλι

who was gracious enough to come to our laboratory

η οποία πολύ ευγενικά ήρθε στο εργαστήριο μας

in Marina Del Rey, and sit for a session in Light Stage 5.

στο Μαρίνα Ντελ Ρέι, και κάθησε στο Light Stage 5.

This is a face-scanning sphere, with 156 white LEDs all around

Αυτή είναι μία σφαίρα σάρωσης προσώπου, με 156 άσπρα LED τριγύρω,

that allow us to photograph her

που μας επιτρέπουν να την φωτογραφήσουμε

in a series of very controlled illumination conditions.

σε μια σειρά από πολύ ελεγχόμενες συνθήκες φωτισμού.

And the lighting that we use these days looks something like this.

Ο φωτισμός που χρησιμοποιούμε σήμερα μοιάζει κάπως έτσι.

We shoot all of these photographs in about three seconds.

Παίρνουμε όλες αυτές τις φωτογραφίες σε περίπου τρία δευτερόλεπτα

And we basically capture enough information

Και βασικά αποθηκεύουμε αρκετή πληροφορία

with video projector patterns that drape over the contours of her face,

με σχήματα από τον προβολέα βίντεο τα οποία προβάλλονται στο περίγραμμα του προσώπου της

and different principle directions of light from the light stage,

και διαφορετικές κύριες κατευθύνσεις φωτός από την εξέδρα φωτισμού,

to figure out both the coarse-scale

για την εξακρίβωση των μεγάλων

and the fine-scale detail of her face.

αλλά και μικρών λεπτομερειών του προσώπου της.

If we zoom in on this photograph right here,

Αν μεγεθύνουμε αυτή τη φωτογραφία

we can see it's a really nice photograph to have of her,

βλέπουμε ότι είναι μία πολύ καλή φωτογραφία,

because she is lit from absolutely everywhere at the same time

επειδή φωτίζεται από παντού ταυτόχρονα

to get a nice image of her facial texture.

ώστε να έχουμε μία ωραία εικόνα της υφής του προσώπου της.

And in addition, we've actually used polarizers on all the lights --

Επιπλέον, χρησιμοποιήσαμε πολωτές σε όλα τα φώτα --

just like polarized sunglasses can block

όπως τα πολωτικά γυαλιά ήλιου σταματούν

the glare off of the road,

την αντηλιά από τον δρόμο,

polarizers can block the shine off of the skin,

οι πολωτές μπορούν να εμποδίσουν την γυαλάδα στο το δέρμα,

so we don't get all those specular reflections to take this map.

ώστε να μην έχουμε όλες αυτές τις κατοπτρικές ανακλάσεις.

Now, if we turn the polarizers around just a little bit,

Τώρα, αν περιστρέψουμε λίγο τους πολωτές,

we can actually bring that specular reflection

μπορούμε να επαναφέρουμε τις κατοπτρικές ανακλάσεις

of the skin back in,

του δέρματος,

and you can see she looks kind of shiny and oily at this point.

και έτσι μπορείτε να δείτε πως φαίνεται κάπως γυαλιστερή και λιπαρή σε αυτό το σημείο.

If you take the difference between these two images here,

Αν πάρουμε τη διαφορά μεταξύ αυτών των δύο εικόνων,

you can get an image lit from the entire sphere of light

έχουμε μία εικόνα φωτιζόμενη από ολόκληρη την σφαίρα φωτός

of just the shine off of Emily's skin.

μόνο της γυαλάδας του δέρματος της Έμιλι.

I don't think any photograph like this had ever been taken

Δεν πιστεύω να έχει ληφθεί ποτέ τέτοια φωτογραφία

before we had done this.

πριν να το κάνουμε εμείς.

And this is very important light to capture,

Και αυτό το φως είναι πολύ σημαντικό να το καταγράψουμε

because this is the light that reflects off the first surface of the skin.

καθώς είναι το φως που ανακλάται από την πρώτη στοιβάδα του δέρματος.

It doesn't get underneath the translucent

Δεν εισέρχεται μέσα στις ημιδιαφανείς

layers of the skin and blur out.

στοιβάδες του δέρματος ώστε να θολώσει.

And, as a result, it's a very good cue

Και, σαν αποτέλεσμα, είναι ένα πολύ καλό στοιχείο

to the detailed shape of the skin-pore structure

για την λεπτομερή δομή των πόρων του δέρματος

and all of the fine wrinkles that all of us have,

και όλων των λεπτών ρυτίδων που όλοι έχουμε,

the things that actually make us look like real humans.

πράγματα τα οποία μας κάνουν να φαινόμαστε πραγματικοί άνθρωποι

So, if we use information that comes off of this specular reflection,

Αν λοιπόν χρησιμοποιήσουμε την πληροφορία που προέρχεται από την κατοπτρική ανάκλαση

we can go from a traditional face scan

περνάμε από την παραδοσιακή σάρωση προσώπου

that might have the gross contours of the face and the basic shape,

που μπορεί να έχει τα γενικά περιγράμματα του προσώπου και το βασικό σχήμα,

and augment it with information

και να το επεκτείνουμε με πληροφορία

that puts in all of that skin pore structure and fine wrinkles.

η οποία προσθέτει την δομή των πόρων και τις λεπτές ρυτίδες.

And, even more importantly,

Και ακόμα πιο σημαντικό,

since this is a photometric process that only takes three seconds to capture,

καθώς αυτή είναι μια φωτομετρική διαδικασία η οποία διαρκεί μόνο 3 δευτερόλεπτα

we can shoot Emily

μπορούμε να φωτογραφίσουμε την Έμιλι

in just part of an afternoon,

σε λιγότερο από ένα απογεύμα,

in many different facial poses and facial expressions.

σε πολλαπλές διαφορετικές θέσεις προσώπου και εκφράσεις.

So, here you can see her moving her eyes around, moving her mouth around.

Εδώ μπορείτε να την δείτε να μετακινεί τα μάτια της, το στόμα της.

And these we're actually going to use to create a photo-real digital character.

Και αυτά πρόκειται να τα χρησιμοποιήσουμε για να δημιουργήσουμε ένα φωτο-ρεαλιστικό ψηφιακό χαρακτήρα

If you take a look at these scans that we have of Emily,

Αν προσέξετε τις σαρώσεις που έχουμε από την Έμιλι

you can see that the human face does an enormous amount of amazing things

μπορείτε να δείτε ότι το ανθρώπινο πρόσωπο κάνει πάρα πολλά καταπληκτικά πράγματα

as it goes into different facial expressions.

όταν αλλάζουν οι διάφορες εκφράσεις του προσώπου.

You can see things. Not only the face shape changes,

Μπορείτε να δείτε πράγματα. Όχι μόνο αλλαγές στο σχήμα του προσώπου,

but all sorts of different skin buckling and skin wrinkling occurs.

αλλά και διάφορες συσφίξεις του δέρματος και ρυτίδων.

You can see that the skin pore structure changes enormously

Μπορείτε να δείτε ότι η δομή των πόρων του δέρματος αλλάζει δραματικά

from stretched skin pores

από τεντωμένους πόρους του δέρματος,

to the regular skin texture.

στην κανονική υφή του δέρματος.

You can see the furrows in the brow and how the microstructure changes there.

Μπορείτε να δείτε τα αυλακώματα στο μέτωπο και πώς η μικρό-δομή αλλάζει εκεί.

You can see muscles pulling down at flesh to bring her eyebrows down.

Μπορείτε να δείτε τους μύες να τραβούν κάτω στη σάρκα για να κατεβάσουν τα φρύδια.

Her muscles bulging in her forehead when she winces like that.

Οι μύες της φουσκώνουν στο μέτωπο όταν συγχύζεται.

In addition to this kind of high-resolution geometry,

Πέρα από αυτού του είδους την υψηλής ανάλυσης γεωμετρία,

since it's all captured with cameras, we've got a great texture map to use for the face.

καθώς όλα έχουν καταγραφεί με φωτογραφικές, έχουμε μία καλή καταγραφή υφής για να χρησιμοποιήσουμε για το πρόσωπο

And by looking at how the different color channels of the illumination,

και βλέποντας πώς τα διαφορετικά χρωματικά κανάλια του φωτισμού

the red and the green and the blue,

το κόκκινο το πράσινο και το μπλε,

diffuse the light differently,

διαχέουν το φως διαφορετικά,

we can come up with a way of shading the skin on the computer.

μπορούμε να επινοήσουμε ένα τρόπο σκίασης του δέρματος στον υπολογιστή.

Then, instead of looking like a plaster mannequin,

Μετά, αντί να μοιάζει με μανεκέν φτιαγμένο από γύψο,

it actually looks like it's made out of living human flesh.

θα μοιάζει σαν να είναι φτιαγμένη από ζωντανή ανθρώπινη σάρκα.

And this is what we used

Και αυτό είναι που χρησιμοποιήσαμε

to give to the company Image Metrics

για να δώσουμε στην εταιρεία Image Metrics

to create a rigged, digital version of Emily.

να δημιουργήσει μια ψηφιακή εκδοχή της Έμιλι.

We're just seeing the coarse-scale geometry here.

Εδώ απλά βλέπουμε την βασική γεωμετρία.

But they basically created a digital puppet of her,

Αλλά βασικά δημιούργησαν μία ψηφιακή μαριονέτα,

where you can pull on these various strings,

στην οποία μπορείς να τραβήξεις τα διάφορα σχοινιά,

and it actually moves her face in ways that are

και το πρόσωπο της μετακινείται με τρόπους που

completely consistent with the scans that we took.

συνάδουν απολύτως με τις σαρώσεις που κάναμε.

And, in addition to the coarse-scale geometry,

Και, μαζί με την χοντροκομμένη γεωμετρία,

they also used all of that detail

Χρησιμοποίησαν και όλες τις λεπτομέρειες

to create a set of what are called "displacement maps"

για να δημιουργήσουν ένα σύνολο αυτών που λέμε "χάρτες μετατόπισης"

that animate as well.

που κινούνται επίσης.

These are the displacement maps here.

Αυτοί είναι οι χάρτες μετατόπισης.

And you can see those different wrinkles actually show up as she animates.

Και μπορείτε να δείτε τις διάφορες ρυτίδες που εμφανίζονται καθώς κινείται.

So the next process was then to animate her.

Έτσι η επόμενη διαδικασία ήταν να δώσουμε κίνηση.

We actually used one of her own performances to provide the source data.

Χρησιμοποιήσαμε υλικό από την ίδια για να πάρουμε τα δεδομένα.

So, by analyzing this video with computer vision techniques,

Έτσι, αναλύοντας αυτό το βίντεο με τεχνικές υπολογιστικής όρασης,

they were able to drive the facial rig

κατάφεραν να κινήσουν το τεχνητό πρόσωπο

with the computer-generated performance.

με υλικό που δημιουργήθηκε από τον υπολογιστή.

So what you're going to see now, after this,

Έτσι αυτό που θα δούμε τώρα, μετά από αυτό,

is a completely photo-real digital face.

είναι ένα απόλυτα φωτο-ρεαλιστικό ψηφιακό πρόσωπο.

We can turn the volume up a little bit if that's available.

Μπορούμε να δυναμώσουμε την φωνή λίγο αν είναι δυνατό.

Emily: Image Metrics is a markerless, performance-driven animation company.

Έμιλι: Η Image Metrics είναι μία εταιρία κινούμενης εικόνας με γνώμονα τις υψηλές επιδόσεις.

We specialize in high-quality facial animation

Ειδικευόμαστε στην υψηλής ανάλυσης κινούμενη εικόνα προσώπου

for video games and films.

για ηλεκτρονικά παιχνίδια και ταινίες.

Image Metrics is a markerless, performance-driven animation company.

Έμιλι: Η Image Metrics είναι μία εταιρία κινούμενης εικόνας με γνώμονα τις υψηλές επιδόσεις.

We specialize in high quality facial animation

Ειδικευόμαστε στην υψηλής ανάλυσης κινούμενη εικόνα προσώπου

for video games and films.

για ηλεκτρονικά παιχνίδια και ταινίες.

Paul Debevec: So, if we break that down into layers, here's that diffuse component

Πωλ Ντιμπέβεκ: Έτσι, αν το αναλύσουμε σε επιστρώσεις, εδώ είναι η επίστρωση διάχυτου φωτισμού

we saw in the first slide.

που είδαμε στην πρώτη διαφάνεια.

Here is the specular component animating.

Εδώ είναι ο κατευθυνόμενος συντελεστής που μετακινείται

You can see all the wrinkles happening there.

Μπορείτε να δείτε όλες τις ρυτίδες που δημιουργούνται.

And there is the underlying wireframe mesh.

Και αυτό είναι το υποκείμενο πλέγμα.

And that is Emily herself.

Και αυτή είναι η ίδια η Έμιλι.

Now, where are we going with this here?

Τώρα, ποιος είναι ο στόχος μας;

We've gone a little bit beyond Light Stage 5. This is Light Stage 6,

Έχουμε προχωρήσει λίγο από το Light Stage 5. Αυτό είναι το Light Stage 6

and we're looking at taking this technology

Και σκοπεύουμε να πάρουμε αυτή την τεχνολογία

and applying it to whole human bodies.

και να την εφαρμόσουμε σε ολόκληρα ανθρώπινα σώματα.

This is Bruce Lawmen, one of our researchers in the group,

Αυτός είναι ο Μπρους Λάμεν, ένας από τους ερευνητές της ομάδας,

who graciously agreed to get captured running in the Light Stage.

ο οποίος ευγενικά συμφώνησε να κινηματογραφηθεί τρέχοντας στο Light Stage.

And let's take a look at a computer-generated version

Ας δούμε μία εκδοχή από ηλεκτρονικό υπολογιστή

of Bruce, running in a new environment.

του Μπρους, να τρέχει σε ένα νέο περιβάλλον.

And thank you very much.

Και σας ευχαριστώ πολύ.

(Applause)

(Χειροκρότημα)