11

SCAPE: Shape Completion SCAPE: Shape Completion and Animation of Peopleand Animation of People

By Dragomir Anguelov, Praveen Srinivasan, By Dragomir Anguelov, Praveen Srinivasan, Daphne Koller, Sebastian Thrun, Jim Daphne Koller, Sebastian Thrun, Jim Rodgers, James DavisRodgers, James Davis

From SIGGRAPH 2005From SIGGRAPH 2005

Presentation for CS468 by Emilio AntPresentation for CS468 by Emilio Antúúneznez

22

MotivationMotivation

It is difficult to get high­resolution body It is difficult to get high­resolution body scansscans

It is even harder at video ratesIt is even harder at video rates By building up a human model, you By building up a human model, you 

could synthesize a high­resolution could synthesize a high­resolution scan from sparse/incomplete datascan from sparse/incomplete data

Accurate model is most easily created Accurate model is most easily created by learning from sample scansby learning from sample scans

33

Pre­existing Work in Pre­existing Work in Deformable Human Models IDeformable Human Models I Deformations described relative to a Deformations described relative to a 

template shapetemplate shape Pose deformations given relative to Pose deformations given relative to 

local joints in an articulated modellocal joints in an articulated model Body­shape deformations described Body­shape deformations described 

using displacement vectors from PCAusing displacement vectors from PCA

44

Pre­existing Work in Pre­existing Work in Deformable Human Models IIDeformable Human Models II Pose and shape deformations rarely Pose and shape deformations rarely 

addressed togetheraddressed together Most similar work by Sumner and Most similar work by Sumner and 

PopoviPopovićć– Retargets pose deformation to another Retargets pose deformation to another 

meshmesh– Does not learn a modelDoes not learn a model

55

Paper ContributionsPaper Contributions

Learning an affine deformation model Learning an affine deformation model for both pose and shapefor both pose and shape

Shape completion for scan of an Shape completion for scan of an arbitrary human targetarbitrary human target

Body shape manipulation for motion Body shape manipulation for motion capture animationcapture animation

66

Presentation OverviewPresentation Overview

Data AcquisitionData Acquisition Learning the Human ModelLearning the Human Model ApplicationsApplications

– Shape CompletionShape Completion– Motion Capture AnimationMotion Capture Animation

LimitationsLimitations

77

Data Format / AssumptionsData Format / Assumptions

Each input model is a deformation of a Each input model is a deformation of a fixed­topology triangle meshfixed­topology triangle mesh

Models divided into three categoriesModels divided into three categories– One template modelOne template model– Template subject in different posesTemplate subject in different poses– Different people in (roughly) same poseDifferent people in (roughly) same pose

Articulated skeleton assigned to each Articulated skeleton assigned to each meshmesh

88

Data Acquisition and Data Acquisition and ProcessingProcessing

99

Learning the Human ModelLearning the Human Model

Pose and shape deformations Pose and shape deformations described per­triangle using linear described per­triangle using linear transformationstransformations

Pose transformations learned from Pose transformations learned from template subject in different posestemplate subject in different poses

Body shape transformations learned Body shape transformations learned by comparing different subjects to by comparing different subjects to templatetemplate

1010

Pose Deformation IPose Deformation I

Rigid (skeletal) Rigid (skeletal) deformations are deformations are represented separately represented separately from non­rigid onesfrom non­rigid ones

Transformations are Transformations are given in relative given in relative coordinate system coordinate system where one of the where one of the corners is fixed at the corners is fixed at the origin origin 

O Qk

Rl[k]

template triangle

final triangle

1111

Pose Deformation IIPose Deformation II

Triangle edges are not Triangle edges are not forced to be consistentforced to be consistent

Final synthesized Final synthesized mesh reduces the mesh reduces the least­squares error least­squares error between mesh points between mesh points and triangle and triangle deformationsdeformations

O Qk

Rl[k]

template triangle

final triangle

1212

Learning Pose Deformation Learning Pose Deformation Model IModel I Rigid rotation is known from skeletonRigid rotation is known from skeleton Non­rigid transformation is Non­rigid transformation is 

underdefinedunderdefined Q matrix is computed by requiring Q matrix is computed by requiring 

adjacent triangles’ non­rigid adjacent triangles’ non­rigid transformations to be similartransformations to be similar

1313

Learning Pose Deformation Learning Pose Deformation Model IIModel II Non­rigid deformation modeled as an Non­rigid deformation modeled as an 

affine function of adjacent joint anglesaffine function of adjacent joint angles

In practice, some of the degrees of In practice, some of the degrees of freedom are removed for constrained freedom are removed for constrained joingsjoings

1414

Pose Deformation Learning Pose Deformation Learning ResultsResults

1515

Body­Shape DeformationBody­Shape Deformation

Body shape is modeled as an additional Body shape is modeled as an additional linear transform, Slinear transform, S

S is underdetermined (like Q)S is underdetermined (like Q) Again, solved using a smoothness Again, solved using a smoothness 

constraintconstraint

1616

Learning the Shape Learning the Shape Deformation ModelDeformation Model The matrix coefficients for all body The matrix coefficients for all body 

shape transformations are vectorizedshape transformations are vectorized Principal component analysis is used Principal component analysis is used 

to parameterize the shape transform to parameterize the shape transform vectorsvectors

1717

Shape Deformation Shape Deformation Learning ResultsLearning Results

1818

Shape Completion IShape Completion I

Assuming you know some of the node Assuming you know some of the node positions, estimate the otherspositions, estimate the others

Must estimate pose and body shapeMust estimate pose and body shape This optimization is highly nonlinear in the This optimization is highly nonlinear in the 

posepose Empirically found that optimizing over all Empirically found that optimizing over all 

variables at once produces bad resultsvariables at once produces bad results Instead, SCAPE iterates solving Instead, SCAPE iterates solving 

1919

Shape Completion IIShape Completion II

Empirically found that optimizing over all Empirically found that optimizing over all variables at once produces bad resultsvariables at once produces bad results

Instead, SCAPE iterates, solving each of Instead, SCAPE iterates, solving each of these in order:these in order:– PosePose– Mesh estimateMesh estimate– Body shapeBody shape

Results in a “completed” mesh and a Results in a “completed” mesh and a “predicted” mesh“predicted” mesh

2020

Partial View CompletionPartial View Completion

Skeletal and point­correspondences Skeletal and point­correspondences may be off if too much data is missingmay be off if too much data is missing

Iterate between the shape completion Iterate between the shape completion algorithm previously described and algorithm previously described and remapping the point correspondencesremapping the point correspondences

2121

Partial View Completion Partial View Completion ResultsResults

2222

Motion Capture AnimationMotion Capture Animation

Motion capture data provides the pose Motion capture data provides the pose datadata

Body shape parameters can be set Body shape parameters can be set arbitrarilyarbitrarily

Since markers are generally placed on Since markers are generally placed on body surface (not in the bones), mesh body surface (not in the bones), mesh is constrained to lie in the space of is constrained to lie in the space of body shapes encoded by the modelbody shapes encoded by the model

2323

Motion Capture Animation Motion Capture Animation ResultsResults

2424

LimitationsLimitations

Assumes that pose deformation and Assumes that pose deformation and body shape are mostly independentbody shape are mostly independent

Models only pose deformations from Models only pose deformations from skeletal motionskeletal motion

2525

ConclusionConclusion

SCAPE learns simple body model SCAPE learns simple body model which distinguishes pose and body which distinguishes pose and body shape deformationsshape deformations

Creates reasonable shape Creates reasonable shape completions, even when large features completions, even when large features are missingare missing

Allows for flexible reconstruction of Allows for flexible reconstruction of moving model from motion capture moving model from motion capture data data