1 acquiring the reflectance field of a human face paul debevec et al
TRANSCRIPT
1
Acquiring the Reflectance Field of a Human Face
Paul Debevec et al.
2
Background (1)
• Gesichtsmodellierung und –animation- 3D-Photographie (Scanners)
Gesichtsgeometrie Texture Map darüberlegenProblem: beleuchtungsabhängig
- Abschätzung von Gesichtsmodellen direkt vom Bild
3
Background (2)
• Reflektometrie– Messungen, wie Materialien Licht
reflektieren– BRDF– Reflexionsmodelle (BRDFs als
Parameterfunktionen)– Modelle für geschichtete Oberflächen
„subsurface scattering“– Reflexionsabschätzungen mit Bildern
4
Background (3)
• Bildbasierte Modellierung und Rendering– Summierung von „Basisbildern“– Einfangen von realen Beleuchtungs-
bedingungen
5
Motivation (1)
• Methode, um Gesichter zu rendern, und zwar unter beliebigem Verändern– der Beleuchtung– „viewing direction“
• Basierend auf Photoaufnahmen• Linearkombinationen von Grundbildern• Extrapolation von „reflectance fields“
6
Reflectance Field
• R = R(Ri;Rr) = R(ui, vi, i, i; ur, vr, r, r)
(i, i)
(r, r)
(ui, vi)(ur, vr)
(a) (b)
(ur, vr)
(r, r)
(i, i)
„non local reflectance fields“
7
Re-illuminating Faces (1)
• Überblick– Akquisitionsprozess– Aufbau der „reflectance function“– Rendern des Gesichts von den originalen
„viewpoints“ aus, aber unter beliebiger neuer Form der Beleuchtung
8
Re-illuminating Faces (2)
• „The Light Stage“– 64 x 32 Bilder
: Azimut : Inklination
• „Reflectance Function“ Rxy(,)– für jeden Pixelort (x,y)– vom Pixel reflektierter Strahl bei
Beleuchtung aus Richtung (,)
9
Re-illuminating Faces (3)
• Eigentliche Berechnung eines Bildes unter neuer Beleuchtung
• Annahme: Weisses Licht der Original-lichtquelle
• Mit zusätzliche Normalisierung
• Berechnung in JPEG möglich
,
),(),(),( ixy LRyxL
,
),(),(),(),( ALRyxL ixy
10
Changing the Viewpoint (1)
• Überblick– Extrapolation von kompleten „reflectance
fields“– Ermöglicht Rendern des Gesichts von
beliebigem „viewpoint“ aus und unter beliebiger Beleuchtung
– Reflexionsmodell der Haut
11
Changing the Viewpoint (2)
• Reflektiertes Licht kann zerlegt werden in:– Eine spekulare Komponente– Eine nicht-Lambertsche diffuse
Komponente– Experimente:
• Mit Polarisationsfiltern• Monte-Carlo-Simulation
12
Changing the Viewpoint (3)
• Separierung in spekulare und „Subsurface“ Komponente– Polarisationsansatz zu aufwendig– Farbraum-Analyse-Technik
(nach Y.Sato und K. Ikeuchi)– RGB-Wert einer „reflectance function“
13
Changing the Viewpoint (4)
• Output dieser Separation:– Diffuse „reflectance function“ D(,)– Spekulare „reflectance function“ S (,)– Oberflächennormale
• D und S können noch transformiert werden, so dass sie unabhängig von der originalen „viewing direction werden“
14
Changing the Viewpoint (5)
Reflectance
function
Spekularer Teil Diffuser Teil
15
Changing the Viewpoint (6)
Auf neuen „viewpoint“ transformierte
spekulare Komponente
+Geshifteter diffuser
Teil
Neue „reflectance function“
Fotografierte, „richtige“ reflectance
function
16
Changing the Viewpoint (7)
• Berücksichtigen von Schatten:– Ab einer bestimmten
Helligkeit ist Schatten
– Keine Glanzpunkte innerhalb von Schattenzonen
17
Resultate (1)
• Demoprogramm• Vergleich mit:
– „Reflection from Layered Surfaces due to Subsurface Scattering“ von Pat Hanrahan und Wolfgang Krueger
• Monte Carlo Simulation
18
Beispiel aus „Reflection from Layered Surfaces due to Subsurface Scattering“
19
Beurteilung
• Sehr realistische Resultate• Simple Ausrüstung• Nur statisch• Rechenaufwendig• Mühsames Aufnahmeprozedere• keine spezielle Datenstruktur
+
-
20
ENDE
21
Jetzt kommen noch die Overhead-Folien
22
23
24
Von Stirn
Reflectance FunctionsBeispiele von einzelnenPunkten des Kopfes
Von Wange
25
light map A normalizedlight map
normalizedlight map
reflectancefunction
lighting product
lighting productrendered
pixel
26
27
28
29
„normales“ Photo
„diffus“horizontaler Polarisierer
auf Kamera
„spekulares“ hervorgehogenvertikaler Polarisierer
auf Kamera
Licht ist vertikal polarisiert
-
30
„diffus“Beobachtung:Entsätigung
akzentuiert spekularBeobachtung: für grosse
stärkere Spekularität
31
32