vorlesung 1: einführung · m. giese: computeranimation und lernmethoden in computergrafik 23...

M. Giese: Computeranimation und Lernmethoden in Computergrafik 23 November 2005

Vorlesung 1:Einführung

Martin Giese

[email protected]

Computeranimation und Lernmethoden in der Computergrafik


Parent, R. (2002). Computer Animation. Morgan Kaufmann Publishers, New York.

Watt, A. (1999). 3D-Computergrafik. Pearson Studium, München.

Watt, A. & Watt, M. (1992). Advanced Animation and Rendering Techniques. Addison-Wesley, New York.

Hastie, T., Tibshirani, R. & Friedman, J. (2001). The Elements of Statistical Learning. Springer, Berlin.

Empfehlenswerte Bücher


Vorlesungs-Ankündigung …


Vorlesungs-Webseite

http://www.uni-tuebingen.de/uni/knv/arl/courses/Course-CAL.htm


Übersicht

Übersicht über Computer AnimationSpezielle Themen dieser VorlesungGrundkonzepte des MaschinenlernensThemen + Termine der folgendenVorlesungenBeispiele aus den folgenden Vorlesungen


I. Übersicht: Computeranimation


Definition: Computer Animation

Hohe Relevanz: Filme, Werbung, VR

Meilenstein: Walt Disney Zeichentrickfilme

Früher Kinderfilme und Spezialeffekte; heute z.T. ganze

Filme oder Teile von Filmszenen durch Animationen

ersetzt (z.B. Gollum, Polar Express, …)

Jurassic Park Wendepunkt: Animation breit in der

Filmindustrie etabliert

Kernproblem: Simulation realistischer Bewegungen


Teilgebiete der Computer AnimationAnimation starrer Körper (“fliegendes Logo”, Simulation von Kamerabewegungen, usw.)

Animation gegliederter (artikulierter) Strukturen

Animation von deformierbaren Objekten und Gesichtern

Dynamische Simulation (physikalische Animation)

Partikelanimation (große Zahlen bewegter Körper, Feuerwerk, Wasser, usw.)

Verhaltensanimation / Verhaltensskripte (reaktivekontextabhängige von Bewegung; Game Engines)


Teilgebiete der Computer AnimationAnimation starrer Körper (“fliegendes Logo”, Simulation von Kamerabewegungen, usw.)

Animation gegliederter (artikulierter) Strukturen

Animation von deformierbaren Objekten und Gesichtern

Dynamische Simulation (physikalische Animation)

Partikelanimation (große Zahlen bewegter Körper, Feuerwerk, Wasser, usw.)

Verhaltensanimation / Verhaltensskripte (reaktivekontextabhängige von Bewegung; Game Engines)

= behandelt in dieser Vorlesung


Geschichte der Computer AnimationAb 1880 erste Demos mit bewegten Bildern

1880 Muybridge analysiert Bewegungen

1893 Edison entwickelt Kinematoskop (nur ein Zuschauer)

1894 L. Lumier entwickelt Kinematograph (mit Schirm)

1900 Blackton: ‘Enchanted Drawing’ (erste Animation)

1914 ‘Gertie der Dinosaurier’ (sehr bekannte frühe Animation)

1927 Walt Disney: Oswald, der glückliche Hase (erste kommerziellerfolgreiche Animation)

1927 Walt Disney kreiert Mikey Mouse

1927 Skeleton Dance (Disney): erste Synchronisation von Animation mit Musik


Geschichte der Computer Animation

Edison (1917) Gertie the Dinosour (1921)


Geschichte der Computer Animation1963 I. Sutherland (MIT) erste interaktive Animation

1969 Begründung der SIGGRAPH

1974 F. Parke endtwickelt Talking Face

1975 N. Badler entwickelt Jack: Software für Bewegung animierterKörper von Pose zu pose mit Randbedingungen

1980 Gründung des M.I.T. Media-labs

1986 Luxo Jr (Pixar) nominiert für Oscar

1986 Young Sherlock Holmes (ILM) erste Mischung von Animation und echten Szenen

1988 Willow (Lucas) erste Anwendung von Morphing


Geschichte der Computer Animation1991 M. Jackson’s Video Black or White macht Morphing als Technik

Populär

1993 Jurassic Park (ILM) integration von Dinosauriern in echte Szenen

1994 Forrest Gump (ILM) mixt altes Fimmaterial mit neuen Szenen

1996 Star Wars Episode I: Kombination von 66 anmierten Figuren mit echten Schauspielern; erster synthetischer Schauspieler

1999 Toy Story 2 (Pixar)

2001 Neue Oscar-Kategorie: Best Animated Feature Film Award.

2003 Oscar für Herr der Ringe

2004 Oscar für Findet Nemo


II. Grundkonzepte des Maschinenlernens


Maschinenlernen

Definition:

Klasse von Algorithmen zur Extraktion von Parametern, Zusammenhängen oder

Strukturen aus Datensätzen.

xx

xx

x

x xx x

x

xx

x

x x

x

Trainingsdatensatz Testdatensatz

Generalisierung


Maschinenlernen

Typische LernproblemeÜberwachtes Lernen (supervised learning)

Daten: Input-Output-Paare

Ziel: Lernen der Beziehung

zwischen x und y

Unüberwachtes Lernen (unsupervised learning)Daten: Nur InputsZiel: Modell für x lernen

(z.B. zur Vorhersage)x

x y“Lerner”

“Lerner”


Maschinenlernen

Typische Lernprobleme (Forts.)Verstärkungslernen (reinforcement learning)

Daten: Inputs xn, Belohnungen rn

Ziel: Lernen des optimalen

Verhaltens an bei gegebenen xn

xn an“Lerner”

rn

Belohnung / Bestrafung

Aktion


Maschinenlernen

Anwendungen: Überwachtes LernenZusamenhänge modellieren

Klassifizierung (y diskret) und Regression

(y kontinuierlich)

Prädiktion


Maschinenlernen

Anwendungen: Unüberwachtes LernenDimensionalitätsreduktion

Clustering

Unbeobachtete Quellenvariablen oder Ursachen

modellieren

Ausreisserelimination

Modellierung der Wahrscheinlichkeits-

dichtefunktion von Daten


Maschinenlernen

Beziehung mit Prädiktion und Modellierung:Überwachtes Lernen

Vorhersage von y

Gegebenen: x

Gesucht: Modell für Zusammenhang

Unüberwachtes LernenOptimale Vorhersagevon x durch “internes”generatives Modell

x y

x

)(ˆ xfy =

.Zufallsvar ˆˆ

2,1

2211

ξξξ aax +=

xaaxf 10 ˆˆ)(ˆ +=


Maschinenlernen

Inferenz:

Schätzen von unbeobachtbaren Variablen oderParametern aus Beispieldaten.


Maschinenlernen

Variablentypen

Binär (z.B. Detektion: “da” vs. “nicht da”)kategorial (z.B. Gesichtserkennung: “Bush”, “Monroe”, …)Kontinuierlich (z.B. Objektorientierung)Univariat (z.B. Helligkeit) vs. multivariat(z.B. RGB, oder alle Pixel eines Bildfensters)


Maschinenlernen

Beispiele

Klassische SignaldetektionZweiklassen-KlassifikationMultiklassen-KlassifikationRegressionClusteranalyseHauptkomponentenanalyse


Maschinenlernen

Beispiele


Radar

t

?

Überwachtes Lernenx,y univariatx: kontinuierlich; y: binär

y

x


Maschinenlernen

Beispiele


Geschlechtserkennung

Überwachtes Lernenx: multivariat, kontinuierlichy: binär

x: (R,G,B) pixely: Geschlecht: m / w

Moghaddam & Yang (1998)


Maschinenlernen

Beispiele


Gesichtererkennung

“H. Bogart”

Überwachtes Lernenx: multivariat, kontinuierl.(Pixel-Maps)y: diskret


Maschinenlernen

Beispiele


Regression

Überwachtes Lernenx: kontinuierlichy: kontinuierlich

xx

xx

x

x x

x

x

y


Maschinenlernen

Beispiele


Bildsegmentierung

Unüberwachtes Lernenx: multivariat, kontinuierl.(Pixel-Map)

xx

xx

xx xx

x1=R

x2=G x3=Bx

xx

x


Maschinenlernen

Beispiele


“Eigen faces”

Unüberwachtes Lernenx: multivariat, kontinuierl.(Pixel-Maps)“Eigengesichter”orthogonal

Linear-kombination


Warum Lernen in der Computergrafik?

Komplexe visuelle Objekteschwer modellierbarHoher Aufwand für ModellierungFlexibiliätDatenkompressionExtraktion / Modellierung von intrinsischen Dimensionen(z.B. männlich / weiblich)

T. Vetter (Freiburg)


Geschichte von Lernansätzen

Spracherkennung:1960…1980: zahlreiche Ansätze1980: Lernansätze (HMMs) werden populär>1990: HMMs sind Standardmethode

Computervision:vor 1990: einfache Lermethoden für MustererkennungAb 1990: Systematische Übertragung von Lernansätzenauf Visionprobleme (Klassifikatoren, Kalman-Filter, HMMs, Neuronale Netze)

Computergrafik:Ende der 90er: Lernmethoden werden zunehmend populärAb 2001: Literatur in Computeranimation dominiert durchAnsätze die auf MOCAP-Daten (Lernen) beruhen

(s.a. Freeman, 2001)


Computeranimation und Computergrafik

Lernansätze relevant z.B. für:

Textursynthese, Simulation von MaterialienModellierung von komplexen Formen + GesichternModellierung von Bewegungstexturen (Wasser, Rauch, usw.) Modellierung von KörperbewegungenModellierung nichtrigider Bewegung (z.B. Gesicht)Unterstützung von BewegungstrackingVideo-Sprach-Systeme


III. Übersicht der Vorlesung


3. Animation mit dynamischen Modellen(Kinematik, inverse Kinematik, Differentialgleichungen, Simulation einfacher Bewegungen, Simulation von Laufen, Anwendungen)

4. Bewegungsprimitive und Beziehungen zur Robotik(Biologische Motivation, heuristische Ansätze, Anwendungenin der Animation, Anwendungen in der Robotik)

09.12.05

1. Einführung (Übersicht, Termine, Prüfungen)

2. Klassische Keyframe-Animation (Klassische Ansätze, Interpolationsmethoden, Splines, Quaternionen)

02.12.05

Zeitplan (vorläufig …)


5. Interpolations- und Morphing-Modelle(Korrespondenzberechnung, Morphing, Morphing-Modelle, Anwendungen)

6. Grundlagen von Motion Capture (Basis-Techniken, Hardware, Lösung von Korrespondenzproblemen, Datenfilterung)

Weihnachtsferien ------------

16.12.05


7. Einfache Interpolationsmethoden und Retargetting(Motion-Morphing, Editiermethoden, Methoden imFrequenzraum, Spline-Interpolation, Retargetting)

8. Raumzeitliche Morphingmodelle (Raumzeit-Korrespondenz, Linearkombinationsmodelle, Segementierung von Bewegungsprimitiven, Analyseanwendungen, Anwedungen in der Animation)

13.01.06


11. Kombination von Motion-Capture mit physikali-schen Animationsmethoden (Kombination von Dynmiksimulation mit MOCAP, dynamische Stabilitäts-kriterien, ZMP)

12. Lernen von Bewegungskomponenten und FacialAction Units (Unüberwachte Lernmethoden, ICA, Animation basierend auf gelernten Komponenten, Synergien)

27.11.06

9. Dictionary-Methoden und Suchealgorithmen fürMocap-Datenbasen (Identifikation von Bewegungs-primitiven, Indizierung von Datenbasen, Synchronisation mit externen Rhythmen)

10. Hidden-Markov-Modelle und stochastischeAnimationsmethoden (Theoretische Grundlagen, Raumzeit-Texturen, ‘Style-machines’)

20.01.06



13. Psychophysische Evaluation von Animations-methoden (Einfache Psychophysische Messmethoden, Signaldetektionstheorie, Anwendungsbeispiele)

14. Diskussion / Klärung von Fragen

03.02.06



Einige Beispielanwendungenaus der Vorlesung …


Beispiel 1: Imitationslernen von komplexen Bewegungen

Schaal, Ijspeert& Billard (2003)

Lernen von Bewegungen durch Imitation eines VormachersZerlegung in einfachere Einheiten(Bewegungsprimitive)Problem: Parametrisierung dieser EinheitenDemo: Lernen komplexer Bewegungen, z.B. Tennisaufschläge


Beispiel 2: Lernen von Mannigfaltigkeiten

Originaldaten

Geschätzte Mannigfaltigkeitenniedrigdimensionalhochdimensional

AnwendungenModellierung: AbbildungRN → Rd N >> dApproximation durch LC der Nachbarn

Gewichte übernommenLokale ≠ globale Ählichkeit

Abbildung

Basisbewegungen von Händekreisen”

“Mundformraum”

Roweis & Saul (2000) Jenkins & Mataric(2003)


Beispiel 3: Synthese von Gesichtern3D Laserscans von ca. 200 Gesichtern3D KorrespondenzberechnungMorphable model:

Linearkombination derKorrespondenzfelder3D-Warping mit kombinierten 3D-Shifts

Korrespondenz

Beymer (1995)

Blanz & Vetter (1999)


Beispiel 4: Synthese von BewegungsstilenSynthese + Analyse von BewegungsstilenLinearkombination von BeispielbewegungenRauzeitliche Korrespondenz

Synthese verschiedener Skill-Level

Gangstile

Giese & Poggio (2000) Ilg & Giese (2002)


Beispiel 5: Synthese von BewegungsstilenSynthese + Analyse von BewegungsstilenLinearkombination von BeispielbewegungenRauzeitliche KorrespondenzÜbertreibungen von Bewegungsstilen

Übertreibung: Gesichtsbewegungen

Übertreibung: Gangstile

ÜbertreibungOriginal

Giese, Knappmeyer & Bülthoff (2002)Giese & Poggio (2000)


Beispiel 6: 3D-Struktur aus Video

Nichtrigide 3D-Struktur extrahiertaus 2D VideosequenzFaktorisierung von Struktur und BewegungOptischer Fluss in niedrigdimensionalem Unterraum→ 3D-Position von Oberflächenelementen kannbestimmt werdenLösung durch SVD

Brand (2001)


Beispiel 7: Photorealistische AvatareExtrem realistisch (“Touringtest”)Automatische Übersetzung von Phonemen (Sprache) in Viseme(Computeranimation)5-8 s Video reichen für TrainingNur Mundregion animiertAlgorithmus: 2D Morphing Modelle für Bilder und opt. FlussAutomatische Extraktion von ~50 informativen KeyframesOptischer Fluss berechnet durchAddition der Flusses zwischenFramepaaren


Beispiel 7: Photorealistische Avatare

Ezzatt, Geiger & Poggio (2003)


Wichtige Punkte (bitte behalten !)

Themen der ComputeranimationKlassifizierung verschiedenerLernmethodenGründe für Relevanz von Lernen inComputergrafikTraue keinem Video ………

vorlesung 1: einführung · m. giese: computeranimation und lernmethoden in computergrafik 23...

Documents