nonverbales verhalten: computeranimation körperanimation€¦ · animation requires fast...

4
1 Nonverbales Verhalten: Körperanimation Stefan Kopp [email protected] University of Bielefeld, Germany Seminar Embodied Conversationl Agents 5.7.2001 Embodied Conversationl Agents Körperanimation Einführung „To animate means to give life to“ Illusion der Bewegung durch sukzessive Darstellung einzelner Zeichnungen Perzeption: Auge/Gehirn interpretieren schnell aufeinanderfolgende Zustandsänderungen als Bewegung Rate variiert je nach Bedingungen (Licht, Distanz, etc.) Fernsehen: 30 Hz playback rate (Wiedergabegeschwindigkeit) vs. sampling rate (Update-Geschwindigkeit) Embodied Conversationl Agents Körperanimation Principles of Animation (Lasseter, 1987) Timing! Slow in & slow out Squash & stretch Secondary actions Posing (balance, symmetry) & Staging Basic methods: Straight ahead vs. pose to pose Anticipation & overshoot Moving holds Follow-through and overlapping actions Exaggeration & appeal Embodied Conversationl Agents Körperanimation Computeranimation Computer animation = modeling +motion control + rendering Embodied Conversationl Agents Körperanimation Bewegungsgenerierung Hohe Komplexität von Objekten und Bewegungen Repräsentation vs. Generierung Verschiedene Abstraktionsebenen: Direkte Spezifikation aller Bewegungs- parameter (z.B. Mensch >240 DOF) Allgemeine, abstrakte Bewegungs- spezifikation & automatische Generierung der low-level Parameter Control level hierarchies Einfachheit der Beschreibung Natürlichkeit der Bewegungen Embodied Conversationl Agents Körperanimation „Diashow“ Datenbank von Bildern, Präsentation von Bildfolgen Eigentlich keine Animation! PPP und Folgeprojekte (DFKI) http://www.dfki.uni-sb.de/imedia/ppp/, Cyberella:

Upload: others

Post on 18-Oct-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Nonverbales Verhalten: Computeranimation Körperanimation€¦ · Animation Requires fast transformations, e.g., based on cross-sections May be calculated using metabals, FFD, splines

1

Nonverbales Verhalten: Körperanimation

Stefan [email protected]

University of Bielefeld, Germany

Seminar Embodied Conversationl Agents

5.7.2001

Embodied Conversationl Agents

Körperanimation

Einführung

• „To animate means to give life to“• Illusion der Bewegung durch sukzessive Darstellung

einzelner Zeichnungen• Perzeption:

� Auge/Gehirn interpretieren schnell aufeinanderfolgende Zustandsänderungen als Bewegung

� Rate variiert je nach Bedingungen (Licht, Distanz, etc.) � Fernsehen: 30 Hz� playback rate (Wiedergabegeschwindigkeit) vs.

sampling rate (Update-Geschwindigkeit)

Embodied Conversationl Agents

Körperanimation

Principles of Animation (Lasseter, 1987)

• Timing!• Slow in & slow out• Squash & stretch• Secondary actions• Posing (balance, symmetry) &

Staging• Basic methods: Straight ahead vs.

pose to pose• Anticipation & overshoot• Moving holds• Follow-through and

overlapping actions• Exaggeration & appeal

Embodied Conversationl Agents

Körperanimation

Computeranimation

Computer animation =

modeling +motion control + rendering

Embodied Conversationl Agents

Körperanimation

Bewegungsgenerierung

• Hohe Komplexität von Objekten und Bewegungen • Repräsentation vs. Generierung

�Verschiedene Abstraktionsebenen:

Direkte Spezifikation aller Bewegungs-parameter (z.B. Mensch >240 DOF)

Allgemeine, abstrakte Bewegungs-spezifikation & automatische Generierung der low-level Parameter

�Control level hierarchies

Einfachheit derBeschreibung

Natürlichkeit derBewegungen

Embodied Conversationl Agents

Körperanimation

„Diashow“

• Datenbank von Bildern, Präsentation von Bildfolgen• Eigentlich keine Animation!

• PPP und Folgeprojekte (DFKI)http://www.dfki.uni-sb.de/imedia/ppp/,Cyberella:

Page 2: Nonverbales Verhalten: Computeranimation Körperanimation€¦ · Animation Requires fast transformations, e.g., based on cross-sections May be calculated using metabals, FFD, splines

2

Embodied Conversationl Agents

Körperanimation

Repräsentationale Animation

• Objektgeometrie direkt durch Animation verändert

Körpermodellierung

➩➪

Bewegungsgenerierung

• Soft object animation� Animierte Deformationen� Gesichtsanimation, „cloth animation“, etc.

• Skeleton animation

Embodied Conversationl Agents

Körperanimation

Skeletal animation:Körpermodellierung

• Kinematisches Skelett:Hierarchie von Gelenken („joints“), verbunden durch starre Segmente („links“)

• Zusätzliche Kontrollmethoden („tissue simulation“, „cloth animation“, etc.), basierend auf kinematischem Skelett

Embodied Conversationl Agents

Körperanimation

H-Anim

• www.hanim.org

Embodied Conversationl Agents

Körperanimation

Skeletal animation: Körpermodellierung

• Anthropomorph und anthropometrisch

• Constraints, z.B. Freiheitsgrade, Gelenkwinkelgrenzen

Embodied Conversationl Agents

Körperanimation

Skeletal animation: Bewegungsgenerierung

• Animation durch Gelenkwinkeländerung• Redundanz

�„Bernstein problem“

• Vorwärts- und inverse Kinematik

�Verschiedene Kontrollvariablen (Kartesische Koord., Gelenkwinkel, „elbow swivel“, etc.)

R3 Rn

FK

IK

Embodied Conversationl Agents

Körperanimation

Keyframing

• Parametrisches Keyframing:Automatische Generierung der „in-betweens“ für gegebene Menge von „keyframes“

• Interpolation:� Welche Parameter?

Meist Gelenkwinkel� Linear vs. Spline-basiert

Page 3: Nonverbales Verhalten: Computeranimation Körperanimation€¦ · Animation Requires fast transformations, e.g., based on cross-sections May be calculated using metabals, FFD, splines

3

Embodied Conversationl Agents

Körperanimation

Keyframing

• Nachteile der Interpolation im Parameterraum:

Evtl. ungewollte Resultate, hohe Anzahl Keyframes notwendig

• „Velocity curves“, z.B. für „Ease-in/ out“

• „Arclength parametrization“

Embodied Conversationl Agents

Körperanimation

Performance animation

• Motion capture:„Measuring and recording direct movements of an actor for immediate or delayed analysis and playback.“

• Aufnahme von Bewegungsdaten...

� Mechanisch: data gloves/suites, etc.� Optisch: mind. 2 Kameras,

reflektierende Marker� Elektromagnetisch

Embodied Conversationl Agents

Körperanimation

Performance animation

• ...und Übetragung auf kinematisches Skelett• Sehr natürlich, aber Mangel an Flexibilität!

Embodied Conversationl Agents

Körperanimation

Performance animation: Alle tun es...

Embodied Conversationl Agents

Körperanimation

Prozedurale Animation

• Motion control durch die Abarbeitung von Prozeduren/ Algorithmen, d.h. explizite Definition der Kontrollparameter in Abhängigkeit von der Zeit

� Model-based animation: Spezielle Prozeduren zur Modellierung und Generierung bestimmter Bewegungen; detailliertes Wissen über Zielbewegung!

� Physics-based animation: Physikalische Simulation• Nonconstraint (Newton, Lagrange, etc.) vs. Constraint-basierte

Methoden („constraint forces“, „spacetime constraints“)• Forward & inverse dynamics• Generation of secondary movements

� Script-based animation: Abarbeitung/Interpretation von Skripten

Embodied Conversationl Agents

Körperanimation

Echtzeitanforderung!

Only a polygonal shape with possible texture may be applied

Individual hairs possibleHair

Texture mappingModel with wrinklesSkin

Texture mappingCalculated using mechanical models

Clothes

Simplified models should be used; limitations on the facial deformations

Complex models may be used including muscles with finite elements

Facial Animation

Dynamic models may be too CPU intensiveAny model/method may be used: motion capture, kinematics, dynamics, biomechanics

Locomotion

Real-time processing may prevent using expensive methods based on inverse dynamics or control theory

Any method may be usedSkeletal Animation

Requires fast transformations, e.g., based on cross-sections

May be calculated using metaballs, FFD, splines

Deformations

Limitations on the number of polygonsNo limitations on complexitySurface Modeling

Real-timeFrame-by-frame

(Magnenat-Thalmann & Thalmann, 1998)

Page 4: Nonverbales Verhalten: Computeranimation Körperanimation€¦ · Animation Requires fast transformations, e.g., based on cross-sections May be calculated using metabals, FFD, splines

4

Embodied Conversationl Agents

Körperanimation

Gestenanimation

• Flexibili tät, Akkuratheit und Natürlichkeit!

• Zwei Möglichkeiten für „skeleton motion control“:� Vordefinierte Bewegung aus Datenbank holen� Bewegung d ynamisch berechnen

• Integration verschiedener Techniken notwendig!� Hand- vs. Armbewegung� Gestenstroke vs. Retraction� Emblematische vs. ikonische Gesten

• Nötig: Detailliertes Wissen über menschliche Gestik und gutes Modell

Embodied Conversationl Agents

Körperanimation

Gestenanimation

• Ausgangspunkt: High-level, parametrisierbareBeschreibungen von Form und Zeit der Geste

� Script-based animations, z.B. PaT-Nets (Badler et al. 1993)� Merkmalsbasiert mittels eines Gestennotationssystems

(Calvert et al., 1982; Lebourque & Gibet, 1999; Kopp & Wachsmuth, 2000)

Embodied Conversationl Agents

Körperanimation

Gestenanimation

• Mehrschrittiger Planungsprozess

• Koordinierter Einsatz versch. Techniken

Embodied Conversationl Agents

Körperanimation

Menschliche Bewegungen

Embodied Conversationl Agents

Körperanimation

Trajektorienformierung...

...und Modulierung

Embodied Conversationl Agents

Körperanimation

(inst Max Artikulierter-Kommunikator)

www.techfak.uni-bielefeld.de/techfak/persons/skopp/max.html