13 février 2003 communication visuo-gestuelle langue des signes analyse dimage patrice dalle irit -...

13 février 2003

Communication Visuo-Communication Visuo-GestuelleGestuelle

Langue des SignesLangue des Signes

Analyse d’ImageAnalyse d’Image

Patrice DALLEPatrice DALLE

IRIT - TCIIRIT - TCI

13 février 2003 IRIT-TCI-CVG 2

IRIT-TCI IRIT-TCI Traitement et Compréhension Traitement et Compréhension

d’Imagesd’Images Vision par ordinateurVision par ordinateur

Stéréovision, calibrage, shape from shadingStéréovision, calibrage, shape from shading Géométrie, Optimisation, Statistiques Géométrie, Optimisation, Statistiques

robustesrobustes InterprétationInterprétation

Environnement de conception, Systèmes, Environnement de conception, Systèmes, ReconnaissanceReconnaissance

Modélisation du TI, Autonomie, Interaction, Modélisation du TI, Autonomie, Interaction, Incertain, ÉvolutionIncertain, Évolution

Communication Visuo-GestuelleCommunication Visuo-Gestuelle


CommunicationCommunication VisuoVisuo--GestuelleGestuelle

Analyse par un système de vision

CVG



Analyse

- Attitudes- Expressions- Mouvements- Gestes- Signes

par un système de vision

des émis par une personne

CVG



Analyse




dans un but de communication

avec d’autres personnesavec une machine

CVG



Analyse




dans un but de communication

avec d’autres personnesavec une machine

Communication ≠ Interaction

CVG


CVG : pourquoi ? CVG : pourquoi ? (1/3)(1/3)

Etudier les Etudier les utilisations de la LSutilisations de la LSFavoriser leur développementFavoriser leur développement Communication en LSCommunication en LS

Éducation => apprendre en LS, enseigner la LSÉducation => apprendre en LS, enseigner la LS Formation => néologismesFormation => néologismes Vie sociale et professionnelle => outils de communication Vie sociale et professionnelle => outils de communication

Développer des services expérimentauxDévelopper des services expérimentaux => => lieux d’observation de ces situationslieux d’observation de ces situations

Institut Institut IRISIRIS Département E&RDépartement E&R

CVG



FinalitéFinalité : Communication, Langue des Signes : Communication, Langue des Signes OpportunitésOpportunités

Équipe TCI Équipe TCI (synergie, masse critique)(synergie, masse critique) Vision , mouvementVision , mouvement CompréhensionCompréhension

IRIT IRIT (coopérations)(coopérations) Image (analyse et synthèse)Image (analyse et synthèse) CHM, analyse de la vidéo, indexationCHM, analyse de la vidéo, indexation TALN (spatial), DialogueTALN (spatial), Dialogue

ToulouseToulouse LSF : fortes compétences (IRIS, Interpretis, UTM, LSF : fortes compétences (IRIS, Interpretis, UTM,

WebSourd,…)WebSourd,…) LAAS (geste)LAAS (geste)

CVG



ProblématiqueProblématique Thème émergent en analyse d’imagesThème émergent en analyse d’images Cadre d’étude pertinentCadre d’étude pertinent

Scientifique : 3D, mouvement, compréhension, sensScientifique : 3D, mouvement, compréhension, sens Applications : Applications :

CHM (interaction, commande, observation de l’utilisateur, CHM (interaction, commande, observation de l’utilisateur, couplage analyse-synthèse) couplage analyse-synthèse)

LSF, LSF, Linguistique : étude des gestes co-verbauxLinguistique : étude des gestes co-verbaux

EnseignementEnseignement DESS SI : Systèmes Intelligents (vision et interaction)DESS SI : Systèmes Intelligents (vision et interaction) DESS IIN : Ingénierie de l’Image NumériqueDESS IIN : Ingénierie de l’Image Numérique

IRR : Intelligence artificielle, Reconnaissance des IRR : Intelligence artificielle, Reconnaissance des formes , Robotique formes , Robotique

CVG


CVG et analyse d’imageCVG et analyse d’image

AnalyseAnalyse Détection : silhouette, visage, mouvementDétection : silhouette, visage, mouvement SegmentationSegmentation

Composants du visage, du corpsComposants du visage, du corps MouvementMouvement

ReconnaissanceReconnaissance Expressions (visage)Expressions (visage) GestesGestes

InterprétationInterprétation Mimiques facialesMimiques faciales Gestes co-verbauxGestes co-verbaux Signes (de la LSF)Signes (de la LSF)

CVG


Etude de la CVG : objectifsEtude de la CVG : objectifs

LinguistiqueLinguistique Etude des gestes co-verbaux, de la langue des signesEtude des gestes co-verbaux, de la langue des signes Etudes par la langue des signesEtudes par la langue des signes

TranscriptionTranscription Formalisme pour analyser, mémoriser ou générerFormalisme pour analyser, mémoriser ou générer

Ecriture de la LSFEcriture de la LSF Traduction LSF Traduction LSF français français Communication à distanceCommunication à distance

Transmission, codage, compressionTransmission, codage, compression Génération, personnage virtuel ou avatar signantGénération, personnage virtuel ou avatar signant

MémorisationMémorisation Stockage, indexation, interrogation, restitutionStockage, indexation, interrogation, restitution

CVG


Linguistique Linguistique Informatique Informatiqueapports croisésapports croisés

LinguistiqueLinguistique Primitives, niveaux d’analysePrimitives, niveaux d’analyse Démarche d’analyse ou de production d’énoncésDémarche d’analyse ou de production d’énoncés

InformatiqueInformatique Modélisation de la syntaxe et de la sémantiqueModélisation de la syntaxe et de la sémantique

Méthodes formellesMéthodes formelles Représentations pour rendre compte ou pour générerReprésentations pour rendre compte ou pour générer Modélisation du mouvement et des gestesModélisation du mouvement et des gestes

EnvironnementsEnvironnements EditeursEditeurs Outils de manipulation, stockage, interrogationOutils de manipulation, stockage, interrogation

Analyse : LS ( vidéo, direct) Analyse : LS ( vidéo, direct) représentation représentation Génération : représentation Génération : représentation personnage de synthèse personnage de synthèse

CVG


ProjetsProjets

ActionsActions ACI : Action Cognitique Incitative ACI : Action Cognitique Incitative (ministère de la Recherche)(ministère de la Recherche) AS : Action Spécifique STIC AS : Action Spécifique STIC

STIC STIC domaine IHC domaine IHC RTP RTP AS, JEMSTIC, Equipe projet AS, JEMSTIC, Equipe projet (CNRS)(CNRS)

Langue des Signes Langue des Signes ACI LS-COLIN ACI LS-COLIN (Cuxac)(Cuxac) : LS analyseur de langues : LS analyseur de langues (2000-(2000-

2002)2002) AS STIC AS STIC (Gibet,Toulotte)(Gibet,Toulotte) : Communication en LS : Communication en LS (2003-(2003-

2004)2004) ACI ACI (Garcia-Boutet)(Garcia-Boutet) : LSF - Formes graphiques : LSF - Formes graphiques (2003-2005)(2003-2005)

Analyse des gestes co-verbauxAnalyse des gestes co-verbaux AS STIC AS STIC (Dalle, Cuxac)(Dalle, Cuxac) : interaction gestuelle : interaction gestuelle (2002-2003)(2002-2003)

Projets


Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique

(Action COGNITIQUE)

- Sciences du Langage, Université Paris 8 (linguistique de la LSF)- CAMS-LaLIC, Université Paris 4 (linguistique cognitive)- IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image)- LIMSI, CNRS, Orsay (informatique)

Langues des signes : Analyseurs privilégiés de la faculté de langage,

Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image)

autour de l'iconicité et de l'utilisation de l'espace.

Projet-1


LS-COLINLS-COLIN

L'iconicité des messages fonctionne comme analyseur L'iconicité des messages fonctionne comme analyseur cognitif. cognitif.

affiner l'inventaire des structures de "grande iconicité" affiner l'inventaire des structures de "grande iconicité" modéliser l’émergence du vocabulaire standard à partir du modéliser l’émergence du vocabulaire standard à partir du

processus d'iconicisation initial; processus d'iconicisation initial; vérifier des hypothèses des grammaires cognitives : l'expression vérifier des hypothèses des grammaires cognitives : l'expression

complémentaire des primitives spatiales et non spatiales issues des complémentaire des primitives spatiales et non spatiales issues des représentations sémantico-cognitives dans les énoncés en LS.représentations sémantico-cognitives dans les énoncés en LS.

Travaux communsTravaux communs Identification des primitives signifiantes pour linguistes et Identification des primitives signifiantes pour linguistes et

informaticiensinformaticiens Structuration, segmentationStructuration, segmentation Spécification d’un outil de transcription Spécification d’un outil de transcription

Projet-1


LS-COLIN : Travaux des LS-COLIN : Travaux des linguisteslinguistes

Thèmes de Thèmes de publicationspublications issues de l’action issues de l’action(linguistes)(linguistes)

Modèle d’une grammaire iconique de la LSFModèle d’une grammaire iconique de la LSF Structures de grande iconicitéStructures de grande iconicité Opérations de transfertOpérations de transfert

Conséquences cognitives des transferts en LS

Classification des configurations manuelles Classification des configurations manuelles pronomiales en LSFpronomiales en LSF

La construction de références temporelles dans les Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant

Projet-1


Projet-1


Corpus LS-COLINCorpus LS-COLIN

Projet-1


Exploitation du corpus : « histoire du cheval » (I. Fusellier)

Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, …

Projet-1


LS-COLIN : Editeur de partitionsLS-COLIN : Editeur de partitions

Projet-1


Edition assistée par Traitement d ’ImagesEdition assistée par Traitement d ’Images

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction de l’information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation

de l’information extraite

TrajectoiresContactBalancementPointage …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Projet-1


AS Interaction gestuelleAS Interaction gestuelle(RTP Dialogue et Communication)(RTP Dialogue et Communication)

Etude et Développement

de la communication Homme-Machine

visuo-gestuelle

Patrice DALLE Patrice DALLE

IRIT IRIT

UMR 5505- Toulouse IIIUMR 5505- Toulouse III

Christian CUXAC Christian CUXAC

Syntaxe formelle et typologie des Syntaxe formelle et typologie des langueslangues

UMR 7023 - Paris VIIIUMR 7023 - Paris VIII

Projet-2


AS-IG : MotivationAS-IG : Motivation

Intérêt : Intérêt : Le geste permet une interaction naturelleLe geste permet une interaction naturelle

ConstatConstat Le geste est peu utilisé dans la communication H-MLe geste est peu utilisé dans la communication H-M La vision est peu utilisée dans les dispositifs La vision est peu utilisée dans les dispositifs

multimodauxmultimodaux CausesCauses

Analyse en temps réel d’un objet composé articulé Analyse en temps réel d’un objet composé articulé déformable, avec beaucoup de degrés de libertédéformable, avec beaucoup de degrés de liberté

Le geste co-verbal est peu contraint et donc difficile à Le geste co-verbal est peu contraint et donc difficile à analyser par un système de visionanalyser par un système de vision

L’expression gestuelle seule est incomplète et ambiguëL’expression gestuelle seule est incomplète et ambiguë

Projet-2


AS-IG : PrésentationAS-IG : Présentation

ObjectifObjectif Enrichir les capacités d’échange de la communication Enrichir les capacités d’échange de la communication

visuo-gestuellevisuo-gestuelle Développer des modèles d’analyse des langues Développer des modèles d’analyse des langues

gestuelles par un système de visiongestuelles par un système de vision

MéthodeMéthode Etude des points communs Etude des points communs

langue des signes / gestuelle co-verbale langue des signes / gestuelle co-verbale dans la communication H-Hdans la communication H-H

Transposition à la communication H-MTransposition à la communication H-M Réalisation d’une maquette de simulationRéalisation d’une maquette de simulation

Projet-2


AS-IG AS-IG Apport de la langue des Apport de la langue des

signessignes

Langue des Signes

Gestesco-verbaux

analyse

enrichit

plus faciles à interpréter

plus expressifs

Projet-2


AS-IG : Laboratoires AS-IG : Laboratoires « cœur »« cœur »

Langue des signesLangue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie UMR 7023 (Paris 8) "Syntaxe formelle et typologie

des langues", Ch Cuxacdes langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. SabriaUPRESA 6065 (Rouen) "DYALANG" , R. Sabria

Co-verbalCo-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. HudelotUMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. UMR 6057 (Aix-Marseille) "Parole et Langage" , I.

Guaïtella- CavéGuaïtella- Cavé

Vision et analyse du geste par ordinateur Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et UMR 5505 (Toulouse 3) IRIT -"Traitement et

Compréhension d'Images" P. DalleCompréhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch

ColletCollet

Projet-2


AS :AS : Communication en langue des signes des sourds

(RTP Handicap)

Représentations et Modélisations du mouvement dans le contexte

de l’interaction et de l’animation d’agents de synthèse communicant en langue des signes.

Projet-3



Modèles et langages de spécification pour la Modèles et langages de spécification pour la génération et l’animation d’agents de génération et l’animation d’agents de synthèse :synthèse :

Analyse et synthèse des expressions facialesAnalyse et synthèse des expressions faciales Codage des gestes des langues des signes Codage des gestes des langues des signes

pour le stockage des gestes, leur transmission pour le stockage des gestes, leur transmission et leur re-synthèse en temps réelet leur re-synthèse en temps réel

Interaction multimodale avec les agents Interaction multimodale avec les agents virtuels de communicationvirtuels de communication

Évaluation des différents systèmes par des Évaluation des différents systèmes par des populations sourdes (représentation, populations sourdes (représentation, reconnaissance des gestes des avatars, reconnaissance des gestes des avatars, dialogue)dialogue)

Projet-3



Porteurs Sylvie Gibet

Laboratoire VALORIA, Université de Bretagne Sud Jean-Marc Toulotte

Laboratoire I3D, université des Sciences et Technologies de Lille

Participants LINC – PARAGRAPHE, Université de Paris VIII Université de Paris VIII, UMR 7023 LIMSI-CNRS, Université de Paris Sud IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3 Institut de la Communication Parlée, Université

Stendhal, Grenoble

Projet-3


ACI-JC ACI-JC La LSF : quelles conditions pour quelles formes La LSF : quelles conditions pour quelles formes

graphiquesgraphiques(proposition de projet)(proposition de projet)

Porteurs Dominique Boutet

Brigitte Garcia

(linguistes - Paris 8)

+ laboratoires partenaires

Projet-4


Analyse d’imageAnalyse d’imagede personnages signants :de personnages signants :Études menées à l’IRIT-TCIÉtudes menées à l’IRIT-TCI

DescriptionDescription Détection , Extraction de primitivesDétection , Extraction de primitives SegmentationSegmentation CaractérisationCaractérisation

Reconstruction 3DReconstruction 3D ReconnaissanceReconnaissance InterprétationInterprétation

Analyse d’image


Edition assistée par Traitement d ’ImagesEdition assistée par Traitement d ’Images

Données: séquences vidéo

Détection des zones d’intérêtsEntités statiques Locuteur MainsTête

Extraction de l’information mouvement

Entités dynamiquesTrajectoireMotifs temporels

Caractérisation et organisation

de l’information extraite

TrajectoiresContactBalancementPointage …

Vitesse; AccélérationDurée; Direction

Forme, Orientations globales et locales, nombre de régions

Analyse d’image IRIT-TCI


Analyse d’image dans les Analyse d’image dans les projetsprojets

Système d’analyse de la LSF Système d’analyse de la LSF Boris LenseigneBoris Lenseigne Projet LS-COLINProjet LS-COLIN Action STIC : Communication en LSAction STIC : Communication en LS

Analyse des gestes co-verbauxAnalyse des gestes co-verbaux Frédérick GianniFrédérick Gianni Action STIC : interaction gestuelleAction STIC : interaction gestuelle

Résumé d’exposés en LSFRésumé d’exposés en LSF ACI : LSF - formes graphiquesACI : LSF - formes graphiques



Extraction du locuteurExtraction du locuteur

- Comparaison avec une image de référence du fond

- Filtrage et traitement morphologique



Extraction des entités mains et Extraction des entités mains et visagevisage

1. Extraction des zones de peau

2. Identification des différentes régions par critères de taille et de forme

Mains, Visage



Analyse des mimiques facialesAnalyse des mimiques faciales

Détection du visageDétection du visage Suivi du visage Suivi du visage méthode méthode mean mean

shiftshift Modélisation du visageModélisation du visage Etude des variations des Etude des variations des

composantscomposants



Représentation du mouvement Représentation du mouvement par motifs temporelspar motifs temporels

tMHI : Intensité pixel = fonction de l’historique du mouvement

Détection des gestes symétriques par analyse de l’image tMHI



Détection des contours mobilesDétection des contours mobiles

Frontières des objets en mouvement



Suivi des éléments mobilesSuivi des éléments mobiles

QuickTime™ et undécompresseur sont requis pour visionner cette image.



Estimation 3D de la postureEstimation 3D de la posture

Point 3D = droite de projection sphère



Estimation 3D de la postureEstimation 3D de la posture

Filtrage des solutions–Modèle géométrique du bras

•position 3D valeurs des articulations•butées

–Mouvement•hypothèse de continuité•modèles différentiels (vitesse et accélération)



Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement



Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit



VisualisationVisualisationde l’espacede l’espacede signationde signation



Visualisation de l’espace de Visualisation de l’espace de signationsignation



Visualisation de l’espace de signationVisualisation de l’espace de signation



Système d’analyse de locuteur Système d’analyse de locuteur signantsignant

Cahier des charges (1)Cahier des charges (1) Le système doit fournirLe système doit fournir

des outils de TI permettant de segmenter des des outils de TI permettant de segmenter des composants d’un signecomposants d’un signe

des outils de mesuredes outils de mesure des outils de reconnaissance (régiondes outils de reconnaissance (régioncomposant d ’un composant d ’un

signe)signe) des outils de structuration des composantsdes outils de structuration des composants

pour chaque image isolément



Cahier des charges (2)Cahier des charges (2)

Le système doit fournirLe système doit fournir des outils de TI permettant la segmentation temporelle des outils de TI permettant la segmentation temporelle

de la séquencede la séquence des outils de mesure de la dynamiquedes outils de mesure de la dynamique des outils de reconnaissance de trajectoiresdes outils de reconnaissance de trajectoires des outils de structuration des mouvementsdes outils de structuration des mouvements

pour la séquence d ’images.




Les composants sont identifiables par :Les composants sont identifiables par : leurs caractéristiques (main = tâche de couleur peau + leurs caractéristiques (main = tâche de couleur peau +

taille + forme)taille + forme) le contexte (objet qui touche la tête = main)le contexte (objet qui touche la tête = main)

La méthode de reconnaissance n’est pas uniqueLa méthode de reconnaissance n’est pas unique Le choix de la méthode évolue au cours du tempsLe choix de la méthode évolue au cours du temps

Système adaptatif : - les objets ont une définition unique - il n ’y a pas une description discriminante

Remarque sur la reconnaissance et la structurationRemarque sur la reconnaissance et la structuration




Contrainte : Contrainte : ne pas limiter l ’espace des problèmes ne pas limiter l ’espace des problèmes Le linguiste : doit pouvoir exprimer ce qu’il cherche, au Le linguiste : doit pouvoir exprimer ce qu’il cherche, au

moment de l ’analysemoment de l ’analyse Requêtes : exprimées en termes d ’indices visuels dans Requêtes : exprimées en termes d ’indices visuels dans

le contexte courantle contexte courant

Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS

Linguiste

Système

vidéo



SystèmeSystème

Système intermédiaire

Interface linguiste

pilote

pilote

Interprète en termes du

TI

Séquence d’images de durée t (=objet) Configuration à un moment

donné (interp= temps d ’interprétation)

Observe et interprète



ContactsContacts

[email protected]@irit.frIRIT-TCI IRIT-TCI UPS UPS 118 route de Narbonne 31062 Toulouse 118 route de Narbonne 31062 Toulouse cedex 4cedex 4tel : 05-61-55-63-09tel : 05-61-55-63-09http://www.irit.fr/ACTIVITES/EQ_TCI/home.html

RéférencesRéférences LS-COLIN : LS-COLIN :

http://www.irit.fr/LS-COLINhttp://www.irit.fr/LS-COLIN Rapport final : contact Patrice DalleRapport final : contact Patrice Dalle

AS-IG : AS-IG : http://www.irit.fr/AS-IGhttp://www.irit.fr/AS-IG

13 février 2003 communication visuo-gestuelle langue des signes analyse dimage patrice dalle irit -...

Documents

vision cvg page

lsf cvg page

lsf signes

signes par

communication dvelopper

robotique cvg page

restitution cvg page

mouvement vision