bérenger bramas flowers - inria - 2009 isima f2 – master opt. robotique apprentissage...

Bérenger BRAMASFLOWERS - INRIA - 2009

ISIMA F2 – Master opt. Robotique

Apprentissage d’Associations Sons/Images en Robotique

Développementale

Bérenger BRAMAS 2INRIA - 2009

- Stage de fin de cycle d’ingénieur et de master (6 mois)- INRIA Bordeaux – équipe FLOWERS (FLOWing Epigenetic Robots and Systems)

- Robotique développementale

- HRI - Interfaces intuitives

- Perception et apprentissage du monde par un robot

- Sujet : Concevoir un système pour enseigner des objets à un robot en alliant sons/images

Introduction:

Bérenger BRAMAS

Apprentissage d’Associations Sons/Images

3INRIA - 2009

- Présentation du contexte- Détails du sujet et définition des problématiques

- Méthodologie - Aspect Audio - Traitement Vidéo - Associations, catégories - Nao

- Aspects techniques - Perspectives

Plan :

Bérenger BRAMAS


4INRIA - 2009

• « enseigner des ‘objets’ (images/sons) à un robot »

• Dans le but :- de reconnaître une image ou un son (et

donc un objet)- de retrouver un objet dans une scène- de créer des échanges d’informations

sur le ‘’monde‘’ entre l’utilisateur et le robot

• Contrainte : sans catégorie sonore ou visuelle au commencement (le robot n’a pas de base de données avant de commencer l’apprentissage)

Le sujet :Plan :[Présentation] Le contexte Problématiques

Méthodologie Traitement Audio Traitement Vidéo Association Nao

Aspects techniquesPerspectives

Bérenger BRAMAS


5INRIA - 2009

Pour enseigner des objets, il faut répondre à des problèmes de différents domaines

•Quelles méthodes pour le traitement vidéo ou audio?

•Quel mode d’interaction HR?

•Comment montrer les objets au robot ?

•Quelle technique utiliser pour les reconnaitre?

•Comment associer les sons et les images ?

Problématiques :Plan :[Présentation] Le contexte [Problématiques]



Bérenger BRAMAS


6INRIA - 2009

Système découpé en modules spécifiques pour chaque tâche :- Aspect sonore :

- traitement sonore- mesure de similarité

- Vidéo :- traitement- mesure de similarité

- Système d’apprentissage des correspondances

- Nao

Réalisation :Plan :Présentation Le contexte Problématiques

[Méthodologie] Traitement Audio Traitement Vidéo Association Nao


Bérenger BRAMAS


7INRIA - 2009

Méthode uniquement acoustiquePas de conversion en textePas d’information linguistique

Basé sur une méthode répandue : PLP-Rasta

Comparaison entre deuxsons à l’aide de DTW(Dynamic Time Warping)

Deux sons considérés semblables si la distance est inférieure à un seuil

Module Audio:Plan :Présentation Le contexte Problématiques

[Méthodologie] [Traitement Audio] Traitement Vidéo Association Nao


Bérenger BRAMAS


8INRIA - 2009

Pas de base de données initiale (pas de phonèmes ou d’informations sur l’interlocuteur)Pas de conversion en texte

Découpage du flux sonore capturé en fonction des moments de silence (un son peut être une phrase, un mot, un bruit, …)

Module Audio :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


9INRIA - 2009

Test avec toute la base

Comparaison :Plan :Présentation Le contexte Problématiques



Ballon

Baallon

Balloon

Basket

Baasket

Baskét

…

Base de données

[SON]

Tests

Bérenger BRAMAS


10INRIA - 2009

Sélection d’un représentant




Balleu BaalleBalle

Son 1 … Son N

Son 1 - D(1,n) D(1,n)

… D(i,1) - D(i,n)

Son N D(n,1) D(n,i) -

Moyenne M(1) … M(n)

Bérenger BRAMAS


11INRIA - 2009

Test avec le meilleur représentant de chaque catégorie




Ballon

Baallon

Balloon

Baasket

Baaskt

Bosket

…

Base de données

[SON]

Tests

Bérenger BRAMAS


12INRIA - 2009

Système audio qui apprend et reconnaît les sons

Mais choix à faire entre robustesse et rapidité

Par exemple :La méthode avec comparaison du meilleur représentant donne de mauvais résultats si les interlocuteurs changent

Le principe de comparaison est par la suite utilisé pour créer et utiliser des catégories

Module Audio :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


13INRIA - 2009

Objectifs :- Apprendre- Reconnaître dans une scène quelconque

Basé sur OpenCV et les descripteurs locaux de type SURF

Module Vidéo :Plan :Présentation Le contexte Problématiques

[Méthodologie] Traitement Audio [Traitement Vidéo] Association Nao


OpenSURFListe de descripteursSURF

Bérenger BRAMAS


14INRIA - 2009

Descripteur SURF : - position/orientation/vecteur de 64 valeurs

SURF :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


15INRIA - 2009

Problème : Comparaison entre deux images




Image 1

Image 2 Image 3 Image 4

Distance : 0.2 Distance : 0.32 Distance : 0.25

Même objet Objet différent

Bérenger BRAMAS


16INRIA - 2009

• Comment enseigner les objets ?

• Comment comparer deux images ?

• Quand décider si un objet est présent sur une image ?

Descripteurs SURFPlan :Présentation Le contexte Problématiques



Bérenger BRAMAS


17INRIA - 2009

Le système apprend tous les descripteurs SURF

Il faut lui indiquer quels sont les descripteurs liés à l’objet et les autres (arrière plan)

Méthode d’apprentissage de l’arrière plan pour ensuite faire la différence entre deux images

Extraction de l’objet :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS 18INRIA - 2009

Apprentissage Vidéo :

Oui

Oui

Non

Non

Capturer Image

Capturer Image

Fond Fixe

Extraction SURF

Comparer avec l’image précédente

Extraction du fond

Toute l’image change

Enregistrement

Bérenger BRAMAS


19INRIA - 2009

Pour chaque objet, le système stocke un film dans lequel chaque image contient des descripteurs SURF

Représentation :Plan :Présentation Le contexte Problématiques



Objet 1Objet 1

Objet 2Objet 2

Objet 3Objet 3

??

Bérenger BRAMAS


20INRIA - 2009

- Méthode proposée par David LOWE

- Méthode utilisant un seuil

- Méthode de « meilleures correspondances »

Méthodes de correspondance :

Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


22INRIA - 2009

Correspondances




0.1

0.150.1

0.04

0.01

Bérenger BRAMAS


23INRIA - 2009

Correspondances




Bérenger BRAMAS


24INRIA - 2009

• Filtre spatial (Efficient Visual Search for Objects in Videos, Josef & Andrew, 2008)• Pour chaque correspondance : trouver les voisins et filtrer ceux dont les voisins ne correspondent pas dans l’autre image

Filtres :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


25INRIA - 2009

Filtre spatial

Filtres :

Bérenger BRAMAS


26INRIA - 2009

• Filtre angulaire :• Parcourir les correspondances : calculer le changement d’orientation pour ne garder que l’orientation majoritaire

Filtres :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


27INRIA - 2009

En testant une image on obtient des correspondances avec chaque image de la baseComment savoir si un objet est sur une image ?

Long travail d’approche globale durant le stage mais mauvais résultats

Finalement approche image à image

Choix :Plan :Présentation Le contexte Problématiques

[Méthodologie] Traitement Audio Traitement Vidéo [Association] Nao


Objet 1Objet 1

Objet 2Objet 2

??

Bérenger BRAMAS


29INRIA - 2009

Résultats :Plan :Présentation Le contexte Problématiques

[Méthodologie} Traitement Audio [Traitement Vidéo] Association Nao


livre_noir livre_vert clavier telephone bioloid philips casque lego porte_carte0

5

10

15

20

InconnuesMauvaisBon

Bérenger BRAMAS


30INRIA - 2009

36 53 17 22

Résultats :

Bérenger BRAMAS


31INRIA - 2009

Mise en relation des modules

Mise en relation des formalismes

Choix :Un objet est « constitué » de plusieurs sons et plusieurs imagesOn supprime les occurrences qui ne sont pas mise en relation avec l’autre type lors de l’apprentissage

Association :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


32INRIA - 2009

Vidéo

Son

Associations sons/images :

FilmImage

Catégorie

Bérenger BRAMAS


33INRIA - 2009

Catégories acoustiques :

Livre

Livre Bleu

Livre Vert

Grand

Espace acoustiqueEspace visuel

Bérenger BRAMAS


34INRIA - 2009

- Mise en application du système(interactions)- Mais exécution du système sur PC

Nao :Plan :Présentation Le contexte Problématiques

[Méthodologie] Traitement Audio Traitement Vidéo Association [Nao]


Bérenger BRAMAS


35INRIA - 2009

Interaction à l’aide de positions clés

Normal Ne peut pas A trouvé apprendre l’objet

Nao :Plan :Présentation Le contexte Problématiques

[Méthodologie] Traitement Audio Traitement Vidéo Association [Nao]


Bérenger BRAMAS


36INRIA - 2009

1 ) Enseigner des objets 2 ) Demander de reconnaître un objet 3 ) Trouver un objet (utilise un algorithme de regroupement des points)

Interactions possibles :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


37INRIA - 2009

Structure :Plan :Présentation Le contexte Problématiques


[Aspects techniques]Perspectives

Ordinateur

C++ (QT, OpenCV)

Traitement de l’image – Cœur du système

C++ (QT, OpenCV)

Traitement de l’image – Cœur du système

Matlab

Acquisition & traitement du son

Matlab

Acquisition & traitement du son

Script – Positions clés LEDs

Image - JPEG

Bérenger BRAMAS


38INRIA - 2009

Multi-langagesMatlab, C++ (QT, OpenCv) , Ubri

Utilisation de plusieurs processus, plusieurs THREAD, communication TCP, Mutex et de nombreux TIMER

Multiplateformes

Mais difficile à maintenir et présence de problèmes à l’heure actuelle :Récupération de l’image, tremblement, recouvrement de script

Structure :Plan :Présentation Le contexte Problématiques



Bérenger BRAMAS


39INRIA - 2009

Exemple lors de l’apprentissage :

Objet devant caméra : Script { Arrêter mouvement en cours,

Mouvement d’apprentissage }

Objet hors caméra : Script { Arrêter mouvement en cours,

Mouvement d’attente }

Recouvrement de scriptPlan :Présentation Le contexte Problématiques



Système

Evènement

ScriptNao

Positions

Bérenger BRAMAS


40INRIA - 2009

Résolution des problèmes et davantage d’essais sur Nao

Documentation (DOxygen et protocole de communication)

Ecriture de plusieurs pages en Anglais

A venir :Plan :Présentation Le contexte Problématiques


Aspects techniques [A venir]Perspectives

Bérenger BRAMAS


41INRIA - 2009

Méthodologie :- SIFT- Clustering- Filtre angulaire local- Filtre spatial plusieurs fois d’affilé

Utilisation :- Essai avec des non spécialistes- Opinions d’utilisateurs

Test d’une base de connaissances plus importante

Perspectives :Plan :Présentation Le contexte Problématiques


Aspects techniques[Perspectives]

Bérenger BRAMAS


42INRIA - 2009

Conclusion

Bérenger BRAMAS


INRIA - 2009

MERCI- Démonstration – Questions ? -

Bérenger BRAMAS


44INRIA - 2009

Le nombre de correspondances > SEUIL

Critère de choix :

1 3 5 7 9 11 13 15 17 19 21 23 250

5

10

15

20

Bons choix

1 3 5 7 9 11 13 15 17 19 21 23 250

5

10

15

20

Mauvais choix

1 4 7 10 13 16 19 22 250

5

10

15

20

Objets inconnus

livre_noirclaviertelephonebioloidphilipscasque

bérenger bramas flowers - inria - 2009 isima f2 – master opt. robotique apprentissage...

Documents

traitement vido ou audio

traitement mesure

problmatiques mthodologie

traitement sonore mesure

systme audio

brenger bramas flowers

similarit vido

catgories module audio