analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. ·...
TRANSCRIPT
![Page 1: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/1.jpg)
Analyse d’image pour l’asservissement d’unecamera embarquee dans un drone
Benoıt Louvat
Gipsa-lab
Le 5 fevrier 2008
1
![Page 2: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/2.jpg)
Introduction
Introduction
Commande Drone
Commande Tourelle
Information vidéo
2
![Page 3: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/3.jpg)
Introduction
Objectifs
Objectifs :
1 Suivre des objets selectionnes par un utilisateur en temps reelSuivre l’objet dans l’imageControler la tourelle automatiquement pour garder l’objet dansl’image
Asservissement visuel = 2 themes de recherche
Analyse de sequence d’images : vision
Automatique : commande
2 Proposer un plus grand couplage entre la vision et la commande.
3
![Page 4: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/4.jpg)
Introduction
Plan de l’expose
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
4
![Page 5: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/5.jpg)
Contexte
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
5
![Page 6: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/6.jpg)
Contexte Contexte scientifique
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
6
![Page 7: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/7.jpg)
Contexte Contexte scientifique
Les differents types d’asservissement visuel
Criteres definis dans [Sanderson1980], [Corke1996]
Mesure de l’erreur entre la position desiree et couranteLieu du controle des articulations du robot
Criteres Controle direct Controle indirect
Mesure 2DAsservissement visuel 2D Asservissement visuel 2Ddirect indirect
Mesure 3DAsservissement visuel 3D Asservissement visuel 3Ddirect indirect
Mesure hybride Asservissement visuel hybride :
Mesure2D/3D : asservissement 2D1/2 [Malis98]
Mesure de vitesse : asservissement d2Ddt [Cretual98]
7
![Page 8: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/8.jpg)
Contexte Contexte scientifique
Asservissement visuel 2D/3D directAsservissement 2D
R c
Erreur mesuree dans le planimage
Asservissement 3D
R c
R o
Erreur mesuree dans l’espacecartesien
8
![Page 9: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/9.jpg)
Contexte Contexte scientifique
Asservissement visuel 2D/3D directAsservissement 2D
Asservissement 3D
Calcul des articulations du robot dans le correcteur visuel
8
![Page 10: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/10.jpg)
Contexte Contexte scientifique
Asservissement visuel 2D/3D indirectAsservissement 2D
Asservissement 3D
Calcul des articulations avec le correcteur interne du robot
9
![Page 11: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/11.jpg)
Contexte Contexte experimental
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
10
![Page 12: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/12.jpg)
Contexte Contexte experimental
Drone et tourelle
Ensemble d’emission analogique de video a 2,4GHzModem radio pour la liaison de donnees de controle de latourelleUne tourelle commandable en pan et tilt
11
![Page 13: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/13.jpg)
Contexte Contexte experimental
Station au sol
La reception analogique de la videoUn PC dedie au traitement des images en temps reel et a lacommandeUne liaison modem radio vers la tourelle pour le controle du suivides cibles
12
![Page 14: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/14.jpg)
Tache de suivi
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
13
![Page 15: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/15.jpg)
Tache de suivi
Tache de suiviObjectif : Suivre des objets fixes et quelconques au sol avec commeunique capteur une camera
Estimer la position de l’objet dans l’imageDeplacer la tourelle pour garder l’objet au centre de l’image
Contraintes supplementaires
Simplicite du systeme⇒ Possibilite de production a grande echelle
Genericite⇒ Facilement portable a d’autres systemes similaires
Systeme embarque⇒ Capteurs peu precis, puissance de calcul, poids...
Solution a bas cout⇒ Compensation des imperfections mecaniques au
niveau logiciel
14
![Page 16: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/16.jpg)
Tache de suivi
Choix du type d’asservissement
Asservissement visuel direct/indirect
Robot tres simplePuissance de calcul importante au sol versus embarque
⇒ Asservissement direct
Asservissement visuel 2D, 3D, hybride
Pas de connaissance a priori des objets a suivreEnvironnement changeant⇒ Asservissement 2D ou d2D
dt
Objectif = centrer et maintenir centre l’objet dans l’image⇒ Asservissement 2D
15
![Page 17: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/17.jpg)
Tache de suivi
Asservissement visuel 2D direct
Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l
16
![Page 18: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/18.jpg)
Tache de suivi Estimation de la position de l’objet
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
17
![Page 19: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/19.jpg)
Tache de suivi Estimation de la position de l’objet
Asservissement visuel 2D
Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l
18
![Page 20: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/20.jpg)
Tache de suivi Estimation de la position de l’objet
Exemples d’images filmees
19
![Page 21: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/21.jpg)
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avance
La qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
![Page 22: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/22.jpg)
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmees
La precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
![Page 23: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/23.jpg)
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite taille
La possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
![Page 24: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/24.jpg)
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
![Page 25: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/25.jpg)
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
![Page 26: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/26.jpg)
Tache de suivi Estimation de la position de l’objet
Simplifications et difficultes liees a notre systeme
1 Simplifications liees au contexte particulier :L’altitude de vol du drone⇒
Images representent un plan 2DOccultations negligeables
Pas d’ombre portee, ni de transparence, ni de reflexion
2 Difficultes liees au contexte particulier :Changement de pose graduel de l’objet suiviConservation de l’intensite lumineuse pas toujours verifieeLes roues de l’avion provoquent un mouvement parasite.
21
![Page 27: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/27.jpg)
Tache de suivi Estimation de la position de l’objet
Methodes existantes possibles
Suivi de points→ KLT [Kanade Lucas 1992]
Suivi de droites→ Xvision [Hager 1996]
Suivi de blocs→ Block-matching [Gyaouriva 2003]
Estimation de mouvement global, modeles demouvement (affine, projective...) → RMRm [Obodez1995]
Mise en correspondance de points invariants→SIFT [Lowe 2004]
22
![Page 28: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/28.jpg)
Tache de suivi Estimation de la position de l’objet
Methodes existantes possibles
Suivi de points→ KLT [Kanade Lucas 1992]
Suivi de droites→ Xvision [Hager 1996]
Suivi de blocs→ Block-matching [Gyaouriva 2003]
Estimation de mouvement global, modeles demouvement (affine, projective...) → RMRm[Obodez 1995]
Mise en correspondance de points invariants→SIFT [Lowe 2004]
22
![Page 29: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/29.jpg)
Tache de suivi Estimation de la position de l’objet
Avantages/inconvenients dans notre contexte
Avantages/Inconvenients
Avantage Algorithme KLT
RapidePrecis
Inconvenient Algorithme KLT
Non robuste auxproblemes de perturbation
Avantage algorithme RMR
Robuste aux problemesde pertubation et auxgrands deplacements
Inconvenient Algorithme RMR
LentManque de precision
Approche proposee
=⇒ Combinaison des deux algorithmesEstimation globale (RMR) suivie d’une estimation locale (KLT)
23
![Page 30: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/30.jpg)
Tache de suivi Estimation de la position de l’objet
Resume de KLT et RMR
KLT RMR
Extraction et suivi de point Estimation d’un modele de mouve-ment global
Algorithmes iteratifs
algorithme de Newton-Raphston algorithme des moindres carresponderes iteres
Algorithmes utilisant une estimation pyramidalePr
ojec
tion
de l'
initi
alis
atio
n
24
![Page 31: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/31.jpg)
Tache de suivi Estimation de la position de l’objet
Resume de KLT et RMR
KLT RMRAlgorithmes utilisant une estimation pyramidale
Proj
ectio
n de
l'in
itial
isat
ion
24
![Page 32: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/32.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques generales
Estimation globale/locale de la position de l’objet :
1 Estimation globale du mouvement→ RMR
Modeles de mouvement
Modele translationel : estimation rapide, modele peu precis
Modele affine : bon compromis temps de calcul, precision
Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]
2 Raffinement local de la position de l’objet d’interet→ KLT
25
![Page 33: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/33.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques generales
Estimation globale/locale de la position de l’objet :
1 Estimation globale du mouvement→ RMR
Modeles de mouvement
Modele translationel : estimation rapide, modele peu precis
Modele affine vx = a1 + a2xi + a3yi
vy = a4 + a5xi + a6yi
Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]
2 Raffinement local de la position de l’objet d’interet→ KLT
25
![Page 34: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/34.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques generales
Estimation globale/locale de la position de l’objet :
1 Estimation globale du mouvement→ RMR
Modeles de mouvement
Modele translationel : estimation rapide, modele peu precis
Modele affine vx = a1 + a2xi + a3yi
vy = a4 + a5xi + a6yi
Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]
2 Raffinement local de la position de l’objet d’interet→ KLT
25
![Page 35: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/35.jpg)
Tache de suivi Estimation de la position de l’objet
Algorithme propose
Extraction de primitives points +
Initialisatioin du support d'estimation globale
Estimation du mouvement global
Prédiction de la position des points
Recherche des points dans la nouvelle image
Vérications des points : - Convergence de Newton-Raphson
- Diérence d'intensité entre les deux fenêtre de calcul - Test si amat de points
Nombre de points > 0
Extraction de nouveaux points en fonction du mouvement global
1er image
oui
non
Image suivante
Image suivante
26
![Page 36: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/36.jpg)
Tache de suivi Estimation de la position de l’objet
Validation de notre approche
Tests sur des sequences avec des images reelles et un mouvementde synthese:
Extraction de 12 points sur la maison
27
![Page 37: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/37.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees pour l’algorithmepropose
Caracteristiques :
Erreur d’estimation du deplacement faibleNombre de points conserves superieur par rapport a KLTNombre d’iterations moyen faible pour KLTRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
28
![Page 38: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/38.jpg)
Tache de suivi Estimation de la position de l’objet
Structures de test
KLT
Erreur KLT
nb_niveau_pyr_klt
nb_iter_KLT
0
Test KLT
RMRm
Erreur RMR
nb_niveau_pyr_RMRm
nb_iter_RMRm
0
Test RMR
RMRm KLT
Erreur algo proposé
nb_niveau_pyr_kltnb_niveau_pyr_RMRm
nb_iter_RMRm nb_iter_KLT
0
Test Algorithme proposé
Legende pour les tests
exemples : RMR(6,10),KLT(2,10)algorithme(nb niveau pyr,nb iter max)
29
![Page 39: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/39.jpg)
Tache de suivi Estimation de la position de l’objet
Erreur d’estimation
Caracteristiques recherchees
Erreur d’estimation du deplacement faible et grands deplacements
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du déplacement
erre
ur e
n x
erreur estimation
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du déplacement
erre
ur e
n y
algorithme KLT (2,10)algorithme proposéalgorithme RMRm (6,10)
Amelioration de l’erreur de l’estimation
30
![Page 40: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/40.jpg)
Tache de suivi Estimation de la position de l’objet
Nombre de points suivis
Caracteristique recherchee
Nombre de points conserves superieur par rapport a KLT
0 10 20 30 40 50 600
5
10
15
amplitude du déplacement
nom
bre
de p
oint
s
Nombre de points suivis
algorithme KLT (2,10)algorithme proposé
Plus grand nombre de points conserves
31
![Page 41: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/41.jpg)
Tache de suivi Estimation de la position de l’objet
Nombre d’iterations moyen
Caracteristique recherchee
Nombre d’iterations moyen moindre
0 10 20 30 40 50 600
1
2
3
4
5
6
7
8
9
10
amplitude du déplacement
moy
iter
iteration moyenne pour KLT par suivi
algorithme KLT (2,10)algorithme proposé
Moins d’iteration moyenne
32
![Page 42: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/42.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees
Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
33
![Page 43: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/43.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees
Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
Solution
Estimateur robuste de RMR→ resultat en conditions reelles
33
![Page 44: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/44.jpg)
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees
Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
ProblemeRMR(6,10) trop lent
SolutionDiminuer nb iter RMR et nb niveau pyr RMR→ RMR(4,2)
33
![Page 45: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/45.jpg)
Tache de suivi Estimation de la position de l’objet
Erreur d’estimation
Caracteristique recherchee
Diminuer le temps de calcul
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du deplacement
erre
ur e
n x
erreur estimation
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du déplacement
erre
ur e
n y
algorithme KLT (3,10)algorithme proposéalgorithme RMRm (4,2)
Bonne estimation jusqu’a 45 pixels
Diminution du temps de calcul
34
![Page 46: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/46.jpg)
Tache de suivi Estimation de la position de l’objet
Temps de calcul en conditions reelles
Algorithme CadenceKLT (3,10) 25+ img/sRMRm (6,10) 12-14 img/sAlgorithme propose (RMRm(4,2),KLT(3,10)) 17-20 img/s
Reglages choisis :
RMRm 4 niveaux de pyramide et 2 iterations maximalesKLT 3 niveaux de pyramide et 10 iterations maximales
35
![Page 47: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/47.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
36
![Page 48: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/48.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Commande de l’asservissement visuel
Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l
37
![Page 49: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/49.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Loi de commande
Systeme tourelle
Tourelle d’origine prevue pour un pilotage manuelDynamique trop lente pour realiser notre tacheManque de precision
Nouvelle tourelleCapteurs, actionneurs recuperes de la tourelle d’origineElectronique reconcue : 2 micro-controleursAsservissement des moteurs en vitesse⇒ boucle interne
Correcteur visuelAsservissement en position dans l’image⇒ boucle externe
38
![Page 50: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/50.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Loi de commande = double boucle fermee
Analyse d'imageTransmission sans l
Boucle externe
Boucle interne
Centre de l'image
Transmission sans l
Correcteur visuel
39
![Page 51: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/51.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Identification des moteurs
M(p)U
Observateurvitesse de sortieestimée
position angulaireestimée
ω K
pα
Choix du modele
1 constante mecanique
1 constante electrique
2 constantes complexes (elasticite des courroies)
Difficultes
Non-linearites : frottements mecaniques, quantification, jeux, ...
Absence de mesure de la vitesse
Probleme de butees mecaniques
40
![Page 52: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/52.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Identification des moteurs
M(p)U
Observateurvitesse de sortieestimée
position angulaireestimée
ω K
pα
Choix du modele
1 constante mecanique
1 constante electrique← negligeable
2 constantes complexes (elasticite des courroies)← negligeable
→ pan : 21+0.0204p
Modele retenu : M(p) = ωu = G
1+τp
→ tilt : 21+0.0272p
40
![Page 53: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/53.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Boucle interne : regulation en vitesse
Moteur Potentiomètre vitessede sortie
position mesurée
Observateurvitesse de sortieestimée
PIconsignevitesse
erreur
Regler la dynamiqueReduire par 2 le temps de reponse de la boucle ouverteBoucle interne beaucoup plus rapide que boucle externeTemps de reponse a 10 ms
Observateur pour estimer la vitesseControleur PIEmbarquee sur le drone
41
![Page 54: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/54.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Architecture des micro-controleurs
UART SMB
MC1
UART SMB
MC2
Modem
consignes reçues sur 8 bits
Transmission des consignes
MLI
Contrôle caméra (focus, zoom...) sur 8bits Boucle interne de
commande
Transmission des consignes
Moteurs pan et tilt
Potentiomètres
CAN
42
![Page 55: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/55.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Boucle externe : regulation en position
Solution simple et classique en asservissement visuel 2D
boucle interne
algorithme d'estimation globale/locale
proportionnele
Gain :
s
Regulation de la position de l’objet au centre de l’image :s∗ = (0,0)
erreur a minimiser : e = (s − s∗) = s
Loi de commande :(
ΩxΩy
)= −λL−1s
Retard⇒ systeme instable
43
![Page 56: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/56.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Compensation du retard
Moteur pan
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur pan
Moteur tilt
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur tilt
retard constant : τc (electronique, transmission)
retard variable : τv (analyse d’image)
Approximation de la position (Taylor 2eme ordre)
s(t + τc + τv ) = s(t) + ∂s∂t (τc + τv ) + ∂2s
∂t2 (τc + τv )2
44
![Page 57: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/57.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Compensation du retard
Moteur pan
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur pan
Moteur tilt
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur tilt
retard constant : τc (electronique, transmission)
retard variable : τv (analyse d’image)
Loi de commande„Ωx
Ωy
«= −λL−1s(t + τc + τv )
44
![Page 58: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/58.jpg)
Tache de suivi Loi de commande pour le suivi d’objet au sol
Loi de commande = double boucle fermee
Analyse d'imageTransmission sans l
Boucle externe
Boucle interne
Centre de l'image
Transmission sans l
45
![Page 59: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/59.jpg)
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
46
![Page 60: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/60.jpg)
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Suivi d’un croisement
Vol sans suivi Vol avec suivi
47
![Page 61: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/61.jpg)
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Suivi d’une maison
Vol sans suivi Vol avec suivi
48
![Page 62: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/62.jpg)
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Robustesse aux perturbations
49
![Page 63: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/63.jpg)
Commande par sur-echantillonnage
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
50
![Page 64: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/64.jpg)
Commande par sur-echantillonnage
Idee de la commande par sur-echantillonnage
Objectif : Ameliorer le temps de reponse de la boucle externe
Asservissement classique Asservissement visuel classique
Mesure
Observateur
Capteur
Estimation
Commande
Mesure
Analyse d'image
Capteur
Estimation
Commande
Estimation envoyee a chaqueiteration
Estimation envoyee a la conver-gence
Idee : Envoyer a la commande des estimations intermediaires del’analyse d’image
51
![Page 65: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/65.jpg)
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Nouvelle Image
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
Nouvelle Image
52
![Page 66: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/66.jpg)
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
52
![Page 67: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/67.jpg)
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
52
![Page 68: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/68.jpg)
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
52
![Page 69: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/69.jpg)
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Nouvelle Image
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
Nouvelle Image
52
![Page 70: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/70.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
![Page 71: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/71.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
![Page 72: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/72.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
![Page 73: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/73.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
![Page 74: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/74.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
→ Pas d’echantillonnage δ de la boucle de vision variable
53
![Page 75: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/75.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
Saturation du buffer du micro-controleur→ trop de consignes
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
![Page 76: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/76.jpg)
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
Saturation du buffer du micro-controleur→ trop de consignes
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
![Page 77: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/77.jpg)
Commande par sur-echantillonnage
Choix des consignes en pratique
Envoi d'une commande
Initialisation des paramètres constants
Envoi d'une commande
Envoi d'une commande
Itérations Newtown-Raphston
Itérations Newtown-Raphston
Recherche des points caractéristiques
Itérations IRLS
Itérations IRLS
Itérations IRLS
Itérations IRLS
Itérations IRLS17ms
22ms
19ms
54
![Page 78: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/78.jpg)
Commande par sur-echantillonnage
Formalisme de la commande par sur-echantillonnage
Formalisme de la dynamique de l’algorithme d’analyse d’image :
Analyse d’image classique : pkT = R(pkT , IkT )
Analyse d’image sur-echantillonnee : pkT+(i+1)δ = R(pkT+iδ, IkT )
Avec :T : cadence d’analyseδ: pas d’iteration (considere constant pour simplifier les no-
tations)R: dynamique du systemeIk T : image a t = kTpkT+iδ: position estimee de l’objet a l’instant t = kT + iδ
Difference avec un observateur classique
Observateur : pkT+(i+1)δ = R(pkT+iδ, IkT+iδ)
Analyse d’image sur-echantillonnee : pkT+(i+1)δ = R(pkT+iδ, IkT)
55
![Page 79: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/79.jpg)
Commande par sur-echantillonnage
Procedure de testTest avec le systeme reel demonte de l’avion
Meme comportement de la commande que lors d’un volMesurer le temps de reponse :
Temps pour centrer l’objet dans l’imageDeplacement mesure par l’algorithme d’analyse d’image
Point initial
Cible
échelon en x
éche
lon
en y
56
![Page 80: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/80.jpg)
Commande par sur-echantillonnage
Resultats : comparaison classique/sur-echantillonne
Caracteristique recherchee
Plus grande reactivite
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60
10
20
30
40
50
60
temps
dé
pla
ce
me
nt e
n p
ixe
ls
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60
10
20
30
40
50
60
temps
dé
pla
ce
me
nt e
n p
ixe
ls
consigneréponse avec upsamplingréponse sans upsampling
moteurtilt
moteur pan
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8−60
−50
−40
−30
−20
−10
0
10
tps
dé
pla
ce
me
nt
en
x
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8−80
−70
−60
−50
−40
−30
−20
−10
0
10
tps
dé
pla
ce
me
nt
y
consigneréponse sans upsamplingréponse avec upsampling
Moteur pan
Moteur tilt
Commande par sur-echantillonnage toujours plus rapide (gain de 200ms)
57
![Page 81: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/81.jpg)
Commande par sur-echantillonnage
Resultats avec differentes cadences d’analyse
Caracteristique recherchee
Augmenter le temps de l’analyse d’image sans perdre de reactivite
0 0.5 1 1.50
10
20
30
40
50
60
temps
dépl
acem
ent e
n pi
xels
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60
10
20
30
40
50
60
moteur tilt
temps
consigneréponse avec upsampling 14img/sréponse sans upsampling 15 img/sréponse avec upsampling 12.5 img/s
moteur pan
Commande par sur-echantillonnage toujours plus rapide meme avec unecadence de la boucle externe plus faible
58
![Page 82: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/82.jpg)
Amelioration de la precision
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
59
![Page 83: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/83.jpg)
Amelioration de la precision
Amelioration de la precision
Probleme de precision : non-linearitesfrottementsquantificationjeux....
0 5 10 15 20 25 30−2.8
−1.9
−0.9
0
0.9
1.9
2.8
temps
tens
ion
tension d’entréeposition mesurée
Frottements
60
![Page 84: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/84.jpg)
Amelioration de la precision
Amelioration de la precision
Probleme de precision : non-linearitesfrottementsquantificationjeux....
Proposition d’un autre correcteur visuel
Eliminer l’erreur statiqueEliminer l’erreur de traınage
⇒ developpement d’un correcteur LQR (Regulateur LineaireQuadratique)
60
![Page 85: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/85.jpg)
Amelioration de la precision
Conception du correcteur LQR
Principe : Minimisation de la fonction de cout :
J(xo,u) =
∫ +∞
0x(t)T Qx(t) + u(t)T Ru(t)dt
Dans le cas lineaire sans contrainte : retour d’etat u = −Kx
Reglages du LQR
Choix du LQR d’ordre 4 :Action derivee : stabiliser le systemeAction proportionnelle : accelerer le systemeAction integrale : eliminer l’erreur statiqueAction double integrale : eliminer l’erreur de traınage
Ponderation de la matrice Q et R de facon a privilegier :Action integraleAction proportionnelle
61
![Page 86: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/86.jpg)
Amelioration de la precision
Resultats avec le systeme reel : echelon de consigne
Caracteristique recherchee
Erreur statique nulle
0 1 2 3 4 5 60
5
10
15
20
25
30
35
tps
dépl
acem
ent e
n x
0 1 2 3 4 5 6−50
−40
−30
−20
−10
0
10
tps
dépl
acem
ent y
comparaison
consigneréponse avec LQRréponse avec proportionel
Erreur statique eliminee
62
![Page 87: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/87.jpg)
Amelioration de la precision
Resultats avec le systeme reel : poursuite
Caracteristique recherchee
Erreur de traınage nulle
0 0.5 1 1.5 2 2.5
−20
−10
0
10
20
30
temps
err
eu
r x
0 0.5 1 1.5 2 2.5−30
−20
−10
0
10
temps
err
eu
r y
poursuite avec contrôleur proportionnel
erreur en pan et tilt
Correcteur proportionnel
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5
−30
−20
−10
0
10
20
30
temps
err
eu
r x
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5−30
−20
−10
0
10
20
30
tempse
rre
ur
y
poursuite avec contrôleur LQR
erreur pan et tilt
Correcteur LQR
Erreur de traınage eliminee
63
![Page 88: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/88.jpg)
Conclusions et perspectives
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
64
![Page 89: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/89.jpg)
Conclusions et perspectives
Conclusions
Analyse de sequence d’image
Algorithme d’estimation globale/locale
PrecisRobuste aux perturbationsRobuste aux grandes amplitudesRapide
Commande
Prise en compte de la dynamique du manipulateur
Nouvelle commande par sur-echantillonnage :
Amelioration de la reactivite de la boucle de visionPossibilite d’utiliser des algorithmes d’analyse d’images plus lentssans perdre en reactivite
Correcteur LQR :
Amelioration de la precision par rapport aux non-linearitesElimination de l’erreur de traınage
65
![Page 90: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/90.jpg)
Conclusions et perspectives
Perspectives
Approches en partie developpees
Utilisation de points invariants (SIFT) :Ameliorer la robustesse aux perturbationsRetrouver des objets perdus
Adapter le correcteur LQR a la commande sur-echantillonneeAller du LQR a la commande predictive : ajout de contraintes(visibilite, saturation...)
Perspectives plus lointaines
Exploration et reconstruction panoramique...Utiliser le zoom dans la tache de suiviSuivre des objets mobilesCentrale d’attitude pour le drone
66
![Page 91: Analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. · Introduction Objectifs Objectifs: 1 Suivre des objets selectionn´ es par un utilisateur](https://reader035.vdocument.in/reader035/viewer/2022071101/5fda6d00888b7679ed176df2/html5/thumbnails/91.jpg)
Conclusions et perspectives
Merci...
67