F. Peyret – 24/06/2011 1

PREDIT

Forum ENSG PPMD

D. Bétaille (IFSTTAR)26 mars 2013

Projet CityVIP

SIG embarqué et réalité virtuelle pour connaître les conditions de propagation et améliorer la précision GNSS

PREDIT, Transports Sécurisés, Fiables et Adaptés

F. Peyret – 24/06/2011 2

PREDIT

Plan de la présentation

1. Problématique de la Géolocalisation en ville

2. Les objectifs du projet CityVIP

3. Architecture logicielle du système de Géolocalisation CityVIP

4. Le module de localisation par mise en correspondance d’images

vidéo

5. Le module de détection des signaux GPS NLOS

6. Le module de localisation globale par fusion multi-capteurs

7. L’intégration dans le véhicule VERT

8. Présentation de la démonstration

F. Peyret – 24/06/2011 3

PREDIT

Problématique de la Géolocalisation en ville

• Les VIP sont par définition des véhicules urbains• Le milieu urbain cumule :

– l’intérêt d’un positionnement précis et intègre– les difficultés…

• pour le positionnement GPS : – les masquages de satellites– les trajets multiples

• pour le positionnement par traitement d’images vidéo :– les problèmes d’ombres et d’éblouissements– les problèmes de réflexions

• Mais… le milieu urbain est fortement structuré et la connaissance de la carte peut être d’un précieux secours

F. Peyret – 24/06/2011 4

PREDIT

Les objectifs du projet CityVIP et la réponse apportée par les partenaires

• Le projet CityVIP avait pour ambition de développer un système de localisation adapté aux VIP, c’est-à-dire :

– précis (erreur < 1 m à 95%)– intègre (estimation sûre d’un majorant de l’erreur)– bas coût, donc utilisant des capteurs bas de gamme

• Pour ce faire, le système de localisation CityVIP exploite :– un récepteur GPS bas de gamme (u-blox)– les 2 codeurs CAN des roues arrière du véhicule– une caméra vidéo N&B standard (Marlin)– une carte numérique 3D précise

• en tirant le meilleur parti de toutes les sources d’information

F. Peyret – 24/06/2011 5

PREDIT

Concept général du système de Géolocalisation CityVIP

Coopération de modules logiciels actualisant la pose : • par intégration de mesures

proprioceptives (odométrie ++) • par mise en correspondance avec la

carte numérique (map matching) • par utilisation de données satellitaires

en couplage lâche ou serré : test préalable de validité

force du signal visibilité directe

• par fusion avec la localisation par vision

F. Peyret – 24/06/2011 6

PREDIT

Architecture logicielle du système de Géolocalisation CityVIP

Ordonnancement asynchrone des modules (environnement Aroccam)

F. Peyret – 24/06/2011 7

PREDIT

Localisation par vision (1) :construction de la base d'amers visuels

Séquence vidéo de référence

Base d'amers visuels géoréférencés (Points 3D +

descripteurs associés)

Trajectoire de référence

F. Peyret – 24/06/2011 8

PREDIT

Localisation par vision (2) :algorithme temps réel

Points d'intérêt sur l'image courante

Base d'amers visuels géoréférencés

Pose du véhicule et incertitude associée

Appariement3D/2D

F. Peyret – 24/06/2011 9

PREDIT

Le module de détection des signaux GPS NLOS (1)

• Les satellites NLOS (non-line-of-sight) sont le "pire ennemi" du positionnement GNSS en ville !• La prise en compte d’une (ou de plusieurs) mesure(s) issue(s) d’un (de) satellite(s) NLOS peut décaler laposition calculée de plusieurs mètres

• CityVIP a développé une méthode exploitant le SDK BeNomad pour détecter et éliminer les mesures contaminées

F. Peyret – 24/06/2011 10

PREDIT

• Le Software Development Kit (SDK) de BeNomad est composé d’un ensemble d’interfaces de programmation pour relier les fonctions de navigation, de décodage d’adresses et de rendu.• Pour CityVIP, il y a aussi des fonctionnalités spécifiques (moteur de rendu 3D, caméra virtuelle, calcul de distances dans le monde virtuel utilisé dans l’algorithme NLOS d’IFSTTAR, …).• BeNomad fournit aussi la base de données géoréférencées directement exploitable par son SDK (données sources fournies par l’IGN).

Le SDK BeNomad et son moteur de rendu 3D (1)

F. Peyret – 24/06/2011 11

PREDIT

Le SDK BeNomad et son moteur de rendu 3D (2)

F. Peyret – 24/06/2011 12

PREDIT

Le module de détection des signaux GPS NLOS (2)

• Tri des satellites NLOS par vision artificielle• Image virtuelle BeNomad selon

l’azimuth de chaque satellite• Preuve de concept publiée (ITST

2011) à partir d’une position vraie• Validée aussi en boucle fermée,

i.e. à partir d’une position préditeet map-matchée (IV 2012)

F. Peyret – 24/06/2011 13

PREDIT

Le module de détection des signaux GPS NLOS (3)

• A partir d’uneposition vraie(issue de la tra-jectoire de réf.)

• Boucle ouverte• Meilleure pré-

cision pour 2modèles u-bloxhaute sensibilité

• En boucle fermée,map matchingnécessaire…

F. Peyret – 24/06/2011 14

PREDIT

Le module de localisation globale par fusion multi-capteurs et carteMonde 3D Localisation 3D

(x,y,z,ψ,θ,Φ)Configuration :

dans (repère local ENU)

Modèle d’évolution :

1

0

0

0

0

0

0

sin

cos

vz

y

x

dt

d

F. Peyret – 24/06/2011 15

PREDIT

Ellipsoïde mis à jour

kk Pq ,

Mise en correspondance avec la carte (map matching)

Le module de localisation globale par fusion multi-capteurs et carteFusion de données : domaine ellipsoïdaux

666 , xkk IRPIRq

)( 0

21 pqqPqq kkT

k

Segments de route :Contraintes linéaires

Ellipsoïde courant kk Pq , Résultat sur Paris

F. Peyret – 24/06/2011 16

PREDIT

Le module de détection des signaux GPS NLOS en boucle fermée (1)

• A partir d’uneposition mapmatchée

• Résultat finalsur une positionlibre (en 2D)pour u-blox

• Progrès par rap-port au simpletri selon le SNR

F. Peyret – 24/06/2011 17

PREDIT

Le module de détection des signaux GPS NLOS en boucle fermée (2)

• A partir d’uneposition mapmatchée

• Résultat finalsur une positioncontrainte parla carte (en 2D)

• Progrès aussipar rapport autri selon le SNR

F. Peyret – 24/06/2011 18

PREDIT

Le module de localisation globale par fusion multi-capteurs Fusion lot 1 (map aided) / lot 2 (vision)

Localisation Lot 1

Localisation Lot 2

Segment sélectionnédans le map matching

Localisation après fusion

F. Peyret – 24/06/2011 19

PREDIT

L’intégration dans le véhicule de démonstration VERT

Mesure de référence des trajectoires

Codeurs de roues

Récepteur GPS bas-coût

Baie d’acquisition (RT-Maps, Aroccam…)

F. Peyret – 24/06/2011 20

PREDIT

Architecture logicielle modulaire, basée sur du middleware aroccam

Sensor3 FireWire

void IF_VERT_frameSensor1(const FramePtr & f)

void IF_VERT_initialization(const sdt::string &)

void IF_VERT_finalization()

void IF_VERT_timer(const FramePtr & f)

INTERFACE_VERTAroccam

config.inifile

USBSensor2

Lot1_LCPC

void Lot1_LCPC_frameSensor2(const FramePtr & f)

void Lot1_LCPC_frameSensor1(const FramePtr & f)

void Lot1_LCPC_initialization(const sdt::string &)

void Lot1_LCPC_finalization()

void Lot1_LCPC_timer(const FramePtr & f)

Lot1_HDS

void Lot1_HDS_initialization(const sdt::string &)

void Lot1_HDS_finalization()

void Lot1_HDS_timer(const FramePtr & f)

Lot2_LAGADIC

UART0Sensor1

void Lot2_LAGADIC_timer(const FramePtr & f)

void Lot2_LAGADIC_initialization(const sdt::string &)

void Lot2_LAGADIC_finalization()

void Lot1_HDS_frameSensor2(const FramePtr & f)

void Lot1_HDS_frameSensor1(const FramePtr & f)

void Lot2_LAGADIC_frameSensor3(const FramePtr & f)

void IF_VERT_frameSensor2(const FramePtr & f)

void IF_VERT_frameSensor3(const FramePtr & f)

logiciel arrocamapplication arrocampropre au véhicule

Bibliothèques "boite noire"indépendantes d'arrocamcapteurs embarqués

à bord du véhiculeInterfacescapteurs / PC

F. Peyret – 24/06/2011 21

PREDIT

Présentation des démonstrations

F. Peyret – 24/06/2011 22

PREDIT

Présentation des démonstrations

F. Peyret – 24/06/2011 23

PREDIT

Merci pour votre attention…Merci pour votre attention…