projet technique un pda multimodal au service des situation de handicap… dess handi université...
TRANSCRIPT
Projet Technique Projet Technique
Un PDA multimodal au service des Un PDA multimodal au service des situation de handicap…situation de handicap…
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
Projet Technique Projet Technique
Equipe :Equipe :
Elisabeth KrautElisabeth KrautCharlène OrangeCharlène OrangePhilippe LonginPhilippe LonginThierry BeyleThierry BeyleSerge CesaranoSerge CesaranoDaniel MorenoDaniel Moreno
Projet Technique Projet Technique
PlanPlan1-Présentation du Projet1-Présentation du Projet2-Lanceur d’applications2-Lanceur d’applications3-Un bloc Note vocal 3-Un bloc Note vocal 4-La commande vocale 4-La commande vocale 5-Conclusion5-Conclusion
Un PDA Multimodal… Un PDA Multimodal…
Un PDA Multimodal… Un PDA Multimodal…
Interrogation au préalable des futurs utilisateurs du PDA
Public concerné :Public concerné : Déficients visuels (fédération nationale des Aveugles),
Trisomiques (Association FAIT 21)
Analyse des besoinsAnalyse des besoins
Un PDA Multimodal… Un PDA Multimodal…
Le Lanceur d’applicationsLe Lanceur d’applications
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
P1 P2
P3 P4
ZONE DE TEXTE
B1
B2
3B
B4
Par
Ok
INF
ENTRÉE
•Ecran tactile, zones P1 à P4•Boutons de l’appareil, B1 à B4•Flèches de direction du Pad•Molette redondante avec les flèches hautes et basses•Module de reconnaissance d’empreintes vocales
Le Lanceur d’applicationsLe Lanceur d’applications
P1 P2
P3 P4
ZONE DE TEXTE
B1
B2
3B
B4
Par
Ok
INF
SORTIE
Utilisation de messages vocaux préenregistrésPositionnement d’un « focus » visuel sur la zone sélectionnée : encadrement, clignotement, inversion vidéoAffichage de la définition de la zone pointée dans la zone de texte gros caractères
Le Lanceur d’applicationsLe Lanceur d’applications
Demarrage du PDA
Appui touche B4
INITIALISATION DU LANCEUR
* désactivation des barres hautes et basses* chargement du fichier paramètres par défaut* énoncé vocal du début LANCEUR* énoncé vocal du Focus de zone P1* affichage du texte P1 dans la zone texte
Attente : bouton /zone écran tactile/commande vocale
Flèches ou moletteappuis successifs
Accès direct BoutonsB1 / B2 / B3 / B4
Zones tactiles écranP1 / P2 / P3 / P4
Commande vocale* lecture des appli.* lancer l'appli
SORTIE LANCEURZone OK écran tactile
PARAMETRAGEZone PA écran tactile
SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus
SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus
SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus
VALIDATIONappui long
FLECHES OU MOLETTE
VALIDATIONappui longBOUTON
VALIDATIONappui long
ZONE ECRAN
Inhiber les entrées* bouton* écran tactile
Lance l'applicationpointée par le focus
VALIDATIONcommande vocale
SORTIEAPPLICATION
ENONCE VOCAL SORTIE* effet visuel: inversion vidéo* afficher TEXTE SORTIE
VALIDATIONappui long
ZONE ECRANOK
SORTIE LANCEURrestitution des paramètres
RETOUR PDA
ENONCE VOCAL PARAMETRES* effet visuel: inversion vidéo* afficher TEXTE PARAMETRES
VALIDATIONappui long
ZONE ECRANPA
MODULEPARAMETRES
SORTIEMODULE
AIDEZone INF écran tactile
ENONCE VOCAL* du module LANCEUR* du FOCUS
Un PDA Multimodal… Un PDA Multimodal…
Le bloc notes VocalLe bloc notes Vocal
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
Le Bloc Notes VocalLe Bloc Notes Vocal
ObjetObjetDéfinition du bloc notesDéfinition du bloc notes
L’existantL’existant
Windows CEWindows CE
VoiceVoice MateMateBloc Notes de Windows CEBloc Notes de Windows CE
Le Bloc Notes VocalLe Bloc Notes Vocal
Interfaces UtiliséesInterfaces Utilisées Interfaces d’entréesInterfaces d’entrées
BoutonsBoutons
Commande vocaleCommande vocale
Ecran tactileEcran tactilePocket PC
B1
B2
FG
B3
B4
FH FB
FD
B5
MH MB
Le Bloc Notes VocalLe Bloc Notes Vocal
Interfaces UtiliséesInterfaces UtiliséesInterfaces de sortiesInterfaces de sorties
Haut ParleurHaut Parleur
EcranEcran
Le Bloc Notes VocalLe Bloc Notes Vocal
Principes ErgonomiquesPrincipes ErgonomiquesLa VocalisationLa Vocalisation
FeedBackFeedBackVocalisation des menus
Vocalisation de déplacementFeedBack Ouverture de fenêtre
Répétition vocaleRépétition vocale
Situation en coursSituation en cours
Le Bloc Notes VocalLe Bloc Notes Vocal
Principes ErgonomiquesPrincipes ErgonomiquesInterface clavier / Emulation de toucheInterface clavier / Emulation de touche
Tabulation / Maj TabulationTabulation / Maj Tabulation
FlèchesFlèches
Valider / EntrerValider / Entrer
Principe de fonctionnement Principe de fonctionnement WindowsWindows
Le Bloc Notes VocalLe Bloc Notes Vocal
Principes ErgonomiquesPrincipes ErgonomiquesParamétrageParamétrage
Sonore (Augmenter / Diminuer, Actif / Sonore (Augmenter / Diminuer, Actif / Silence)Silence)
Affichage (Couleur / Contraste…)Affichage (Couleur / Contraste…)
+-
Le Bloc Notes VocalLe Bloc Notes Vocal
FonctionnalitésFonctionnalités
Ecouter / PauseEcouter / Pause Avancer / ReculerAvancer / Reculer Piste suivante / Piste précédentePiste suivante / Piste précédente
Enregistrer / Arrêter EnregistrementEnregistrer / Arrêter Enregistrement
Sauvegarder (Donner un nom, placer dans un dossier)Sauvegarder (Donner un nom, placer dans un dossier)Créer un dossierCréer un dossier
RechercherRechercherEffacer / RenommerEffacer / Renommer
Conclusion / Perspectives
Le Bloc Notes VocalLe Bloc Notes Vocal
Perspectives et ConclusionPerspectives et Conclusion
Un PDA Multimodal… Un PDA Multimodal…
La Commande VocaleLa Commande Vocale
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
La Commande VocaleLa Commande Vocale
Introduction Introduction INTERFACE D’Entrée:INTERFACE D’Entrée:
Commande VocaleCommande Vocale
qui complète:qui complète:
L’écran TactileL’écran Tactile
Les BoutonsLes Boutons
La Commande VocaleLa Commande Vocale
Introduction Introduction Utilisateurs:Utilisateurs:
Les Handicapés VisuelsLes Handicapés Visuels
Les Handicapés LourdsLes Handicapés Lourds
Grand PublicGrand Public
La Commande VocaleLa Commande Vocale
Reconnaissance de la Parole: Schéma Reconnaissance de la Parole: Schéma
Fig. 1 Schéma FonctionnelFig. 1 Schéma Fonctionnel
La Commande VocaleLa Commande Vocale
Reconnaissance de la ParoleReconnaissance de la ParoleChoix:Choix:
MonolocuteurMonolocuteur vs Multilocuteur vs Multilocuteur
Codification: Codification: LPCLPC vs STFT vs Analyse Cepstral vs STFT vs Analyse Cepstral
Comparaison: Comparaison: DTWDTW
La Commande VocaleLa Commande Vocale
Méthodes:Méthodes:Schéma:Schéma:
Signal Préaccentuation Coupure Fenêtrage LPC DTW Réponse
La Commande VocaleLa Commande Vocale
Réalisation MATLABRéalisation MATLABÉtude Méthodes:Étude Méthodes:
Matlab: Matlab: Implémentation des méthodes Fenetrage Hamming, LPC, STFT et DTW
Enregistrement de 1000 fichiers wav, différentes Liste de test en différentes langues
Préparation environnement de Test: ( Études générés automatiquement, Étude de la complexité, temps de calcul sur PDA )
La Commande VocaleLa Commande Vocale
Réalisation TESTSRéalisation TESTSRésultats avec LPC:Résultats avec LPC:
Matlab: Matlab: Liste de mots 1: 17 mots -> 100 %
Liste de mots 2: 20 mots -> 100 %
Liste de mots 2: 26 lettres Alphabet -> 65 %
La Commande VocaleLa Commande Vocale
Réalisation Embedded C++Réalisation Embedded C++Architecture Logiciel:Architecture Logiciel:
ModuleEnregistrement
Dictionnaire
ModuleReconnaissance
De la Parole
Mots pour Enregistrer
Référence a les Commandes a Reconnaître
Validation
Mot Reconu
ApplicationExtérieur
ApplicationExtérieur
La Commande VocaleLa Commande Vocale
Réalisation Embedded C++Réalisation Embedded C++Intégration aux autres applications:Intégration aux autres applications:
Module totalement indépendant : Module totalement indépendant : Incorporation aux autres applications comme une DLL Utilisation transparent
Appelle a deux fonctions : Appelle a deux fonctions : Fonction EnregistrerDictionnaire(Liste de Mots)Fonction RAP(Liste de Mots a l’instant)
Un PDA multimodal…Un PDA multimodal…
Perspectives et Conclusion Perspectives et Conclusion