réalité virtuelle et interaction introduction à la réalité...

Réalité Virtuelle et Interaction Introduction à la Réalité Virtuelle

Année 2017 - 2018 / APP5 Info à Polytech Paris-Sud Cédric Fleury ([email protected])

https://www.lri.fr/~cfleury/teaching/app5-info/RVI-2018/

mailto:[email protected]?subject=

https://www.lri.fr/~cfleury/teaching/app5-info/RVI-2018/

Mise en situation : RVI / Cédric Fleury - APP5 Info à Polytech Paris-Sud - Introduction à la réalité virtuelle

Plan du cours

• Historique • Définition de la Réalité Virtuelle • Facteurs humains • Technologie de la Réalité Virtuelle • Applications

Remerciement à Bruno Arnaldi (IRISA - Insa de Rennes)

2


Plan du cours



3


Historique

• Ivan Sutherland – 1963 : SketchPad

• Éditer/manipuler des formes simples, crayon lumineux, précurseur de la CAO

– 1988 : Turing Award

4


Ivan Sutherland

• The Ultimate Display Paper (FIPS 1965) International Federation of Information Processing

– Data Visualization: « A display connected to a digital computer… is a looking

glass into a mathematical wonderland »

⇒ Première définition de l’immersion

– Body tracking: « The computer can easily sense the positions of almost any

of our body muscles »

5


Ivan Sutherland

• The Ultimate Display Paper (FIPS 1965)

– Virtual Environments that mimic real environments: « A chair display in such a room would be good enough to sit in. »

– VEs that go beyong reality:«There is no reason why the objects displayed by a computer have to follow ordinary rules of physical reality with which we are familiar »

6


Ivan Sutherland

• 1966-68 : The Sword of Damocles (MIT) – 1er casque de visualisation (affichage en fil de fer)

– Superposition avec la vision naturelle (RA)

7


Ivan Sutherland

• 1973 : compagnie « Evans and Sutherland » – Construction d’un simulateur capable de produire 20

images/seconde

– Premier simulateur de vol pour l’armée US – Développement d’un casque de RV pour l’armée US entre

1970 et 1980.

– Travail couvert par le secret défense

8


Ivan Sutherland

• Bilan – Un des précurseurs de la RV

– Principe d’immersion dans un monde simulé

– Difficulté technique à mettre en œuvre • Capacité des calculateurs

• Capacité des dispositifs d’interaction

9


Simulateur de vol

• 1929 : simulateur société Link – Cockpit sur plateforme mobile

– Guidé par les commandes

• 1940 : développement d’une industrie nouvelle – Sauver des $

– Avions, hélicoptères, chars, navires

– Défaut : pas de retours visuels

• 50’s apparition des cameras vidéos – Cameras montées sur une plates-formes suspendues au

dessus de maquettes et contrôlés par les commandes

10


Simulateur de vol

• 60’s : images générées par ordinateur – Modélisation 3D des scènes (aéroports)

– 1 position = 1 image (5 images/secondes ⇒ latence 1/20s)

11


Simulateur de vol

• 60’s : images générées par ordinateur – Modélisation 3D des scènes (aéroports)

– 1 position = 1 image (5 images/secondes ⇒ latence 1/20s)

• 1968 : générateur de scène – Evans & Sutherland

• 1972 : Advanced Development Model (Navy) – General Electric

– 3 images sur 3D écrans autour du cockpit (180°)

• 1973 Circa – 20 images/s, 200 à 400 polygones/s

12


Simulateur de vol

• 1979 : expérimentation du casque (armée US) – VITAL helmet – Mac

Donnell Douglas • 2 tubes cathodiques

monochromes, prismes

• 1 capteur électromagnétique

13


Simulateur de vol

• Bilan – Très gros investissements financiers (Armée US)

– Très gros progrès • Générateurs d’images temps réels

• Restitution de mouvements (plateformes mobiles)

• Modélisation d’environnements extérieurs

14


Première application grand public

• 1969: Sensorama – Retour multi-sensoriel

– Pas d’interactions

15


• Le système VIVED (Virtual Visual Environment Display) – 1985 : 1er prototype (NASA)

• Dr. Michael McGreevy et Jim Humphries

• Affichage cristaux liquides (LCD)

• Ajout d’un data glove (Scott Fisher)

Vidéo

Premier système moderne de RV

16


Boom Display• Début 1990 : FakeSpace Lab

17

Vidéo


Premier CAVE

• 1992 : – Tomi de Fanti et

Carolina Cruz-Neira

– 4 faces : 3 murs et le sol.

– 4 SGI Reality Engine

– Tracker magnétiques 3D pour la tête et les mains

18


Premier son virtuel

• 1988 : – Scott Fischer et Elizabeth Wenzel

– Création du premier système capable de synthétiser 4 sources sonores 3D virtuelles

– Les sources de sons sont localisées même si la tête bouge (tracking de la tête)

19


Première restitution haptique

• 70’s : recherche sur le touché - F. Brooks (UNC) – Notion de retour d’effort

• Project GROPE : assemblage de molécules – GROPE I (1967):

• Pour un doigt

– GROPE II (1976): • Pour la main (inutilisable !)

– GROPE III (1990): • Pour la main (6 DoF)

20


Première entreprise de RV

• VPL fondé en 1985 – Jaron Lanier et Thomas

Zimmerman

– Première commercialisation de produits de RV • DataGlove (1987), etc.

– Introduction de plusieurs librairies de RV

– Introduction du terme « Virtual Reality » (Jaron Lanier)

21


« Virtual Reality »

• Holdup immédiat du terme par les médias • La traduction de « virtual reality » n’est pas réalité

virtuelle – « Virtual » comme : quasiment

– Littéralement : quasi réel, qui fait office de réalité

– Mais traduit et adopté par les médias par« Réalité virtuelle » ⇒ ambiguïté linguistique évidente

22


Historique - Bilan

• Début dans les années 70 – Systèmes expérimentaux

• Premier système moderne : milieu des année 80 – Systèmes dédiés : projecteurs, SGI, etc.

– Premières applications dans l’industrie

• De nos jours – Démocratisation des dispositifs matériels

– Explosion des applications

23


Plan du cours



24


Définition générale

• Réalité virtuelle – Terme très à la mode

– Pas toujours employer à bon escient

– Ne fait pas toujours l’unanimité dans la communauté scientifique

25


Définition générale• Proposée par B. Arnaldi, P. Fuchs et J. Tisseau dans le

traité de la réalité virtuelle :

« La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensori-moteurs. »

Traité de la réalité virtuelle (gratuit pour les étudiants en pdf) ⇒ https://sites.google.com/site/ppppfuchs/home/professeur/

equipe-rv-ra/domaines-de-recherche/traite-de-la-realite-virtuelle/telechargment-traite-rv

26


Définition générale

• Réalité virtuelle – Simuler : animer, reproduire

– Monde virtuel : généré par ordinateur

– Entité 3D : • Notion de monde 3D (géométrie, photométrie, mécanique)

• Comportement : notion d’autonomie

– Temps réel : notion d’interactivité avec l’utilisateur

– Immersion

– Sensori-moteurs : différents sens de l’utilisateur

27


Définition de l’immersion

• Proposée par Pimentel et Teixeira (Virtual Reality : through the new looking glass, 1994)

Immersion : « état (perceptif, mental, émotionnel) d’un sujet lorsque un ou plusieurs sens sont isolés du monde extérieurs et sont alimentés uniquement par des informations issues de l’ordinateur. »

⇒ inclus aussi l’immersion émotionnel

28


Boucle action/immersion

• Une application de RV est constitué

29

Utilisateur(s) Dispositifs matériels Calculateur(s)


Différentes approches

Approche centrée utilisateur • Psychologique, cognition, sociologie

30

Utilisateur(s)

Dispositifs matériels

Calculateur(s)

Approche autour des périphériques • Robotique, mécanique, etc.

Informatique • Algorithmique, intelligence artificielle,

conception logicielle


Principales thématiques scientifiques• Interaction Homme-Machine (IHM)

– Perception (visuelle, tactile, sonore, etc.)

– Acquisition de données (position, force, etc.)

– Métaphores sensorielles

• Modélisation 3D – Traitement des géométries (scènes complexes)

– Modèle de mouvement et d’animation

– Simulation d’éclairage – Détection de collision

• Intelligence Artificiel (IA) – Comportement d’entités autonomes

31


Principales difficultés

• Capter les actions de l’utilisateur

• Latence : délai dans la boucle – Acquisition et traitement des interactions

– Calcul de la restitution sensorielle

• Réalisme : difficile de reproduire le réel – Crédibilité des retours sensoriels

• Retours visuels plausibles, collisions raides, etc.

32


Domaines très proches

• Réalité augmentée – Images générées par ordinateur sont ajoutées à la

perception du réel

• Téléprésence – L’utilisation de technologies produit l’effet du placement

d’un utilisateur à un autre endroit – Par extension : deux utilisateurs distants ont le sentiment

d’être au même endroit (et peuvent ainsi communiquer)

33


• Combinaison d’une scène réelle observée par un utilisateur et d’une scène simulée par ordinateur afin d’augmenter la scène réelle avec des informations additionnelles

Réalité augmentée

34


Continuum de Miligram

35



36



37


Plan du cours



38


Perception humaine

• 5 sens classiques – Vue

– Ouie

– Odorat

– Toucher

– Gôut

– + les capteurs internes du corps • Système vestibulaire

• Mécanorécepteurs musculaires et articulaires

39


Performance visuelle

• Champ visuel – Monoculaire : 90° à l’horizontal et 70° haut-bas

– Binoculaire : 120° à l’horizontal

– Acuité visuelle • Capacité à distinguer deux points rapprochés de l’espace

• Plus petit angle entre les deux objets du point de vue de l’utilisateur – 1’ d’angle (1/60 de degrée)

40

(recouvrement pour la vision en profondeur)



• Discrimination temporelle – Relativement mauvaise : entre 4 et 5 ms

• Vision des couleurs – 200 nuances colorés entre 380 et 780 nm

– On distingue aussi la saturation (degrée de pureté) et la brillance (intensité)

– Conclusion : environ 1.000.000 nuances différentes

41



• Vision de la profondeur – On peut distinguer des objets en profondeur de

½ millimètre pour 1 mètre

– Donc 10 mètres, on distingue la profondeur à 10 cm prés

– La profondeur est perçue grâce • A la disparité rétinienne (entre les deux yeux)

• A la parallaxe :

42


Perception auditive

• Onde sonore : variations de pression – Intensité = amplitude de la variation

– Pression mesurée en Pa (pascal)

– On utilise plus souvent les décibels • Niveau en dB =

20 x log(pression mesurée / pression de référence)

• Pression de référence : 2x10-5 Pa (son imperceptible, 0 dB)

• Sensation sonore double quand l’intensité augmente de 10 dB (log)

43


Performance auditive

• Sensibilité de la perception – Vibration comprise entre 20Hz et 20kHz

– Seuil de perception absolu : 4dB pour 1kHz – Quelques chiffres

• Au-delà de 130dB : douleur

• Un murmure : 10dB

• Une conversation : 40dB

• Une dispute : 70dB

• Un coup de tonner : 120dB

44


Perception haptique• Seuil de détection absolus

– Textures de surface : 0,1 micromètres – Déplacement statique de la peau : 20 micromètres

– Variations de température : 0,05°C

– Détection de 2 points : 1mm au bout du doigt

– Sensibilité de localisation : 0,15 mm

– Reproduction de position : 2 mm au bout du doigt

– Pression : 0,03 Newto,/cm2

45


Perception haptique

• Toucher actif : Just Noticeable Differences (JND) – Vitesse 10%

– Accélération 20%

– Force 7%

– Raideur (surfaces souples) 3%

– Raideur (Surfaces dures) 8%

– Viscosité 14%

– Masse 21%

46


Latence

• Délai entre l’action de l’utilisateur et les retours sensoriels appropriés – Acquisition des actions des utilisateurs

– Traitement de ces actions

– Calcul des restitutions sensorielles

– Retours vers l’utilisateur

⇒ Problème inhérent à la RV

47


Conséquences de la latence

• Erreur de localisation spatiale

• Problèmes de stabilité et précision des mouvements

• Vitesse des mouvements

• Cyber-sickness

• Fatigue

48


Niveaux de latences

• 7 à 10 ms : réflexe vestibulo-occulaire

• 30 ms : minimum mesurable

• 100 ms : seuil de perception de l’humain (vision)

• 200 ms : limite du confort pour les mouvements de la tête (au-dessus risque de cybersickness)

• 250 ms : seuil de gène lors du contrôle manuel

• 300 ms : limite du supportable

49


Comment réduire la latence ?

• Augmenter la puissance de calcul et la vitesse de transmission des données

• Paralléliser les processus de traitements

• Augmenter la fréquence des images

– 60 Hz nécessaire pour une interaction fluide

• En prédisant le comportement de l’utilisateur

– Filtre de Kalmann, dead reckoning, prédicateur adaptatif, modèle, etc.

50


Questions sur la latence

• Est-ce la seule responsable du cybersickness ? – Non : désynchronisation entre les retours sensoriels

(particulièrement vue/vestibulaire)

• Peut-on s’adapter à la latence – Oui : l’humain peut ralentir

– Mais, pire que la latence, le jitter ! • Variance de la latence :

Jitter important ⇒ impossible de prévoir la latence

51


Plan du cours


52


Technologie de la RV

• Restitution multi-sensorielle : 5 sens – Visuelle, auditive, haptique, olfactive, gustative

• Périphériques d’interaction

• Émergence de dispositifs « low cost »

53


Restitution visuelle

• Indispensable à toute application de RV

• Critère de l’immersion visuelle – Large champ de vision

– Vision stéréoscopique

– Haute résolution

– Immersion du regard l’utilisateur

54


Visiocasque

• Head Mounted Display (HMD) – Petits écrans très prés des yeux

• Tubes cathodiques + miroirs

• LCD maintenant

– Nécessite de tracker la position de l’utilisateur

– Avantages • Immersion totale du regard, peu encombrant, prix

– Inconvénients • Faible résolution, faible champs de vision, cybersickness

55


CAVE, Salle Immersive

• 4 à 6 faces, projection par l’avant ou l’arrière • Nécessite un dispositif pour la vision stéréo • Nécessite de tracker l’utilisateur

56

Vidéo


CAVE, Salle Immersive

• Avantages : – Bonne résolution

– Bonne immersion du regard

• Inconvénient : – 1 seul utilisateur (éventuellement 2)

– Espace de déplacement restreint

– Complexe et couteux

57


• Mur d’images

• Workbench

• Bureau immersif

Autres dispositifs immersifs

58


Vision stéréoscopique

• Disparité entre les images de chaque œil – 1 image différente pour chaque œil

– Dépends de la distance interoculaire

59



• Envoyer une image différente à chaque œil – Déjà prévu dans les HMDs

– Plus compliqué avec des écrans ou des projecteurs • Séparation en fréquence

• Séparation par polarisation

• Séparation par anaglyphe • Ecrans auto-stéréoscopiques

60



• Séparation en fréquence – Ecrans ou projeteurs à 120 Hz

– Lunettes à obturations (actives, Shutter glasses) • Obturateur LCD

– Nécessite une synchronisation • Infrarouge ou radio-fréquence

61



• Séparation par polarisation – Souvent polarisation circulaire

– Avantages • Lunettes plus légères

• Moins chères

– Inconvénients • Dégrade un peu les couleurs • Fantômes (on voit un peu l’autre image)

62



• Séparation par anaglyphe – Peu utilisée en RV

– Dégrade beaucoup les couleurs

63



• Ecrans auto-stéréoscopique – Pas besoin de lunettes

– 2 techniques • Barrière de parallaxe

• Réseau lenticulaire

– Nombres de vues prédéfinies • Affiche 8 vues = 16 images affichées en même temps

• Ne convient pas pour l’interaction – On ne peut pas se déplacer devant l’écran.

64



• Correction des parallaxes (écrans et projecteurs)

65



• Correction des parallaxes (écrans et projecteurs)

66

– Nécessité de tracker la tête de l’utilisateur

– Déformation de la pyramide de vue

– Images spécifiques à chaqueutilisateur

Vidéo


Système de tracking

• Capteur la position et l’orientation d’une cible • Techniques utilisées

– Mécanique (articulé, filaire, etc.)

– Capteurs électromagnétiques

– Cameras infrarouges

– Centrale inertielle • Gyroscope

• Accéléromètre

• Magnétomètre

67



• Accommodation – En réel

• Accommodation = convergence

– En vision stéréo • Accommodation sur l’écran

!= convergence due à la disparité

• Pas encore de solution en RV – Ajout de flou

• Là ou l’on veut que l’utilisateur regard (film Avatar)

• Là ou l’utilisateur regarde (eye tracking ou prédiction)

68


Restitution auditive

• Buts – Reproduire le bruit des objets virtuels

– Aider l’utilisateur lors des interactions

• 2 méthodes pour la spatialisation – Différence de sons entre les deux oreilles

• Haut-parleurs ou casques

• Nécessite de connaitre la position de l’utilisateur

– Reconstruction de l’environnement sonore • De façon physiquement réaliste

• Dispositif complexe et ressources de calcul importantes

69

Vidéo


Restitution haptique

• Retours tactiles – Sensation de toucher les objets virtuels – Techniques utilisées

• Interfaces tangibles

• Stimulations vibratoires(UIST 2013)

• Stimulations électriques

70



• Retours proprioceptifs – Proprioceptif : sensation issue du corps

• Positions, mouvements, forces

– Retours de forces • Bras à retour d’efforts

• Exo-squelette

• Spidar

71



• Retours proprioceptifs – Interfaces de locomotion : recrée les

sensations d’un déplacement naturel • Métaphores du poste de conduite

– Voiture, vélo

• Métaphore de la marche – Tapis roulant, etc.

• Métaphore abstraite – Joyman, etc.

72

Vidéos



• Retours proprioceptifs – Recréer l’effet de la gravité

et des accélérations • Plateformes mobiles

• Stimulation galvanique vestibulaire (GVS) – Génération d’un champs

électromagnétique au niveau de l’oreille interne

– Limite le cybersickness

73



• Retours pseudo-haptiques – Générer une sensation haptique à partir d’un décalage

entre l’action de l’utilisateur et le retour (visuel ou autre) qu’il reçoit.

74

https://team.inria.fr/hybrid/w3d-project/


Restitution olfactive

• 2 techniques – Diffuseurs devant le nez

– Canon à odeurs

• Problèmes – Diffusion – Persistance

75


Restitution gustative

76

The University of Tokyo / Takuji NarumiVidéo


Périphériques d’interaction

• Périphériques 3D (6DoF) – Souris 3D, Joysticks, manettes, etc.

• Périphérique haptique – Bras à retour d’effort, exo-squelettes, etc.

• Système de tracking – Interagir avec les gestes et les déplacements

• Périphériques spécifiques – Gants de données, interfaces tangibles, etc.

77


Dispositifs « low cost »

• Dispositifs de visualisation – TV 3D (<2000€)

– Projecteurs 3D (<2000€)

– HTC vive (<800€) • Large champ de vision

• Simple écran LCD

• Lentilles

78



• Nouveaux périphériques d’interaction – Capteurs de profondeur

• Kinect de Microsoft, Creative Senz3D, Structure Sensor

– Capteurs magnétiques • Razor Hydra

– Cameras infrarouges • Wiimote

– Cameras normales • Leapmotion

79



• Exemples d’utilisation – Tracking de l’utilisateur

• Kinect, Wiimote, Razor Hydra

– Interactions gestuelles • Kinect, Leapmotion

– Reconstruction 3D • Kinect, structure Sensor

– Augmentation de l’immersion • IllumiRoom de Microsfot (projecteur + Kinect)

80

Vidéo


Plan du cours


81


Applications industriels

• Analyse de données scientifiques – Gros volumes de données

– Données 3D – Visualisation dans le contexte

– Collaboration à distance

82

Vidéo


Applications industriels

• Conception industrielle – Design

• Forme du produit, ergonomie

• Simulation (ex: optique de phare)

– Processus de fabrication • Possibilité d’assemblage

– Montage les pièces

– Accessibilité des zones lors de la peintures

• Ergonomie du poste de travail

83

Vidéo


Formation (Serious Game)

• Formation de personnels

– Tâches dangereuses ou rares

• Pompiers, gestion de crise, actes médicaux, etc.

– Matériels couteux ou pas disponibles

• Maintenance de char Leclerc, etc.

– Formateur distant

– Procédure automatisée

• Entrainement militaire, etc.

84


Un exemple concret• Contexte : EDF

– Intérieur d’une centrale nucléaire – Mise au normes des installations – Environnement encombré – Arrêt de la centrale doit être minimal

• Travail à effectuer – Déplacement d’une charge très lourde – La réalité virtuelle doit

• Trouver le bon chemin pour sortir la charge • Prouver que la charge sort bien • Former les personnels à la manipulation

• Résultats – Pilotage en virtuel du pont polaire par le vrai pilote – Durée de l’opération 24h (en virtuel) – Mesure en virtuel : ça passe à 27 cm prés – Mesure en réel : c’est passé entre 25 et 27 cm – Gain direct de plusieurs 100 000 euros

85


Applications sociales

• Expérimentations sociologiques – Contrôle de l’environnement

– Mise en situation pas possible ou dangereuse en réel

• Soigner certains pathologies – Vertige, agoraphobie, autisme

– Rééducation (conduite de voiture, tâches ménagères, etc.)

86


Applications pour le grand public

• Jeux vidéos

• Education

• Visites virtuelles

– Musées, sites disparus, etc.

• Téléprésence

– Communication entre utilisateurs distants

– Interactions collaboratives

87

réalité virtuelle et interaction introduction à la réalité...

Documents