De nombreuses applications logicielles dédiées aux systèmes AR, VR et MR sont développées pour offrir des outils d’aide et d’assistance, particulièrement dans les domaines de la maintenance et du médical. Ces applications sont optimisées pour exploiter les fonctionnalités disponibles sur les systèmes AR, VR ou bien MR, qu’ils se présentent sous forme de lunettes ou casque, intégrant ou non un smartphone.
Il est important de bien connaitre les caractéristiques optiques d’un système AR, VR ou MR afin de bien dimensionner l’application logicielle qui lui sera associée pour en obtenir les performances maximales.
Pour un Client du domaine médical, PISÉO a développé un protocole d’essais permettant de connaitre les performances optiques réelles du système AR sélectionné en lien avec son application logicielle, ceci en vue d’une certification FDA pour le marché américain. Les mesures des performances optiques de ces systèmes ont été réalisées dans le laboratoire de PISÉO, dans un environnement maitrisé et contrôlé et avec des équipements d’essais étalonnés sous accréditation ISO 17025 (portée disponible sur www.cofrac.fr). Ils suivent les recommandations données par les normes IEC 63145-20-20 et IDMS v1.1a.
La réalité augmentée (AR pour augmented reality) permet de superposer du contenu numérique au monde réel (objets virtuels, informations, etc.). L’utilisateur voit toujours l’environnement réel, avec en surimpression cette couche de contenu numérique. L’affichage s’effectue sur un écran visible par l’utilisateur, le plus souvent via des lunettes de réalité augmentée ou via un smartphone avec une application spécifique offrant des capacités de réalité augmentée.
A l’inverse de la réalité augmentée, la réalité virtuelle (VR pour virtual reality) englobe toutes les expériences immersives disponibles via un casque de réalité virtuelle (aussi appelé HMD pour head-mounted display). L’utilisateur est totalement coupé du monde réel, dans un environnement virtuel visible grâce au casque de réalité virtuelle.
Particulièrement utilisée dans le domaine du médical pour assister les équipes en pré-opératoire, la réalité virtuelle projette l’utilisateur dans un environnement virtuel en 3D via un casque de réalité virtuelle afin d’être en totale immersion. L’utilisateur peut ainsi tourner la tête à 360° autour de lui, se déplacer dans l’espace et interagir avec l’environnement virtuel grâce à des manettes par exemple.
La Réalité Virtuelle (ou VR) repose sur 3 piliers : l’interaction, l’immersion et le sentiment de présence qui fonctionnent ensemble pour créer un environnement virtuel réaliste.
Quant à la réalité mixte (MR pour mixed reality), elle combine plusieurs technologies. Un casque de réalité mixte permet d’intégrer des éléments virtuels dans le monde réel en permettant à ces éléments d’interagir avec l’environnement. L’utilisateur n’est pas coupé du monde réel, il peut voir au travers du casque ou des lunettes de réalité mixte.
Cette technologie mixe réalité augmentée et réalité virtuelle, ce qui augmente son potentiel par rapport à la seule réalité virtuelle.
Les systèmes AR, VR ou MR se présentent dans différents secteurs. Certains sont connectés à un PC et sont pilotés par une application du type Windows Mixed Reality, alors que d’autres sont autonomes. D’autres encore utilisent un smartphone sur lequel est téléchargée une application dédiée.
De nombreux tests de performance sont réalisés sur ces systèmes, mais beaucoup d’entre eux le sont avec des protocoles mal définis ou pas définis du tout. Ces mesures sont fréquemment effectuées avec des conditions expérimentales mal maitrisées et non contrôlées. Le manque de rigueur lors de la réalisation de ces mesures ou contrôles peut aussi fausser leur résultat. Dans ces conditions, il est difficile de comparer les systèmes commercialisés de manière objective. Forte de sa longue expérience en mesure de performance des systèmes optiques et de son accréditation ISO 17025 (portée disponible sur www.cofrac.fr), PISÉO est en mesure de développer des protocoles d’essais pour tester les systèmes AR VR.
A la demande d’un Client du domaine médical, des tests de performance ont été réalisés sur des lunettes de réalité mixte Hololens2 de Microsoft au sein du laboratoire de PISÉO. Ces tests ont fait l’objet au préalable d’une analyse des spécifications de la FDA et de la définition d’un protocole rigoureux répétable et reproductible. Ce dernier s’appuie sur des méthodes d’essais spécifiques reconnues internationalement et la pratique de la mesure de qualité d’image de PISÉO. Les essais réalisés ont ainsi porté sur les aspects suivants :
- La mesure de la résolution spatiale des lunettes par la mesure du contraste de Michelson sur des mires à grilles verticale et horizontale selon les préconisations de la norme IEC 63145-20-20:2019. Ces mesures ont été réalisées dans le noir et pour plusieurs niveaux d’éclairement de lumière ambiante. Les niveaux d’éclairement de lumière ambiante ont été générés par un illuminateur du laboratoire de PISÉO, et mesurés par un appareil de mesure du laboratoire de PISÉO étalonné sous accréditation ISO 17025 (portée disponible sur www.cofrac.fr).
- La mesure de contraste sur mire à damier selon la norme IEC 63145-20-20:2019, pour plusieurs niveaux de lumière ambiante.
- La mesure de luminance et d’uniformité de luminance selon la norme IEC 63145-20-20:2019.
- La mesure de distorsion géométrique selon la norme IEC 63145-20-20:2019.
- La mesure de persistance spatiale pour laquelle le protocole a été établi par PISÉO. La persistance spatiale est l’écart de la vitesse de déplacement entre un objet réel perçu au travers des lunettes Hololens2, et un objet virtuel projeté sur l’écran des lunettes. Si la persistance spatiale est trop importante, elle peut rendre l’utilisateur des Hololens2 mal à l’aise.
La technologie d’affichage de l’écran des Hololens2 utilisant le balayage d’un faisceau laser, il a fallu adapter la fréquence d’acquisition de la caméra de mesure (ou LMD pour Light Measuring Device) à la fréquence de balayage du faisceau laser.
Chacune des mesures présentées ci-dessus a été réalisée sur chacun des oculaires des lunettes Hololens2.
L’alignement du LMD (Light Measuring Device), dans notre cas il s’agissait d’une caméra matricielle, a été effectué selon les recommandations décrites dans le chapitre consacré aux tests sur les NED (Near Eye Display) du standard IDMS v1.1a.
Les mesures en laboratoire ont permis au client de qualifier différents paramètres des Hololens et ainsi de s’assurer de la performance de leur système de VR. In fine, les essais réalisés par PISÉO ont permis au client d’obtenir la certification FDA pour vendre son application sur le marché américain.
