Aujourd’hui, l’US Patent & Trademark Office a publié une demande de brevet d’Apple qui concerne un procédé pour fournir des informations sur le comportement d’un utilisateur vis-à-vis d’au moins un objet de référence, en particulier un objet de référence virtuel, via un réseau de lunettes intelligentes ou MR HMD à un deuxième appareil tel qu’un Mac ou un iPhone/iPad. L’invention couvre également un système pour fournir des informations sur le comportement d’un utilisateur dans une scène virtuelle particulière. L’invention s’applique aux environnements de réalité mixte qui pourraient être utilisés dans les jeux, la formation de simulation de vol et bien plus encore.
Transmission des données du regard du HMD mobile
L’invention d’Apple s’applique notamment dans le domaine de la réalité virtuelle et des systèmes de suivi oculaire. La réalité virtuelle peut avantageusement être utilisée pour une grande variété d’applications différentes.
Outre les jeux et les divertissements, la réalité virtuelle, en particulier en combinaison avec le suivi oculaire, peut également être utilisée pour les études de marché, la recherche scientifique, la formation de personnes, etc. Par exemple, des données de suivi oculaire peuvent avantageusement fournir des informations sur l’endroit où un utilisateur, qui expérimente actuellement l’environnement virtuel, regarde dans cet environnement virtuel. Ainsi, par exemple pour une étude de marché, on peut utiliser l’environnement virtuel en combinaison avec le suivi oculaire pour analyser par exemple quels objets, qui sont présentés comme des objets virtuels dans l’environnement virtuel, par exemple un supermarché virtuel, attirent plus ou moins l’attention de l’utilisateur.
De plus, la combinaison de l’environnement virtuel et d’un suivi oculaire peut être utilisée à des fins de formation, par exemple en simulant une situation de formation virtuelle, par exemple sous la forme d’un simulateur de vol ou d’un simulateur de véhicule, et en utilisant les données de suivi oculaire capturées pour analyser si l’utilisateur avait regardé les bons objets ou instruments importants ou était attentif ou non ou fatigué, etc. Surtout dans de telles situations, il serait très souhaitable de pouvoir partager une telle expérience utilisateur de réalité virtuelle également avec des tiers, comme un observateur, un instructeur ou un superviseur, qui souhaite observer ou analyser le comportement de l’utilisateur et l’interaction de l’utilisateur avec l’environnement virtuel ou encore pour donner des instructions, des conseils ou des recommandations à l’utilisateur qui expérimente actuellement l’environnement virtuel.
Le brevet d’Apple FIG. 2 ci-dessous une illustration schématique d’un système de fourniture d’informations sur un comportement d’un utilisateur vis-à-vis d’un objet de référence via un réseau d’un premier appareil vers un deuxième appareil
(Clique sur l’image pour l’agrandir)
Dans un exemple, Apple note que lorsque l’utilisateur associé au premier appareil (lunettes connectées #14) se déplace et interagit avec un environnement virtuel connu, qui s’affiche sous la forme du scène virtuelle VRSPar exemple, lorsque vous jouez à un jeu ou que vous vous promenez dans un supermarché virtuel, il suffit de rendre les informations sur l’état actuel de l’utilisateur disponibles sur le deuxième appareil (#16 Mac/ordinateur) pour recréer l’expérience utilisateur sur le deuxième appareil. La recréation peut également être modifiée intentionnellement, par exemple en augmentant ou en réduisant la résolution, par exemple dans la région de la scène virtuelle VRS qui comprend le point de regard actuel de l’utilisateur. Dans un environnement virtuel statique et interactif, le composant inconnu est la façon dont l’utilisateur se déplace et interagit avec lui, où le composant connu est l’environnement virtuel lui-même.
Pour plus de détails, consultez la demande de brevet d’Apple numéro US 20220404916 A1.
Inventeurs d’Apple
- Tom Sengelaub : Responsable principal de l’ingénierie – Vision par ordinateur
- Julia Benndorf : ingénieur logiciel
- Marvin (Vogel) Klinkhardt : ingénieur en vision par ordinateur
Les trois inventeurs sont venus chez Apple lorsque SMI SensoMotoric Instruments GmbH a été acquise par Apple en 2017. SMI était un leader mondial de la technologie de suivi oculaire. En 2015, SMI a présenté ses premières lunettes intelligentes avec suivi oculaire à Siggraphe comme présenté dans la vidéo ci-dessous.