Les développeurs de la société Collabora ont présenté le projet xrdesktop, dans lequel, avec le soutien de Valve, une bibliothèque est en cours de développement avec des éléments pour interagir avec les bureaux traditionnels dans des environnements tridimensionnels formés avec des lunettes 3D et des casques de réalité virtuelle. Le code de la bibliothèque est écrit en C et distribué sous la licence MIT. Les versions finies sont prêtes pour Arch Linux et Ubuntu 19.04 et 18.04.
Actuellement, Linux a déjà les moyens de générer directement des casques de réalité virtuelle (extensions Vulkan VK_EXT_acquire_xlib_display pour X11 et VK_EXT_acquire_wl_display pour Wayland), mais il n'y a pas de prise en charge du niveau de dessin de fenêtre correct dans l'espace 3D et de la synchronisation du taux de rafraîchissement de l'écran.
À propos de Xrdesktop
L'objectif du projet xrdesktop est de développer des méthodes permettant l'utilisation d'interfaces classiques dans des environnements virtuels, axé sur la sortie sur un écran bidimensionnel et le contrôle à l'aide du clavier et de la souris.
Les composants xrdesktop étendent les gestionnaires de fenêtres et composites disponibles avec des capacités permettant d'utiliser le moteur d'exécution des systèmes de réalité virtuelle pour rendre les fenêtres et le bureau dans des environnements virtuels tridimensionnels.
Dans xrdesktop, l'idée de s'intégrer dans des environnements de bureau existants sans avoir besoin de lancer un administrateur composite spécialisé est promue séparez et autorisez les paramètres utilisateur existants utilisés avec un moniteur ordinaire à être utilisés avec des casques 3D.
L'architecture du projet implique la possibilité de s'intégrer à n'importe quel bureau, mais au stade actuel de développement, des composants sont implémentés pour prendre en charge les casques de réalité virtuelle pour KDE et Gnome.
Pour KDE, la prise en charge des casques 3D est implémentée via le plugin de type Compiz et pour GNOME via un ensemble de packages pour GNOME Shell.
Ces composants reflètent les fenêtres existantes dans l'environnement virtuel des casques 3D sous la forme d'une scène séparée ou en mode superposition, dans lequel les fenêtres du bureau peuvent être superposées sur d'autres applications de réalité virtuelle en cours d'exécution.
En plus des mécanismes de représentation, xrdesktop fournit des composants pour la navigation et la prise en charge de la saisie en utilisant des contrôleurs spatiaux spécialisés.
xrddesktop, basé sur les informations des contrôleurs VR génère des événements d'entrée ordinaire, simulant l'utilisation du clavier et de la souris.
Xrdesktop comprend plusieurs bibliothèques qui créent des textures de fenêtre pour le runtime VR à l'aide d'OpenVR, ainsi qu'un système basé sur une API pour le rendu d'un bureau entier dans un environnement 3D.
Étant donné que xrdesktop ne fournit pas son propre gestionnaire de fenêtres, un travail est nécessaire pour s'intégrer aux gestionnaires de fenêtres existants (xrdesktop peut être porté sur n'importe quel gestionnaire de fenêtres X11 ou Wayland).
Les principaux composants de xrdesktop:
gulkan : une liaison glib pour Vulkan, qui fournit des classes pour le traitement des périphériques, des shaders et l'initialisation des textures à partir de la mémoire ou des tampons DMA.
gxr : est une API permettant de résumer les interfaces logicielles pour développer des applications de réalité virtuelle. Actuellement, seul OpenVR est pris en charge, mais le support du standard OpenXR sera bientôt ajouté.
libinputsynth : est une bibliothèque pour synthétiser les événements d'entrée tels que les mouvements de la souris, les clics et les frappes au clavier, implémentée sous la forme de backends pour xdo, xi2 et Clutter.
xrdesktop : une bibliothèque pour gérer les fenêtres dans un environnement 3D, un ensemble de widgets et de backends associés pour le rendu de la scène.
kwin-effect-xrdesktop et kdeplasma-applets-xrdesktop: un plugin KWin pour l'intégration KDE et une applet plasma pour mettre KWin en mode sortie sur un casque 3D.
gnome-shell patchset et gnome-shell-extension-xrdesktop: est un ensemble de correctifs pour Gnome pour intégrer le support de xrdesktop et un plugin pour changer la sortie en un casque 3D dans Gnome Shell.
Le projet prend en charge diverses méthodes d'organisation de l'interaction entre le bureau et la fenêtre dans un environnement virtuel, qui peuvent être utilisées pour capturer des fenêtres, mettre à l'échelle, déplacer, faire pivoter, superposer sur une sphère, organiser et masquer les fenêtres, utiliser le menu de contrôle et contrôler simultanément deux mains en utilisant plusieurs contrôleurs.