Los desarrolladores de la compañía Collabora presentaron el proyecto xrdesktop, en el que, con el apoyo de Valve, se está desarrollando una biblioteca con elementos para interactuar con escritorios tradicionales dentro de entornos tridimensionales formados con lentes 3D y cascos de realidad virtual. El código de la biblioteca está escrito en C y distribuido bajo la licencia MIT. Las compilaciones terminadas están preparadas para Arch Linux y Ubuntu 19.04 y 18.04.
Actualmente, Linux ya tiene los medios para generar directamente cascos de realidad virtual (extensiones Vulkan VK_EXT_acquire_xlib_display para X11 y VK_EXT_acquire_wl_display para Wayland), pero no hay soporte en el nivel de dibujo correcto de ventanas en el espacio 3D y la sincronización de la frecuencia de actualización de la pantalla.
Sobre Xrdesktop
El objetivo del proyecto xrdesktop es desarrollar métodos que permitan el uso de interfaces clásicas en entornos virtuales, centrados en la salida en una pantalla bidimensional y el control utilizando el teclado y el mouse.
Los componentes de xrdesktop extienden la ventana disponible y los administradores compuestos con capacidades para usar el tiempo de ejecución de los sistemas de realidad virtual para representar ventanas y el escritorio en entornos virtuales tridimensionales.
En xrdesktop, se promueve la idea de integrarse en los entornos de escritorio existentes sin la necesidad de lanzar un administrador compuesto especializado separado y permitir que las configuraciones de usuario existentes que se usan con un monitor regular se usen con cascos 3D.
La arquitectura del proyecto implica la capacidad de integrarse con cualquier escritorio, pero en la etapa actual de desarrollo, se implementan componentes para soportar cascos de realidad virtual para KDE y Gnome.
Para KDE, el soporte para cascos 3D se implementa a través del complemento tipo Compiz, y para GNOME a través de un conjunto de paquetes para GNOME Shell.
Estos componentes reflejan las ventanas existentes al entorno virtual de los cascos 3D en forma de una escena separada o en modo de superposición, en el que las ventanas de escritorio se pueden superponer en otras aplicaciones de realidad virtual en ejecución.
Además de los mecanismos de representación, xrdesktop proporciona componentes para la navegación y el soporte de entrada utilizando controladores espaciales especializados.
Xrdesktop, basado en información de controladores VR genera eventos de entrada ordinarios, simulando el uso del teclado y el mouse.
Xrdesktop incluye varias bibliotecas que crean texturas de ventana para el tiempo de ejecución de VR utilizando OpenVR, así como un sistema basado en API para renderizar un escritorio completo en un entorno 3D.
Dado que xrdesktop no proporciona su propio administrador de ventanas, se requiere trabajo para integrarse con los administradores de ventanas existentes (xrdesktop se puede portar a cualquier administrador de ventanas X11 o Wayland).
Los componentes principales de xrdesktop:
gulkan: un enlace glib para Vulkan, que proporciona clases para procesar dispositivos, sombreadores e inicializar texturas desde memoria o búferes DMA.
gxr: es una API para abstraer interfaces de software para desarrollar aplicaciones de realidad virtual. Actualmente solo se admite OpenVR, pero pronto se agregará soporte para el estándar OpenXR.
libinputsynth: es una biblioteca para sintetizar eventos de entrada como movimiento del mouse, clics y pulsaciones de teclas, implementada en forma de backends para xdo, xi2 y Clutter.
xrdesktop: una biblioteca para administrar ventanas en un entorno 3D, un conjunto de widgets y backends relacionados para representar la escena.
kwin-effect-xrdesktop y kdeplasma-applets-xrdesktop: un complemento para KWin para la integración con KDE y un applet de plasma para poner KWin en modo de salida en un casco 3D.
gnome-shell patchset y gnome-shell-extension-xrdesktop: es un conjunto de parches para Gnome para integrar el soporte xrdesktop y un complemento para cambiar la salida a un casco 3D en Gnome Shell.
El proyecto admite varios métodos para organizar la interacción con el escritorio y las ventanas en un entorno virtual, que se pueden usar para capturar ventanas, escalar, mover, rotar, superponer sobre una esfera, arreglar y ocultar ventanas, usar el menú de control y controlar simultáneamente dos manos usando múltiples controladores.