Dezvoltatorii companiei Collabora au prezentat proiectul xrdesktop, în care, cu sprijinul lui Valve, se dezvoltă o bibliotecă cu elemente pentru a interacționa cu desktopurile tradiționale în medii tridimensionale antrenat cu ochelari 3D și căști de realitate virtuală. Codul bibliotecii este scris în C și distribuit sub licența MIT. Versiunile terminate sunt gata pentru Arch Linux și Ubuntu 19.04 și 18.04.
În prezent, Linux are deja mijloacele necesare pentru a genera direct căști de realitate virtuală (extensii Vulkan VK_EXT_acquire_xlib_display pentru X11 și VK_EXT_acquire_wl_display pentru Wayland), dar nu există suport pentru nivelul corect de desenare a ferestrei în spațiul 3D și sincronizarea ratei de reîmprospătare a ecranului.
Despre Xrdesktop
Obiectivul proiectului xrdesktop este de a dezvolta metode care să permită utilizarea interfețelor clasice în medii virtuale, concentrat pe ieșirea pe un ecran bidimensional și control pe tastatură și mouse.
Componentele xrdesktop extind fereastra disponibilă și managerii compoziți cu capacități de a utiliza timpul de rulare al sistemelor de realitate virtuală pentru a reda ferestrele și desktopul în medii virtuale tridimensionale.
În xrdesktop, este promovată ideea integrării în mediile desktop existente fără a fi nevoie să lansezi un administrator compozit specializat separați și permiteți setările utilizatorului existente utilizate cu un monitor obișnuit să fie utilizate cu căști 3D.
Arhitectura proiectului implică abilitatea de a se integra cu orice desktop, dar în etapa actuală de dezvoltare, componentele sunt implementate pentru a sprijini căștile de realitate virtuală pentru KDE și Gnome.
Pentru KDE, suportul pentru căști 3D este implementat prin intermediul pluginului de tip Compiz, iar pentru GNOME printr-un set de pachete pentru GNOME Shell.
Aceste componente oglindesc ferestrele existente la mediul virtual al căștilor 3D sub forma unei scene separate sau în modul suprapunere, în care ferestrele desktop pot fi suprapuse pe alte aplicații de realitate virtuală care rulează.
Pe lângă mecanismele de reprezentare, xrdesktop oferă componente pentru navigare și suport pentru intrare folosind controlere spațiale specializate.
xrdesktop, pe baza informațiilor de la controlerele VR generează evenimente de intrare obișnuit, simulând utilizarea tastaturii și a mouse-ului.
Xrdesktop include mai multe biblioteci care creează texturi de fereastră pentru timpul de execuție VR utilizând OpenVR, precum și un sistem bazat pe API pentru redarea unui întreg desktop într-un mediu 3D.
Deoarece xrdesktop nu oferă propriul manager de ferestre, este necesar să se lucreze pentru a se integra cu managerii de ferestre existenți (xrdesktop poate fi portat la orice manager de ferestre X11 sau Wayland).
Principalele componente ale xrdesktop:
gulkan: o legare glib pentru Vulkan, care oferă clase pentru procesarea dispozitivelor, umbrelor și inițializarea texturilor din buffere de memorie sau DMA.
gxr: este un API pentru abstractizarea interfețelor software pentru a dezvolta aplicații de realitate virtuală. În prezent, doar OpenVR este acceptat, dar suportul pentru standardul OpenXR va fi adăugat în curând.
libinputsynth: este o bibliotecă pentru sintetizarea evenimentelor de intrare, cum ar fi mișcarea mouse-ului, clicuri și apăsări de taste, implementată sub formă de backend-uri pentru xdo, xi2 și Clutter.
xrdesktop: o bibliotecă pentru gestionarea ferestrelor într-un mediu 3D, un set de widget-uri și backend-uri aferente pentru redarea scenei.
kwin-effect-xrdesktop și kdeplasma-applets-xrdesktop: un plugin KWin pentru integrarea KDE și un applet de plasmă pentru a pune KWin în modul de ieșire pe o cască 3D.
gnome-shell patchset și gnome-shell-extension-xrdesktop: este un set de patch-uri pentru Gnome pentru a integra suport xrdesktop și un plugin pentru a schimba ieșirea într-o cască 3D în Gnome Shell.
Proiectul acceptă diverse metode de organizare a interacțiunii desktop și ferestre într-un mediu virtual, care pot fi folosite pentru a captura ferestre, a scala, a muta, a roti, a suprapune pe o sferă, a aranja și a ascunde ferestrele, a utiliza meniul de control și a controla simultan două mâini folosind mai multe controlere.