Original title:
Hand tracking pro mobilní virtuální realitu
Translated title:
Hand Tracking for Mobile Virtual Reality
Authors:
Smirnov, Alexander ; Gemrot, Jakub (advisor) ; Šikudová, Elena (referee) Document type: Bachelor's theses
Year:
2021
Language:
eng Abstract:
[eng][cze] Mobile Virtual Reality inspired by Google Cardboard (where a smartphone is placed in a cheap headset with no electronics) has lost its popularity after standalone VR headsets appeared on the market. The devices like Oculus Quest support full tracking of the real-world position and rotation of the headset and a pair of controllers (or even just the user's hands), all without any external sensors or computers, while Cardboard-like applications only track the rotation of the user's head. We tried to create a framework that could provide a similar experience to the standalone headsets - a mobile VR application capable of tracking itself and the user's hands in 6 degrees of freedom, all while only requiring a smartphone with a few cheap additions. We used Unity AR Foundation to achieve headset tracking and a variety of OpenCV algorithms to solve hand tracking - ArUco markers, Color Thresholding, Camshift, and deep learning approaches like OpenPose and YOLOv3. Our focus was on testing the hand tracking algorithms, and we discovered that while they are far from perfect, the concept is feasible, and, with some improvements, the framework could become a real competitor in the space of standalone VR headsets.Mobilní virtuální realita inspirovaná Google Cardboard (kde je smartphone umístěn v levné náhlavní soupravě bez elektroniky) ztratila popularitu poté, co se na trhu objevily samostatné náhlavní soupravy VR. Zařízení jako Oculus Quest podporují úplné sledování skutečné polohy a rotace náhlavní soupravy a dvojice ovladačů (nebo dokonce jen rukou uživatele), to vše bez externích senzorů nebo počítačů, zatímco aplikace podobné kartonu sledují pouze rotaci hlavy uživatele. Pokusili jsme se vytvořit rámec, který by mohl poskytnout podobný zážitek jako samostatné náhlavní soupravy - mobilní VR aplikace schopná sledovat sebe a ruce uživatele v 6 stupních volnosti, to vše vyžaduje pouze smartphone s několika levnými doplňky. Použili jsme Unity AR Foundation k dosažení sledování náhlavní soupravy a různých algoritmů OpenCV k řešení sledování rukou - značky ArUco, Color Thresholding, Camshift a přístupy hlubokého učení, jako jsou OpenPose a YOLOv3. Naše zaměření bylo na testování algoritmů pro sledování rukou a zjistili jsme, že i když zdaleka nejsou dokonalé, koncept je proveditelný a s některými vylepšeními by se rámec mohl stát skutečným konkurentem v prostoru samostatných VR sluchátek.
Keywords:
virtual reality|computer vision|mobile games|hand tracking; virtuální realita|počítačové vidění|mobilní hry|hand tracking
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/148318