|
|
Hand Tracking for Mobile Virtual Reality
Smirnov, Alexander ; Gemrot, Jakub (vedoucí práce) ; Šikudová, Elena (oponent)
Mobilní virtuální realita inspirovaná Google Cardboard (kde je smartphone umístěn v levné náhlavní soupravě bez elektroniky) ztratila popularitu poté, co se na trhu objevily samostatné náhlavní soupravy VR. Zařízení jako Oculus Quest podporují úplné sledování skutečné polohy a rotace náhlavní soupravy a dvojice ovladačů (nebo dokonce jen rukou uživatele), to vše bez externích senzorů nebo počítačů, zatímco aplikace podobné kartonu sledují pouze rotaci hlavy uživatele. Pokusili jsme se vytvořit rámec, který by mohl poskytnout podobný zážitek jako samostatné náhlavní soupravy - mobilní VR aplikace schopná sledovat sebe a ruce uživatele v 6 stupních volnosti, to vše vyžaduje pouze smartphone s několika levnými doplňky. Použili jsme Unity AR Foundation k dosažení sledování náhlavní soupravy a různých algoritmů OpenCV k řešení sledování rukou - značky ArUco, Color Thresholding, Camshift a přístupy hlubokého učení, jako jsou OpenPose a YOLOv3. Naše zaměření bylo na testování algoritmů pro sledování rukou a zjistili jsme, že i když zdaleka nejsou dokonalé, koncept je proveditelný a s některými vylepšeními by se rámec mohl stát skutečným konkurentem v prostoru samostatných VR sluchátek.
|
host ::
RSS.