Original title:
Depth-Based Determination of a 3D Hand Position
Translated title:
Depth-Based Determination of a 3D Hand Position
Authors:
Ondris, Ladislav ; Tinka, Jan (referee) ; Drahanský, Martin (advisor) Document type: Bachelor's theses
Year:
2021
Language:
eng Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[eng][cze]
Cílem této práce je určení kostry ruky z hloubkového obrazu a jeho následné využití k rozpoznání statického gesta. Na vstupu je hloubkový obrázek, ve kterém je nejprve detekována ruka pomocí neuronové sítě Tiny YOLOv3. Následně je obrázek zbaven pozadí a z takto předzpracovaného obrázku je určena kostra ruky v podobě 21 klíčových bodů neuronovou sítí JGR-P2O. K rozpoznání gesta z klíčových bodů ruky byla navržena technika, která porovná kostru na vstupu s uživatelem definovanými gesty. Funkcionalita systému byla otestována na vytvořeném datasetu s více než čtyřmi tisíci obrázky.
This work aims to offer a real-time, depth-based gesture recognition system using a hand's skeletal information. The Tiny YOLOv3 neural network detects the hand in the depth image. The detected hand is rid of the background and used by the JGR-P2O neural network, which estimates the hand's skeleton represented by 21 key points. Furthermore, a novel technique for gesture recognition from hand key points that compares the input skeleton with user-defined gestures has been proposed. A dataset consisting of four thousand images was captured to evaluate the system.
Keywords:
detekce objektů; hloubkový obrázek; hluboké učení; JGR-P2O; klíčové body; konvoluční neuronová síť; kostra; odhad pozice ruky; reálný čas; rozpoznání gesta; ruka; YOLOv3; zpracování obrazu; convolutional neural network; deep learning; depth image; depth-based; gesture recognition; hand; hand pose estimation; image processing; JGR-P2O; key points; object detection; real-time; skeleton; YOLOv3
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/199328