Original title: Depth-Based Determination of a 3D Hand Position
Translated title: Depth-Based Determination of a 3D Hand Position
Authors: Ondris, Ladislav ; Tinka, Jan (referee) ; Drahanský, Martin (advisor)
Document type: Bachelor's theses
Year: 2021
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Cílem této práce je určení kostry ruky z hloubkového obrazu a jeho následné využití k rozpoznání statického gesta. Na vstupu je hloubkový obrázek, ve kterém je nejprve detekována ruka pomocí neuronové sítě Tiny YOLOv3. Následně je obrázek zbaven pozadí a z takto předzpracovaného obrázku je určena kostra ruky v podobě 21 klíčových bodů neuronovou sítí JGR-P2O. K rozpoznání gesta z klíčových bodů ruky byla navržena technika, která porovná kostru na vstupu s uživatelem definovanými gesty. Funkcionalita systému byla otestována na vytvořeném datasetu s více než čtyřmi tisíci obrázky. This work aims to offer a real-time, depth-based gesture recognition system using a hand's skeletal information. The Tiny YOLOv3 neural network detects the hand in the depth image. The detected hand is rid of the background and used by the JGR-P2O neural network, which estimates the hand's skeleton represented by 21 key points. Furthermore, a novel technique for gesture recognition from hand key points that compares the input skeleton with user-defined gestures has been proposed. A dataset consisting of four thousand images was captured to evaluate the system.
Keywords: detekce objektů; hloubkový obrázek; hluboké učení; JGR-P2O; klíčové body; konvoluční neuronová síť; kostra; odhad pozice ruky; reálný čas; rozpoznání gesta; ruka; YOLOv3; zpracování obrazu; convolutional neural network; deep learning; depth image; depth-based; gesture recognition; hand; hand pose estimation; image processing; JGR-P2O; key points; object detection; real-time; skeleton; YOLOv3

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/199328

Permalink: http://www.nusl.cz/ntk/nusl-606537


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses