Original title: Použití self-supervised learning pro rozpoznání pozic rukou v obraze
Translated title: Self-Supervised Learning for Recognition of Hand Poses in Image
Authors: Makaiová, Lucia ; Kocur, Viktor (referee) ; Herout, Adam (advisor)
Document type: Bachelor's theses
Year: 2023
Language: slo
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [slo] [eng]
Práca sa zaoberá self-supervised prístupom k strojovému učeniu pre natrénovanie rozpoznávania pozícií rúk v obraze. Použila som kontrastívnu metódu self-supervised učenia a iteratívne optimalizovala riešenie použitím techník early stopping, triplet mining, optimalizovaním hyperparametrov či experimentovaním s rôznymi modelmi. Metódu som implementovala pomocou frameworku Pytorch a pre spracovanie a vizualizáciu dát som využívala nástroj TensorBoard. Pre referenčné výsledky som natrénovala model pomocou učenia s učiteľom. Podarilo sa mi dosiahnuť úspešnosť 83% na datasete Handz, čím sa metóda vyrovnala referenčným výsledkom. Vytvorené riešenie poskytuje informácie, ktoré je možné aplikovať pri využití self-supervised metódy pre podobné problémy, akými je napríklad rozpoznávanie športových pozícií. Hlavným výsledkom je zistenie, že self-supervised metódy sú obzvlášť vhodné pokiaľ je k dispozícii pre trénovanie len obmedzený počet označených dát, ktoré sú navyše reprezentované veľmi nerovnomerným počtom vzoriek. Na základe zistených údajov je možné vytvoriť metódu pre rozpoznávanie športových pozícii alebo ďalej optimalizovať existujúce riešenie. This work focuses on using self-supervised learning for the task of hand poses recognition in image. I have used contrastive method of self-supervised learning and optimized the solution iteratively, using techniques such as early stopping, triplet mining, optimization of hyperparameters or experimenting with various model architectures. The method was implemented with Pytorch framework and Tensorboard was used for data processing and visualization. I have trained the first model using a supervised method, to obtain reference values. I have successfully matched this reference result by training a self-supervised model on Handz dataset and achieving 83% accuracy. The created solution provides findings, which can be applied to similar problems, such as recognition of sport poses. The main contribution of this work is the discovery, that self-supervised methods are particularly effective when using a labeled dataset for downstream task with just a small amount of samples, which in addition have uneven distribution of samples for individual classes. Based on these findings, it is possible to create a method for self-supervised learning for recognition of sport poses or further optimize existing solution for hand poses.
Keywords: computer vision; image recognition; machine learning; neural networks; recognition of poses; self-supervised learning; triplet loss

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/212675

Permalink: http://www.nusl.cz/ntk/nusl-530904


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses