Original title: Analyzing a person’s handwriting for recognizing his/her emotional state
Translated title: Analyzing a person’s handwriting for recognizing his/her emotional state
Authors: Chudárek, Aleš ; Matoušek, Jiří (referee) ; Malik, Aamir Saeed (advisor)
Document type: Master’s theses
Year: 2024
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Rozpoznávání emocí z rukopisu je náročný a interdisciplinární úkol, který může poskytnout vhled do psychologického a emočního stavu pisatele. V této diplomové práci byl vyvinut a vyhodnocen model strojového učení schopný predikovat emoční stav pisatele na základě vzorků jeho rukopisu. Byl využit dataset EMOTHAW, který obsahuje vzorky rukopisu a kreseb od subjektů, jejichž emoční stavy byly změřeny pomocí testu DASS, který hodnotí úroveň deprese, úzkosti a stresu, a CIU Handwritten databázi pro ověření a experimentování. Bylo extrahováno množství příznaků inspirovaných standardní grafologií, stejně jako příznaky specifické pro online data. Pomocí ANOVA byly vybrány statisticky významné příznaky, které byly normalizovány pomocí Z-Score, MinMax, IQR nebo logaritmické transformace. Dimenzionalita příznaků byla snížena pomocí analýzy hlavních komponent (PCA) a lineární diskriminační analýzy (LDA). Pro klasifikaci byl použit meta-přístup Ensemble learning, který se snaží snížit chyby jednoho jednoduchého modelu využitím rozmanitosti a doplňkovosti více modelů. Struktura klasifikátoru závisí na mnoha argumentech, což vede k více než 300 000 různým konfiguracím. Optimální argumenty a tudíž optimální struktura byla hledána pomocí zamrazování argumentů. Byly identifikovány nejlepší klasifikátory pro binární a trinární klasifikaci každé emoce, což vedlo k šesti optimálním modelům. Tyto modely byly hodnoceny pomocí různých metrik, jako jsou accuracy, precision, recall a F1 Skóre, a dosáhly adekvátních výsledků ve všech metrikách. Kromě nalezení klasifikátorů tato práce zkoumala význam každého extrahovaného příznaku, čímž byl vytvořen seznam nejvýznamnějších příznaků použitých pro rozpoznávání emocí z rukopisu. Dále tato práce rozšiřuje databázi EMOTHAW identifikací úkolů, které jsou více indikativní pro specifické emoce, čímž se snižuje potřeba kompletní baterie úkolů pro emoční analýzu. Emotion recognition from handwriting is a challenging and interdisciplinary task that can provide insights into the psychological and emotional aspects of the writer. In this study, we developed and evaluated a machine learning model that can predict the emotional state of a writer from their handwriting samples. We utilized the EMOTHAW dataset, which consists of handwriting and drawing samples from subjects whose emotional states are measured by the DASS test, which gives a score for depression, anxiety, and stress and the CIU Handwritten database for verification and experimentation. We extracted a large number of features that are inspired by the standard graphology work, as well as features that are specific to online data. We used ANOVA to select statistically significant features and normalized the data using Z-Score, MinMax, IQR or Log. We reduced the dimensionality of the features using Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA). We employed a meta approach Ensemble learning that seeks to reduce the errors of a single model by exploiting the diversity and complementarity of multiple models. The structure of our classifier is dependent on multiple arguments resulting in over 300,000 different configurations. We optimized arguments using argument freezing. We found the best classifiers for binary and trinary classification for each emotion, resulting in six optimal models. We evaluated our models using different metrics, such as accuracy, precision, recall, and F1-score. Our models reached adequate results in all metrics. In addition to finding the classifiers, this thesis explored the importance of each extracted feature, providing a sorted list of the most significant features used for emotion recognition from handwriting. We also enhanced the EMOTHAW database by identifying tasks that are more indicative of specific emotions, thereby reducing the need for a full task battery for emotional analysis.
Keywords: algoritmus K-nejbližších sousedů (KNN); Analýza hlavních komponent (PCA); Analýza rukopisu; ANOVA; Argumenty; Dataset; Deprese; Esemble learning; Extrakce příznaků; Grafologie; Klasifikace; Lineární diskriminační analýza (LDA); Matice záměn; Meta-model; Normalizace; Předzpracování; Příznak; Random forest; Rozhodovací strom (DT); Rozpoznávání emocí; Stres; Strojové učení; Support Vector Machine (SVM); Umělá neuronová síť (ANN); Výběr příznaků; Úzkost; ANOVA; Anxiety; Arguments; Artificial neural network (ANN); Classification; Confusion matrix; Dataset; Decision tree (DT); Depression; Emotion recognition; Esemble learning; Feature; Feature extraction; Feature selection; Graphology; Handwriting analysis; K-Nearest Neighbors algorithm (KNN); Linear Discriminant Analysis (LDA); Machine learning; Meta-model; Normalization; Preprocessing; Principal Component Analysis (PCA); Random forest; Stress; Support Vector Machine (SVM)

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: https://hdl.handle.net/11012/248880

Permalink: http://www.nusl.cz/ntk/nusl-618933


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses