Original title: Využití strojového učení pro detekci anomálií na základě analýzy systémových logů
Translated title: System Log Analysis for Anomaly Detection Using Machine Learning
Authors: Šiklóši, Miroslav ; Fujdiak, Radek (referee) ; Hošek, Jiří (advisor)
Document type: Master’s theses
Year: 2020
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract: [eng] [cze]
Táto diplomová práca sa venuje problematike využitia strojového učenia na detekciu anomálií na základe analýzy systémových logov. Navrhnuté modely sú založené na algoritmoch strojového učenia s učiteľom, bez učiteľa a na hlbokom učení. Funkčnosť a správanie týchto algoritmov sú objasnené ako teoreticky, tak aj prakticky. Okrem toho boli využité metódy a postupy na predspracovanie dát predtým, než boli vložené do modelov strojového učenia. Navrhnuté modely sú na konci porovnané s využitím viacerých metrík a otestované na syslogoch, ktoré modely predtým nevideli. Najpresnejší výkon podali modely Klasifikátor rozhodovacích stromov, Jednotriedny podporný vektorový stroj a model Hierarchické zoskupovanie, ktoré správne označili 93,95%, 85,66% a 85,3% anomálií v uvedenom poradí. This thesis deals with system log analysis for anomaly detection using machine learning models. The proposed models are based on supervised, unsupervised and deep learning algorithms. However, the functionality and behaviour of these algorithms have been clarified theoretically and practically in the thesis. Moreover, many preprocessing methods and logics were used to preprocess the data before it was fed to the machine learning model. At the end and to confirm the workability of proposed models, many metrics were calculated and unseen syslogs were fed to the best-proposed machine learning models to detect the anomalies. However, models Decision Tree Classifier, One-class SVM and Hierarchical Clustering demonstrated the best performance, correctly predicting 93.95%,85.66% and 85.3% of all anomalies respectively.
Keywords: Detekcia anomálií; Python; Strojové učenie; Systémové logy; Anomaly detection; Machine Learning; Python; Syslog messages

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/189184

Permalink: http://www.nusl.cz/ntk/nusl-413052


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses