Original title:
Aplikace pro sběr záznamů událostí z počítačové infrastruktury
Translated title:
Application for collecting security event logs from computer infrastructure
Authors:
Žernovič, Michal ; Dobiáš, Patrik (referee) ; Safonov, Yehor (advisor) Document type: Bachelor's theses
Year:
2023
Language:
slo Publisher:
Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií Abstract:
[slo][eng]
Počítačová infraštruktúra riadi súčasný svet, preto je potrebné zaistiť jej bezpečnosť, zamedziť kybernetickým útokom alebo ich odhaliť. Jednou z kľúčových bezpečnostných činností je zber a analýza záznamov generovaných naprieč sieťou. Cieľom bakalárskej práce bolo vytvoriť rozhranie, ktoré na seba dokáže pripojiť neurónovú sieť pre aplikovanie techník hlbokého učenia. Vloženie umelej inteligencie do záznamového procesu prináša mnohé výhody, ako napríklad koreláciu logov, anonymizáciu záznamov pre ochranu súkromných údajov alebo ich filtrovanie pre optimalizáciu licencie SIEM riešenia. Hlavným prínosom je vytvorenie platformy, ktorá umožní neurónovej sieti obohatiť logovací proces a tým zvýšiť celkovú bezpečnosť siete. Rozhranie funguje ako medzikrok, ktorý umožní neurónovej sieti prijímať záznamy. V teoretickej časti práca popisuje záznamové súbory, ich najpoužívanejšie formáty, štandardy a protokoly a spracovanie záznamových súborov. Taktiež sa zameriava na princípy fungovania SIEM platforiem a prehľad súčasných riešení. Ďalej popisuje neurónové siete, najmä tie, ktoré sú určené na spracovanie prirodzeného jazyka. V praktickej časti práca skúma možné cesty riešení a popisuje ich výhody a nevýhody. Zároveň analyzuje populárne zberače logov (Fluentd, Logstash, NXLog) z hľadísk ako napr. zaťaženie systému, spôsob konfigurácie, podporované operačné systémy alebo podporované vstupné formáty záznamov. Na základe analýzy riešení a zberačov logov bol zvolený prístup k tvorbe aplikácie. Rozhranie bolo vytvorené na princípe REST API, ktorá funguje vo viacerých módoch. Po prijatí záznamov zo zberača logov aplikácia umožňuje ukladanie a triedenie záznamov podľa pôvodu a ponúka užívateľovi možnosť určiť počet záznamov, ktoré budú do súboru uložené. Zozbierané logy môžu byť použité na trénovanie neurónovej siete. V ďalšom móde rozhranie preposiela záznamy priamo do AI modelu. Prijímanie a predikcia neurónovej siete prebieha s využitím vlákien. Do rozhrania bolo v experimentálnom pracovisku napojených päť zdrojov.
Computer infrastructure runs the world today, so it is necessary to ensure its security, and to prevent or detect cyber attacks. One of the key security activities is the collection and analysis of logs generated across the network. The goal of this bachelor thesis was to create an interface that can connect a neural network to itself to apply deep learning techniques. Embedding artificial intelligence into the logging process brings many benefits, such as log correlation, anonymization of logs to protect sensitive data, or log filtering for optimization a SIEM solution license. The main contribution is the creation of a platform that allows the neural network to enrich the logging process and thus increase the overall security of the network. The interface acts as an intermediary step to allow the neural network to receive logs. In the theoretical part, the thesis describes log files, their most common formats, standards and protocols, and the processing of log files. It also focuses on the working principles of SIEM platforms and an overview of current solutions. It further describes neural networks, especially those designed for natural language processing. In the practical part, the thesis explores possible solution paths and describes their advantages and disadvantages. It also analyzes popular log collectors (Fluentd, Logstash, NXLog) from aspects such as system load, configuration method, supported operating systems, or supported input log formats. Based on the analysis of the solutions and log collectors, an approach to application development was chosen. The interface was created based on the concept of a REST API that works in multiple modes. After receiving the records from the log collector, the application allows saving and sorting the records by origin and offers the user the possibility to specify the number of records that will be saved to the file. The collected logs can be used to train the neural network. In another mode, the interface forwards the logs directly to the AI model. The ingestion and prediction of the neural network are done using threads. The interface has been connected to five sources in an experimental network.
Keywords:
API; log collector; log formats; log processing; log standards; natural language processing; neural networks; pre-trained models; security; SIEM; transformers.
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/212619
guest ::
