|
|
Analysis of Operational Data and Detection od Anomalies during Supercomputer Job Execution
Stehlík, Petr ; Nikl, Vojtěch (oponent) ; Jaroš, Jiří (vedoucí práce)
Using the full potential of an HPC system can be difficult when such systems reach the exascale size. This problem is increased by the lack of monitoring tools tailored specifically for users of these systems. This thesis discusses the analysis and visualization of operational data gathered by Examon framework of a high-performance computing system. By applying various data mining techniques on the data, deep knowledge of data can be acquired. To fully utilize the acquired knowledge a tool with a soft-computing approach called Examon Web was made. This tool is able to detect anomalies and unwanted behaviour of submitted jobs on a monitored HPC system and inform the users about such behaviour via a simple to use web-based interface. It also makes available the operational data of the system in a visual, easy to use, manner using different views on the available data. Examon Web is an extension layer above the Examon framework which provides various fine-grain operational data of an HPC system. The resulting soft-computing tool is capable of classifying a job with 84 % success rate and currently, no similar tools are being developed. The Examon Web is developed using Angular for front-end and Python, accompanied by various libraries, for the back-end with the usage of IoT technologies for live data retrieval.
|
|
|
Strojové učení pro monitorování počítačových clusterů
Adam, Martin ; Pilát, Martin (vedoucí práce) ; Balcar, Štěpán (oponent)
Vzrůstající počet požadavků na zpracovávání neustále rostoucích objemů dat dalo vzniknout novému způsobu správy počítačových systémů. V novém paradigmatu vzkvé- tají dynamicky vytvářené virtualizované servery, na kterých béží distribuované aplikace, každá zabírající mnoho samostatných strojů. Pro hladký a stabilní běh těchto aplikací je rozhodující efektivita detekce a opravy případných chybových stavů, do kterých se servery dostávají. Standardní monitorovací metody s nadstavbovými metodami na chy- bovou signalizaci nedávají při použití v tomto prostředí uspokojívé výsledky. V této práci popisujeme vytvoření systému k nasbírání datasetu tvořeného výkonostními metrikami klastru serverů, na kterých běží distribuovaná aplikace. Na těchto datech jsme následně ozkoušeli několik různých modelů. Navrhujeme pak systém na detekci anomálií, který by upozorňoval na chybné stavy využívající nejlepší z těchto modelů. 1
|
|
|
Statistická analýza anomálií v senzorových datech
Gregorová, Kateřina ; Čmiel, Vratislav (oponent) ; Sekora, Jiří (vedoucí práce)
Tato diplomová práce se zabývá problematikou detekce poruchových stavů u leteckých motorů. Hlavním přístupem detekce je hledání anomálií v datech snímaných pomocí senzorů. Pro získání komplexní představy o systému a jednotlivých senzorech, je v úvodu této práce uveden popis celého systému a to konkrétně motoru typu HTF7000 a také popis senzorů. Pro samotnou detekci anomálií je zde uveden návrh algoritmu na základě tří různých detekčních metod, které jsou popsány ve druhé kapitole. Jedná se o metody SVM (Support Vector Machine), K-means a ARIMA (Autoregressive Integrated Moving Average). Implementace algoritmu je popsána v další části práce, včetně návrhu grafického uživatelského rozhraní. V závěru práce je pak statistická analýza získaných výsledků, srovnání účinnosti jednotlivých modelů a diskuze výstupů z navrženého algoritmu.
|
|
|
Případová studie na dolování z dat v jazyce Python
Stoika, Anastasiia ; Burgetová, Ivana (oponent) ; Zendulka, Jaroslav (vedoucí práce)
Tato práce se zabývá základními koncepty a technikami procesu získávání znalostí z dat. Cílem práce je demonstrovat dostupné prostředky jazyka Python, které umožňují provádět jednotlivé kroky tohoto procesu. Práce je zaměřena především na metody a techniky detekce odlehlých pozorování, založené na shlukování a klasifikaci. Jedná se o řešení analytické úlohy, která se týká zdrojů dat s omezeným množstvím využitelné informace. Tato kontrolní činnost by měla sloužit k detekci podezřelých prodejních transakcí nějaké společnosti, které mohou znamenat pokusy o podvod jejích prodejci.
|
|
|
Hluboké neuronové sítě pro detekci anomálií při kontrole kvality
Juřica, Tomáš ; Herout, Adam (oponent) ; Hradiš, Michal (vedoucí práce)
Cílem této práce je automatizovat detekci defektů při průmyslové výrobě plastových karet. Typickým defektem vzniklým při takovéto výrobě je kontaminace prachovými částicemi či vlasem. Hlavními výzvami, které v této práci řeším, je malý počet dostupných dat (214 karet), velmi malá plocha defektů v kontextu celé karty (průměrně 0,0068 \% plochy karty) a zároveň velice rozmanité a komplexní pozadí, ve kterém defekty hledám. Realizaci úkolu jsem dosáhl za použití detekčního algoritmu Mask R-CNN a rozšíření datové sady pomocí namodelování vzhledu typických defektů a vytvoření syntetického datasetu o počtu 20 000 obrázků, na kterém jsem detektor natrénoval. Takovýmto způsobem jsem dosáhl 0,83 AP při IoU rovno 0,1 na testovací části původní datové sady.
|
|
|
Unified Reporting for Performance Testing
Kůrová, Martina ; Vojnar, Tomáš (oponent) ; Šimková, Hana (vedoucí práce)
Modern advances in software technologies for today’s application development have allowed for developers to concentrate less on issues, such as performance and resource management, and instead spend more time on developing the application functionality such that the time to market is reduced. Consequently, performance analysis and optimization become more difficult and create a need for advanced performance tools that should provide a clear report of the application in terms of its performance and allow a fast interpretation of these results. This work investigates typical performance problems of today’s applications and offers approaches on how to automatically detect them. Using statistical methods like regression and correlation analysis, investigation of measured values is performed in order to detect performance deviations that possibly occurred in an application under test. The proposed approach has been implemented as a new Reporter component into an open source performance testing tool PerfCake, developed by QE engineers from Red Hat Czech s.r.o. The developed component is capable of detecting and reporting possible issues and their probability. A unified report from all pre-specified measurements is created in such a way that all detected performance issues are immediately visible. The aim is to improve an end-user experience and usability when reading the report from performance testing.
|
|
|
Systém pro rozpoznávání APT útoků
Hujňák, Ondřej ; Kačic, Matej (oponent) ; Barabas, Maroš (vedoucí práce)
Práce se zabývá APT útoky, což jsou cílené a profesionálně vedené útoky vyznačující se dlouhou dobou trvání s využitím pokročilých technik. Práce shrnuje dosavadní znalosti o APT útocích a je v ní navrženo sedm symptomů využitelných pro zjištění, že daná organizace se nachází pod APT útokem. Na spolupůsobení symptomů je v práci navržen systém pro rozpoznávání APT útoků. Tento systém je rozpracován pro útoky v prostředí počítačové sítě a využívá modelování chování uživatelů v síti pro detekci anomálií. Detektor je založen na metodě k-nearest neighbors (k-NN). Schopnost rozpoznávání APT útoku v síťovém prostředí je ověřena implementací detektoru a jeho otestováním.
|
|
| |
|
|
Detekce skenování portů na vysokorychlostních sítích
Kapičák, Daniel ; Kekely, Lukáš (oponent) ; Bartoš, Václav (vedoucí práce)
V této práci budu prezentovat efektivní metodu detekce TCP skenování portů ve vysokorychlostních sítích. Hlavní myšlenka této metody je zahození co největšího množství paketů tak aby to nemělo vliv na přesnost. Ukážu, že pomocí dvojice Bloom filtrů lze zahodit v průměru až 80\% ze všech paketů podílejících se na navázání TCP komunikace se zanedbatelným vlivem na přesnost. Toto výrazně redukuje požadavky na paměť a procesor. Dále budu prezentovat mnou navržený rozšíření algoritmu, které výrazně redukuje počet falešných hlášení způsobených absencí komunikace od serveru ke klientovi. Na závěr vyhodnotím algoritmus na zachycených vzorcích dat a online na sondě v síti CESNET. Výsledky ukáží, že tato metoda potřebuje méně než 2 MB paměti aby s velkou přesností vyhodnocovala provoz na vysokorychlostní síti. Díky malým paměťovým nárokům si tato metoda bez problémů vystačí s rychlou vyrovnávací pamětí většiny dnešních procesorů.
|
|
|
Implementace metod detekce síťových anomálií
Slezáček, Martin ; Puš, Viktor (oponent) ; Bartoš, Václav (vedoucí práce)
Tato práce se zabývá implementací 3 metod detekce síťových anomálií. Nejprve je uvedeno základní rozdělení metod sloužících pro detekci anomálií v počítačových sítích. Dále jsou vybrané 3 metody popsány. Hlavní částí práce je implementace a zhodnocení metod, jsou popsány implementované programy pro detekci metod a jejich ovládání.
|
host ::
RSS.