|
|
Analysis of Operational Data and Detection od Anomalies during Supercomputer Job Execution
Stehlík, Petr ; Nikl, Vojtěch (oponent) ; Jaroš, Jiří (vedoucí práce)
Using the full potential of an HPC system can be difficult when such systems reach the exascale size. This problem is increased by the lack of monitoring tools tailored specifically for users of these systems. This thesis discusses the analysis and visualization of operational data gathered by Examon framework of a high-performance computing system. By applying various data mining techniques on the data, deep knowledge of data can be acquired. To fully utilize the acquired knowledge a tool with a soft-computing approach called Examon Web was made. This tool is able to detect anomalies and unwanted behaviour of submitted jobs on a monitored HPC system and inform the users about such behaviour via a simple to use web-based interface. It also makes available the operational data of the system in a visual, easy to use, manner using different views on the available data. Examon Web is an extension layer above the Examon framework which provides various fine-grain operational data of an HPC system. The resulting soft-computing tool is capable of classifying a job with 84 % success rate and currently, no similar tools are being developed. The Examon Web is developed using Angular for front-end and Python, accompanied by various libraries, for the back-end with the usage of IoT technologies for live data retrieval.
|
|
|
Implementace 2D ultrazvukových simulací
Šimek, Dominik ; Vaverka, Filip (oponent) ; Jaroš, Jiří (vedoucí práce)
Práca sa zaoberá návrhom a implementáciou 2D simulácie ultrazvukových vĺn. Simulácia ultrazvuku nachádza svoje uplatnenie v medicíne, biofyzike či rekonštrukcii obrazu. Ako príklad môžme uviesť použitie fokusovaného ultrazvuku na diagnostiku a liečbu rakoviny. Program je súčasťou simulačného balíka k-Wave určeného pre superpočítačové systémy, konkrétne stroje s architektúrou zdieľaného adresového priestoru. Program je implementovaný v jazyku C++ s využitím akcelerácie pomocou OpenMP. Pomocou implementovaného riešenia je možné riešiť simulácie veľkých rozmerov v 2D priestore. Práca sa ďalej zaoberá zjednotením kódu 2D a 3D simulácie pomocou moderných prostriedkov C++. Reálnym príkladom využitia je simulácia ultrazvuku pri transkraniálnej neuromodulácii a neurostimulácii, ktorá prebieha v doménach o veľkosti 16384x16384 (a viac) bodov mriežky. Simulácia takýchto rozmerov môže pri použití pôvodnej MATLAB 2D k-Wave trvať niekoľko dní. Implementované riešenie dosahuje voči MATLAB 2D k-Wave 7 až 8 násobné zrýchlenie na superpočítačoch Anselm a Salomon.
|
|
|
Systém pro automatizovanou obsluhu superpočítače
Strečanský, Peter ; Hrbáček, Radek (oponent) ; Jaroš, Jiří (vedoucí práce)
Cieľom tejto práce je rozšíriť existujúci program FabSim o modul, ktorý umožní automatizovanú obsluhu superpočítačov, predovšetkým prácu s plánovačom OpenPBS. Modul bol vytvorený v programovacom jazyku Python za použitia balíčka Fabric. Skripty, ktoré sa pomocou OpenPBS spúšťajú, sú uložené vo forme predlôh a pred samotným prenosom na cluster a spustením sa dynamicky upravia na základe preferencií užívateľa. Vytvorené riešenie tak poskytuje komplexnú sadu metód, ktoré umožňujú plnohodnotnú obsluhu superpočítačov, integráciu s Gitom a spravovanie dát nachádzajúcich sa na superpočítačoch. Hlavným prínosom tejto práce je jednoduchšie riadenie a úspora času spojená s obsluhou superpočítačov.
|
|
|
Výstavba a programování clusteru o nízkém příkonu
Hradecký, Michal ; Nikl, Vojtěch (oponent) ; Jaroš, Jiří (vedoucí práce)
Projekt se zabývá výstavbou a programováním nízko-příkonového clusteru složeného z kitů Hardkernel Odroid XU4 založených na čipech ARM Cortex A15 a Cortex A7. Cílem bylo navrhnout jednoduchý cluster složený z několika kitů a vytvořit pro něj sadu testů, na nichž by šlo otestovat základní výkonnostní parametry a spotřebu. K testování byly použity zejména benchmarky HPL, Stream a různé testy pro rozhraní MPI. Celkový výkon clusteru složeného ze 4 kitů měřený v benchmarku HPL byl 23~GFLOP/s ve dvojité přesnosti, přičemž cluster vykazoval efektivitu výpočtu cca 0,58~GFLOP/W. Práce dále popisuje instalaci plánovače PBS Torque a frameworku pro kompilaci a správu HPC softwaru EasyBuild na 32bitové platformě ARM. Po srovnání se superpočítačem Anselm vyšlo, že Odroid cluster poskytuje přibližně stejnou efektivitu výpočtu jako velký superpočítač, ovšem za vyšší pořizovací cenu za srovnatelný výkon.
|
|
|
Optimalizace distribuovaného I/O subsystému projektu k-Wave
Vysocký, Ondřej ; Klepárník, Petr (oponent) ; Jaroš, Jiří (vedoucí práce)
Práce se zabývá řešením efektivního paralelního zápisu a čtení dat pro nástroj k-Wave, provádějící simulací šíření ultrazvuku. Tento nástroj je superpočítačovou aplikací, proto je spouštěn na souborovém systému Lustre a vyžaduje paralelní zpracování pomocí MPI a zápis ve formátu vhodném pro velké množství dat (HDF5). V rámci této práce byly navrženy metody efektivního způsobu zápisu dat dle potřeb k-Wave, pomocí kumulace dat a přerozdělování. Všechny metody zrychlily nativní zápis a vedly až k rychlosti zápisu 13,6GB/s. Popsané metody jsou použitelné pro všechny aplikace s distribuovanými daty a častým zápisem.
|
|
| |
|
|
Škálovatelné předzpracování dat prostřednictvím nástroje Hadoop
Marinič, Michal ; Šmirg, Ondřej (oponent) ; Burget, Radim (vedoucí práce)
Tato práce se zabývá škálovatelným předzpracováním dat prostřednictvím nástroje Hadoop, který slouží pro paralelní zpracování velkého objemu dat. V první teoretické části se práce zaměřuje na vysvětlení fungování struktury základních funkčních prvků distribuovaného souborového systému HDFS a metody MapReduce pro paralelní zpracování. Praktická část práce popisuje realizaci Hadoop clusteru v pseudo-režimu pro jednoduché ladění aplikací a také realizaci v plně distribuovaném režimu pro simulaci nasazení v reálné praxi.
|
|
|
Optimalizace distribuovaného I/O subsystému projektu k-Wave
Vysocký, Ondřej ; Hrbáček, Radek (oponent) ; Jaroš, Jiří (vedoucí práce)
Práce se zabývá řešením efektivního paralelního zápisu velkých objemů dat na souborovém systému Lustre. Cílový program je navržen pro projekt k-Wave simulující šíření akustických a ultrazvukových vln. Tato simulace pro svou výpočetní a datovou náročnost vyžaduje spouštění na superpočítači a implementaci pomocí knihoven pro paralelní zpracování (Open MPI) a pro uložení velkých objemů dat (HDF5). Výsledný program je implementován v jazyce C s využitím zmíněných knihoven. Správným nastavením souborového systému Lustre bylo dosaženo rychlosti 2,5 GB/s, jež odpovídá 5-ti násobnému zrychlení nativního zápisu, který byl následně pomocí techniky agregace dat zrychlen až na 3 GB/s, což naráží na teoretické limity diskového pole superpočítače Anselm.
|
|
|
Paralelizace ultrazvukových simulací s využitím lokální Fourierovy dekompozice
Dohnal, Matěj ; Hrbáček, Radek (oponent) ; Jaroš, Jiří (vedoucí práce)
Tato práce přináší návrh nové metody pro distribuovaný výpočet 3D Fourierovy transformace s využitím lokální 3D dekompozice domény, popis její implementace a srovnání s dosud běžně používanou metodou globální 1D dekompozice domény. Nová metoda byla navržena, implementována a testována především pro budoucí použití v simulačním programu k-Wave, ale nic nebrání jejímu použití v jiných aplikacích. Implementace prokázala svoji efektivitu na superpočítači Anselm při testování na až 2048 jádrech, kde je až 3krát rychlejší než globální 1D dekompozice za cenu nepřesnosti výpočtu v řádu 10-5, neboť se podařilo významně snížit režii výpočtu v podobě komunikace mezi procesy. Na konci práce je diskutováno, jak lze s metodou výpočtu Fourierovy transformace využívající lokální dekompozici domén dosáhnout co nejlepších výsledků z hlediska přesnosti i rychlosti výpočtu, zároveň jsou zmíněny i její limity.
|
|
|
Realizace superpočítače pomocí grafické karty
Jasovský, Filip ; Karásek, Jan (oponent) ; Mašek, Jan (vedoucí práce)
Tato diplomová práce se zabývá realizací superpočítače pomocí grafické karty s použitím technologie CUDA. Teoretická část práce popisuje funkci a možnosti grafických karet a běžných ústrojí stolních počítačů a dějů probíhajících při procesu výpočtů na nich. Praktická část se zabývá vytvořením programu pro výpočty na grafické kartě za použití algoritmu umělé inteligence a to konkrétně umělých neuronových sítí. Následně je vytvořený program použit pro klasifikaci dat z objemného vstupního datového souboru.Na závěr jsou porovnány dosažené výsledky.
|
host ::
RSS.