|
|
Automatic scheduling, execution and monitoring of computational workflows on distributed systems
Jaroš, Marta ; Corbalan Gonzales, Julita (oponent) ; Martinovič, Jan (oponent) ; Jaroš, Jiří (vedoucí práce)
Automated execution of computational workflows has become a critical issue in achieving high productivity in various research and development fields. Over the last few years, workflows have emerged as a significant abstraction of numerous real-world processes and phenomena, including digital twins, personalized medicine, and simulation-based science in general. Workflow execution can be viewed as an orchestration of multiple tasks with diverse computational requirements and interdependencies, determined by the workflow structure. Due to the complexity of workflows, execution can only be satisfied by remote computing clusters or clouds. As these resources are expensive, workflow scheduling plays a crucial role in the automation process. The primary objective of this thesis is to enable automated and reliable execution of computational workflows. Moldable tasks, defined within these workflows, permit execution across multiple computational resources. This affects both the workflow makespan and computational cost, but not equally due to varying computational efficiency. Consequently, the thesis investigates various approaches to workflow scheduling and execution optimization, focusing on methods based on genetic algorithms. Three optimization approaches-targeting both on-demand and static computational resource allocations-are examined and discussed. The optimization process is supported by a performance database, which is collected on-the-fly and maintains parallel scaling of executed tasks and diverse inputs. The sparsity and incompleteness of the performance database are addressed through different interpolation methods. The proposed approaches demonstrate better utilization of computing resources while allowing prioritization of various optimization criteria, such as workflow makespan and computational cost. The final implementation was experimentally validated using real workflows executed on high-performance computing clusters at the IT4Innovations national supercomputing center. Additionally, this thesis presents the design and development of a comprehensive system for automated workflow scheduling, execution offloading and monitoring, completed with features such as accounting, reporting, and fault tolerance. This system, named k-Dispatch, has been commercialized for the neuroscience market by Brainbox, Ltd.
|
|
|
Optimalizace spouštěcích konfigurací k-Wave úloh
Sasák, Tomáš ; Jaroš, Marta (oponent) ; Jaroš, Jiří (vedoucí práce)
Táto práca sa zaoberá plánovaním, resp. správnym odhadom spúšťacích konfigurácií úloh k-Wave na superpočítačoch infraštruktúry IT4Innovations. Presnejšie pre klastre Salomon a Anselm. Úloha predstavuje množinu simulácií, kde každá simulácia je spúšťaná pod toolboxom k-Wave. Pre spustenie jednotlivých simulácií je nutné správne vytvoriť konfiguráciu, ktorá sa skladá z množstva zdrojov (počet výpočtových uzlov, resp. jadier) a času rezervácie superpočítača, čo je pre neskúseného zložité odhadnúť. Zvolený problém odhadu je riešený na základe empirických dát, ktoré boli získané viacnásobným spúšťaním rôznych množín simulácií na klastroch. Tieto dáta sú uložené a spracované aproximátormi, ktoré konkrétne vykonávajú odhad týchto parametrov na základe metód interpolácie a regresie. V práci je popísaný a bol implementovaný systém predstavujúci plánovač, ktorý predstavuje rozhranie pre odhad. Experimentovaním bolo zistené že pre tento špecifický problém najpresnejšie odhady vykonáva trojica Akima spline, PCHIP interpolácia a kubický spline. Výsledky tejto práce umožňujú vykonávať istý odhad exekučného času a počtu vlákien pre ľubovolné simulácie automaticky a bez znalosti kódu k-Wave.
|
|
|
Vizualizace sekundárních struktur DNA v prostředí R/Bioconductor
Jaroš, Marta ; Bendl, Jaroslav (oponent) ; Martínek, Tomáš (vedoucí práce)
Tato bakalářská práce se zabývá zobrazovacími technikami sekundárních struktur DNA. Shrnuje a rozebírá některé současné metody vizualizace. Objasňuje problém a jeho význam z hlediska molekulární biologie. Cílem práce je návrh obecného algoritmu pro vizualizaci sekundárních struktur DNA, konkrétně palindromických a triplexových struktur a jeho implementace do prostředí R/Bioconductor. Zaměřuje se zejména na oblast 2D grafického zobrazování zmíněných sekundárních struktur DNA. Výsledkem práce je vytvořená 2D grafická podpora pro softwarové balíčky určené pro prostředí R/Bioconductor, které zabezpečují vyhledávání charakteristických sekvencí palindromů a triplexů v sekvencích DNA.
|
|
|
Akcelerace aplikací na superpočítači pomocí jazyka Python
Čelka, Marek ; Jaroš, Jiří (oponent) ; Jaroš, Marta (vedoucí práce)
V dnešnej dobe sú už všetky počítače, ktoré používame schopné paralelného spracovávania, ktoré nám výrazne šetrí čas pri riešení náročných problémov, ako sú napríklad rôzne vedecké výpočty, simulácie alebo predpovede. Témou tejto práce je akcelerácia výpočtovo náročných aplikácií práve pomocou paralelnému spracovania zadaného problému na superpočítači. Pre jednoduchšie pochopenie danej problematiky ľuďmi, ktorých sa priamo týka (napr. vedci, výzkumníci), bol zvolený programovací jazyk Python, ktorý je jednoduchý na pochopenie a mocný zároveň. Prvá časť práce sa venuje zoznámeniu s technikami paralelného spracovania pomocou mikrotestov, ktorých výsledky boli diskutované a využité ďalej v práci. Druhá časť práce sa zaoberá problematikou rekonštrukcie obrazu. Výsledky experimentovania s rôzne veľkými obrázkami sú porovnané v rámci sekvenčnej a paralelnej verzie pri rekonštrukcii obrazu a zápise do súboru. Spracované výsledky sú zhodnotené, diskutované a porovnané medzi sebou. Medzi použité metriky patria čas, zrýchlenie, priepustnosť a latencia.
|
|
|
Akcelerace algoritmů pro shlukování tunelů v proteinech
Jaroš, Marta ; Vašíček, Zdeněk (oponent) ; Martínek, Tomáš (vedoucí práce)
Práce se zabývá problémem shlukování tunelů z dat získaných molekulární dynamikou proteinů. Tento proces je velmi výpočetně náročný a představuje výzvu pro vědecké komunity. Cílem je najít algoritmus s optimálním poměrem časové a prostorové složitosti. Práce začíná rešerší shlukovacích algoritmů. Rovněž se zabývá způsobem, jak pracovat s velkými datovými sadami, způsobem vizualizace a porovnání výsledků shlukování. Jádro práce představuje návrh řešení tohoto problému s využitím algoritmu Twister Tries . Rozebírá jeho implementační detaily a poskytuje výsledky testování z hlediska kvality výsledků a výpočetní náročnosti. Cílem práce bylo experimentálně ověřit, zda stochastickým algoritmem Twister Tries dosáhneme stejných výsledků jako s exaktním algoritmem ( average-linkage ). Tento předpoklad se nepovedlo jednoznačně potvrdit. Z poznatků při testování hashovacích funkcí vyplývá, že stejných výsledků jsme schopni dosáhnout i s funkcí, která pracuje na nízkém stupni dimenzionality, avšak v mnohem kratším výpočetním čase.
|
|
|
Webové rozhraní pro správu a monitorování úloh na superpočítačích
Dančák, Petr ; Jaroš, Jiří (oponent) ; Jaroš, Marta (vedoucí práce)
Práce je zaměřena na tvorbu webového rozhraní pro systém k-Dispatch, pomocí kterého je možné monitorovat, vytvářet a editovat již existující úlohy, uživatele, stroje, alokace a skupiny. Návrh aplikace byl vytvořen na základě principu rozložení obsahu na stránce a principu seskupení objektů na základě podobnosti. U postupu návrhu jsou porovnány dostupné nástroje. Implementace je napsána převážně v jazyce Python3 za využití frameworku Flask, který usnadňuje zpracování požadavků a autentizaci uživatelů. Dále jsou v implementaci využité jazyky HTML, JavaScript, Jinja2 a jiné. Nakonec je v práci zmíněno samotné testování, pro které byly použité jednotkové testy společně s technologií Selenium a uživatelským testováním.
|
|
|
Akcelerace aplikací na GPU v jazyce Python
Turcel, Matej ; Jaroš, Jiří (oponent) ; Jaroš, Marta (vedoucí práce)
Konvenčne sa v oblasti high performance computing (HPC) používajú prekladané jazyky, ako napríklad C++. Skriptovacie jazyky ako Python sú však pohodlnejšie a vývoj aplikácií je v nich rýchlejší a jednoduchší. Táto práca porovnáva jazyky C++ a Python z hľadiska možnosti akcelerácie výpočtov na grafickej karte. Jej cieľom je ukázať, že skriptovacie jazyky sú taktiež použiteľné na implementáciu HPC aplikácií a poukázať na ich výhody a nevýhody oproti prekladaným jazykom. Za týmto účelom je implementovaných niekoľko programov. Tie pozostávajú z niekoľkých menších testovacích programov a jedného väčšieho programu, riešiaceho výpočtovo náročný problém. Implementácie týchto programov v jazykoch C++ a Python sú porovnané ako z hľadiska výkonu, tak z hľadiska náročnosti implementácie.
|
|
|
Webové rozhraní pro správu a monitorování úloh na superpočítači
Bukovinský, Denis ; Jaroš, Jiří (oponent) ; Jaroš, Marta (vedoucí práce)
Jedným z cieľov práce bolo dokončiť webové rozhranie pre aplikácie pristupujúce k databáze systému k-Dispatch, ktorý monitoruje bežiace a naplánované úlohy na superpočítači. Ďalším cieľom bolo vytvoriť webové grafické rozhranie pre administrátora systému, ktoré používa implementované webové rozhranie. Pomocou tohto grafického rozhrania môže administrátor spravovať a dohliadať nad systémom. Po preštudovaní špecifikácie webového rozhrania som implementoval požadovanú funkčnosť, ktorú som integroval do systému k-Dispatch. Administrátorské rozhranie bude obsahovať funkčnosť na základe diagramov prípadov použitia, ktoré som vytvoril zo špecifikácie webového rozhrania. Toto rozhranie používa webové rozhranie systému k-Dispatch, vďaka ktorému má prístup do databázy. Webové rozhranie bolo implementované v jazyku Python s použitím microframeworkov. Administrátorskú časť aplikácie tvoria dynamické web stránky vytvorené pomocou HTML, kaskádových štýlov a JavaScriptu. Server tieto dynamické stránky generuje pomocou pred vytvorených šablón.
|
|
|
Integration of Amazon Computational Cloud into k-Dispatch
Kupčo, Patrik ; Jaroš, Marta (oponent) ; Jaroš, Jiří (vedoucí práce)
The main goal of this thesis is to get introduced to the Amazon Web Services (AWS) platform, especially the EC2 compute capacity service, next goal is to get introduced to the current solution of the k-Dispatch system for automatic launch and monitoring of computing jobs, and in the end to propose and develop utilities for the integration of the EC2 service into the k-Dispatch system. The developed solution offers a tool that can be used to create a configuration for an EC2 HPC cluster, which can also be deployed using the tool. Furthermore, a communication interface has been created to communicate with the said cluster.
|
|
|
Graphics Editor for Computational Workflows in TOSCA Format
Swiatkowski, Jan ; Jaroš, Marta (oponent) ; Jaroš, Jiří (vedoucí práce)
This thesis presents the design and implementation of a graphical workflow editor aimed at non-computer scientists, which enables the creation of complex computational workflows with minimal technical knowledge. The editor provides a graphical interface for composing workflow from computational tasks with supports a variety of input and output types, including value-based and dataset-based inputs and outputs. The resulting workflows can be exported to the TOSCA workflow specification, making them compatible with the LEXIS platform. The editor was developed in .NET Blazor Server framework in C# and JavaScript and employs the JointJS library for creating the graphical representation of workflows. The resulting tool provides an accessible means for researchers and other non-technical users to compose and execute advanced computational workflows.
|
host ::
RSS.