|
|
Automatic scheduling, execution and monitoring of computational workflows on distributed systems
Jaroš, Marta ; Corbalan Gonzales, Julita (referee) ; Martinovič, Jan (referee) ; Jaroš, Jiří (advisor)
Rutinní automatizované vykonávání složitých výpočetních procesů, tzv. workflows, se stalo naprosto klíčovým pro dosažení vysoké produktivity v různých oblastech vědy a výzkumu. Výpočetní workflows se v posledních několika letech staly důležitou abstrakcí mnoha reálných procesů a jevů, jako např. digitálních dvojčat, personalizované medicíny či na simulaci založené vědě obecně. Vykonání workflow lze vnímat jako orchestraci mnoha úloh s různými výpočetními požadavky a vzájemnými závislostmi. Vzhledem k výpočetní složitosti reálných workflows je jejich provádění možné pouze na výpočetních klastrech nebo v cloudu, kde hraje efektivní plánování a optimalizace provedení workflows klíčovou roli. Hlavním cílem této práce je umožnit automatizované a spolehlivé vykonání výpočetních workflows. Tyto workflows se často skládají z distribuovaných úloh, které jsou schopny běžet na několika výpočetních prostředcích najednou, dokonce umožňují toto množství měnit. Anglicky se tyto úlohy nazývají moldable tasks. Množství přiřazených prostředků ovlivňuje jak dobu vykonání workflow, tak i cenu výpočtu, ovšem ne stejnou měrou díky rozdílné výpočetní efektivitě. Proto tato práce zkoumá různé přístupy k plánování a optimalizaci vykonání workflows, převážně se zabývá optimalizačními technikami založenými na genetických algoritmech. Práce představuje tři optimalizační přístupy zkoumající dynamicky i staticky přidělované výpočetních zdroje. V procesu optimalizace hraje důležitou roli výkonnostní databáze, která je průběžně vytvářena a jejíž úlohou je uchovávat paralelní škálování prováděných úloh při různých vstupech. Řídkost a neúplnost výkonnostní databáze je řešena různými interpolačními metodami. Navrhované přístupy vykazují lepší využití výpočetních prostředků a umožňují prioritizaci různých optimalizačních kritérií, např. doby provádění workflow či ceny výpočtu. Finální implementace byla experimentálně ověřena na reálných workflows vykonávaných na klastrech v národním superpočítačovém centru IT4Innovations. Tato práce rovněž představuje návrh a implementaci komplexního systému pro automatické plánování, vykonávání a monitorování workflows na výpočetních klastrech. Systém rovněž disponuje dalšími funkcemi jako jsou účtování, reportování či odolnost vůči chybám. Tento systém, zvaný k-Dispatch, byl úspěšně komercializován v oblasti ultrazvukové neurostimulace a je nabízen společností Brainbox, Ltd.
|
|
|
Optimization of Run Configurations of k-Wave Jobs
Sasák, Tomáš ; Jaroš, Marta (referee) ; Jaroš, Jiří (advisor)
This thesis focuses on scheduling, i.e. correct approximation of configurations used to run k-Wave simulations on supercomputers from the IT4Innovations infrastructure. Especially, for clusters Salomon and Anselm. A single work is composed of a set which contains many simulations. Every simulation is executed by some code from the k-Wave toolbox. To calculate the simulation, it is necesarry to select a suitable configuration, which means the amount of supercomputer resources (number of nodes, i.e. cores), and the duration of the rental. Creation of an ideal configuration is complicated and is even harder for an inexperienced user. The approximation is made based on the empiric data, obtained from multiple executions of different sets of simulations on given clusters. This data is stored and used by a set of approximators, which performs the actual approximation by methods of interpolation and regression. The text describes the implementation of the final scheduler. By experimenting, the most efficient methods for this problem has found out to be Akima spline, PCHIP interpolation and cubic spline. The main contribution of this work is creation of a tool which can find suitable configuration for k-Wave simulation without knowing the code or having lots of experience with its usage.
|
|
|
Visualization of DNA Secondary Structures in R/Bioconductor
Jaroš, Marta ; Bendl, Jaroslav (referee) ; Martínek, Tomáš (advisor)
This bachelors thesis deals with the visualization techniques of the secondary structures of DNA. It summarizes and discusses some of the current methods of visualization. It explains the problem and its importance from the standpoint of molecular biology. The main aim of the work is the design of a generic algorithm for visualization of secondary structures of DNA, specifically palindromes and triplexes, and its implementation into the environment R/Bioconductor. It focuses in particular on the area of 2D graphical imaging of these secondary structures of DNA. The result of the work is 2D visualization support for R/Bioconductors software packages which provide searching of the characteristic sequence of palindromes and triplexes in DNA sequences.
|
|
|
Acceleration of Applications on a Supercomputer Using Python
Čelka, Marek ; Jaroš, Jiří (referee) ; Jaroš, Marta (advisor)
Nowadays, all computers we use are capable of parallel processing that saves time in compute-intensive tasks such as scientific computations, various simulations or predictions. The theme of this thesis is acceleration of compute-intensive tasks on supercomputer. This is achieved by the parallelization of the problem. For better understanding the issue by scientists from diverse scientific fields, the python programming language was chosen. Python is very powerful and easy to use as well. The first part of the thesis deals with the parallel processing techniques. The set of microtests was designed and implemented for this purpose. Results are then discussed and used in the further work. The second part of the thesis deals with the problem of parallel image reconstruction. For a comparison, the sequential version of the problem was also implemented. Both versions, sequential and parallel, were tested on a set of images of a different size. Experiments focus on acceleration, spent time, memory bandwidth and latency. These outcomes are also presented and discussed.
|
|
|
Acceleration of Algorithms for Clustering of Tunnels in Proteins
Jaroš, Marta ; Vašíček, Zdeněk (referee) ; Martínek, Tomáš (advisor)
This thesis deals with the clustering of tunnels in data obtained from the protein molecular dynamics simulation. This process is very computationaly intensive and it has been a challenge for scientific communities. The goal is to find such an algorithm with optimal time and space complexity ratio. The research of clustering algorithms, work with huge highdimensional datasets, visualisation and cluster-comparing methods are discussed. The thesis provides a proposal of the solution of this problem using the Twister Tries algorithm. The implementation details are analysed and the testing results of the solution quality and space complexity are provided. The goal of the thesis was to prove that we could achieve the same results with a stochastic algorithm - Twister Tries , as with an exact algorithm ( average-linkage ). This assumption was not confirmed confidently. Another finding of the hashing functions analysis shows that we could obtain the same results of hashing with a low dimensional hashing function but in much better computational time.
|
|
|
Web Interface for Task Management and Monitoring on Supercomputers
Dančák, Petr ; Jaroš, Jiří (referee) ; Jaroš, Marta (advisor)
Bachelor's thesis focuses on web development process to create interface for k-Dispatch system, with which we can monitor, create and edit existing tasks, users, machines, allocations and groups. Web design was created based on web content layout principle and object grouping based on similarities principle. Comparison of usable tools is in design procedure section. Implementation uses mainly written in Python3 language with usage of Flask framework, which is helpful with processing requests and user authentication. Furthermore in implementation are used languages as HTML, JavaScript, Jinja2 and other. For test phase were used unit tests together with Selenium interface and user testing.
|
|
|
Acceleration of Python Applications on GPU
Turcel, Matej ; Jaroš, Jiří (referee) ; Jaroš, Marta (advisor)
Compiled languages, such as C++, are conventionally used in the field of high performance computing (HPC). However, scripting languages like Python are more convenient and application development is quicker and simpler in these languages. This work compares C++ and Python in terms of the possibilities of computation acceleration on graphics card. Its aim is to show that scripting languages are also suitable for the implementation of HPC applications, and point out their advantages and disadvantages compared to compiled languages. To this purpose, a number of programs have been implemented. Several smaller programs for testing purposes and a larger one, implementing a computationally intensive problem. The implementations of these programs in C++ and Python are compared in terms of performance, as well as difficulty of implementation.
|
|
|
Web Interface for Task Management and Monitoring on a Supercomputer
Bukovinský, Denis ; Jaroš, Jiří (referee) ; Jaroš, Marta (advisor)
One of the goals of the project was to complete the web interface for applications that access the k-Dispatch database, which monitors both running and scheduled tasks on a supercomputer. Another goal was to create a web-based graphical interface for the system administrator using already implemented web interface. Using this graphical interface, the administrator can manage and supervise the system. After studying the web interface specification, I implemented the required functionality that I integrated into the k-Dispatch system. The admin interface will include functionality based on the use-case diagrams that I created from the Web interface specification. This interface uses the k-Dispatch web interface to access the database. The web interface was implemented in Python using microframeworks. The admin part of the application consists of dynamic web pages created using HTML, cascading styles and JavaScript. The server generates these dynamic pages using pre-created templates.
|
|
|
Integration of Amazon Computational Cloud into k-Dispatch
Kupčo, Patrik ; Jaroš, Marta (referee) ; Jaroš, Jiří (advisor)
The main goal of this thesis is to get introduced to the Amazon Web Services (AWS) platform, especially the EC2 compute capacity service, next goal is to get introduced to the current solution of the k-Dispatch system for automatic launch and monitoring of computing jobs, and in the end to propose and develop utilities for the integration of the EC2 service into the k-Dispatch system. The developed solution offers a tool that can be used to create a configuration for an EC2 HPC cluster, which can also be deployed using the tool. Furthermore, a communication interface has been created to communicate with the said cluster.
|
|
|
Graphics Editor for Computational Workflows in TOSCA Format
Swiatkowski, Jan ; Jaroš, Marta (referee) ; Jaroš, Jiří (advisor)
Tato práce se zabývá návrhem a implementací grafického editoru pracovních toků zaměřeného na vědce, kteří nejsou z oboru informačních technologií, a editor jim umožňuje vytváření složitých výpočetních toků s minimální technickou znalostí. Editor poskytuje grafické rozhraní pro sestavení toků z výpočetních úloh s podporou různých typů vstupů a výstupů, včetně hodnotových a datových vstupů a výstupů. Výsledné toky lze exportovat do specifikace TOSCA popisující pracovní tok, což umožňuje jejich použití na platformě LEXIS. Editor byl vyvinut v rámci .NET Blazor Server frameworku v jazyce C\# a JavaScript a využívá knihovnu JointJS pro vytváření grafické reprezentace toků. Výsledný nástroj poskytuje dostupný způsob, jak vytvářet a spouštět pokročilé výpočetní toky pro výzkumníky a další uživatele.
|
guest ::
RSS feed.