|
|
Automatic scheduling, execution and monitoring of computational workflows on distributed systems
Jaroš, Marta ; Corbalan Gonzales, Julita (oponent) ; Martinovič, Jan (oponent) ; Jaroš, Jiří (vedoucí práce)
Automated execution of computational workflows has become a critical issue in achieving high productivity in various research and development fields. Over the last few years, workflows have emerged as a significant abstraction of numerous real-world processes and phenomena, including digital twins, personalized medicine, and simulation-based science in general. Workflow execution can be viewed as an orchestration of multiple tasks with diverse computational requirements and interdependencies, determined by the workflow structure. Due to the complexity of workflows, execution can only be satisfied by remote computing clusters or clouds. As these resources are expensive, workflow scheduling plays a crucial role in the automation process. The primary objective of this thesis is to enable automated and reliable execution of computational workflows. Moldable tasks, defined within these workflows, permit execution across multiple computational resources. This affects both the workflow makespan and computational cost, but not equally due to varying computational efficiency. Consequently, the thesis investigates various approaches to workflow scheduling and execution optimization, focusing on methods based on genetic algorithms. Three optimization approaches-targeting both on-demand and static computational resource allocations-are examined and discussed. The optimization process is supported by a performance database, which is collected on-the-fly and maintains parallel scaling of executed tasks and diverse inputs. The sparsity and incompleteness of the performance database are addressed through different interpolation methods. The proposed approaches demonstrate better utilization of computing resources while allowing prioritization of various optimization criteria, such as workflow makespan and computational cost. The final implementation was experimentally validated using real workflows executed on high-performance computing clusters at the IT4Innovations national supercomputing center. Additionally, this thesis presents the design and development of a comprehensive system for automated workflow scheduling, execution offloading and monitoring, completed with features such as accounting, reporting, and fault tolerance. This system, named k-Dispatch, has been commercialized for the neuroscience market by Brainbox, Ltd.
|
|
|
Difůzní evoluční algoritmus
Mészáros, István ; Pospíchal, Petr (oponent) ; Jaroš, Jiří (vedoucí práce)
V dnešní době se objevují nové trendy v oblasti umělé inteligence. Metody známé jako evoluční algoritmy jsou jedny z nich. Tyto algoritmy nám umožňují optimalizovat a navrhovať systémy pomocí počítačů. Jedna z variant evolučních algoritmů je difůzní evoluční algoritmus. Tento typ algoritmu může probíhat paralelně a přináší přitom mnoho pozitivních vlastností. Otázkou je, při jakých podmínkách lze efektivně používat difůzní variantu evolučních algoritmů. Je možné jejich používání při plánování systémů nebo optimalizaci některých problémů? Proč jsou výhodnější než ostatní typy evolučních algoritmů? Tato práce se snaží odpovědět na tyto otázky a podrobně vysvětlit fungování těchto algoritmů.
|
|
|
Akcelerace neuronových sítí s využitím GPU
Šimíček, Ondřej ; Jaroš, Jiří (oponent) ; Petrlík, Jiří (vedoucí práce)
Tato práce se zabývá využitím grafických čipů pro akceleraci neuronových sítí s učením typu backpropagation. Pro řešení tohoto problému byla zvolena technologie OpenCL umožňující využít grafické čipy různých výrobců. Hlavním cílem práce byla akcelerace časově náročného procesu učení sítí a procesu klasifikace. Zrychlení bylo docíleno trénováním velkého množství neuronových sítí současně. Získané zrychlení bylo využito pro nalezení vhodné topologie a nastavení neuronové sítě pro zadanou úlohu pomocí genetického algoritmu.
|
|
|
Využití GPU pro akceleraci optimalizace systému vodních děl
Marek, Jan ; Petrlík, Jiří (oponent) ; Jaroš, Jiří (vedoucí práce)
Tato práce se zabývá optimalizací řízení zásobní funkce vodohospodářských soustav. Vycházíme z dizertační práce Ing. Pavla Menšíka Ph.D., Automatizace řešení zásobní funkce vodohospodářské soustavy. Jako optimalizační metoda byla zvolena diferenciální evoluce. Daná metoda bude implmentována sekvečne a poté paralelizována nejdříve na procesoru a poté na GPU
|
|
|
Interaktivní simulace chování tkaniny akcelerovaná pomocí GPU
Melichar, Vojtěch ; Klepárník, Petr (oponent) ; Jaroš, Jiří (vedoucí práce)
Tato práce se zabývá interaktivní simulací chování tkanin s využitím GPU pro obecné výpočty. V první části jsou rozebrány všechny technologie, které jsou následně využity při implementaci programu. Druhá část poté diskutuje různé způsoby řešení simulací. Především se věnuje částicovým systémům, které patří k nejpoužívanějším metodám. Následně je navržen program, který je v rámci této práce také implementován. Implementace proběhla ve čtyřech různých variantách. První variantou je čistě CPU implementace, druhou variantou je optimalizace CPU implementace pomocí technologie OpenMP. Z těchto implementací vychází CUDA implemntace. Poslední zde implementovanou variantou byla optimalizovaná CUDA implementace. Na závěr práce jsou všechny implementace vyhodnoceny z pohledu jejich výpočetní složitosti a vhodnosti pro použití v grafice počítané v reálném čase.
|
|
| |
|
|
Akcelerace ultrazvukových simulací pomocí multi-GPU systémů
Stodůlka, Martin ; Vaverka, Filip (oponent) ; Jaroš, Jiří (vedoucí práce)
V této práci je kladen důraz na multi - GPU systémy a využití CUDA unifikované paměti.Hlavním cílem je akcelerovat výpočet 3D FFT, který je hlavní součástí simulací knihovny k- Wave .K- Wave je C++/ Matlab knihovna určena pro simulaci šíření ultrazvukových vln v 1D , 2D nebo 3D prostoru.Akcelerace těchto funkcí je potřebná, jelikož se jedná o výpočetně náročně simulace.
|
|
|
Optimalizace spouštěcích konfigurací k-Wave úloh
Sasák, Tomáš ; Jaroš, Marta (oponent) ; Jaroš, Jiří (vedoucí práce)
Táto práca sa zaoberá plánovaním, resp. správnym odhadom spúšťacích konfigurácií úloh k-Wave na superpočítačoch infraštruktúry IT4Innovations. Presnejšie pre klastre Salomon a Anselm. Úloha predstavuje množinu simulácií, kde každá simulácia je spúšťaná pod toolboxom k-Wave. Pre spustenie jednotlivých simulácií je nutné správne vytvoriť konfiguráciu, ktorá sa skladá z množstva zdrojov (počet výpočtových uzlov, resp. jadier) a času rezervácie superpočítača, čo je pre neskúseného zložité odhadnúť. Zvolený problém odhadu je riešený na základe empirických dát, ktoré boli získané viacnásobným spúšťaním rôznych množín simulácií na klastroch. Tieto dáta sú uložené a spracované aproximátormi, ktoré konkrétne vykonávajú odhad týchto parametrov na základe metód interpolácie a regresie. V práci je popísaný a bol implementovaný systém predstavujúci plánovač, ktorý predstavuje rozhranie pre odhad. Experimentovaním bolo zistené že pre tento špecifický problém najpresnejšie odhady vykonáva trojica Akima spline, PCHIP interpolácia a kubický spline. Výsledky tejto práce umožňujú vykonávať istý odhad exekučného času a počtu vlákien pre ľubovolné simulácie automaticky a bez znalosti kódu k-Wave.
|
|
| |
|
| |
host ::
RSS.