|
|
Automatic scheduling, execution and monitoring of computational workflows on distributed systems
Jaroš, Marta ; Corbalan Gonzales, Julita (oponent) ; Martinovič, Jan (oponent) ; Jaroš, Jiří (vedoucí práce)
Automated execution of computational workflows has become a critical issue in achieving high productivity in various research and development fields. Over the last few years, workflows have emerged as a significant abstraction of numerous real-world processes and phenomena, including digital twins, personalized medicine, and simulation-based science in general. Workflow execution can be viewed as an orchestration of multiple tasks with diverse computational requirements and interdependencies, determined by the workflow structure. Due to the complexity of workflows, execution can only be satisfied by remote computing clusters or clouds. As these resources are expensive, workflow scheduling plays a crucial role in the automation process. The primary objective of this thesis is to enable automated and reliable execution of computational workflows. Moldable tasks, defined within these workflows, permit execution across multiple computational resources. This affects both the workflow makespan and computational cost, but not equally due to varying computational efficiency. Consequently, the thesis investigates various approaches to workflow scheduling and execution optimization, focusing on methods based on genetic algorithms. Three optimization approaches-targeting both on-demand and static computational resource allocations-are examined and discussed. The optimization process is supported by a performance database, which is collected on-the-fly and maintains parallel scaling of executed tasks and diverse inputs. The sparsity and incompleteness of the performance database are addressed through different interpolation methods. The proposed approaches demonstrate better utilization of computing resources while allowing prioritization of various optimization criteria, such as workflow makespan and computational cost. The final implementation was experimentally validated using real workflows executed on high-performance computing clusters at the IT4Innovations national supercomputing center. Additionally, this thesis presents the design and development of a comprehensive system for automated workflow scheduling, execution offloading and monitoring, completed with features such as accounting, reporting, and fault tolerance. This system, named k-Dispatch, has been commercialized for the neuroscience market by Brainbox, Ltd.
|
|
|
Workflow Modelling
Rovenský, Vladimír ; Barták, Roman (vedoucí práce) ; Surynek, Pavel (oponent)
Cílem diplomové práce bylo navrhnout a implementovat grafický editor umožňující modelování pracovních postupů (workflows) s důrazem na efektivitu práce, jednoduchost a použitelnost pro běžného uživatele. Výsledná aplikace je integrována do systému FlowOpt, ve kterém lze vytvořené pracovní postupy použít k řízení výrobních procesů v malých a středně velkých továrnách. Vlastní editor by měl sloužit mj. jako demonstrace použití modelu Nested TNA v reálném protředí. Součástí práce je funkční implementace vlastního editoru, navržení a implementace procedury pro automatickou verifikaci pracovních postupů a podpora standardního formátu XPDL (BPMN) pro ukládání pracovních postupů (import i export).
|
|
|
Interactive scheduling and visualisation
Skalický, Tomáš ; Barták, Roman (vedoucí práce) ; Surynek, Pavel (oponent)
Cílem této diplomové práce bylo navrhnout a implementovat grafický nástroj pro zobrazování a editaci rozvrhů, který by obsahoval funkci pro automatické opravení porušených podmínek v rozvrhu. Výsledná aplikace Gantt Viewer je integrována do projektu FlowOpt, jenž představuje komplexní řešení od modelování pracovních procesů, přes vytváření rozvrhů, až po jejich analýzu. Aplikace byla vyvíjena s důrazem na přívětivé uživatelské rozhraní a na výkonnost při práci s velkými daty. Díky integraci do FlowOpt projektu umožňuje zobrazit u rozvrhů informace o pracovních procesech. Gantt Viewer též obsahuje nástroj pro automatické opravení rozvrhů využívající Repair-DTP algoritmus, který je v této práci podrobně představen a demonstrován.
|
|
|
Evolutionary optimization of machine learning workflows
Suchopárová, Gabriela ; Neruda, Roman (vedoucí práce) ; Pilát, Martin (oponent)
Práce se zabývá automatickým strojovým učením (AutoML), které má za cíl automati- zovat proces výběru vhodného modelu strojového učení pro daný problém. Vyvinuli jsme systém, který pro zadanou úlohu učení s učitelem reprezentovanou množinou dat najde vhodné schéma řešení (pipeline) - kombinaci metod strojového učení, ansámblů a metod předzpracování. Jako prohledávací algoritmus jsme navrhli speciální variantu develop- mentálního genetického programování, která umožňuje reprezentovat orientované acyk- lické grafy schémat řešení pomocí stromů. Systém je implementován v programovacím jazyce Python a využívá knihovnu scikit-learn. Úspěšnost našeho řešení byla ověřena na 72 datových množinách benchmarku OpenML-CC18, na kterém jsme dosáhli dobrých výsledků. 1
|
|
|
Interactive scheduling and visualisation
Skalický, Tomáš ; Barták, Roman (vedoucí práce) ; Surynek, Pavel (oponent)
Cílem této diplomové práce bylo navrhnout a implementovat grafický nástroj pro zobrazování a editaci rozvrhů, který by obsahoval funkci pro automatické opravení porušených podmínek v rozvrhu. Výsledná aplikace Gantt Viewer je integrována do projektu FlowOpt, jenž představuje komplexní řešení od modelování pracovních procesů, přes vytváření rozvrhů, až po jejich analýzu. Aplikace byla vyvíjena s důrazem na přívětivé uživatelské rozhraní a na výkonnost při práci s velkými daty. Díky integraci do FlowOpt projektu umožňuje zobrazit u rozvrhů informace o pracovních procesech. Gantt Viewer též obsahuje nástroj pro automatické opravení rozvrhů využívající Repair-DTP algoritmus, který je v této práci podrobně představen a demonstrován.
|
|
|
Workflow Modelling
Rovenský, Vladimír ; Barták, Roman (vedoucí práce) ; Surynek, Pavel (oponent)
Cílem diplomové práce bylo navrhnout a implementovat grafický editor umožňující modelování pracovních postupů (workflows) s důrazem na efektivitu práce, jednoduchost a použitelnost pro běžného uživatele. Výsledná aplikace je integrována do systému FlowOpt, ve kterém lze vytvořené pracovní postupy použít k řízení výrobních procesů v malých a středně velkých továrnách. Vlastní editor by měl sloužit mj. jako demonstrace použití modelu Nested TNA v reálném protředí. Součástí práce je funkční implementace vlastního editoru, navržení a implementace procedury pro automatickou verifikaci pracovních postupů a podpora standardního formátu XPDL (BPMN) pro ukládání pracovních postupů (import i export).
|
|
|
Vliv systému HACCP na kvalitu masných výrobků
KOCINOVÁ, Marie
V této diplomové práci byla provedena podrobná analýza celého systému HACCP ve firmě Libor Novák výroba masa, uzenin a specialit. Systém HACCP v uvedené firmě byl porovnán s dostupnými literárními poznatky a byly navrženy některé změny systému v počtu kontrolních kritických bodů a v systému prováděné kontroly. Byly navrženy nové výrobní diagramy dvou vybraných skupin výrobků (uzená masa, uzená masa z komína a vařená výroba). U obou výrob byla provedena nová analýza nebezpečí a nově stanoveny kontrolní kritické body a kontrolní body. U nově navržených kontrolních bodů byly stanoveny i možné změny vzniku nebezpečí a z toho plynoucí monitoring a nápravná opatření. Protože se systém HACCP ve firmě za posledních 10 let dobře vyvíjel a stabilizoval, bylo navrženo snížení počtu kontrolních kritických bodů. Systém HACCP probíhá neustálým vývojem a je nutno je neustále přizpůsobovat výrobním a pracovním postupům. Proto tyto nově navržené změny mohou platit jen do té doby, dokud se nezmění cokoli v technologiích výroby.
|
host ::
RSS.