Original title:
Systém pro orchestraci a monitorování úloh v personalizované medicíně
Translated title:
System for Orchestrating and Monitoring Jobs in Personalized Medicine
Authors:
Musiichuk, Oleksandr ; Duchoň, Radek (referee) ; Jaroš, Marta (advisor) Document type: Bachelor's theses
Year:
2026
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Tato práce se zabývá návrhem a implementací modulu pro orchestraci grafu úloh v systému k-Dispatch, který je využíván v personalizované medicíně pro správu a spouštění výpočetně náročných úloh v HPC prostředích. Modul převádí šablonu grafu workflow do vykonatelné, ohodnocené podoby doplněním uzlů o binární soubory a parametry spuštění pro vzdálená výpočetní prostředí. Cílem práce bylo oddělit a rozšířit orchestrační logiku, vytvořit modul pro výběr vhodných spouštěcích konfigurací a integrovat jej do existující architektury systému k-Dispatch. Součástí řešení je také systém interních prioritních front pro řízení zpracování treatment planů a strukturované logování umožňující monitorování pomocí nástrojů Grafana, Loki a Promtail. Práce dále popisuje úpravy databázové vrstvy, integraci nových modulů do komponenty DispatchAndTransfer a vytvoření testovací infrastruktury. Funkčnost řešení byla ověřena jednotkovými a integračními testy, včetně demonstračních scénářů v testovacím HPC prostředí realizovaném pomocí technologie Docker a na virtuálním clusteru se správcem úloh Slurm. Výsledkem je modulární rozšíření systému k-Dispatch, které zjednodušuje přípravu workflow ke spuštění a vytváří základ pro další optimalizaci plánování úloh.
This thesis focuses on the design and implementation of a module for orchestrating a task graph in the k-Dispatch system, which is used in personalized medicine to manage and run computationally demanding tasks in HPC environments. The module transforms a workflow graph template into an executable, annotated form by assigning binary files and execution parameters to its nodes for remote computing environments. The goal of the thesis was to separate and extend the orchestration logic, create a module for selecting suitable execution configurations, and integrate it into the existing architecture of k-Dispatch. The solution also includes an internal priority queue system for managing the processing of treatment plans and structured logging that enables monitoring using Grafana, Loki, and Promtail. The thesis also describes modifications to the database layer, integration of the new modules into the DispatchAndTransfer component, and the creation of a testing infrastructure. The solution was verified using unit and integration tests, including demonstration scenarios in a test HPC environment implemented using Docker and on a virtual cluster with the Slurm workload manager. The result is a modular extension of k-Dispatch that simplifies workflow preparation for execution and provides a foundation for further optimization of job scheduling.
Keywords:
Docker; execution configuration optimization; Grafana; HPC; k-Dispatch; orchestrator; priority queue; structured logging; task graph; workflow orchestration; Docker; graf úloh; Grafana; HPC; k-Dispatch; optimalizace spouštěcích konfigurací; orchestrace workflow; orchestrátor; prioritní fronta; strukturované logování
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/258165