Original title: Služba pro automatické shrnutí výsledků testů v systému Testing Farm
Translated title: A Service for Automatic Test Result Summarization in Testing Farm
Authors: Bubáková, Natália ; Malík, Viktor (referee) ; Smrčka, Aleš (advisor)
Document type: Master’s theses
Year: 2026
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Táto diplomová práca navrhuje službu založenú na umelej inteligencii pre zlepšenie interpretácie výsledkov v systéme Testing Farm. Jej cieľom je znížiť manuálne úsilie potrebné na pochopenie zlyhaní testov pomocou stručných, ľudsky čitateľných zhrnutí vytvorených z metadát požiadaviek, štruktúrovaných výsledkov, logov a externého prevádzkového kontextu. Jadrom riešenia je hierarchický agentný workflow implementovaný v jazyku Python pomocou BeeAI Frameworku a Vertex AI, ktorý oddeľuje analýzu na úrovni požiadavky, testovacej sady, testu a súvisiacich výpadkov. Dôraz sa kladie najmä na infraštruktúrne a prípravné zlyhania, ktoré sú zo samotných artefaktov ťažko interpretovateľné a môžu byť korelované so stavovými stránkami Testing Farm alebo záznamami v systéme Jira. Služba sa integruje do ekosystému Testing Farm prostredníctvom obohatených sprievodných artefaktov a zobrazuje zhrnutia vo webovom rozhraní Oculus. Implementovaný prototyp je vyhodnotený na reálnych dátach Testing Farm z hľadiska presnosti, užitočnosti a výkonnosti a jeho praktický potenciál je potvrdený nasadením ako produkčný prototyp pre ďalší vývoj. This thesis proposes an AI-based service to improve the interpretation of completed test requests within the Testing Farm ecosystem. The project aims to reduce the manual effort needed to understand Testing Farm failures by generating concise, human-readable summaries from test metadata, structured result files, execution logs, and external operational context. To support this goal, the work examines Testing Farm result artifacts, large language model processing, agent-based workflows, and tool-assisted analysis. The core of the service is a hierarchical agent workflow implemented in Python using the BeeAI Framework and Vertex AI, separating request-level, suite-level, test-level, and outage-related analysis. Particular emphasis is placed on infrastructure and setup-related failures, which are difficult to interpret from raw artifacts alone and can be correlated with external sources such as Testing Farm status pages and Jira records. The service integrates with Testing Farm through enriched sidecar artifacts and presents generated summaries directly in the Oculus web interface. The implemented prototype is evaluated on real Testing Farm data with respect to summary accuracy, practical usefulness, and performance, and its production potential is demonstrated by its adoption as a Testing Farm production prototype for active development.
Keywords: agentné workflow; BeeAI Framework; detekcia zlyhaní testov; Jira; LLM; stavové stránky; Testing Farm; tmt; Vertex AI; veľké jazykové modely; zhrnutie výsledkov testov; agent workflow; BeeAI Framework; Jira; large language models; LLM; status pages; test failure detection; test result summarization; Testing Farm; tmt; Vertex AI

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/260529

Permalink: http://www.nusl.cz/ntk/nusl-775637


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses