Original title: Posilované učení pro hraní robotického fotbalu
Translated title: Reinforcement Learning for RoboCup
Authors: Zelenčík, Maxim ; Otrusina, Lubomír (referee) ; Smrž, Pavel (advisor)
Document type: Bachelor's theses
Year: 2026
Language: slo
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [slo] [eng]
Táto bakalárska práca sa zaoberá aplikáciou posilňovaného učenia v prostredí Google Research Football. Cieľom práce je overiť, či futbalom inšpirované tréningové metodiky (konkrétne Small Sided Games a Curriculum Learning) vedú k lepšiemu hernému prejavu a vyššej výkonnosti multi-agentných systémov v porovnaní so štandardným priamym tréningom. V rámci práce boli navrhnuté a implementované vlastné SSG scenáre s upravenými odmeňovacími funkciami inšpirovanými reálnymi futbalovými drilmi, ako aj CL systém využívajúci Football Academy scenáre s postupným prechodom medzi fázami rastúcej náročnosti. Pre tréning bol použitý algoritmus Multi-Agent Transformer. Experimentálne výsledky ukazujú, že SSG metodika čiastočne indukuje špecifické herné správania, pričom dva zo troch testovaných variantov dosiahli mierne, no štatisticky zanedbateľné zlepšenie miery výhier v plnom zápase 11 na 11. Curriculum Learning v navrhovanej konfigurácii nepriniesol očakávané zlepšenie. Spoločným obmedzením oboch prístupov bola absencia defenzívneho správania a problém katastrofického zabúdania pri prechode na plný zápas. Práca prispieva k pochopeniu limitov prenosu reálnych futbalových metodík do digitálneho prostredia RL a identifikuje kľúčové prekážky pre ďalší výskum. This bachelor's thesis focuses on the application of reinforcement learning in the Google Research Football environment. The aim of the work is to evaluate whether football-inspired training methodologies, specifically Small Sided Games and Curriculum Learning, lead to improved gameplay behavior and higher performance of multi-agent systems compared to standard direct training approaches. Within the thesis, custom SSG scenarios were designed and implemented with modified reward functions inspired by real-world football drills, as well as a Curriculum Learning system utilizing Football Academy scenarios with a gradual transition between stages of increasing difficulty. The Multi-Agent Transformer algorithm was used for training. Experimental results show that the SSG methodology partially induces specific in-game behaviors, with two out of three tested variants achieving a slight but statistically insignificant improvement in win rate in full 11 vs. 11 matches. Curriculum Learning in the proposed configuration did not yield the expected performance improvements. A common limitation of both approaches was the absence of defensive behavior and the issue of catastrophic forgetting when transitioning to full match scenarios. This work contributes to understanding the limitations of transferring real-world football training methodologies into a digital reinforcement learning environment and identifies key challenges for future research.
Keywords: Curriculum Learning; football simulator; Google Research Football; multi-agent systems; Multi-Agent Transformer; reinforcement learning; Small Sided Games

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/258740

Permalink: http://www.nusl.cz/ntk/nusl-776017


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses