|
|
Posilované učení a agentní prostředí
Brychta, Adam
Tato práce se zabývá posilovaným učením a jeho aplikací v agentním prostředí. V teoretické části je proveden rozbor teorie obsahující oblasti agentního prostředí, neuronových sítí a posilovaného učení. Praktická část je zaměřena na návrh a implementaci agenta hlubokého posilovaného učení s možností použití hierarchického posilovaného učení.
|
|
| |
|
| |
|
|
Reinforcement Learning for Automated Stock Portfolio Allocation
Lapeš, Zdeněk ; Andriushchenko, Roman (oponent) ; Češka, Milan (vedoucí práce)
This thesis is focused on the topic of reinforcement learning applied to a task of portfolio allocation. To accomplish this objective, the thesis first presents an overview of the fundamental theory, which includes the latest value-based and policy-based methods. Following that, the thesis describes the Stock portfolio environment, and finally, the experimental and implementation details are presented. The creation of datasets is discussed in detail, along with the rationale and methodology behind it. The RL agent is then trained and tested on three datasets, and the results obtained are promising and outperform common benchmarks. However, it was discovered that the annual return of the agent is still not better than the returns generated by the world’s top investors. The pipeline was implemented in Python 3.10, and technology from Weights & Biases was used to monitor all datasets, models, and hyperparameters. In conclusion, this work represents a significant step forward in the development of more effective RL agents for financial investments, with the potential to exceed even the performance of the world’s greatest investors.
|
|
|
Posilované učení pro volbu trasy v rámci scénáře abstraktního provozu
GLASER, Leoš
Práce se zabývá přístupem posilovaného učení pro navrhování trasy agentovi ve zjednodušeném scénáři pohybu v dopravní síti. V teoretické části jsou představeny základy umělé inteligence, posilovaného učení a vybrané metody posilovaného učení. Dále je stručně zmíněna základní teorie týkající se simulace dopravy. V praktické části práce je vytvořena konzolová aplikace využívající vybrané metody posilovaného učení. Metody jsou použity pro návrh trasy svozu odpadu ve vybrané čtvrti Českých Budějovic a porovnány s metodou řešící tuto úlohu pomocí rojové inteligence. Výsledky návrhů posilovaným učením jsou podobné výsledkům získaným rojovou inteligencí, přičemž celkově nejúspěšnější metodou je Proximal Policy Optimization s detekcí validity akcí. V jednom případu je nalezeno optimální řešení.
|
|
|
Aplikace posilovaného učení v řízení autonomního vozidla
Vosol, David ; Zbořil, František (oponent) ; Janoušek, Vladimír (vedoucí práce)
Tato práce se zabývá problematikou posilovaného učení aplikovaného na úlohu autonomního řízení vozidla. Nejprve je probrána nezbytná teorie posilovaného učení, která je zakončena představením nejmodernějších aktor-kritik metod. Z nich je vybrána metoda Proximal Policy Optimization , která je následně aplikována na tuto úlohu. Pro tento účel je také zvolen závodní simulátor TORCS. Naším cílem je naučit v simulovaném prostředí agenta autonomně řídit, s ohledem na jeho budoucí aplikaci v reálném prostředí v podobě zmenšeného RC modelu vozidla. Za tímto účelem jsou simulovány podmínky vzdáleného učení a ovládání vozidla v cloudu a to v podobě simulace ztráty paketů s daty od senzorů a aktuátorů nebo simulace zašuměných dat. Také jsou provedeny experimenty s cílem zjistit nejmenší počet senzorů, se kterým je agent schopen se úlohu naučit. Dále je experimentováno s využitím výstupu kamery vozidla. Jsou představeny různé návrhy architektur systému, mimo jiné i se zaměřením na co nejnižší hardwarové požadavky. Na závěr jsou prozkoumány vlastnosti naučeného agenta z pohledu generalizace v neznámém prostředí.
|
|
|
Hluboké neuronové sítě pro posilované učení
Ludvík, Tomáš ; Bambušek, Daniel (oponent) ; Hradiš, Michal (vedoucí práce)
Cílem této práce je použití hlubokých neuronových sítí na problém v posilovaném učení. Používám moji úpravu 2D hry Tuxánci jako testovací prostředí. Jedná se o úpravu, která zajišťuje možnosti využití hry jako prostředí pro strojového učení. Následně řeším problémy s naučením agenta pomocí posilovaného učení algoritmem Double DQN. Pomocí experimentů si prokazuji správné nastavení funkce odměn.
|
|
|
Posilované učení pro pohyb robota
Hás, David ; Zemčík, Pavel (oponent) ; Hradiš, Michal (vedoucí práce)
Tato práce se zabývá využitím posilovaného učení pro pohyb robota v simulovaném fyzikálním prostředí. Pro posilované učení se jedná o náročné úlohy, kde agenti čelí několika výzvám. Jednou z nich je spojitý prostor akcí, jelikož agent obvykle ovlivňuje prostředí aplikací síly na jednotlivé klouby. Druhým problémem je, že části robota se často vzájemně ovlivňují složitým způsobem a navíc jsou ovlivněny gravitací, setrvačností a dalšími fyzikálními efekty. Z těchto a dalších důvodů nejsou pro tyto úlohy jednoduché algoritmy posilovaného učení vhodné. Jedním z relativně nových řešení je algoritmus Soft Actor-Critic (SAC), který se objevil současně s podobně performním TD3, a oba překonávají starší DDPG. Agent SAC je odměňován za více náhodné chování, jeho cílem je tedy kromě maximalizace odměny také maximalizace entropie. Tato práce ukazuje použití tohoto algoritmu při učení agenta na úloze robotického pohybu. Je popsána implementace s použitím frameworku PyTorch a úspěšnost algoritmu je vyhodnocena na úlohách z prostředí PyBullet a OpenAI Gym. Algoritmus je na závěr použit na vlastní upravené prostředí s robotem Atlas.
|
|
|
Trénování inteligentních agentů v enginu Unity
Vaculík, Jan ; Chlubna, Tomáš (oponent) ; Matýšek, Michal (vedoucí práce)
Cílem práce je navrhnout aplikace, které demonstrují sílu strojového učení pro tvorbu umělé inteligence ve videohrách. K řešení této problematiky je použita sada nástrojů ML-Agents, která umožňuje tvorbu inteligentních agentů v enginu Unity. Jednotlivé demonstrační aplikace jsou zaměřeny na různé scénáře využití této sady. Pro trénování je použito zpětnovazební a imitační učení.
|
|
|
Hluboké neuronové sítě pro posilované učení
Košák, Václav ; Dobeš, Petr (oponent) ; Hradiš, Michal (vedoucí práce)
Práce popisuje trénovací prostředí pro trénování postavičky chodící po dvou končetinách. Prostředí je implementováno v AI Gym pomocí fyzikálního modelu PyBullet. Úlohy z prostředí jsou řešené pomocí posilovaného učení algoritmem ActorCritic. Každá z úloh je zaměřená na základní pohyby postavičky. Práce ukazuje, pomocí jakých funkcí odměn je algoritmus schopen dospět k řešení úloh.
|
host ::
RSS.