Original title:
Využití zpětnovazebného učení pro automatickou alokaci akciového portfolia
Translated title:
Reinforcement Learning for Automated Stock Portfolio Allocation
Authors:
Lapeš, Zdeněk ; Andriushchenko, Roman (referee) ; Češka, Milan (advisor) Document type: Bachelor's theses
Year:
2023
Language:
eng Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[eng][cze]
Tato práce je zaměřena na téma posilovacího učení aplikovaného na úlohu alokace portfolia. K dosažení tohoto cíle práce nejprve uvádí přehled základní teorie, která zahrnuje nejnovější metody založené na hodnotách a politikách. Následně je v práci popsáno prostředí port- folia Stock a nakonec jsou uvedeny podrobnosti o experimentu a implementaci. Podrobně je rozebrána tvorba datových souborů a její zdůvodnění a metodika. RL agent je poté vy- cvičen a otestován na třech datových sadách a získané výsledky jsou slibné a překonávají běžné benchmarky. Bylo však zjištěno, že roční výnos agenta stále není lepší než výnosy generované nejlepšími světovými investory. Pipeline byla implementována v jazyce Python 3.10 a ke sledování všech datových sad, modelů a hyperparametrů byla použita technologie Weights & Biases. Závěrem lze říci, že tato práce představuje významný krok vpřed ve vývoji efektivnějších RL agentů pro finanční investice, kteří mají potenciál překonat i výkonnost nejlepších světových investorů.
This thesis is focused on the topic of reinforcement learning applied to a task of portfolio allocation. To accomplish this objective, the thesis first presents an overview of the fundamental theory, which includes the latest value-based and policy-based methods. Following that, the thesis describes the Stock portfolio environment, and finally, the experimental and implementation details are presented. The creation of datasets is discussed in detail, along with the rationale and methodology behind it. The RL agent is then trained and tested on three datasets, and the results obtained are promising and outperform common benchmarks. However, it was discovered that the annual return of the agent is still not better than the returns generated by the world’s top investors. The pipeline was implemented in Python 3.10, and technology from Weights & Biases was used to monitor all datasets, models, and hyperparameters. In conclusion, this work represents a significant step forward in the development of more effective RL agents for financial investments, with the potential to exceed even the performance of the world’s greatest investors.
Keywords:
akciový trh; aktor-kritik; alokace akciového portfolia; neuronové sítě; posilované učení; teorie alokace portfolia; umělá inteligence; actor-critic; artificial intelligence; neural networks; portfolio allocation theory; reinforcement learning; stock market; stock portfolio allocation
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/211152