|
|
Application of Reinforcement Learning in Autonomous Driving
Vosol, David ; Zbořil, František (referee) ; Janoušek, Vladimír (advisor)
This thesis is focused on the topic of reinforcement learning applied to a task of autonomous vehicle driving. First, the necessary fundamental theory is presented, including the state-of-the-art actor-critic methods. From them the Proximal policy optimization algorithm is chosen for the application to the mentioned task. For the same purpose, the racing simulator TORCS is used. Our goal is to learn a reinforcement learning agent in a simulated environment with the focus on a future real-world application to an RC scaled model car. To achieve this, we simulate the conditions of remote learning and control in the cloud. For that, simulation of network packet loss, noisy sensory and actuator data is done. We also experiment with the least number of vehicle's sensors required for the agent to successfully learn the task. Experiments regarding the vehicle's camera output are also carried out. Different system architectures are proposed, among others also with the aim to minimize hardware requirements. Finally, we explore the generalization properties of a learned agent in an unknown environment.
|
|
|
Optimization of a Racing Car Setup within TORCS Simulator
Srnec, Pavel ; Jaroš, Jiří (referee) ; Pospíchal, Petr (advisor)
This master's thesis is about nature optimalization technigues. Evolution algortihms together with main thesis topic, Particle Swarm Optimization, is introduced in the following chapter. Car setup and simulator TORCS are introduced in next chapter. Design and implementation are introduced in next chapters. Destination of t master's thesis is finding optimal car setups for different curcuits.
|
|
|
An Autonomous Driver of a TORCS Racing Car
Běhal, Lukáš ; Kaštil, Jan (referee) ; Jaroš, Jiří (advisor)
Tato práce popisuje simulátor TORCS a optimalizační algoritmy, jenž jsou využívány při tvorbě autonomních řidičů pro tento simulátor. Hlavním cílem je navržení nového autonomního řidiče, který se bude schopen s použitím přírodou inspirovaných optimalizačních technik vyrovnat již dříve navrženým řešením. Chování implementovaného řešení lze rozdělit do dvou hlavních částí, které jsou využívány v různých rozdílných etapách závodu. Zahřívací kolo je využito pro vytvoření modelu trati, ze kterého je posléze získána optimální trajektorie pomocí genetického algoritmu. Této trajektorie je potom využíváno v samotné kvalifikaci či závodě pro zajetí co nejrychlejšího kola. Z důvodu složitosti problému optimalizace celé trajektorie je nutno tuto trajektorii rozdělit na menší úseky nazývané segmenty, přičemž každý z nich je potom optimalizován odděleně. Jednotlivé optimalizované segmenty jsou následně spojeny dohromady, aby opět utvořily trajektorii pro celou trať. Protože některé přechody mezi segmenty mohou být nesouvislé, je zde znovu aplikován genetický algoritmus pro jejich vyhlazení. Během závodu je tato trajektorie následována, přičemž se z ní odvíjí i maximální možná rychlost v daném úseku. V práci jsme ukázali, že vzorkování trati s následnou optimalizací pomocí genetického algoritmu trvá pouze zlomek času vyhrazeného pro zahřívací kolo. Nejen díky tomuto se řešení jeví jako vhodné pro závody autonomních řidičů a může být dále rozšířeno.
|
|
|
Application of Reinforcement Learning in Autonomous Driving
Vosol, David ; Zbořil, František (referee) ; Janoušek, Vladimír (advisor)
This thesis is focused on the topic of reinforcement learning applied to a task of autonomous vehicle driving. First, the necessary fundamental theory is presented, including the state-of-the-art actor-critic methods. From them the Proximal policy optimization algorithm is chosen for the application to the mentioned task. For the same purpose, the racing simulator TORCS is used. Our goal is to learn a reinforcement learning agent in a simulated environment with the focus on a future real-world application to an RC scaled model car. To achieve this, we simulate the conditions of remote learning and control in the cloud. For that, simulation of network packet loss, noisy sensory and actuator data is done. We also experiment with the least number of vehicle's sensors required for the agent to successfully learn the task. Experiments regarding the vehicle's camera output are also carried out. Different system architectures are proposed, among others also with the aim to minimize hardware requirements. Finally, we explore the generalization properties of a learned agent in an unknown environment.
|
|
|
An Autonomous Driver of a TORCS Racing Car
Běhal, Lukáš ; Kaštil, Jan (referee) ; Jaroš, Jiří (advisor)
Tato práce popisuje simulátor TORCS a optimalizační algoritmy, jenž jsou využívány při tvorbě autonomních řidičů pro tento simulátor. Hlavním cílem je navržení nového autonomního řidiče, který se bude schopen s použitím přírodou inspirovaných optimalizačních technik vyrovnat již dříve navrženým řešením. Chování implementovaného řešení lze rozdělit do dvou hlavních částí, které jsou využívány v různých rozdílných etapách závodu. Zahřívací kolo je využito pro vytvoření modelu trati, ze kterého je posléze získána optimální trajektorie pomocí genetického algoritmu. Této trajektorie je potom využíváno v samotné kvalifikaci či závodě pro zajetí co nejrychlejšího kola. Z důvodu složitosti problému optimalizace celé trajektorie je nutno tuto trajektorii rozdělit na menší úseky nazývané segmenty, přičemž každý z nich je potom optimalizován odděleně. Jednotlivé optimalizované segmenty jsou následně spojeny dohromady, aby opět utvořily trajektorii pro celou trať. Protože některé přechody mezi segmenty mohou být nesouvislé, je zde znovu aplikován genetický algoritmus pro jejich vyhlazení. Během závodu je tato trajektorie následována, přičemž se z ní odvíjí i maximální možná rychlost v daném úseku. V práci jsme ukázali, že vzorkování trati s následnou optimalizací pomocí genetického algoritmu trvá pouze zlomek času vyhrazeného pro zahřívací kolo. Nejen díky tomuto se řešení jeví jako vhodné pro závody autonomních řidičů a může být dále rozšířeno.
|
|
|
Optimization of a Racing Car Setup within TORCS Simulator
Srnec, Pavel ; Jaroš, Jiří (referee) ; Pospíchal, Petr (advisor)
This master's thesis is about nature optimalization technigues. Evolution algortihms together with main thesis topic, Particle Swarm Optimization, is introduced in the following chapter. Car setup and simulator TORCS are introduced in next chapter. Design and implementation are introduced in next chapters. Destination of t master's thesis is finding optimal car setups for different curcuits.
|
guest ::
