|
|
Using inheritance dependencies to accelerate abstraction-based synthesis of finite-state controllers for POMDPs.
Shevchenko, Aleksandr ; Macák, Filip (oponent) ; Češka, Milan (vedoucí práce)
Partially observable Markov decision process is an important model for autonomous planning used in many areas, such as robotics and biology. This work focuses on the Abstraction-Refinement framework for the inductive synthesis of finite-state controllers (FSCs) for POMDPs. The classic version of AR requires model checking of a quotient MDP for an entire set of compatible choices of the subfamily in each iteration. We propose an algorithm that uses inheritance dependencies to reduce the size of the quotient MDP’s mask and accelerate model checking for subfamilies of FSCs. We also introduce a smart version of this algorithm, which preserves all its advantages and reduces its weaknesses. During the experiments, it turned out that our approach also affects the operation of other parts of the synthesis, e.g. model building. Depending on the POMDP model, we observe both speedups and slowdowns in comparison to AR. On average, our approach speeds up the overall synthesis time by 1.2 times, and in some cases up to the factor 10.
|
|
|
Strojové učení ve strategických hrách
Vlček, Michael ; Škoda, Petr (oponent) ; Smrž, Pavel (vedoucí práce)
Strojové učení v současnosti diktuje pokrok umělé inteligence v soupeření s člověkem v rámci strategických her, ať už jde o šachy, Go, či poker. Oblastí strojového učení, která vykazuje nejperspektivnější výsledky ve hraní strategických her, je posilované učení. Velkým milníkem se pro současný vývoj stává počítačová hra Starcraft II, která svou komplexností mnohonásobně předčí dosavadní úspěchy v tomto oboru. Tato práce se zabývá rozborem problematiky, a navrhuje řešení prostřednictvím algoritmu posilovaného učení A2C a implementace optimalizace hyperparametrů PBT (trénování na bázi populace), které může být pro dosavadní výsledky krokem vpřed.
|
|
|
Inductive Controller Synthesis for POMDPs with Respect to Steady-State Properties
Jarolím, Antonín ; Kozák, David (oponent) ; Češka, Milan (vedoucí práce)
This thesis considers the problem of synthesizing finite-state controllers (FSC) for partially observable Markov decision processes wrt. steady-state properties. The set of candidate FSCs (design-space) is explored using state-of-the-art synthesis methods. The Abstraction-Refinement (AR) method prunes the design-space by considering families of FSCs at once. The novel algorithm generating counter-examples regarding steady-state properties using principles of the counterexample-guided inductive synthesis method is proposed. The experimental evaluation compares the AR method with a one-by-one exploration. It shows that the AR method is faster by orders of magnitude in all but one example, where the low transition rates reduced the speed of the AR method. No other tool is capable of performing such synthesis, so a comparison with other approaches is not available.
|
|
|
Strojové učení ve strategických hrách
Vlček, Michael ; Škoda, Petr (oponent) ; Smrž, Pavel (vedoucí práce)
Strojové učení v současnosti diktuje pokrok umělé inteligence v soupeření s člověkem v rámci strategických her, ať už jde o šachy, Go, či poker. Oblastí strojového učení, která vykazuje nejperspektivnější výsledky ve hraní strategických her, je posilované učení. Velkým milníkem se pro současný vývoj stává počítačová hra Starcraft II, která svou komplexností mnohonásobně předčí dosavadní úspěchy v tomto oboru. Tato práce se zabývá rozborem problematiky, a navrhuje řešení prostřednictvím algoritmu posilovaného učení A2C a implementace optimalizace hyperparametrů PBT (trénování na bázi populace), které může být pro dosavadní výsledky krokem vpřed.
|
host ::
RSS.