Original title: Induktivní syntéza konečně stavových kontrolérů pro decentralizované POMDP
Translated title: Inductive Synthesis of Finite State Controllers for Decentralized POMDPs
Authors: Hranička, Vojtěch ; Lengál, Ondřej (referee) ; Češka, Milan (advisor)
Document type: Master’s theses
Year: 2024
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Markovovy rozhodovací procesy s částečným pozorováním~(POMDP) jsou významným stochastickým modelem pro sekvenční rozhodování s nejistotou. Decentralizované POMDP~(Dec-POMDP) tento model rozšiřují o možnost práce s více agenty. Tato práce se zaměřuje na rozšíření metody induktivní syntézy kontrolérů pro POMDP, tak aby podporovala práci s Dec-POMDP. Hlavním cílem syntézy je nalézt takové kontroléry pro každého z agentů, aby jejich společné chování nejlépe splňovalo požadované specifikace. V této práci se zaměřuji na strategie, které jsou reprezentovány pomocí konečně stavových kontrolérů~(FSC). Experimentální výsledky ukazují, že použití této metody pro návrh kontrolérů dosahuje srovnatelných výsledků se state-of-the-art přístupy. Navíc tento přístup jako první umožňuje práci v nekonečném horizontu bez použití discount faktoru. Díky tomu je tato metoda vhodnější pro řešení problémů, kde je důležité rozhodnutí provedeno až v pozdějším horizontu. Markov decision processes with partial observation~(POMDP) is an important stochastic model for sequential decision making with uncertainty. Decentralized POMDPs~(Dec-POMDPs) extend this model to handle multiple agents. This work focuses on extending the inductive controller synthesis method for POMDPs to support work with Dec-POMDPs. The main goal of the synthesis is to find controllers for each agent such that their joint behavior best satisfies the desired specifications. In this paper, I focus on strategies that are represented using finite state controllers~(FSC). Experimental results show that using this method for controller design achieves comparable results to state-of-the-art approaches. Moreover, this approach is the first to allow working in infinite horizon without using a discount factor. This makes this method more suitable for solving problems where an important decision is made at a later point in time.
Keywords: automated synthesis; decentralization; formal methods; Markov models; model checking; partial observability; probabilistic models; automatizovaná syntéza; decentralizace; formální metody; Markovovy modely; model checking; pravděpodobnostní modely; částečné pozorování

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: https://hdl.handle.net/11012/249012

Permalink: http://www.nusl.cz/ntk/nusl-619078


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses