Original title: Praktický neuronový dialogový manažer s použitím předtrénovaných jazykových modelů
Translated title: Practical neural dialogue management using pretrained language models
Authors: Šafář, Jaroslav ; Dušek, Ondřej (advisor) ; Bojar, Ondřej (referee)
Document type: Master’s theses
Year: 2023
Language: eng
Abstract: [eng] [cze]
Task-oriented dialogue systems pose a significant challenge due to their complexity and the need to handle components such as language understanding, state tracking, action selection, and language generation. In this work, we explore the improvements in dialogue management using pretrained language models. We propose three models that incorporate pretrained language models, aiming to provide a practical approach to designing dialogue systems capable of effectively addressing the language understanding, state tracking, and action selection tasks. Our dialogue state tracking model achieves a joint goal accuracy of 74%. We also identify limitations in handling complex or multi- step user requests in the action selection task. This research underscores the potential of pretrained language models in dialogue management while highlighting areas for further improvement. 1 Dialogové systémy zaměřené na úkoly představují výzvu vzhledem ke své složitosti a potřebě zvládnout komponenty, jako porozumění jazyku, sledování stavu, výběr akcí a generování jazyka. V této práci zkoumáme zlepšení řízení dialogu pomocí předtréno- vaných jazykových modelů. Představujeme tři modely, postevané na předtrénovaných jazykových modelech, jejichž cílem je poskytnout praktický přístup k návrhu dialogových systémů schopných efektivně řešit porozumění jazyku, sledování stavu a úlohu výběru akcí. Náš model pro sledování stavu dialogu dosahuje přesnosti 74%. V úloze pro výběr akcí identifikujeme problémy ve zpracování složitých nebo vícekrokových uživatelských požadavků. Tento výzkum podtrhuje potenciál předtrénovaných jazykových modelů v dialogovém managementu a zároveň ukazuje na oblasti pro další zlepšení. 1
Keywords: dialogue systems|pretrained language models|natural language processing|dialogue management; dialogové systémy|předtrénované jazykové modely|zpracování přirozeného jazyka|dialogový manažer

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/184050

Permalink: http://www.nusl.cz/ntk/nusl-534551


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Master’s theses