|
|
Komunikační agent pro informace o Brně
Jurkovič, Juraj ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
Cieľom tejto práce je preskúmať a následne aplikovať techniky a technické riešenia pri vývoji informačných agentov. Práca sa zameriava na riešenia jednotlivých podproblémov pomocou existujúcich systémov, prepojenie týchto systémov, jejich prispôsobenie pre danú doménu a implementáciu jednotlivých modulov. Uživateľské rozhranie je postavené na multiplatformnej četovacej aplikácii Telegram. Extrakciu informácií zo vstupu uživatela vykonáva služba Dialogflow. Pre uspokojenie požiadavky užívateľa je použitých niekoľko externých služieb. Pre vyhľadávanie v štruktúrovaných dátach je použitá technológia Elasticsearch. Pre extrakciu odpovedí z voľného textu je použitý systém R-net. Výsledkom je systém ktorého znalostnú bázu, ako aj množinu dotazov ktoré je schopný uspokojiť, možno jednoducho rozšíriť a ktorý môže byť nasadený na ľubovoľnú četovaciu platformu.
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
|
|
|
Novel Methods for Natural Language Generation in Spoken Dialogue Systems
Dušek, Ondřej ; Jurčíček, Filip (vedoucí práce) ; Ircing, Pavel (oponent) ; Žabokrtský, Zdeněk (oponent)
Název práce: Nové metody generování promluv v dialogových systémech Autor: Ondřej Dušek Katedra: Ústav formální a aplikované lingvistiky Vedoucí práce: Ing. Mgr. Filip Jurčíček, Ph.D., Ústav formální a aplikované lingvistiky Abstrakt: Tato disertační zkoumá nové přístupy ke generování přirozeného jazyka (NLG) v hlasových dialogových systémech, tj. generování odpovědí systému pro uživa- tele. Zaměřuje se přitom na zlepšení adaptivity NLG ve třech ohledech: přeno- sitelnost mezi různými doménami, přenositelnost mezi jazyky a přizpůsobení výstupu uživateli. Ve všech ohledech dosahují naše generátory zlepšení oproti dřívějším pří- stupům: 1) Naše generátory, založené na statistických metodách (prohledávání A* s perceptronovým rerankerem a architektuře rekurentních neuronových sítí sequence-to-sequence), lze natrénovat na datech bez podrobného sémantic- kého zarovnání slov na atributy vstupní reprezentace, což dovoluje jednodušší přetrénování pro nové domény než předchozí přístupy. 2) Generátor založený na neuronových sítích dále rozšiřujeme tak, že při generování bere v potaz kontext dosavadního dialogu (tj. i uživatelův způsob vyjadřování) a vytváří tak výstup přizpůsobený uživateli. 3) Vyhodnocujeme také několik úprav systému založeného na neuronových sítích, které jsou zaměřeny na generování výstupu v...
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
|
|
|
Komunikační agent pro informace o Brně
Jurkovič, Juraj ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
Cieľom tejto práce je preskúmať a následne aplikovať techniky a technické riešenia pri vývoji informačných agentov. Práca sa zameriava na riešenia jednotlivých podproblémov pomocou existujúcich systémov, prepojenie týchto systémov, jejich prispôsobenie pre danú doménu a implementáciu jednotlivých modulov. Uživateľské rozhranie je postavené na multiplatformnej četovacej aplikácii Telegram. Extrakciu informácií zo vstupu uživatela vykonáva služba Dialogflow. Pre uspokojenie požiadavky užívateľa je použitých niekoľko externých služieb. Pre vyhľadávanie v štruktúrovaných dátach je použitá technológia Elasticsearch. Pre extrakciu odpovedí z voľného textu je použitý systém R-net. Výsledkom je systém ktorého znalostnú bázu, ako aj množinu dotazov ktoré je schopný uspokojiť, možno jednoducho rozšíriť a ktorý môže byť nasadený na ľubovoľnú četovaciu platformu.
|
|
|
Novel Methods for Natural Language Generation in Spoken Dialogue Systems
Dušek, Ondřej ; Jurčíček, Filip (vedoucí práce) ; Ircing, Pavel (oponent) ; Žabokrtský, Zdeněk (oponent)
Název práce: Nové metody generování promluv v dialogových systémech Autor: Ondřej Dušek Katedra: Ústav formální a aplikované lingvistiky Vedoucí práce: Ing. Mgr. Filip Jurčíček, Ph.D., Ústav formální a aplikované lingvistiky Abstrakt: Tato disertační zkoumá nové přístupy ke generování přirozeného jazyka (NLG) v hlasových dialogových systémech, tj. generování odpovědí systému pro uživa- tele. Zaměřuje se přitom na zlepšení adaptivity NLG ve třech ohledech: přeno- sitelnost mezi různými doménami, přenositelnost mezi jazyky a přizpůsobení výstupu uživateli. Ve všech ohledech dosahují naše generátory zlepšení oproti dřívějším pří- stupům: 1) Naše generátory, založené na statistických metodách (prohledávání A* s perceptronovým rerankerem a architektuře rekurentních neuronových sítí sequence-to-sequence), lze natrénovat na datech bez podrobného sémantic- kého zarovnání slov na atributy vstupní reprezentace, což dovoluje jednodušší přetrénování pro nové domény než předchozí přístupy. 2) Generátor založený na neuronových sítích dále rozšiřujeme tak, že při generování bere v potaz kontext dosavadního dialogu (tj. i uživatelův způsob vyjadřování) a vytváří tak výstup přizpůsobený uživateli. 3) Vyhodnocujeme také několik úprav systému založeného na neuronových sítích, které jsou zaměřeny na generování výstupu v...
|
|
|
User simulation for statistical dialogue systems
Michlíková, Vendula ; Jurčíček, Filip (vedoucí práce) ; Žabokrtský, Zdeněk (oponent)
Cílem této práce je vytvořit a evaluovat simulátory uživatele pro statistický di- alogový stystém. Simulátory pracují na úrovni dialogových aktů. Jako baseline systém jsme implementovali bigramový simulátor. Tento simulátor jsme dále up- ravili na další variantu, která je trénovaná na dialogových aktech bez hodnot slotů. Třetí implementovaný simulátor je podobný řízení dialogu dialogovým manažerem. Simulátor si udržuje stav dialogou a na jeho základě se učí dialogov- ou strategii pomocí řízených metod strojového učení. Simulátory uživatele jsou implementovány v jazyce Python 2.7, ve frame- worku ALEX pro vývoj dialogových systémů. Jsou vyvinuty pro aplikaci PTICS, která komunikuje v doméně informací o veřejné hromadné dopravě. Pro trénování a vyhodnocení simulátorů používáme reálná data nasbíraná aplikací PTICS z ko- munikací uživatelů s dialogovým systémem. 1
|
|
|
Development of trainable policies for spoken dialogue systems
Le, Thanh Cong ; Jurčíček, Filip (vedoucí práce) ; Peterek, Nino (oponent)
Abstraktní Vývoj trénovatelných strategií řízení pro dialogové systémy Thanh Le Řeč je nejpřirozenějším a nejefektivnějším způsobem mezilidské komunikace. Hlasové dialogové systémy (Spoken Dialogue Systems, SDS) se pokouší uvést tento způsob interakce do počítačových systému, aby pro komunikaci se stroji nebylo nutné naučit se používat speciální vstupní zařízení jako je klávesnice a myš. Nepřesnosti v automatickém rozpoznávání řeči však způsobují inherentní nejednoznačnost mluveného vstupu, takže stav dialogu (přání uživatele) nelze znát s absolutní jistotou a konstrukce SDS není triviální. Pro práci s nejistotou v dialogu byly navrženy statistické přístupy, které udržují pravděpodobnostní rozdělení přes všechny možné stavy dialogu. Na základě tohoto rozdělení se systém učí, jak komunikovat s uživateli a splnit jejich cíle co nejefektivnějším způsobem. V kontextu techniky zpětnovazebního učení (Reinforcement Learning, RL) se proces učení chápe jako optimalizace strategie volby akce podmíněné aktuálním stavem. Protože prostor možných stavů dialogu je velký i ve velmi omezených SDS, ...
|
|
|
Implementace aproximativních Bayesovských metod pro odhad stavu v dialogových systémech
Marek, David ; Jurčíček, Filip (vedoucí práce) ; Žabokrtský, Zdeněk (oponent)
Každý dialogový systém obsahuje komponentu řízení dialogu, která vykonává akce dialogového systému na základě dialogového stavu. Dialogový stav reprezentuje všechny dostupné informace. Systém pro odhad stavu slouží k udržování stavu dialogu a inte- graci nových informací ze systému porozumění. Pro efektivní práci komponenty řízení dialogu je důležité co nejpřesněji modelovat pravděpodobnostní rozdělení definované nad všemi stavy dialogu. Těchto stavů může být velké množství, proto se většinou používají aproximativní techniky. V této práci se budeme zabývat implementací aproximativních metod pro odhad stavu dialogu pomocí inference v Bayesovských sítích. Výsledkem je knihovna použitelná v systému pro odhad stavu reálného dialogového systému. 1
|
host ::
RSS.