Original title: Generování stylizovaného lidského jazyka v dialogových systémech
Translated title: Stylized Natural Language Generation in Dialogue Systems
Authors: Bolshakova, Ksenia ; Kesiraju, Santosh (referee) ; Fajčík, Martin (advisor)
Document type: Bachelor's theses
Year: 2020
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován  s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu. This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
Keywords: BART; Dialogové systémy; Generování přirozeného jazyka; GPT-2; LSTM; seq2seq; Umělá neuronová síť; Artificial neural network; BART; Dialogue systems; GPT-2; LSTM; Natural language generation; seq2seq

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/191497

Permalink: http://www.nusl.cz/ntk/nusl-416289


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses