|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
|
|
|
Umělá neuronová síť pro rekonstruování vymřelých druhů
Pešek, David ; Bilík, Šimon (oponent) ; Jirsík, Václav (vedoucí práce)
Tato práce se zabývala navrhnutím, naučením a zhodnocením umělé neuronové sítě pro rekonstrukci vymřelých živočišných druhů. Nejprve byl vybrán hlavní prvek navrhované UNS, tedy generativní model. Vzhledem k jejich výborným výsledkům v poli generování obrázků se odůvodněně jevila třída difúzních modelů jako správná volba. Konkrétně byl vybrán difúzí model Stable diffusion. Jeden z počátečních kroků práce bylo také vytvořit trénovací množinu pro navrhovaný model. K obrázkům živočichů bylo potřeba napárovat nějaké popisky, podle kterých by se dal živočich identifikovat. K tomuto účelu byly využity geny cyklooxygenázy-1 daných živočichů. Dále byl použit sekvenční transformátorový model GPT-2, který je naučen na trénovací množině lidského přirozeného jazyka. Tento model byl použitý pro zakódování DNA sekvencí do vektorové podoby, ve které byla zachycena sémantika a kontext mezi jednotlivými částmi DNA sekvence. Modely by bylo velmi složité učit od začátku kvůli velké potřebné velikosti trénovací množiny a výpočetní a časové náročnosti. GPT-2 model byl tedy pouze doučen na trénovací množině DNA sekvencí řádu pěvců a samotný difúzní model byl naučen na párech obrázků těchto živočichů a DNA sekvencí zakódovaných pomocí GPT-2 modelu. Pro generování obrázků byly pomocí GPT-2 generovány originální DNA sekvence, které se podobaly sekvencím z trénovací množiny. Následně bylo zakódování těchto sekvencí předáno difúznímu modelu, který vytvořil samotné obrázky. Metoda generování nových DNA sekvencí pomocí GPT-2 modelu stojí na myšlence, že vygenerovaná DNA sekvence se částečně podobá DNA sekvencím z trénovací množiny. Takto experimentálně vygenerované DNA sekvence se mohou podobat DNA sekvencím vymřelých předků nebo příbuzných řádu pěvců. Model byl schopný v části případů vygenerovat takové obrázky, které lze na pohled považovat za živočišný druh, ale je nutno konstatovat, že vygenerované obrázky často nešlo považovat za rekonstrukce živočichů. Úspěšnost vygenerování obstojného obrázku živočicha byla přibližně 10%. Funkčnost modelu byla testována i na testovací množině DNA sekvencí živočichů několika řádů, které spadají pod třídu ptáků stejně jako řád pěvců. Úspěšnost vygenerování rekonstrukce, kterou bylo možné porovnávat s fotografií se pohybovala okolo 15%.
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
|
host ::
RSS.