|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (referee) ; Fajčík, Martin (advisor)
Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.
|
|
|
A neural network for reconstruction of extinct animals
Pešek, David ; Bilík, Šimon (referee) ; Jirsík, Václav (advisor)
This work was focused on designing, learning and evaluating an artificial neural network for reconstructing extinct species. First, the main element of the proposed artificial neural network, i.e., the generative model, was selected. Given their excellent performance in the field of image generation, the class of diffusion models reasonably seemed to be the right choice. Specifically, the Stable diffusion model was chosen. One of the initial steps of the work was to create a training set for the proposed model. The animal images needed to be paired with some labels that could be used to identify the animal. For this purpose, the cytochrome c oxidase subunit I genes of the given animals were used. Furthermore, the sequential transformer model GPT-2, which is learned on the training set of human natural language, was used. This model was used to encode the DNA sequences into a vector form in which the semantics and context between the different parts of the DNA sequence were captured. The models would be very difficult to learn from scratch due to the large training set size required and the computational and time requirements. Thus, the GPT-2 model was only learned on the training set of DNA sequences of the passeriformes order, and the diffusion model itself was learned on pairs of images of these animals and DNA sequences encoded by the GPT-2 model. To generate the images, the original DNA sequences that resembled the sequences from the training set were generated using GPT-2. The encoding of these sequences was then passed to the diffusion model, which generated the images itself. The method of generating new DNA sequences using the GPT-2 model is based on the idea that the generated DNA sequence partially resembles the DNA sequences from the training set. Such experimentally generated DNA sequences may resemble DNA sequences of extinct ancestors or relatives of the passeriformes order. The model was in some cases able to generate images that could be considered as animal species , but it should be noted that often the generated images could not be considered as animal reconstructions. The success rate of generating a decent animal image was approximately 10%. The functionality of the model was also tested on a test set of DNA sequences of animals of several orders that fall under the class of birds as well as the order of passeriformes. The success rate of generating a reconstruction that could be compared to a photograph was around 5%.
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (referee) ; Fajčík, Martin (advisor)
Tato práce se zabývá přístupy generování přirozeného jazyka v různých stylech. Kromě toho také zkoumá schopnost modelů řídit sílu projevu stylu v generované sekvenci. Model pro generování přirozeného jazyka byl implementován s několika aspekty projevů stylu, konkrétně poezie, humor, sentiment a specifičnost. Jako strategie dekódování jazykových modelů byly použity Beam search a Nucleus sampling. Navrhované experimenty jsou založeny na váženém dekódování. Zejména pravděpodobnostní funkce vypočítaná pomocí jazykového modelu, který generuje odpověď, je modifikována dvěma přístupy. První přístup používá ručně vytvořené příznaky, například NIDF. Druhý používá neurální pravděpodobnostní jazykové modely natrénované na stylistických datových sadách. Architektura modelu je prezentována ve dvou verzích. První variantou je model založený na LSTM a druhá varianta využívá nejmodernější předpřipravené modely BART a GPT-2 pro generování textu. Experimenty odhalily problém, že i současné nejmodernější modely trpí špatným odhadem kompromisu mezi stylem a kontextem. Jinými slovy, čím více se styl projeví v generované sekvenci, tím méně se vztahuje k tématu diskutovanému v dialogu.
|
guest ::
