|
|
Strojový překlad pomocí umělých neuronových sítí
Holcner, Jonáš ; Beneš, Karel (oponent) ; Szőke, Igor (vedoucí práce)
Cílem této práce je popsat a vytvořit systém pro strojový překlad textu postavený na rekurentních neuronových sítích. K tomu je použita architektura enkodér-dekodér umožňující překlad po celých větách. Výsledkem je knihovna nmt, určená k provádění experimentů s různými parametry modelu. Jejich výsledky jsou porovnány vůči systému postavenému na nástroji pro statistický překlad Moses.
|
|
|
Rozpoznávání historických textů pomocí hlubokých neuronových sítí
Vešelíny, Peter ; Kolář, Martin (oponent) ; Kišš, Martin (vedoucí práce)
Táto práca sa zaoberá rozpoznávaním riadkov z historických textov. Historické texty pochádzajú z obdobia od 17. až 19 storočia a sú napísané pomocou fraktúry. Pri rozpoznávaní písma sa používa architektúra neurónovej siete zvaná sequence-to-sequence . Táto architektúra vychádza z modelu kodér-dekodér a používa mechanizmus attention . V rámci práce bola z textov, pochádzajúcich z archívu Deutsches Textarchiv , vytvorená dátová sada. Tento archív obsahuje 3 897 rôznych nemeckých diel, ku ktorým sú dostupné snímky strán a ich prepisy. Vytvorená dátová sada sa následne používa pri trénovaní a experimentovaní s neurónovou sieťou. V rámci experimentov sú skúmané rôzne modely konvolučných sietí, vplyv hyperparametrov siete a účinok pozičného kódovania na výsledky rozpoznávania. Výsledný model dokáže rozpoznať znaky s presnosťou 99,63 %. Prínosom tejto práce je spomínaná dátová sada a neurónová sieť, ktorá sa môže použivať pri rozpoznávaní historických dokumentov.
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
|
|
|
Stylized Natural Language Generation in Dialogue Systems
Bolshakova, Ksenia ; Kesiraju, Santosh (oponent) ; Fajčík, Martin (vedoucí práce)
This thesis explores approaches of generating natural language in various styles. In addition, it also explores the model's ability to control the strength of style manifestation in a generated sequence. The model for natural language generation was implemented with several aspects of style manifestation, namely poetry, humor, sentiment and specificity. Beam search and Nucleus sampling were used as decoding strategies of language models. The proposed experiments are based on weighted decoding. In particular, the probability mass function computed via language model that generates response is modified via two approaches. The first approach uses manually crafted features, such as NIDF. The second one uses neural probabilistic language models trained on stylistic datasets. The architecture of the model is presented in two versions. The first one is a LSTM-based baseline and the second one uses state-of-the-art pre-trained models BART and GPT-2 for text generation. The experiments have revealed the problem that even current state-of-the-art models suffer from poor trade-off estimation between the style and the context. In other words, the more the style is manifested in the generated sequence, the less it relates to the topic discussed in the dialogue.
|
|
|
Rozpoznávání historických textů pomocí hlubokých neuronových sítí
Vešelíny, Peter ; Kolář, Martin (oponent) ; Kišš, Martin (vedoucí práce)
Táto práca sa zaoberá rozpoznávaním riadkov z historických textov. Historické texty pochádzajú z obdobia od 17. až 19 storočia a sú napísané pomocou fraktúry. Pri rozpoznávaní písma sa používa architektúra neurónovej siete zvaná sequence-to-sequence . Táto architektúra vychádza z modelu kodér-dekodér a používa mechanizmus attention . V rámci práce bola z textov, pochádzajúcich z archívu Deutsches Textarchiv , vytvorená dátová sada. Tento archív obsahuje 3 897 rôznych nemeckých diel, ku ktorým sú dostupné snímky strán a ich prepisy. Vytvorená dátová sada sa následne používa pri trénovaní a experimentovaní s neurónovou sieťou. V rámci experimentov sú skúmané rôzne modely konvolučných sietí, vplyv hyperparametrov siete a účinok pozičného kódovania na výsledky rozpoznávania. Výsledný model dokáže rozpoznať znaky s presnosťou 99,63 %. Prínosom tejto práce je spomínaná dátová sada a neurónová sieť, ktorá sa môže použivať pri rozpoznávaní historických dokumentov.
|
|
|
Strojový překlad pomocí umělých neuronových sítí
Holcner, Jonáš ; Beneš, Karel (oponent) ; Szőke, Igor (vedoucí práce)
Cílem této práce je popsat a vytvořit systém pro strojový překlad textu postavený na rekurentních neuronových sítích. K tomu je použita architektura enkodér-dekodér umožňující překlad po celých větách. Výsledkem je knihovna nmt, určená k provádění experimentů s různými parametry modelu. Jejich výsledky jsou porovnány vůči systému postavenému na nástroji pro statistický překlad Moses.
|
host ::
RSS.