|
|
Visualizing Neural Network Used as a Language Model
Ryšánek, Jakub ; Černocký, Jan (referee) ; Beneš, Karel (advisor)
LSTM sít je typ neuronové sítě, která je určena na analýzu sekvenčních dat. Výhodou LSTM oproti jednoduché rekurentní neuronové síti je schopnost ukládat dlouhodobé závis- losti, což umožňuje dosahovat vyšší úspěšnosti při provádění úloh jako je rozpoznávání řeči nebo jazykové modelování. Avšak vzhledem z jejich komplexitě není zcela jasné jak přesně fungují. Abych prozkoumal jejich vnitřní chování tak jsem vytvořil tři vizualizační metody. Tyto metody se zaměřují na vzor chování jednotlivých prvků modelu nebo na chování celého modelu při zpracování slov s podobným syntaktickým nebo sémantickým významem.
|
|
|
Fast Discriminative Neural Networks for Text Correction
Chupáč, Sebastián ; Beneš, Karel (referee) ; Kohút, Jan (advisor)
The goal of this work is to propose and implement a fast discriminating neural network with only one forward pass, to detect and correct mistakes in text data. Multiple architectures were implemented for detection and correction separately. These models make use of convolution layers, LSTM layers and CTC loss function. Models were trained and evaluated on datasets made from three different text corpora. Experiments and evaluation present the ability of these models to detect and correct mistakes on character level with only one, fast forward pass.
|
|
|
Bilingual Dictionary Based Neural Machine Translation
Tikhonov, Maksim ; Beneš, Karel (referee) ; Kesiraju, Santosh (advisor)
Vývoj v oblasti strojového překladu v posledních několika letech ukázal, že moderní neuronové systémy strojového překladu jsou schopny poskytovat výsledky vynikající kvality. Pro získání takového systému je však zapotřebí velké množství paralelních trénovacích dat, která nejsou pro většinu jazyků k dispozici. Jedním ze způsobů zlepšení kvality strojového překladu pro low-resource jazyky je augmentace dat. Tato práce zkoumá úlohu neuronového strojového překladu založeného na bilingválních slovnících, jejíž základem je použití augmentační techniky umožňující generování zašuměných dat na základě bilingválních slovníků. Mým cílem bylo prozkoumat možnosti systémů založených na této metodě na různých jazykových párech a za různých výchozích podmínek a následně porovnat získané výsledky s výsledky tradičních neuronových systémů strojového překladu.
|
|
|
Advanced Visualization of Neural Network Training
Kuchta, Samuel ; Kesiraju, Santosh (referee) ; Beneš, Karel (advisor)
Cílem této práce je navrhnout metody vizualizace, a analyzovat nimi jevy vznikající během trénování neuronových sítí, na základě kterých by mohly být zjištěny nové poznatky ohledně hlubokého učení. V této práci byl vytvořen program, který testuje dopad na trénování za použití různých technik, a vizualizuje výsledky trénování pomocí různých metod. Tato práce představuje dvě metody vizualizace tréninkového procesu. První metoda je zobrazení plochy okolo cesty trénovaného modelu pomocí průměrování bodů cesty váhovanými jejich vzdáleností od zobrazovaného bodu. Druhá metoda je zobrazení velikosti kroků během učení. Výsledek práce je znázorněn grafy, a diskuzí nad jevy zachycenými vizualizacemi.
|
|
|
Transformer Neural Networks for Handwritten Text Recognition
Vešelíny, Peter ; Beneš, Karel (referee) ; Kohút, Jan (advisor)
This Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task.
|
|
|
Reordering Text Fragments Using a Language Model
Holubec, Michael ; Kocour, Martin (referee) ; Beneš, Karel (advisor)
The aim of this work is to construct and experimentally verify the effectiveness of the language model in identifying the reading order. For this purpose language model with LSTM architecture was constructed. This work designs and implements three methods which are used to identify reading order. These methods are Language analysis, Spatial analysis and Combined analysis. Language analysis and combined analysis used constructed language model. The success of the language model, and all three methods, was measured on three datasets containing newspaper articles. Language analysis reaches 57,6 % and spatial analysis reaches 91,6 %. Combined analysis achieved the best results 92,9 %. The work shows that the language model can be used to identify reading order but use of additional data (e.g. spatial data
|
|
|
Detecting Stress in Speech
Šoltés, Samuel ; Beneš, Karel (referee) ; Grézl, František (advisor)
Stress influences people in several ways and can lead to decrease in performance and / or critical mistakes. Stress detection in speech measures the influence of stress in speech. The goal of this thesis is to offer a closer look at the impacts of stress, choose adequate parameters of speech which would manifest these impacts, implement their estimation and compare their results. The thesis contains description of stress and its effects on humans; glottal pulse, spectrum, fundamental frequency and formants as the parameters chosen for stress estimation; design and implementation of parameter value estimation from speech signal and obtained values of given parameters on two different databases.
|
|
|
Neural Network Training Progress Visualization
Němcová, Silvie ; Baskar, Murali Karthick (referee) ; Beneš, Karel (advisor)
Tato práce se zabývá studiem průběhu trénování modelu neuronové sítě. Cílem je zobrazit a zkoumat trénovací proces modelu neuronové sítě. Pro tyto účely jsem zvolila implementaci v jazyce Python. Implementace úspěšně replikuje vizualizaci průběhu trénování pommocí lineární interpolace, identifikaci robustních a ambient vrstev a zobrazení plochy, vytvořené účelovou funkcí okolo natrénovaného modelu. V této práci je navržena a představena metoda zobrazovaní průběhu trénování pomocí kvadratické interpolace parametrů. Výsledek práce je znázorněn grafy a diskuzí nad dopady změn parametrů modelu na jeho trénování.
|
|
|
Gaussian Processes Based Hyper-Optimization of Neural Networks
Coufal, Martin ; Landini, Federico Nicolás (referee) ; Beneš, Karel (advisor)
Cílem této diplomové práce je vytvoření nástroje pro optimalizaci hyper-parametrů umělých neuronových sítí. Tento nástroj musí být schopen optimalizovat více hyper-parametrů, které mohou být navíc i korelovány. Tento problém jsem vyřešil implmentací optimalizátoru, který využívá Gaussovské procesy k predikci vlivu jednotlivých hyperparametrů na výslednou přesnost neuronové sítě. Z provedených experimentů na několika benchmark funkcích jsem zjistil, že implementovaný nástroj je schopen dosáhnout lepších výsledků než optimalizátory založené na náhodném prohledávání a snížit tak v průměru počet potřebných kroků optimalizace. Optimalizace založená na náhodném prohledávání dosáhla lepších výsledků pouze v prvních krocích optimalizace, než si optimalizátor založený na Gaussovských procesech vytvoří dostatečně přesný model problému. Nicméně téměř všechny experimenty provedené na datasetu MNIST prokázaly lepší výsledky optimalizátoru založeného na náhodném prohledávání. Tyto rozdíly v provedených experimentech jsou pravděpodobně dány složitostí zvolených benchmark funkcí nebo zvolenými parametry implementovaného optimalizátoru.
|
|
|
Chatbot Capable of Information Search
Ďurista, Michal ; Beneš, Karel (referee) ; Černocký, Jan (advisor)
Pojem ''chatbot'' je v dnešnej dobe umelej inteligencie veľmi populárny výraz. Chatbotov vidno stále viac a viac v biznis riešeniach dnešných firiem. Hlavným cieľom práce je vytvoriť algoritmus, ktorý je schopný vyťahovať informácie a implementovať ho do chatbota. Tieto informácie možno nájsť na webových stránkach reálneho zákazníka. Práca rovnako poskytuje prehľad súčasnej situácie chatbotov ako aj Microsoft technológií pre ich vývoj. Technické detaily na ktorých tieto technológie pracujú, predovšetkým spracovanie prirodzeného jazyka, sú taktiež zahrnuté. Práca popisuje implementáciu algoritmu ako aj chatbota samotného spolu s procesom testovania v skutočnom priemyselnom prostredí.
|
guest ::
RSS feed.