|
|
Transformer Neural Networks for Handwritten Text Recognition
Vešelíny, Peter ; Beneš, Karel (referee) ; Kohút, Jan (advisor)
This Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task.
|
|
|
Recurrent Neural Networks with Elastic Time Context in Language Modeling
Beneš, Karel ; Veselý, Karel (referee) ; Hannemann, Mirko (advisor)
Tato zpráva popisuje experimentální práci na statistické jazykovém modelování pomocí rekurentních neuronových sítí (RNN). Je zde předložen důkladný přehled dosud publikovaných prací, následovaný popisem algoritmů pro trénování příslušných modelů. Většina z popsaných technik byla implementována ve vlastním nástroji, založeném na knihovně Theano. Byla provedena rozsáhlá sada experimentů s modelem Jednoduché rekurentní sítě (SRN), která odhalila některé jejich dosud nepublikované vlastnosti. Při statické evaluaci modelu byly dosažené výsledky relativně cca. o 2.7 % horší, než nejlepší publikované výsledky. V případě dynamické evaluace však bylo dosaženo relativního zlepšení o 1 %. Dále bylo experimentováno i s modelem Strukturně omezené rekurentní sítě, ale ten se nepodařilo natrénovat k předpokládáným výkonům. Konečně bylo navrženo rozšíření SRN, pojmenované Náhodně prořidlá rekurentní neuronová síť. Experimentálně bylo potvrzeno, že RS-RNN dosahuje lepších výsledků v učení vlastního trénovacího korpusu a kombinace několika RS-RNN modelů přináší o 30 % větší zlepšení než kombinace stejného počtu SRN.
|
|
|
Detecting Stress in Speech
Šoltés, Samuel ; Beneš, Karel (referee) ; Grézl, František (advisor)
Stress influences people in several ways and can lead to decrease in performance and / or critical mistakes. Stress detection in speech measures the influence of stress in speech. The goal of this thesis is to offer a closer look at the impacts of stress, choose adequate parameters of speech which would manifest these impacts, implement their estimation and compare their results. The thesis contains description of stress and its effects on humans; glottal pulse, spectrum, fundamental frequency and formants as the parameters chosen for stress estimation; design and implementation of parameter value estimation from speech signal and obtained values of given parameters on two different databases.
|
|
|
Image-Based Clustering of Microbial Colonies
Láncoš, Jan ; Kišš, Martin (referee) ; Beneš, Karel (advisor)
Laboratorní analýza mikrobiálních kolonií pěstovaných na Petriho miskách je v současné době předmětem intenzivního výzkumu ve snaze o dosažení totální laboratorní automatizace. Jádro tohoto problému spočívá v přesné lokalizaci kolonií při obrazové analýze. Současná řešení nejčastěji využívají strojové učení, které je však obecně závislé na kvalitních datech, kterých je v tomto odvětví k dispozici jen velmi málo. Abych adresoval tento problém, vytvořil jsem víceúčelový generátor syntetických dat. Úspěšně jsem jej aplikoval jak při segmentaci tak při shlukování kolonií. Výsledné segmentační F1 skóre se mi podařilo navýšit z 0,518 na 0,729 a při shlukování jsem s využitím této segmentace dosáhl V-measure skóre 0,830. Prací navržený přístup ke generování syntetických dat nás posouvá o krok blíže k plné laboratorní automatizaci.
|
|
|
Artificial Intelligence for the Santorini Board Game
Rybanský, Adam ; Kocour, Martin (referee) ; Beneš, Karel (advisor)
The aim of this thesis was to use create an intelligent agent using Reinforcement learning to play Santorini, a 2-player zero-sum board game. The specific algorithm that was implemented was a modified version of Deep Q-learning, with the use of convolutional neural networks (one for training and the other for estimating future Q-value) and a memory of previously executed moves, from which the agent chooses randomly during training. Numerous experiments resulted in 2 final models. One was trained by playing against basic bots, with gradually increasing difficulty. The other was trained by playing against itself from the start. The outcome shows that the model playing against itself produces better results, however both models still perform worse than a bot which uses heuristic function.
|
|
|
Visualizing Neural Network Used as a Language Model
Ryšánek, Jakub ; Černocký, Jan (referee) ; Beneš, Karel (advisor)
LSTM sít je typ neuronové sítě, která je určena na analýzu sekvenčních dat. Výhodou LSTM oproti jednoduché rekurentní neuronové síti je schopnost ukládat dlouhodobé závis- losti, což umožňuje dosahovat vyšší úspěšnosti při provádění úloh jako je rozpoznávání řeči nebo jazykové modelování. Avšak vzhledem z jejich komplexitě není zcela jasné jak přesně fungují. Abych prozkoumal jejich vnitřní chování tak jsem vytvořil tři vizualizační metody. Tyto metody se zaměřují na vzor chování jednotlivých prvků modelu nebo na chování celého modelu při zpracování slov s podobným syntaktickým nebo sémantickým významem.
|
|
|
Fast Discriminative Neural Networks for Text Correction
Chupáč, Sebastián ; Beneš, Karel (referee) ; Kohút, Jan (advisor)
The goal of this work is to propose and implement a fast discriminating neural network with only one forward pass, to detect and correct mistakes in text data. Multiple architectures were implemented for detection and correction separately. These models make use of convolution layers, LSTM layers and CTC loss function. Models were trained and evaluated on datasets made from three different text corpora. Experiments and evaluation present the ability of these models to detect and correct mistakes on character level with only one, fast forward pass.
|
|
|
Bilingual Dictionary Based Neural Machine Translation
Tikhonov, Maksim ; Beneš, Karel (referee) ; Kesiraju, Santosh (advisor)
Vývoj v oblasti strojového překladu v posledních několika letech ukázal, že moderní neuronové systémy strojového překladu jsou schopny poskytovat výsledky vynikající kvality. Pro získání takového systému je však zapotřebí velké množství paralelních trénovacích dat, která nejsou pro většinu jazyků k dispozici. Jedním ze způsobů zlepšení kvality strojového překladu pro low-resource jazyky je augmentace dat. Tato práce zkoumá úlohu neuronového strojového překladu založeného na bilingválních slovnících, jejíž základem je použití augmentační techniky umožňující generování zašuměných dat na základě bilingválních slovníků. Mým cílem bylo prozkoumat možnosti systémů založených na této metodě na různých jazykových párech a za různých výchozích podmínek a následně porovnat získané výsledky s výsledky tradičních neuronových systémů strojového překladu.
|
|
|
Advanced Visualization of Neural Network Training
Kuchta, Samuel ; Kesiraju, Santosh (referee) ; Beneš, Karel (advisor)
Cílem této práce je navrhnout metody vizualizace, a analyzovat nimi jevy vznikající během trénování neuronových sítí, na základě kterých by mohly být zjištěny nové poznatky ohledně hlubokého učení. V této práci byl vytvořen program, který testuje dopad na trénování za použití různých technik, a vizualizuje výsledky trénování pomocí různých metod. Tato práce představuje dvě metody vizualizace tréninkového procesu. První metoda je zobrazení plochy okolo cesty trénovaného modelu pomocí průměrování bodů cesty váhovanými jejich vzdáleností od zobrazovaného bodu. Druhá metoda je zobrazení velikosti kroků během učení. Výsledek práce je znázorněn grafy, a diskuzí nad jevy zachycenými vizualizacemi.
|
|
|
Transformer Neural Networks for Handwritten Text Recognition
Vešelíny, Peter ; Beneš, Karel (referee) ; Kohút, Jan (advisor)
This Master's thesis aims to design a system using the transformer neural network and perform experiments with this proposed model in the task of handwriting text recognition. In this thesis, a multilingual dataset with predominate Czech texts is used. The experiments examine the influence of basic hyperparameters, such as network size, convolutional encoder type, and the use of different text tokenizers. In this work, I also use text corpora of the Czech language which is used to train the network decoder. Furthermore, I experiment with the usage of additional textual information during the decoding process. This information comes from the previous line of the transcribed image. The transformer achieves a character recognition error rate of 3.41 % on the test data set which is 0.16 % worse performance than the recurrent neural network achieves. To compare this model with other transformer-based models from available articles, the network was trained on the IAM dataset, where it achieved an error of 2.48 % and therefore outperformed other models in handwriting text recognition task.
|
guest ::
RSS feed.