|
|
Recurrent Neural Network for Text Classification
Myška, Vojtěch ; Kolařík, Martin (referee) ; Povoda, Lukáš (advisor)
Thesis deals with the proposal of the neural networks for classification of positive and negative texts. Development took place in the Python programming language. Design of deep neural network models was performed using the Keras high-level API and the TensorFlow numerical computation library. The computations were performed using GPU with support of the CUDA architecture. The final outcome of the thesis is linguistically independent neural network model for classifying texts at character level reaching up to 93,64% accuracy. Training and testing data were provided by multilingual and Yelp databases. The simulations were performed on 1200000 English, 12000 Czech, German and Spanish texts.
|
|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (referee) ; Smrž, Pavel (advisor)
Tato práce se zabývá zapojením mezivětného kontextu v neuronovém strojovém překladu (NMT). Dnešní běžné NMT systémy překládají jednu zdrojovou větu na jednu cílovou větu, bez jakéhokoliv ohledu na okolní text. Tento přístup je nedostačující a neodpovídá způsobu práce lidských překladatelů. Pro mnoho jazykových párů je dnes za splnění určitých (přísných) podmínek výstup NMT nerozeznatelný od lidského překladu. Jedna z těchto podmínek je, že hodnotitelé skórují přeložené věty nezávisle, bez znalosti kontextu. Při hodnocení celých dokumentů je výstup NMT stále hodnocen hůře, než lidský překlad, i v případech, kdy byl na úrovni jednotlivých vět preferován. Tato zjištění jsou motivací pro výzkum zapojení kontextu na úrovni dokumentu v NMT, je totiž možné, že na úrovni vět již není mnoho prostoru ke zlepšení, alespoň pro jazykové páry a domény bohaté na trénovací data. Tato práce shrnuje současné přístupy zapojení kontextu do překladu, několik z nich je implementováno a vyhodnoceno v rámci obecné překladové kvality i na překladu specifických fenoménů souvisejících s kontextem. Pro zhodnocení kvality jednotlivých systému byla ručně vytvořena testovací sada pro překlad z anglického do českého jazyka.
|
|
|
Personal Voice Activity Detection
Sedláček, Šimon ; Landini, Federico Nicolás (referee) ; Švec, Ján (advisor)
Cílem této práce je implementovat, otestovat a vyhodnotit řečníkem podmíněnou metodu pro detekci hlasu ( Voice Activity Detection , VAD) nazvanou Personal VAD. Pro detekci využívá tato metoda LSTM neuronových sítí a jejím účelem je vytvoření systému schopného spolehlivě detekovat řečové signály cílového řečníka při zachování vlastností typického VAD systému co se velikosti modelu, odezvy a nízkých nároků na zdroje týče. Systém je trénován pro klasifikaci řečových rámců do tří tříd: neřeč, řeč necílového a řeč cílového řečníka. Za tímto účelem využívá metoda speaker embedding vektory pro reprezentaci cílového řečníka jako součást vstupních příznaků. Některé z náročnějších variant systému využívají skórování rámců systémem pro verifikaci řečníka, což vede ke zvýšení spolehlivosti klasifikace. Vedle základní metody skórování představené v originálním článku byly navrženy dvě modifikace, jež základní metodu překonaly a zlepšily spolehlivost výsledného systému i v akusticky náročných prostředích.
|
|
|
Convolutional Networks for Handwriting Recognition
Sladký, Jan ; Kišš, Martin (referee) ; Hradiš, Michal (advisor)
This thesis deals with handwriting recognition using convolutional neural networks. From the current methods, a network model was chosen to consist of convolutional and recurrent neural networks with the Connectist Temporal Classification. The Vertical Attention Module, which selects the relevant information in each column corresponding to the text in the figure was subsequently implemented in such a model. Then, this module was compared with other possibilities of vertical aggregation between convolutional and recurrent networks. The experiments took place on a data set containing over 80,000 lines of text from Czech letters from the 20th century. The results show that the Vertical Attention Module almost always achieves the best results on all used types of convolution networks. The resulting network achieved the best result with 8,9% of the character error rate. The contribution of this work is a neural network with a newly introduced element that can recognize lines of text.
|
|
|
Audio signal modelling using neural networks
Pešán, Michele ; Ištvánek, Matěj (referee) ; Miklánek, Štěpán (advisor)
Neuronové sítě vycházející z architektury WaveNet a sítě využívající rekurentní vrstvy jsou v současnosti používány jak pro syntézu lidské řeči, tak pro „black box“ modelování systémů pro úpravu akustického signálu – modulační efekty, nelineární zkreslovače apod. Úkolem studenta bude shrnout dosavadní poznatky o možnostech využití neuronových sítí při modelování akustických signálů. Student dále implementuje některý z modelů neuronových sítí v programovacím jazyce Python a využije jej pro natrénování a následnou simulaci libovolného efektu nebo systému pro úpravu akustického signálu. V rámci semestrální práce vypracujte teoretickou část práce, vytvořte zvukovou databázi pro trénování neuronové sítě a implementujte jednu ze struktur sítí pro modelování zvukového signálu. Neuronové sítě jsou v průběhu posledních let používány stále více, a to víceméně přes celé spektrum vědních oborů. Neuronové sítě založené na architektuře WaveNet a sítě využívající rekurentních vrstev se v současné době používají v celé řadě využití, zahrnující například syntézu lidské řeči, nebo napřklad při metodě "black-box" modelování akustických systémů, které upravují zvukový signál (modulačí efekty, nelineární zkreslovače, apod.). Tato akademická práce si dává za cíl poskytnout úvod do problematiky neuronových sítí, vysvětlit základní pojmy a mechanismy této problematiky. Popsat využití neuronových sítí v modelování akustických systémů a využít těchto poznatků k implementaci neuronových sítí za cílem modelování libovolného efektu nebo zařízení pro úpravu zvukového signálu.
|
|
|
Convolutional Networks for Lip Reading
Kadleček, Josef ; Kišš, Martin (referee) ; Hradiš, Michal (advisor)
This thesis deals with current methods for automatic speech recognition and lip reading via neural networks. Furthermore it deals with similarities in the architectures of neural networks for audio and visual data and available datasets in the field of audiovisual automatic speech recognition. The main contribution of this thesis is set of experiments comparing different changes in neural network architecture and its impact on results. The thesis includes an implementation of a system for automatic speech recognition from audio (CER: 12.6 %) and visual (CER: 57,7 %) data. The architectures of both systems are based on features extraction via convolutional networks followed by recurrent layers LSTM, another layer of convolutions and loss function CTC.
|
|
|
Fundamental Analysis of Numerical Data for Automatic Trading
Huf, Petr ; Szőke, Igor (referee) ; Černocký, Jan (advisor)
This thesis is aimed to exploitation of fundamental analysis in automatic trading. Technical analysis uses historical prices and indicators derived from price for price prediction. On the opposite, fundamental analysis uses various information resources for price prediction. In this thesis, only quantitative data are used. These data sources are namely weather, Forex, Google Trends, WikiTrends, historical prices of futures and some fundamental data (birth rate, migration, \dots). These data are processed with LSTM neural network, which predicts stocks prices of selected companies. This prediction is basis for created trading system. Experiments show major improvement in results of the trading system; 8\% increase in success prediction accuracy thanks to involvement of fundamental analysis.
|
|
|
Automatic Harmony Generation
Bobčík, Martin ; Drahošová, Michaela (referee) ; Vašíček, Zdeněk (advisor)
Goal of this master thesis is to study harmonization based on knowledge of given melody and to design a system which will meaningfully automate this activity. In the work there is covered basics of music theory needed for this topic and previous other approaches to this problematic. There is also covered machine learning, neural networks and recurrent neural networks. In the end, there is outlined design of the system, how to make it work and how to use it. Four experiments were executed with the system. Harmonization of the short melodies were unpleasant. Harmonization of longer melodies were overall more successful though. A possible cause might be relatively small used neural network of the system.
|
|
|
Recurrent Neural Networks for Speech Recognition
Nováčik, Tomáš ; Karafiát, Martin (referee) ; Veselý, Karel (advisor)
This master thesis deals with the implementation of various types of recurrent neural networks via programming language lua using torch library. It focuses on finding optimal strategy for training recurrent neural networks and also tries to minimize the duration of the training. Furthermore various types of regularization techniques are investigated and implemented into the recurrent neural network architecture. Implemented recurrent neural networks are compared on the speech recognition task using AMI dataset, where they model the acustic information. Their performance is also compared to standard feedforward neural network. Best results are achieved using BLSTM architecture. The recurrent neural network are also trained via CTC objective function on the TIMIT dataset. Best result is again achieved using BLSTM architecture.
|
|
|
Automatic Harmony Generation
Bobčík, Martin ; Drahošová, Michaela (referee) ; Vašíček, Zdeněk (advisor)
Goal of this master thesis is to study harmonization based on knowledge of given melody and to design a system which will meaningfully automate this activity. In the work there is covered basics of music theory needed for this topic and previous other approaches to this problematic. There is also covered machine learning, neural networks and recurrent neural networks. In the end, there is outlined design of the system, how to make it work and how to use it. Three experiments were executed with the system. Harmonization of the melodies were unpleasant though. A possible cause might be relatively small used neural network of the system.
|
guest ::
