|
|
Semi-Supervised Speech-to-Text Recognition with Text-to-Speech Critic
Baskar, Murali Karthick ; Manohar, Vimal (referee) ; Trmal, Jan (referee) ; Burget, Lukáš (advisor)
Modely pro automatické rozpoznávání řeči (ASR) vyžadují pro dosažení přijatelné přesnosti velké množství trénovacích dat. Z tohoto důvodu se v poslední době zvýšil zájem o trénování seq2seq modelů bez dohledu a s částečným dohledem. Tato práce vychází z nedávných výsledků, které ukázaly výrazné zlepšení trénování s částečným dohledem pomocí cyklické konzistence a souvisejících technik. Ty využívají trénovací postupy a kritéria schopná pomocí kombinace ASR s modely převodu textu na řeč (TTS) zužitkovat nesouvisející řečová a/nebo textová data. Tato práce nejprve navrhuje nový rámec pro modelování kombinující diferencovatelné end-to-end kritérium ASR->TTS s kritériem TTS->ASR. Tato metoda dokáže využít nesouvisející řečová a textová data a překonat související techniky ve slovní chybovosti (WER). Práce obsahuje rozsáhlou sadu výsledků analyzujících vliv množství dat i vliv podílu řeči a textu na opravách chyb. Výsledky dokládají konzistentní zlepšení na korpusech WSJ a LibriSpeech. Práce se rovněž zabývá omezeními modelu ASR<->TTS v podmínkách mimo doménu trénovacích dat (out-of-domain). Navrhujeme vylepšený model ASR<->TTS (EAT), zahrnující dva klíčové komponenty: 1) směr ASR->TTS je doplněn jazykovým model, který penalizuje hypotézy ASR před jejich vstupem do TTS; a 2) ve směru TTS->ASR je zavedena regularizace trénovaná bez dohledu tak, aby opravovala syntetizovanou řeč před vstupem do modelu ASR. Zkoumáme strategie trénování a účinnost modelu EAT a porovnáme jej s přístupy umělého zvyšování množství (augmentace) dat. Výsledky ukazují, že model EAT snižuje rozdíl v úspěšnosti mezi trénováním bez dohledu a trénováním s částečným dohledem absolutně o 2,6% WER na LibriSpeech datech a o 2,7% WER na BABEL datech.
|
|
|
Neural Network Training Progress Visualization
Němcová, Silvie ; Baskar, Murali Karthick (referee) ; Beneš, Karel (advisor)
Tato práce se zabývá studiem průběhu trénování modelu neuronové sítě. Cílem je zobrazit a zkoumat trénovací proces modelu neuronové sítě. Pro tyto účely jsem zvolila implementaci v jazyce Python. Implementace úspěšně replikuje vizualizaci průběhu trénování pommocí lineární interpolace, identifikaci robustních a ambient vrstev a zobrazení plochy, vytvořené účelovou funkcí okolo natrénovaného modelu. V této práci je navržena a představena metoda zobrazovaní průběhu trénování pomocí kvadratické interpolace parametrů. Výsledek práce je znázorněn grafy a diskuzí nad dopady změn parametrů modelu na jeho trénování.
|
|
|
Artificial Intelligence for a Board Game
Tureček, Dominik ; Baskar, Murali Karthick (referee) ; Beneš, Karel (advisor)
This work proposes and implements AI agents for the game Dice Wars. Dice Wars is turn-based, zero-sum game with non-deterministic move results. Several AI agents were created using rule-based approach, expectiminimax algorithm, and logistic regression. To evaluate the performance of proposed agents, an implementation of the game was created. Results of the experiments have shown that it's preferable to play aggressively in two-player games and make more optimal moves in games played with more players. The agent using expectiminimax is able to win more than 60 % of games in 8-player games against random players and wins 21.4 % of games played against a mix of seven other agents created in this work. In two-player setups, the agent using logistic regression with numbers of players' scores and number of dice as features has the best performance and wins 59.4 % of games in average.
|
|
|
Neural Network Implementation without Multiplication
Slouka, Lukáš ; Baskar, Murali Karthick (referee) ; Szőke, Igor (advisor)
The subject of this thesis is neural network acceleration with the goal of reducing the number of floating point multiplications. The theoretical part of the thesis surveys current trends and methods used in the field of neural network acceleration. However, the focus is on the binarization techniques which allow replacing multiplications with logical operators. The theoretical base is put into practice in two ways. First is the GPU implementation of crucial binary operators in the Tensorflow framework with a performance benchmark. Second is an application of these operators in simple image classifier. Results are certainly encouraging. Implemented operators achieve speed-up by a factor of 2.5 when compared to highly optimized cuBLAS operators. The last chapter compares accuracies achieved by binarized models and their full-precision counterparts on various architectures.
|
|
|
Text to Audio Alignment
Šíma, Tomáš ; Baskar, Murali Karthick (referee) ; Szőke, Igor (advisor)
The purpose of this work is to research existing text-to-speech aligning algorithms. We chose an implementation of one these algorithms, based on Hidden-Markov Joint-Sequence Models, and we explored its strengths, quirks and weaknesses. We explored whether it is possible to predict the alignment accuracy using probability values generated from Viterbi algorithm and the beam search value. Our testing data comes from the BBC as part of MGB Challenge 2015. This data creates, with its high content diversity, near perfect testing set to prove our algorithm is flexible and error independent.
|
|
|
Neural Network Training Progress Visualization
Němcová, Silvie ; Baskar, Murali Karthick (referee) ; Beneš, Karel (advisor)
Tato práce se zabývá studiem průběhu trénování modelu neuronové sítě. Cílem je zobrazit a zkoumat trénovací proces modelu neuronové sítě. Pro tyto účely jsem zvolila implementaci v jazyce Python. Implementace úspěšně replikuje vizualizaci průběhu trénování pommocí lineární interpolace, identifikaci robustních a ambient vrstev a zobrazení plochy, vytvořené účelovou funkcí okolo natrénovaného modelu. V této práci je navržena a představena metoda zobrazovaní průběhu trénování pomocí kvadratické interpolace parametrů. Výsledek práce je znázorněn grafy a diskuzí nad dopady změn parametrů modelu na jeho trénování.
|
|
|
Artificial Intelligence for a Board Game
Tureček, Dominik ; Baskar, Murali Karthick (referee) ; Beneš, Karel (advisor)
This work proposes and implements AI agents for the game Dice Wars. Dice Wars is turn-based, zero-sum game with non-deterministic move results. Several AI agents were created using rule-based approach, expectiminimax algorithm, and logistic regression. To evaluate the performance of proposed agents, an implementation of the game was created. Results of the experiments have shown that it's preferable to play aggressively in two-player games and make more optimal moves in games played with more players. The agent using expectiminimax is able to win more than 60 % of games in 8-player games against random players and wins 21.4 % of games played against a mix of seven other agents created in this work. In two-player setups, the agent using logistic regression with numbers of players' scores and number of dice as features has the best performance and wins 59.4 % of games in average.
|
|
|
Text to Audio Alignment
Šíma, Tomáš ; Baskar, Murali Karthick (referee) ; Szőke, Igor (advisor)
The purpose of this work is to research existing text-to-speech aligning algorithms. We chose an implementation of one these algorithms, based on Hidden-Markov Joint-Sequence Models, and we explored its strengths, quirks and weaknesses. We explored whether it is possible to predict the alignment accuracy using probability values generated from Viterbi algorithm and the beam search value. Our testing data comes from the BBC as part of MGB Challenge 2015. This data creates, with its high content diversity, near perfect testing set to prove our algorithm is flexible and error independent.
|
|
|
Neural Network Implementation without Multiplication
Slouka, Lukáš ; Baskar, Murali Karthick (referee) ; Szőke, Igor (advisor)
The subject of this thesis is neural network acceleration with the goal of reducing the number of floating point multiplications. The theoretical part of the thesis surveys current trends and methods used in the field of neural network acceleration. However, the focus is on the binarization techniques which allow replacing multiplications with logical operators. The theoretical base is put into practice in two ways. First is the GPU implementation of crucial binary operators in the Tensorflow framework with a performance benchmark. Second is an application of these operators in simple image classifier. Results are certainly encouraging. Implemented operators achieve speed-up by a factor of 2.5 when compared to highly optimized cuBLAS operators. The last chapter compares accuracies achieved by binarized models and their full-precision counterparts on various architectures.
|
guest ::
