|
|
Discovering Acoustic Units from Speech: a Bayesian Approach
Ondel, Lucas Antoine Francois ; Häb-Umbach, Reinhold (oponent) ; Glass, Jim (oponent) ; Burget, Lukáš (vedoucí práce)
From an early age, infants show an innate ability to infer linguistic structures from the speech signal long before they learn to read and write. In contrast, modern speech recognition systems require large collections of transcribed data to achieve a low error rate. The relatively recent field of Unsupervised Speech Learning has been dedicated to endow machines with a similar ability. As a part of this ongoing effort, this thesis focuses on the problem of discovering a set of acoustic units from a language given untranscribed audio recordings. Particularly, we explore the potential of Bayesian inference to address this problem. First, we revisit the state-of-the-art non-parametric Bayesian model for the task of acoustic unit discovery and derive a fast and efficient Variational Bayes inference algorithm. Our approach relies on the stick-breaking construction of the Dirichlet Process which allows expressing the model as a Hidden Markov Model-based phone-loop. With this model and a suitable mean-field approximation of the variational posterior, the inference is made with an efficient iterative algorithm similar to the Expectation-Maximization scheme. Experiments show that this approach performs a better clustering than the original model while being orders of magnitude faster. Secondly, we address the problem of defining a meaningful a priori distribution over the potential acoustic units. To do so, we introduce the Generalized Subspace Model, a theoretical framework that allows defining distributions over low-dimensional manifolds in high-dimensional parameter space. Using this tool, we learn a phonetic subspace - a continuum of phone embeddings-from several languages with transcribed recordings. Then, this phonetic subspace is used to constrain our system to discover acoustic units that are similar to phones from other languages. Experimental results show that this approach significantly improves the clustering quality as well as the segmentation accuracy of the acoustic unit discovery system. Finally, we enhance our acoustic units discovery model by using a Hierarchical Dirichlet Process prior instead of the simple Dirichlet Process. By doing so, we introduce a Bayesian bigram phonotactic language model to the acoustic unit discovery system. This approach captures more accurately the phonetic structure of the target language and consequently helps the clustering of the speech signal. Also, to fully exploit the benefits of the phonotactic language model, we derive a modified Variational Bayes algorithm that can balance the preponderance of the role of the acoustic and language model during inference.
|
|
|
Bayesian models of eye movements
Lux, Erik ; Děchtěrenko, Filip (vedoucí práce) ; Toth, Peter Gabriel (oponent)
Pozornosť nám dovoľuje sledovať objekty alebo oblasti vizuálneho priestoru a získať z nich informácie k prezentácii či spracovaniu. Klasické teórie pozornosti predpokladali jedno miesto zamerania, ale mnoho každodenných aktivít ako napríklad hranie počítačových hier dokazuje pravý opak. Avšak základný mechanizmus, ktorý by vysvetlil schopnosť rozdeľovať pozornosť nie je doteraz dobre popísaný. Zaznamenalo sa množstvo pokusov objasnit rozdelenie pozornosti, počínajúc analytickými stratégiami, pokračujúc metódami pracujúcimi s vizuálnymi javmi a končiac sofistikovanými prediktormi zohľadňujúcimi predošlé rozhodnutie o zameraní. Až na niekoľko výnimiek, všetky pokusi pristupujú k tejto problematike vytvorením zjednodušeného modelu pozornosti. V tejto prácu vyvinieme verziu už existujúceho Bayesiánskeho prístupu za účelom návrhu takýchto modelov. Modely ohodnotíme podľa ich schopnosti generovať trajektórie očných pohybov. Na ich porovnanie použijeme trajektórie očných pohybov generované niekoľkými analytickými stratégiami. Rozdiel medzi dvomi trajektóriami meriame Normalized Scanpath ...
|
|
|
Bayesian models of eye movements
Lux, Erik ; Děchtěrenko, Filip (vedoucí práce) ; Toth, Peter Gabriel (oponent)
Pozornosť nám dovoľuje sledovať objekty alebo oblasti vizuálneho priestoru a získať z nich informácie k prezentácii či spracovaniu. Klasické teórie pozornosti predpokladali jedno miesto zamerania, ale mnoho každodenných aktivít ako napríklad hranie počítačových hier dokazuje pravý opak. Avšak základný mechanizmus, ktorý by vysvetlil schopnosť rozdeľovať pozornosť nie je doteraz dobre popísaný. Zaznamenalo sa množstvo pokusov objasnit rozdelenie pozornosti, počínajúc analytickými stratégiami, pokračujúc metódami pracujúcimi s vizuálnymi javmi a končiac sofistikovanými prediktormi zohľadňujúcimi predošlé rozhodnutie o zameraní. Až na niekoľko výnimiek, všetky pokusi pristupujú k tejto problematike vytvorením zjednodušeného modelu pozornosti. V tejto prácu vyvinieme verziu už existujúceho Bayesiánskeho prístupu za účelom návrhu takýchto modelov. Modely ohodnotíme podľa ich schopnosti generovať trajektórie očných pohybov. Na ich porovnanie použijeme trajektórie očných pohybov generované niekoľkými analytickými stratégiami. Rozdiel medzi dvomi trajektóriami meriame Normalized Scanpath ...
|
|
|
Discovering Acoustic Units from Speech: a Bayesian Approach
Ondel, Lucas Antoine Francois ; Häb-Umbach, Reinhold (oponent) ; Glass, Jim (oponent) ; Burget, Lukáš (vedoucí práce)
From an early age, infants show an innate ability to infer linguistic structures from the speech signal long before they learn to read and write. In contrast, modern speech recognition systems require large collections of transcribed data to achieve a low error rate. The relatively recent field of Unsupervised Speech Learning has been dedicated to endow machines with a similar ability. As a part of this ongoing effort, this thesis focuses on the problem of discovering a set of acoustic units from a language given untranscribed audio recordings. Particularly, we explore the potential of Bayesian inference to address this problem. First, we revisit the state-of-the-art non-parametric Bayesian model for the task of acoustic unit discovery and derive a fast and efficient Variational Bayes inference algorithm. Our approach relies on the stick-breaking construction of the Dirichlet Process which allows expressing the model as a Hidden Markov Model-based phone-loop. With this model and a suitable mean-field approximation of the variational posterior, the inference is made with an efficient iterative algorithm similar to the Expectation-Maximization scheme. Experiments show that this approach performs a better clustering than the original model while being orders of magnitude faster. Secondly, we address the problem of defining a meaningful a priori distribution over the potential acoustic units. To do so, we introduce the Generalized Subspace Model, a theoretical framework that allows defining distributions over low-dimensional manifolds in high-dimensional parameter space. Using this tool, we learn a phonetic subspace - a continuum of phone embeddings-from several languages with transcribed recordings. Then, this phonetic subspace is used to constrain our system to discover acoustic units that are similar to phones from other languages. Experimental results show that this approach significantly improves the clustering quality as well as the segmentation accuracy of the acoustic unit discovery system. Finally, we enhance our acoustic units discovery model by using a Hierarchical Dirichlet Process prior instead of the simple Dirichlet Process. By doing so, we introduce a Bayesian bigram phonotactic language model to the acoustic unit discovery system. This approach captures more accurately the phonetic structure of the target language and consequently helps the clustering of the speech signal. Also, to fully exploit the benefits of the phonotactic language model, we derive a modified Variational Bayes algorithm that can balance the preponderance of the role of the acoustic and language model during inference.
|
|
|
Bayesian models of eye movements
Lux, Erik ; Děchtěrenko, Filip (vedoucí práce) ; Toth, Peter Gabriel (oponent)
Pozornosť nám dovoľuje sledovať objekty alebo oblasti vizuálneho priestoru a získať z nich informácie k prezentácii či spracovaniu. Klasické teórie pozornosti predpokladali jedno miesto zamerania, ale mnoho každodenných aktivít ako napríklad hranie počítačových hier dokazuje pravý opak. Avšak základný mechanizmus, ktorý by vysvetlil schopnosť rozdeľovať pozornosť nie je doteraz dobre popísaný. Zaznamenalo sa množstvo pokusov objasnit rozdelenie pozornosti, počínajúc analytickými stratégiami, pokračujúc metódami pracujúcimi s vizuálnymi javmi a končiac sofistikovanými prediktormi zohľadňujúcimi predošlé rozhodnutie o zameraní. Až na niekoľko výnimiek, všetky pokusi pristupujú k tejto problematike vytvorením zjednodušeného modelu pozornosti. V tejto prácu vyvinieme verziu už existujúceho Bayesiánskeho prístupu za účelom návrhu takýchto modelov. Modely ohodnotíme podľa ich schopnosti generovať trajektórie očných pohybov. Na ich porovnanie použijeme trajektórie očných pohybov generované niekoľkými analytickými stratégiami. Rozdiel medzi dvomi trajektóriami meriame Normalized Scanpath ...
|
|
|
Bayesian models of eye movements
Lux, Erik ; Děchtěrenko, Filip (vedoucí práce) ; Toth, Peter Gabriel (oponent)
Pozornosť nám dovoľuje sledovať objekty alebo oblasti vizuálneho priestoru a získať z nich informácie k prezentácii či spracovaniu. Klasické teórie pozornosti predpokladali jedno miesto zamerania, ale mnoho každodenných aktivít ako napríklad hranie počítačových hier dokazuje pravý opak. Avšak základný mechanizmus, ktorý by vysvetlil schopnosť rozdeľovať pozornosť nie je doteraz dobre popísaný. Zaznamenalo sa množstvo pokusov objasnit rozdelenie pozornosti, počínajúc analytickými stratégiami, pokračujúc metódami pracujúcimi s vizuálnymi javmi a končiac sofistikovanými prediktormi zohľadňujúcimi predošlé rozhodnutie o zameraní. Až na niekoľko výnimiek, všetky pokusi pristupujú k tejto problematike vytvorením zjednodušeného modelu pozornosti. V tejto prácu vyvinieme verziu už existujúceho Bayesiánskeho prístupu za účelom návrhu takýchto modelov. Modely ohodnotíme podľa ich schopnosti generovať trajektórie očných pohybov. Na ich porovnanie použijeme trajektórie očných pohybov generované niekoľkými analytickými stratégiami. Rozdiel medzi dvomi trajektóriami meriame Normalized Scanpath ...
|
|
|
Základy Bayesovské statistiky
Chuchel, Karel ; Komárek, Arnošt (vedoucí práce) ; Hušková, Marie (oponent)
Cílem této práce je seznámit čtenáře se základními principy bayesovské statistiky. V bayesovské logice se nahlíží na parametr jako na náhodnou veličinu, která má určité apriorní rozdělení. V práci je ukázáno, jakým způsobem Bayesova věta tuto apriorní informaci transformuje v aposteriorní. Apriorní rozdělení může být různorodé a jeho možným tvarům je v práci věnován velký prostor, vše je vysvětleno na mnoha příkladech. Další oddíl se zabývá konstrukcí bayesovských bodových a intervalových odhadů. V práci je všechna vysvětlovaná látka porovnávána s klasickým přístupem. V poslední kapitole jsou pak rozdíly bayesovských a klasických odhadů ukázány na reálných datech.
|
|
| |
|
|
Reconstructing phylogeny from patchy data of rodents
Martínková, Natália ; Moravec, J.
To reveal phylogeny of sparsely sequenced taxa, standard methods could not be successfully used due to patchy character of data and new methods had to be developed. We summarize such methods and present their funcionality on phylogeny of Arvicolini voles. Analyzing tree space with terraces, we have found that supermatrix approach is superior to supertree approach in extracting signal from data and determining a resolved and well-supported phylogeny. The most widely used program from Bayesian phylogeny inference fails to determine the correct lengths of branches in a large supermatrix with a lot of missing data, it still successfully determines the true tree topology.
|
|
|
Historie Bayesovské statistiky
Karel, Tomáš ; Hebák, Petr (vedoucí práce) ; Vilikus, Ondřej (oponent)
Vývoj teorie statistiky od dob Thomase Bayese doprovází jakýsi pomyslný souboj mezi klasickou a bayesovskou školou. Tato práce pojednává o historii tohoto vývoje, možnostech budoucího rozšíření bayesovského přístupu do různých vědních oborů a o možnosti výuky základů statistiky z bayesovského pohledu. V této práci jsou zmíněny snad všechny podstatné příspěvky nejvýznamnějších představitelů bayesovského způsobu myšlení, které nesmazatelným písmem přispěly k vývoji statistiky jako takové. Ve zkratce jsou zde připomenuty základní rozdíly mezi klasickým a bayesovským přístupem. Tyto rozdíly jsou demonstrovány na dvou vstupních příkladech, stejně jako zásadní metodické odlišnosti a argumenty objektivistického a subjektivistického vnímání pravděpodobnosti a induktivních úsudků. Pro zajímavost je zmíněna síň slávy předních světových statistiků, kteří se zasloužili o rozvoj a rozšíření bayesovských metod. Cílem této bakalářské práce je nabídnout případným pokračovatelům užitečný vstupní materiál v dané oblasti.
|
host ::
RSS.