Original title: Adaptace jazykového modelu na cílovou doménu využívající stahování veřejných dat
Translated title: Domain Specific Data Crawling for Language Model Adaptation
Authors: Gregušová, Sabína ; Švec, Ján (referee) ; Karafiát, Martin (advisor)
Document type: Master’s theses
Year: 2022
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Cieľom práce je implementovať systém pre automatickú adaptáciu jazykového modelu pre Phonexia ASR systém. Systém prijíma vstupný súbor, ktorý analyzuje a vyberie vhodné výrazy pre webové vyhľadávanie. Každé webové vyhľadávanie prináša množinu dokumentov, ktoré podstupujú čistenie a filtrovanie. Výsledný webový korpus sa zmieša s Phonexia modelom a vykoná sa evaluácia. Pre odhad optimálnych parametrov boli vykonané viaceré experimenty pre hindštinu, češtinu a mandarínsku čínštinu. Výsledky experimentov boli pozitívne a implementovaný systém bol schopný znížiť perplexitu a Word Error Rate vo väčšine experimentov. The goal of this thesis is to implement a system for automatic language model adaptation for Phonexia ASR system. System expects input in the form of source that, which is analysed and appropriate terms for web search are chosen. Every web search results in a set of documents that undergo cleaning and filtering procedures. The resulting web corpora is mixed with Phonexia model and evaluated. In order to estimate the most optimal parameters, I conducted 3 sets of experiments for Hindi, Czech and Mandarin. The results of the experiments were very favourable and the implemented system managed to decrease perplexity and Word Error Rate in most cases.
Keywords: automatic assessment of web documents; automatic speech recognition; automatic web document scraping; automatic web search; language model; language model adaptation; speech-to-text; adaptácia jazykového modelu; automatické prehľadávanie webu; automatické rozpoznávanie reči; automatické vyhodnotenie webových dokumentov; automatické čistenie webových dokumentov; jazykový model; speech-to-text

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/207465

Permalink: http://www.nusl.cz/ntk/nusl-505006


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses