Original title: Efektivní trénování neuronových sítí pro automatické rozpoznávání řeči
Translated title: Effective Training of Neural Networks for Automatic Speech Recognition
Authors: Huml, Dominik ; Sedláček, Šimon (referee) ; Polok, Alexander (advisor)
Document type: Bachelor's theses
Year: 2025
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Tato práce se zabývá efektivním trénováním neuronových sítí pro automatické rozpoznávání řeči, konkrétně pro český jazyk. Cílem je analyzovat různé přístupy k trénování modelů s omezeným počtem parametrů, zejména v jazycích, kde je k dispozici pouze omezené množství trénovacích dat. Zvolená architektura systému je typu Enkodér–Dekodér. V rámci experimentální části bylo zjištěno, že jazykový dekodér má zásadní vliv na výslednou přesnost systému, přičemž klíčovou komponentou se ukázala být embedding vrstva. Pro efektivní přenos informací mezi enkodérem a dekodérem byl použit adaptérový modul. Ten provádí časové podvzorkování výstupu z enkodéru a jeho následnou transformaci do prostoru očekávaného dekodérem. Nejlepší výsledky přinesl adaptér založený na malé Transformer síti. Navržený model dosáhl hodnoty WER 5,6 %, což představuje výrazné zlepšení oproti modelům trénovaným bez adaptéru nebo od nuly. Zároveň je model schopný konkurovat daleko většímu modelu Slavic-300+LM. Výsledky dále ukazují, že vhodně navržený adaptér umožňuje snížit počet trénovatelných parametrů při zachování vysoké přesnosti, což z něj činí vhodnou volbu pro domény s omezenými zdroji. This thesis focuses on the effective training of neural networks for automatic speech recognition, specifically for the Czech language. The goal is to analyze various approaches to training models with a limited number of parameters, particularly for languages where only a small amount of training data is available. The chosen system architecture is of the Encoder–Decoder type. In the experimental part, it was found that the language decoder has a significant impact on the final accuracy of the system, with the embedding layer proving to be a key component. To enable efficient information transfer between the encoder and decoder, an adapter module was used. This module performs temporal subsampling of the encoder output and transforms it into the space expected by the decoder. The best results were achieved using an adapter based on a small Transformer network. The proposed model achieved a WER of 5.6 %, which represents a significant improvement over models trained without the adapter or from scratch. At the same time, the model is able to compete with the much larger Slavic-300+LM model. The results further show that a well-designed adapter enables a reduction in the number of trainable parameters while maintaining high accuracy, making it a suitable choice for low-resource domains.
Keywords: acoustic model; adapter; automatic speech recognition; fine-tuning; language model; lora; machine learning; natural language processing; neural network; wav2vec 2.0; adaptér; akustický model; automatické rozpoznávání řeči; finetuning; gpt-2; jazykový model; lora; neuronové sítě; strojové učení; wav2vec 2.0; zpracování přirozeného jazyka

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/253208

Permalink: http://www.nusl.cz/ntk/nusl-681687


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses