Original title: Strojový překlad mluvené řeči přes fonetickou reprezentaci zdrojové řeči
Translated title: Spoken Language Translation via Phoneme Representation of the Source Language
Authors: Polák, Peter ; Bojar, Ondřej (advisor) ; Peterek, Nino (referee)
Document type: Master’s theses
Year: 2020
Language: eng
Abstract: [eng] [cze]
We refactor the traditional two-step approach of automatic speech recognition for spoken language translation. Instead of conventional graphemes, we use phonemes as an intermediate speech representation. Starting with the acoustic model, we revise the cross-lingual transfer and propose a coarse-to-fine method providing further speed-up and performance boost. Further, we review the translation model. We experiment with source and target encoding, boosting the robustness by utilizing the fine-tuning and transfer across ASR and SLT. We empirically document that this conventional setup with an alternative representation not only performs well on standard test sets but also provides robust transcripts and translations on challenging (e.g., non-native) test sets. Notably, our ASR system outperforms commercial ASR systems. 1 Revidujeme tradičný dvojkrokový prístup automatického rozpoznávania reči pre pre- klad hovoreného jazyka. Namiesto konvenčných grafémov používame fonémy ako reprezen- táciu reči v medzikroku. Počnúc akustickým modelom, revidujeme prenos medzi jazykmi a navrhujeme "coarse-to-fine" metódu, ktorá poskytuje ďalšie zrýchlenie konvergencie a zvýšenie výkonu. Ďalej skúmame prekladový model. Experimentujeme so zdrojovým a cieľovým kódovaním a zvyšujeme robustnosť pomocou fine-tuningu a transferu medzi ASR a SLT. Empiricky dokumentujeme, že toto konvenčné nastavenie s alternatívnou reprezentáciou nielen dobre funguje na štandardných testovacích súboroch, ale tiež posky- tuje kvalitné transkripty a preklady na náročných (napr. nerodilých) testovacích dátach. Náš ASR systém prekonáva komerčné ASR systémy. 1
Keywords: automatic speech recognition; non-native speech translation; spoken language translation; transfer learning

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/119532

Permalink: http://www.nusl.cz/ntk/nusl-416019


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Master’s theses