Original title:
Strojový překlad mluvené řeči přes fonetickou reprezentaci zdrojové řeči
Translated title:
Spoken Language Translation via Phoneme Representation of the Source Language
Authors:
Polák, Peter ; Bojar, Ondřej (advisor) ; Peterek, Nino (referee) Document type: Master’s theses
Year:
2020
Language:
eng Abstract:
[eng][cze] We refactor the traditional two-step approach of automatic speech recognition for spoken language translation. Instead of conventional graphemes, we use phonemes as an intermediate speech representation. Starting with the acoustic model, we revise the cross-lingual transfer and propose a coarse-to-fine method providing further speed-up and performance boost. Further, we review the translation model. We experiment with source and target encoding, boosting the robustness by utilizing the fine-tuning and transfer across ASR and SLT. We empirically document that this conventional setup with an alternative representation not only performs well on standard test sets but also provides robust transcripts and translations on challenging (e.g., non-native) test sets. Notably, our ASR system outperforms commercial ASR systems. 1Revidujeme tradičný dvojkrokový prístup automatického rozpoznávania reči pre pre- klad hovoreného jazyka. Namiesto konvenčných grafémov používame fonémy ako reprezen- táciu reči v medzikroku. Počnúc akustickým modelom, revidujeme prenos medzi jazykmi a navrhujeme "coarse-to-fine" metódu, ktorá poskytuje ďalšie zrýchlenie konvergencie a zvýšenie výkonu. Ďalej skúmame prekladový model. Experimentujeme so zdrojovým a cieľovým kódovaním a zvyšujeme robustnosť pomocou fine-tuningu a transferu medzi ASR a SLT. Empiricky dokumentujeme, že toto konvenčné nastavenie s alternatívnou reprezentáciou nielen dobre funguje na štandardných testovacích súboroch, ale tiež posky- tuje kvalitné transkripty a preklady na náročných (napr. nerodilých) testovacích dátach. Náš ASR systém prekonáva komerčné ASR systémy. 1
Keywords:
automatic speech recognition; non-native speech translation; spoken language translation; transfer learning
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/119532