|
|
Aligning pre-trained models for spoken language translation
Sedláček, Šimon ; Beneš, Karel (referee) ; Kesiraju, Santosh (advisor)
Tato práce zkoumá nový end-to-end přístup k překladu mluveného jazyka (ST) využívající předtrénovaných modelů pro přepis řeči (ASR) a strojový překlad (MT), propojené malým spojovacím modulem (Q-Former, STE). Ten má za úkol překlenout mezeru mezi modalitami řeči a textu mapováním embedding reprezentací ASR enkodéru do latentního prostoru reprezentací MT modelu. Během trénování jsou zvolené ASR a MT model zmrazeny, laděny jsou pouze parametry spojovacího modulu. Trénování a evaluace jsou prováděny na datasetu How2, obsahujícím ST data z Angličtiny do Portugalštiny. V našich experimentech zjišťujeme, že většina sladěných systémů překonává referenční kaskádový ST systém, přičemž využívají stejné základní modely. Navíc, při zachování konstantní a ve srovnání malé (10M parametrů) velikosti spojovacího modulu, větší a silnější ASR a MT modely univerzálně zlepšují výsledky překladu. Zjišťujeme, že spojovací moduly mohou také sloužit jako doménové adaptéry pro zvolené základní systémy, kdy významně zlepšují výsledky překladu ve sladěném ST prostředí, a to i oproti holému MT výkonu daného MT modelu. Nakonec navrhujeme proceduru pro předtrénování spojovacího modulu s potenciálem snížit množství ST dat potřebných pro trénink obdobných sladěných systémů.
|
|
|
Machine Translation of Spoken English into Czech
Cífka, Ondřej ; Bojar, Ondřej (advisor) ; Helcl, Jindřich (referee)
Spoken language translation, the process of translating speech in one language into another language automatically, is in increasing demand as a means of overcoming the language barrier. In this thesis, we focus on translation of spoken English into Czech, employed as an aid for international tourists. We built a fully functional speech translation system using freely available components and used it for collecting samples of user input. We then focused on replacing the core components of the system, namely speech recognition (ASR) and machine translation (MT), with our own, domain-adapted models. We evaluated our improvements on the collected data. Powered by TCPDF (www.tcpdf.org)
|
|
|
Spoken Language Translation via Phoneme Representation of the Source Language
Polák, Peter ; Bojar, Ondřej (advisor) ; Peterek, Nino (referee)
We refactor the traditional two-step approach of automatic speech recognition for spoken language translation. Instead of conventional graphemes, we use phonemes as an intermediate speech representation. Starting with the acoustic model, we revise the cross-lingual transfer and propose a coarse-to-fine method providing further speed-up and performance boost. Further, we review the translation model. We experiment with source and target encoding, boosting the robustness by utilizing the fine-tuning and transfer across ASR and SLT. We empirically document that this conventional setup with an alternative representation not only performs well on standard test sets but also provides robust transcripts and translations on challenging (e.g., non-native) test sets. Notably, our ASR system outperforms commercial ASR systems. 1
|
|
|
Machine Translation of Spoken English into Czech
Cífka, Ondřej ; Bojar, Ondřej (advisor) ; Helcl, Jindřich (referee)
Spoken language translation, the process of translating speech in one language into another language automatically, is in increasing demand as a means of overcoming the language barrier. In this thesis, we focus on translation of spoken English into Czech, employed as an aid for international tourists. We built a fully functional speech translation system using freely available components and used it for collecting samples of user input. We then focused on replacing the core components of the system, namely speech recognition (ASR) and machine translation (MT), with our own, domain-adapted models. We evaluated our improvements on the collected data. Powered by TCPDF (www.tcpdf.org)
|
guest ::
