Název: Simultánní překlad řeči z více zdrojů
Překlad názvu: Multi-Source Simultaneous Speech Translation
Autoři: Macháček, Dominik ; Bojar, Ondřej (vedoucí práce) ; Yvon, Francois (oponent) ; Niehues, Jan (oponent)
Typ dokumentu: Disertační práce
Rok: 2024
Jazyk: eng
Abstrakt: [eng] [cze]
Neural machine translation has the capability to translate from several parallel in- puts into different languages. Current simultaneous speech translation sometimes faces issues with quality, especially when the source is noisy. We investigate the opportunity to use multiple parallel speech signals - the original and simultaneous interpreting - as sources for translation to achieve higher quality. We create an evaluation set ESIC (Europarl Simultaneous Interpreting Corpus). We analyze the challenges of simultane- ous interpreting when used as an additional parallel source. Then, we investigate the robustness of multi-sourcing to transcription errors and assess the reliability of machine translation metrics when evaluating simultaneous speech translation. Last but not least, we implement Whisper-Streaming, a tool that enables real-time processing of large offline speech-to-text models and demonstrates the state of the art. 1 Neuronový strojový překlad má schopnost překládat z několika paralelních vstupů v různých jazycích. Kvalita současného automatického simultánního překladu řeči trpí zejména když je zdroj zašumněný. Zkoumáme možnost využití více paralelních řečových signálů - originál a simultánní tlumočení - jako zdroje překladu s cílem dosáhnout vyšší kvality. Proto jsme vytvořili evaluační dataset ESIC (Europarl Simultaneous Interpreting Corpus). Dále analyzujeme aspekty simultánního tlumočení jako doplňkového paralel- ního zdroje. Poté zkoumáme odolnost vícezdrojového překladu proti chybám v přepisu a hodnotíme spolehlivost metrik strojového překladu na hodnocení simultánního překladu řeči. V neposlední řadě implementujeme Whisper-Streaming, nástroj na simultánní re- žim velkých offline modelů pro převod z řeči na text, který demonstruje současný stav poznání. 1
Klíčová slova: simultánní překlad řeči|překlad řeči|překlad z řeči do textu|strojový překlad|vícejazyčnost|vícezdrojovost|simultánní tlumočení|zpracování přirozeného jazyka; simultaneous speech translation|speech translation|speech-to-text translation|machine translation|multilinguality|multi-sourcing|simultaneous interpreting|natural language processing

Instituce: Fakulty UK (VŠKP) (web)
Informace o dostupnosti dokumentu: Dostupné v digitálním repozitáři UK.
Původní záznam: http://hdl.handle.net/20.500.11956/190381

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-620548


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Univerzita Karlova > Fakulty UK (VŠKP)
Vysokoškolské kvalifikační práce > Disertační práce