Original title: Simultánní překlad řeči z více zdrojů
Translated title: Multi-Source Simultaneous Speech Translation
Authors: Macháček, Dominik ; Bojar, Ondřej (advisor) ; Yvon, Francois (referee) ; Niehues, Jan (referee)
Document type: Doctoral theses
Year: 2024
Language: eng
Abstract: [eng] [cze]
Neural machine translation has the capability to translate from several parallel in- puts into different languages. Current simultaneous speech translation sometimes faces issues with quality, especially when the source is noisy. We investigate the opportunity to use multiple parallel speech signals - the original and simultaneous interpreting - as sources for translation to achieve higher quality. We create an evaluation set ESIC (Europarl Simultaneous Interpreting Corpus). We analyze the challenges of simultane- ous interpreting when used as an additional parallel source. Then, we investigate the robustness of multi-sourcing to transcription errors and assess the reliability of machine translation metrics when evaluating simultaneous speech translation. Last but not least, we implement Whisper-Streaming, a tool that enables real-time processing of large offline speech-to-text models and demonstrates the state of the art. 1 Neuronový strojový překlad má schopnost překládat z několika paralelních vstupů v různých jazycích. Kvalita současného automatického simultánního překladu řeči trpí zejména když je zdroj zašumněný. Zkoumáme možnost využití více paralelních řečových signálů - originál a simultánní tlumočení - jako zdroje překladu s cílem dosáhnout vyšší kvality. Proto jsme vytvořili evaluační dataset ESIC (Europarl Simultaneous Interpreting Corpus). Dále analyzujeme aspekty simultánního tlumočení jako doplňkového paralel- ního zdroje. Poté zkoumáme odolnost vícezdrojového překladu proti chybám v přepisu a hodnotíme spolehlivost metrik strojového překladu na hodnocení simultánního překladu řeči. V neposlední řadě implementujeme Whisper-Streaming, nástroj na simultánní re- žim velkých offline modelů pro převod z řeči na text, který demonstruje současný stav poznání. 1
Keywords: simultaneous speech translation|speech translation|speech-to-text translation|machine translation|multilinguality|multi-sourcing|simultaneous interpreting|natural language processing; simultánní překlad řeči|překlad řeči|překlad z řeči do textu|strojový překlad|vícejazyčnost|vícezdrojovost|simultánní tlumočení|zpracování přirozeného jazyka

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/190381

Permalink: http://www.nusl.cz/ntk/nusl-620548


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Doctoral theses