|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (referee) ; Smrž, Pavel (advisor)
Tato práce se zabývá zapojením mezivětného kontextu v neuronovém strojovém překladu (NMT). Dnešní běžné NMT systémy překládají jednu zdrojovou větu na jednu cílovou větu, bez jakéhokoliv ohledu na okolní text. Tento přístup je nedostačující a neodpovídá způsobu práce lidských překladatelů. Pro mnoho jazykových párů je dnes za splnění určitých (přísných) podmínek výstup NMT nerozeznatelný od lidského překladu. Jedna z těchto podmínek je, že hodnotitelé skórují přeložené věty nezávisle, bez znalosti kontextu. Při hodnocení celých dokumentů je výstup NMT stále hodnocen hůře, než lidský překlad, i v případech, kdy byl na úrovni jednotlivých vět preferován. Tato zjištění jsou motivací pro výzkum zapojení kontextu na úrovni dokumentu v NMT, je totiž možné, že na úrovni vět již není mnoho prostoru ke zlepšení, alespoň pro jazykové páry a domény bohaté na trénovací data. Tato práce shrnuje současné přístupy zapojení kontextu do překladu, několik z nich je implementováno a vyhodnoceno v rámci obecné překladové kvality i na překladu specifických fenoménů souvisejících s kontextem. Pro zhodnocení kvality jednotlivých systému byla ručně vytvořena testovací sada pro překlad z anglického do českého jazyka.
|
|
|
Low-Resource Neural Machine Translation
Filo, Denis ; Fajčík, Martin (referee) ; Jon, Josef (advisor)
This thesis deals with neural machine translation (NMT) for low-resource languages. The goal was to evaluate current techniques by using the experiments and suggest their improvements. The translation systems in this thesis used the neural network transformer architecture and were trained by the Marian framework. The selected language pairs were Slovak with Croatian and Slovak with Serbian. The subjects of the experiments were the transfer learning techniques and semi-supervised learning.
|
|
|
Effectiveness of Machine Translation
Kvapil, Lukáš ; Reich, Pavel (referee) ; Kotásek, Miroslav (advisor)
Práce hodnotí strojový překlad z hlediska problémů kterým čelí, popisuje nejčastější metody a přístupy a s pomocí praktických ukázkek překladů, hodnotí, kvality a možností využití. Problémem jsou v první řadě odlišnosti mezi jazyky, které mohou mít odlišnou flexi, mluvnické kategorie nebo slovosled, a jsou tedy vyžadovány metody, které by tyto morfologické, gramatické a syntaktické odlišnosti zohledňovali. Další problémy jsou na úrovni sémantiky, kde musí překladače správně identifikovat význam slova a zvolit vhodný překlad. Ovšem možnosti porozumění významu jakožto i zohledňování kontextu jsou u počítačů omezené, stejně tak jako větší překladatelská rozhodnutí ohledně celého textu. Úspěšné řešení těchto problémů by vyžadovalo kompletní umělou inteligenci, která však v současnosti není k dispozici. Nejvyšší úrovně umělé inteligence dosahují patrně překladače, používající neuronové sítě, což je nejmodernější metoda strojového překladu, kterou již používají i některé běžně dostupné internetové překladače. Praktická ukázka na několika typech textů, přeložených z Angličtiny do Češtiny a naopak pomocí Google Translate ukázala, že strojový překlad pomocí neuronových sítí se velice úspěšně vypořádává s množstvím jazykových odlišností a dovede překládat termíny a delší fráze, stále ovšem produkuje množství chyb často bez předvídatelné příčiny a jeho chování je celkově nekonzistentí a citlivé na změny. Doposud tedy neexistuje universální systém, který by byl schopen plně automatického překladu vysoké kvality. Aplikace strojového překladu je vždy omezena buď sníženou kvalitou textu, nebo nutností návrhu systému pouze pro specifický účel a omezené pole působnosti. Strojový překlad tedy může zvyšovat efektivitu překladu jako takového pří nutnosti lidského zapojení, ale v dohledné době nenahradí lidské překladatele.
|
|
|
Machine Translation Using Syntactic Analysis
Popel, Martin ; Žabokrtský, Zdeněk (advisor) ; Ircing, Pavel (referee) ; Čmejrek, Martin (referee)
Machine Translation Using Syntactic Analysis Martin Popel This thesis describes our improvement of machine translation (MT), with a special focus on the English-Czech language pair, but using techniques ap- plicable also to other languages. First, we present multiple improvements of the deep-syntactic system TectoMT. For instance, we implemented a novel context-sensitive translation model, comparing several machine learning ap- proaches. We also adapted TectoMT to other domains and languages. Sec- ond, we present Transformer - a state-of-the-art end-to-end neural MT sys- tem. We analyzed in detail the effect of several training hyper-parameters. With our optimized training, the system outperformed the best result on the WMT2017 test set by +1.0 BLEU. We further extended this system by uti- lization of monolingual training data and by a new type of backtranslation (+2.8 BLEU compared to the baseline system). In addition, we leveraged domain adaptation and the effect of "translationese" (i.e which language in parallel data is the original and which is the translation) to optimize MT systems for original-language and translated-language data (gaining further +0.2 BLEU). Our improved neural MT system significantly (p¡0.05) out- performed all other systems in English-Czech and Czech-English WMT2018 shared tasks,...
|
|
|
Low-Resource Neural Machine Translation
Filo, Denis ; Fajčík, Martin (referee) ; Jon, Josef (advisor)
This thesis deals with neural machine translation (NMT) for low-resource languages. The goal was to evaluate current techniques by using the experiments and suggest their improvements. The translation systems in this thesis used the neural network transformer architecture and were trained by the Marian framework. The selected language pairs were Slovak with Croatian and Slovak with Serbian. The subjects of the experiments were the transfer learning techniques and semi-supervised learning.
|
|
|
Multimodality in Machine Translation
Libovický, Jindřich ; Pecina, Pavel (advisor) ; Specia, Lucia (referee) ; Čech, Jan (referee)
Multimodality in Machine Translation Jindřich Libovický Traditionally, most natural language processing tasks are solved within the lan- guage, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality.
|
|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (referee) ; Smrž, Pavel (advisor)
Tato práce se zabývá zapojením mezivětného kontextu v neuronovém strojovém překladu (NMT). Dnešní běžné NMT systémy překládají jednu zdrojovou větu na jednu cílovou větu, bez jakéhokoliv ohledu na okolní text. Tento přístup je nedostačující a neodpovídá způsobu práce lidských překladatelů. Pro mnoho jazykových párů je dnes za splnění určitých (přísných) podmínek výstup NMT nerozeznatelný od lidského překladu. Jedna z těchto podmínek je, že hodnotitelé skórují přeložené věty nezávisle, bez znalosti kontextu. Při hodnocení celých dokumentů je výstup NMT stále hodnocen hůře, než lidský překlad, i v případech, kdy byl na úrovni jednotlivých vět preferován. Tato zjištění jsou motivací pro výzkum zapojení kontextu na úrovni dokumentu v NMT, je totiž možné, že na úrovni vět již není mnoho prostoru ke zlepšení, alespoň pro jazykové páry a domény bohaté na trénovací data. Tato práce shrnuje současné přístupy zapojení kontextu do překladu, několik z nich je implementováno a vyhodnoceno v rámci obecné překladové kvality i na překladu specifických fenoménů souvisejících s kontextem. Pro zhodnocení kvality jednotlivých systému byla ručně vytvořena testovací sada pro překlad z anglického do českého jazyka.
|
|
|
Machine Translation Using Syntactic Analysis
Popel, Martin ; Žabokrtský, Zdeněk (advisor) ; Ircing, Pavel (referee) ; Čmejrek, Martin (referee)
Machine Translation Using Syntactic Analysis Martin Popel This thesis describes our improvement of machine translation (MT), with a special focus on the English-Czech language pair, but using techniques ap- plicable also to other languages. First, we present multiple improvements of the deep-syntactic system TectoMT. For instance, we implemented a novel context-sensitive translation model, comparing several machine learning ap- proaches. We also adapted TectoMT to other domains and languages. Sec- ond, we present Transformer - a state-of-the-art end-to-end neural MT sys- tem. We analyzed in detail the effect of several training hyper-parameters. With our optimized training, the system outperformed the best result on the WMT2017 test set by +1.0 BLEU. We further extended this system by uti- lization of monolingual training data and by a new type of backtranslation (+2.8 BLEU compared to the baseline system). In addition, we leveraged domain adaptation and the effect of "translationese" (i.e which language in parallel data is the original and which is the translation) to optimize MT systems for original-language and translated-language data (gaining further +0.2 BLEU). Our improved neural MT system significantly (p¡0.05) out- performed all other systems in English-Czech and Czech-English WMT2018 shared tasks,...
|
|
|
Spojité reprezentace vět v neuronovém strojovém překladu
Cífka, Ondřej ; Bojar, Ondřej (advisor) ; Rosa, Rudolf (referee)
Recent advances in natural language processing using neural networks have given rise to numerous methods of obtaining continuous-space vector representations of textual data that can be exploited for various applications. One of these methods is to use internal representations learned by neural machine translation (NMT) models. However, the attention mechanism in modern NMT systems removes the single point in the neural network from which the source sentence representation can be extracted. In this thesis, we propose and empirically evaluate novel ways to remove this limitation. We review existing methods of obtaining sentence representations and evaluating them, and present novel intrinsic evaluation metrics. Next, we describe our modifications to attention-based NMT architectures that allow extracting sentence representations. In the experimental section, we analyze these representations and evaluate them using a wide range of metrics with a focus on meaning representation. The results suggest that the better the translation quality, the worse the performance on these tasks. We also observe no performance gains from using multi-task training to control the representations.
|
|
|
Effectiveness of Machine Translation
Kvapil, Lukáš ; Reich, Pavel (referee) ; Kotásek, Miroslav (advisor)
Práce hodnotí strojový překlad z hlediska problémů kterým čelí, popisuje nejčastější metody a přístupy a s pomocí praktických ukázkek překladů, hodnotí, kvality a možností využití. Problémem jsou v první řadě odlišnosti mezi jazyky, které mohou mít odlišnou flexi, mluvnické kategorie nebo slovosled, a jsou tedy vyžadovány metody, které by tyto morfologické, gramatické a syntaktické odlišnosti zohledňovali. Další problémy jsou na úrovni sémantiky, kde musí překladače správně identifikovat význam slova a zvolit vhodný překlad. Ovšem možnosti porozumění významu jakožto i zohledňování kontextu jsou u počítačů omezené, stejně tak jako větší překladatelská rozhodnutí ohledně celého textu. Úspěšné řešení těchto problémů by vyžadovalo kompletní umělou inteligenci, která však v současnosti není k dispozici. Nejvyšší úrovně umělé inteligence dosahují patrně překladače, používající neuronové sítě, což je nejmodernější metoda strojového překladu, kterou již používají i některé běžně dostupné internetové překladače. Praktická ukázka na několika typech textů, přeložených z Angličtiny do Češtiny a naopak pomocí Google Translate ukázala, že strojový překlad pomocí neuronových sítí se velice úspěšně vypořádává s množstvím jazykových odlišností a dovede překládat termíny a delší fráze, stále ovšem produkuje množství chyb často bez předvídatelné příčiny a jeho chování je celkově nekonzistentí a citlivé na změny. Doposud tedy neexistuje universální systém, který by byl schopen plně automatického překladu vysoké kvality. Aplikace strojového překladu je vždy omezena buď sníženou kvalitou textu, nebo nutností návrhu systému pouze pro specifický účel a omezené pole působnosti. Strojový překlad tedy může zvyšovat efektivitu překladu jako takového pří nutnosti lidského zapojení, ale v dohledné době nenahradí lidské překladatele.
|
guest ::
