|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (referee) ; Smrž, Pavel (advisor)
Tato práce se zabývá zapojením mezivětného kontextu v neuronovém strojovém překladu (NMT). Dnešní běžné NMT systémy překládají jednu zdrojovou větu na jednu cílovou větu, bez jakéhokoliv ohledu na okolní text. Tento přístup je nedostačující a neodpovídá způsobu práce lidských překladatelů. Pro mnoho jazykových párů je dnes za splnění určitých (přísných) podmínek výstup NMT nerozeznatelný od lidského překladu. Jedna z těchto podmínek je, že hodnotitelé skórují přeložené věty nezávisle, bez znalosti kontextu. Při hodnocení celých dokumentů je výstup NMT stále hodnocen hůře, než lidský překlad, i v případech, kdy byl na úrovni jednotlivých vět preferován. Tato zjištění jsou motivací pro výzkum zapojení kontextu na úrovni dokumentu v NMT, je totiž možné, že na úrovni vět již není mnoho prostoru ke zlepšení, alespoň pro jazykové páry a domény bohaté na trénovací data. Tato práce shrnuje současné přístupy zapojení kontextu do překladu, několik z nich je implementováno a vyhodnoceno v rámci obecné překladové kvality i na překladu specifických fenoménů souvisejících s kontextem. Pro zhodnocení kvality jednotlivých systému byla ručně vytvořena testovací sada pro překlad z anglického do českého jazyka.
|
|
|
Low-Resource Neural Machine Translation
Filo, Denis ; Fajčík, Martin (referee) ; Jon, Josef (advisor)
This thesis deals with neural machine translation (NMT) for low-resource languages. The goal was to evaluate current techniques by using the experiments and suggest their improvements. The translation systems in this thesis used the neural network transformer architecture and were trained by the Marian framework. The selected language pairs were Slovak with Croatian and Slovak with Serbian. The subjects of the experiments were the transfer learning techniques and semi-supervised learning.
|
|
|
Machine Translation Using Artificial Neural Networks
Holcner, Jonáš ; Beneš, Karel (referee) ; Szőke, Igor (advisor)
The goal of this thesis is to describe and build a system for neural machine translation. System is built with recurrent neural networks - encoder-decoder architecture in particular. The result is a nmt library used to conduct experiments with different model parameters. Results of the experiments are compared with system built with the statistical tool Moses.
|
|
|
Effectiveness of Machine Translation
Kvapil, Lukáš ; Reich, Pavel (referee) ; Kotásek, Miroslav (advisor)
Práce hodnotí strojový překlad z hlediska problémů kterým čelí, popisuje nejčastější metody a přístupy a s pomocí praktických ukázkek překladů, hodnotí, kvality a možností využití. Problémem jsou v první řadě odlišnosti mezi jazyky, které mohou mít odlišnou flexi, mluvnické kategorie nebo slovosled, a jsou tedy vyžadovány metody, které by tyto morfologické, gramatické a syntaktické odlišnosti zohledňovali. Další problémy jsou na úrovni sémantiky, kde musí překladače správně identifikovat význam slova a zvolit vhodný překlad. Ovšem možnosti porozumění významu jakožto i zohledňování kontextu jsou u počítačů omezené, stejně tak jako větší překladatelská rozhodnutí ohledně celého textu. Úspěšné řešení těchto problémů by vyžadovalo kompletní umělou inteligenci, která však v současnosti není k dispozici. Nejvyšší úrovně umělé inteligence dosahují patrně překladače, používající neuronové sítě, což je nejmodernější metoda strojového překladu, kterou již používají i některé běžně dostupné internetové překladače. Praktická ukázka na několika typech textů, přeložených z Angličtiny do Češtiny a naopak pomocí Google Translate ukázala, že strojový překlad pomocí neuronových sítí se velice úspěšně vypořádává s množstvím jazykových odlišností a dovede překládat termíny a delší fráze, stále ovšem produkuje množství chyb často bez předvídatelné příčiny a jeho chování je celkově nekonzistentí a citlivé na změny. Doposud tedy neexistuje universální systém, který by byl schopen plně automatického překladu vysoké kvality. Aplikace strojového překladu je vždy omezena buď sníženou kvalitou textu, nebo nutností návrhu systému pouze pro specifický účel a omezené pole působnosti. Strojový překlad tedy může zvyšovat efektivitu překladu jako takového pří nutnosti lidského zapojení, ale v dohledné době nenahradí lidské překladatele.
|
|
|
Bilingual Dictionary Based Neural Machine Translation
Tikhonov, Maksim ; Beneš, Karel (referee) ; Kesiraju, Santosh (advisor)
Vývoj v oblasti strojového překladu v posledních několika letech ukázal, že moderní neuronové systémy strojového překladu jsou schopny poskytovat výsledky vynikající kvality. Pro získání takového systému je však zapotřebí velké množství paralelních trénovacích dat, která nejsou pro většinu jazyků k dispozici. Jedním ze způsobů zlepšení kvality strojového překladu pro low-resource jazyky je augmentace dat. Tato práce zkoumá úlohu neuronového strojového překladu založeného na bilingválních slovnících, jejíž základem je použití augmentační techniky umožňující generování zašuměných dat na základě bilingválních slovníků. Mým cílem bylo prozkoumat možnosti systémů založených na této metodě na různých jazykových párech a za různých výchozích podmínek a následně porovnat získané výsledky s výsledky tradičních neuronových systémů strojového překladu.
|
|
|
Machine Translation Using Syntactic Analysis
Popel, Martin ; Žabokrtský, Zdeněk (advisor) ; Ircing, Pavel (referee) ; Čmejrek, Martin (referee)
Machine Translation Using Syntactic Analysis Martin Popel This thesis describes our improvement of machine translation (MT), with a special focus on the English-Czech language pair, but using techniques ap- plicable also to other languages. First, we present multiple improvements of the deep-syntactic system TectoMT. For instance, we implemented a novel context-sensitive translation model, comparing several machine learning ap- proaches. We also adapted TectoMT to other domains and languages. Sec- ond, we present Transformer - a state-of-the-art end-to-end neural MT sys- tem. We analyzed in detail the effect of several training hyper-parameters. With our optimized training, the system outperformed the best result on the WMT2017 test set by +1.0 BLEU. We further extended this system by uti- lization of monolingual training data and by a new type of backtranslation (+2.8 BLEU compared to the baseline system). In addition, we leveraged domain adaptation and the effect of "translationese" (i.e which language in parallel data is the original and which is the translation) to optimize MT systems for original-language and translated-language data (gaining further +0.2 BLEU). Our improved neural MT system significantly (p¡0.05) out- performed all other systems in English-Czech and Czech-English WMT2018 shared tasks,...
|
|
|
Multi-Target Machine Translation
Ihnatchenko, Bohdan ; Bojar, Ondřej (advisor) ; Kocmi, Tom (referee)
In international and highly-multilingual environments, it often happens, that a talk, a document, or any other input, needs to be translated into a massive number of other languages. However, it is not always an option to have a distinct system for each possible language pair due to the fact that training and operating such kind of translation systems is computationally demanding. Combining multiple target languages into one translation model usually causes a de- crease in quality of output for each its translation direction. In this thesis, we experiment with combinations of target languages to see, if a specific grouping of them can lead to better results than just randomly selecting target languages. We build upon a recent research on training a multilingual Transformer model without any change to its architecture: adding a target language tag to the source sentence. We trained a large number of bilingual and multilingual Transformer models and evaluated them on multiple test sets from different domains. We found that in most of the cases grouping related target languages into one model caused a better performance compared to models with randomly selected languages. However, we also found that a domain of the test set, as well as domains of data sampled into the training set, usu- ally have a more...
|
|
|
Low-Resource Neural Machine Translation
Filo, Denis ; Fajčík, Martin (referee) ; Jon, Josef (advisor)
This thesis deals with neural machine translation (NMT) for low-resource languages. The goal was to evaluate current techniques by using the experiments and suggest their improvements. The translation systems in this thesis used the neural network transformer architecture and were trained by the Marian framework. The selected language pairs were Slovak with Croatian and Slovak with Serbian. The subjects of the experiments were the transfer learning techniques and semi-supervised learning.
|
|
|
Multimodality in Machine Translation
Libovický, Jindřich ; Pecina, Pavel (advisor) ; Specia, Lucia (referee) ; Čech, Jan (referee)
Multimodality in Machine Translation Jindřich Libovický Traditionally, most natural language processing tasks are solved within the lan- guage, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality.
|
|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (referee) ; Smrž, Pavel (advisor)
Tato práce se zabývá zapojením mezivětného kontextu v neuronovém strojovém překladu (NMT). Dnešní běžné NMT systémy překládají jednu zdrojovou větu na jednu cílovou větu, bez jakéhokoliv ohledu na okolní text. Tento přístup je nedostačující a neodpovídá způsobu práce lidských překladatelů. Pro mnoho jazykových párů je dnes za splnění určitých (přísných) podmínek výstup NMT nerozeznatelný od lidského překladu. Jedna z těchto podmínek je, že hodnotitelé skórují přeložené věty nezávisle, bez znalosti kontextu. Při hodnocení celých dokumentů je výstup NMT stále hodnocen hůře, než lidský překlad, i v případech, kdy byl na úrovni jednotlivých vět preferován. Tato zjištění jsou motivací pro výzkum zapojení kontextu na úrovni dokumentu v NMT, je totiž možné, že na úrovni vět již není mnoho prostoru ke zlepšení, alespoň pro jazykové páry a domény bohaté na trénovací data. Tato práce shrnuje současné přístupy zapojení kontextu do překladu, několik z nich je implementováno a vyhodnoceno v rámci obecné překladové kvality i na překladu specifických fenoménů souvisejících s kontextem. Pro zhodnocení kvality jednotlivých systému byla ručně vytvořena testovací sada pro překlad z anglického do českého jazyka.
|
guest ::
