|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
This works explores means of utilizing extra-sentential context in neural machine translation (NMT). Traditionally, NMT systems translate one source sentence into one target sentence, without any notion of the surrounding text. This is clearly insufficient and different from how humans translate text. For many high-resource language pairs, translations produced by NMT may be under certain, strict conditions, nearly indistinguishable from human produced translations. One of these conditions is that evaluators score the sentences separately. When evaluating whole documents, even the best NMT systems still fall short of human translators. This motivates the research of employing document level context in NMT, since there might not be much more space left to improve translations on the sentence level, at least for high resource languages and domains. This work summarizes recent state-of-the art approaches to context utilization, implements several of them, evaluates them both in terms of general translation quality and on specific context related phenomena, and analyzes their advantages and shortcomings. A hand-made context phenomena test set for English to Czech translation was created for this task.
|
|
|
Neuronový strojový překlad pro jazykové páry s malým množstvím trénovacích dat
Filo, Denis ; Fajčík, Martin (oponent) ; Jon, Josef (vedoucí práce)
Táto práca sa zaoberá neurónovým strojovým prekladom pre tzv. low-resource jazyky. Cieľom bolo pomocou experimentov vyhodnotiť súčasné techniky a navrhnúť ich vylepšenia. Prekladové systémy v tejto práci využívali architektúru neurónových sietí transformer a boli natrénované pomocou frameworku Marian. Vybranými jazykovými pármi pre experimenty boli slovenčina s chorvátčinou a slovenčina so srbčinou. V experimentoch boli predmetom skúmania techniky transfer learning a semi-supervised learning.
|
|
|
Effectiveness of Machine Translation
Kvapil, Lukáš ; Reich, Pavel (oponent) ; Kotásek, Miroslav (vedoucí práce)
The thesis considers machine translation(MT) in terms of difficulties it deals with, describes the most common methods and, with practical examples of MT, evaluates its quality and possible applications. In the first place, the MT has to deal with differences between languages, which can have different inflection, grammatical categories and syntax. Methods to deal with morphological, grammatical and syntactical differences are therefore required. Another problem is on the level of semantics; the MT systems must successfully identify meaning of words and choose appropriate translation. However, the computers have only limited capability in understanding of the meaning and considering context, as well as in making greater decisions about the whole text. To successfully deal with all problems of translation, a complete artificial inteligence would be required, which is not yet available. The most advanced in terms of AI seems to be the neural machine translation, which is the most modern method already used by online translators. The practical example of translation of several types of texts from English to Czech (and from CS to EN) with Google Translate shows that NMT can cope with many language differences and it can often successfully translate terminology and longer phrases, but it still produces a large number of mistakes, reason for which cannot be observed directly, and its behavior is inconsistent and sensitive to any change. To this day, there is still no universal system that would be able to produce Fully Automatic High-Quality Translation. MT application is restricted either by reduced quality of the output or by designing MT system only for specific field or purpose. MT can overall improve translation efficiency, while human involvement is required, but it will not replace human translators in the near future.
|
|
|
Machine Translation Using Syntactic Analysis
Popel, Martin ; Žabokrtský, Zdeněk (vedoucí práce) ; Ircing, Pavel (oponent) ; Čmejrek, Martin (oponent)
Strojový překlad s využitím syntaktické analýzy Martin Popel Tato práce popisuje zlepšení anglicko-českého a česko-anglického strojo- vého překladu pomocí metod, které lze použít i na další jazyky. V první části je popsáno několik zlepšení hloubkově-syntaktického překladače TectoMT, například rozšíření pro další jazyky a domény nebo implementace nového typu překladových modelů využívajících kontext a různé metody strojového učení. V druhé části je popsán neuronový překladač Transformer a jeho vy- lepšení. Po detailní analýze vlivu různých hyperparametrů, bylo optimali- zováno trénování systému tak, že dosáhl o 1.0 BLEU lepšího překladu než nejlepší systém v soutěži WMT2017. Využitím jednojazyčných dat cílového jazyka pomocí nového typu zpětného překladu bylo dosaženo dalšího zlep- šení kvality překladu o 2.8 BLEU. Využitím doménové adaptace zohledňující "překladštinu" (translationese) - tedy zohledněním toho, zda paralelní data jsou původně psána česky, nebo anglicky - byl výsledný systém vylepšen o dalších 0.2 BLEU. Tento výsledný neuronový překladač byl signifikantně lepší (p<0.05) než všechny ostatní anglicko-české a česko-anglické překladače v soutěži WMT2018. Podle výsledků ručního hodnocení byla kvalita tohoto strojového překladu dokonce vyšší než kvalita lidského referenčního překladu.
|
|
|
Neuronový strojový překlad pro jazykové páry s malým množstvím trénovacích dat
Filo, Denis ; Fajčík, Martin (oponent) ; Jon, Josef (vedoucí práce)
Táto práca sa zaoberá neurónovým strojovým prekladom pre tzv. low-resource jazyky. Cieľom bolo pomocou experimentov vyhodnotiť súčasné techniky a navrhnúť ich vylepšenia. Prekladové systémy v tejto práci využívali architektúru neurónových sietí transformer a boli natrénované pomocou frameworku Marian. Vybranými jazykovými pármi pre experimenty boli slovenčina s chorvátčinou a slovenčina so srbčinou. V experimentoch boli predmetom skúmania techniky transfer learning a semi-supervised learning.
|
|
|
Multimodality in Machine Translation
Libovický, Jindřich ; Pecina, Pavel (vedoucí práce) ; Specia, Lucia (oponent) ; Čech, Jan (oponent)
Multimodalita ve strojovém překladu Jindřich Libovický Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti...
|
|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
This works explores means of utilizing extra-sentential context in neural machine translation (NMT). Traditionally, NMT systems translate one source sentence into one target sentence, without any notion of the surrounding text. This is clearly insufficient and different from how humans translate text. For many high-resource language pairs, translations produced by NMT may be under certain, strict conditions, nearly indistinguishable from human produced translations. One of these conditions is that evaluators score the sentences separately. When evaluating whole documents, even the best NMT systems still fall short of human translators. This motivates the research of employing document level context in NMT, since there might not be much more space left to improve translations on the sentence level, at least for high resource languages and domains. This work summarizes recent state-of-the art approaches to context utilization, implements several of them, evaluates them both in terms of general translation quality and on specific context related phenomena, and analyzes their advantages and shortcomings. A hand-made context phenomena test set for English to Czech translation was created for this task.
|
|
|
Machine Translation Using Syntactic Analysis
Popel, Martin ; Žabokrtský, Zdeněk (vedoucí práce) ; Ircing, Pavel (oponent) ; Čmejrek, Martin (oponent)
Strojový překlad s využitím syntaktické analýzy Martin Popel Tato práce popisuje zlepšení anglicko-českého a česko-anglického strojo- vého překladu pomocí metod, které lze použít i na další jazyky. V první části je popsáno několik zlepšení hloubkově-syntaktického překladače TectoMT, například rozšíření pro další jazyky a domény nebo implementace nového typu překladových modelů využívajících kontext a různé metody strojového učení. V druhé části je popsán neuronový překladač Transformer a jeho vy- lepšení. Po detailní analýze vlivu různých hyperparametrů, bylo optimali- zováno trénování systému tak, že dosáhl o 1.0 BLEU lepšího překladu než nejlepší systém v soutěži WMT2017. Využitím jednojazyčných dat cílového jazyka pomocí nového typu zpětného překladu bylo dosaženo dalšího zlep- šení kvality překladu o 2.8 BLEU. Využitím doménové adaptace zohledňující "překladštinu" (translationese) - tedy zohledněním toho, zda paralelní data jsou původně psána česky, nebo anglicky - byl výsledný systém vylepšen o dalších 0.2 BLEU. Tento výsledný neuronový překladač byl signifikantně lepší (p<0.05) než všechny ostatní anglicko-české a česko-anglické překladače v soutěži WMT2018. Podle výsledků ručního hodnocení byla kvalita tohoto strojového překladu dokonce vyšší než kvalita lidského referenčního překladu.
|
|
|
Spojité reprezentace vět v neuronovém strojovém překladu
Cífka, Ondřej ; Bojar, Ondřej (vedoucí práce) ; Rosa, Rudolf (oponent)
Nedávné pokroky ve zpracování přirozeného jazyka pomocí hlubokých neuronových sítí daly vzniknout mnoha metodám získávání spojitých vektorových reprezentací textových dat. Jako jedna z těchto metod může posloužit neuronový strojový překlad, extrahujeme-li ze systému vnitřní reprezentaci vstupní věty. Nejmodernější neuronové překladové systémy jsou však založeny na mechanismu pozornosti (attention), kdy systém reprezentaci věty jako celku již vůbec nevytváří a reprezentaci tak není možné získat. V této práci navrhujeme a empiricky vyhodnocujeme nové techniky, které mají za cíl toto omezení překonat. Nejprve popisujeme stávající metody získávání a vyhodnocování větných reprezentací a rovněž představujeme dvě nové metody vyhodnocení. Dále popisujeme úpravy architektur pro strojový překlad, které umožní větné reprezentace získávat. V experimentální části tyto reprezentace analyzujeme a vyhodnocujeme je pomocí široké škály metrik se zaměřením na reprezentaci významu. Výsledky naznačují, že čím lepší je kvalita překladu, tím hůře si větné reprezentace vedou ve vyhodnocení těmito metrikami. Ani naše pokusy o regulaci větných reprezentací pomocí víceúlohového učení nepřinesly zřetelné zlepšení v tomto vyhodnocení.
|
|
|
Effectiveness of Machine Translation
Kvapil, Lukáš ; Reich, Pavel (oponent) ; Kotásek, Miroslav (vedoucí práce)
The thesis considers machine translation(MT) in terms of difficulties it deals with, describes the most common methods and, with practical examples of MT, evaluates its quality and possible applications. In the first place, the MT has to deal with differences between languages, which can have different inflection, grammatical categories and syntax. Methods to deal with morphological, grammatical and syntactical differences are therefore required. Another problem is on the level of semantics; the MT systems must successfully identify meaning of words and choose appropriate translation. However, the computers have only limited capability in understanding of the meaning and considering context, as well as in making greater decisions about the whole text. To successfully deal with all problems of translation, a complete artificial inteligence would be required, which is not yet available. The most advanced in terms of AI seems to be the neural machine translation, which is the most modern method already used by online translators. The practical example of translation of several types of texts from English to Czech (and from CS to EN) with Google Translate shows that NMT can cope with many language differences and it can often successfully translate terminology and longer phrases, but it still produces a large number of mistakes, reason for which cannot be observed directly, and its behavior is inconsistent and sensitive to any change. To this day, there is still no universal system that would be able to produce Fully Automatic High-Quality Translation. MT application is restricted either by reduced quality of the output or by designing MT system only for specific field or purpose. MT can overall improve translation efficiency, while human involvement is required, but it will not replace human translators in the near future.
|
host ::
RSS.