Original title:
Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu
Translated title:
Exploring Benefits of Transfer Learning in Neural Machine Translation
Authors:
Kocmi, Tom ; Bojar, Ondřej (advisor) ; van Genabith, Josef (referee) ; Cuřin, Jan (referee) Document type: Doctoral theses
Year:
2019
Language:
eng Abstract:
[eng][cze] Title: Exploring Benefits of Transfer Learning in Neural Machine Translation Author: Tom Kocmi Department: Institute of Formal and Applied Linguistics Supervisor: doc. RNDr. Ondřej Bojar, Ph.D., Institute of Formal and Applied Linguistics Keywords: transfer learning, machine translation, deep neural networks, low-resource languages Abstract: Neural machine translation is known to require large numbers of parallel train- ing sentences, which generally prevent it from excelling on low-resource lan- guage pairs. This thesis explores the use of cross-lingual transfer learning on neural networks as a way of solving the problem with the lack of resources. We propose several transfer learning approaches to reuse a model pretrained on a high-resource language pair. We pay particular attention to the simplicity of the techniques. We study two scenarios: (a) when we reuse the high-resource model without any prior modifications to its training process and (b) when we can prepare the first-stage high-resource model for transfer learning in advance. For the former scenario, we present a proof-of-concept method by reusing a model trained by other researchers. In the latter scenario, we present a method which reaches even larger improvements in translation performance. Apart from proposed techniques, we focus on an...Název práce: Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu Autor: Tom Kocmi Ústav: Ústav formální a aplikované lingvistiky Vedoucí disertační práce: doc. RNDr. Ondřej Bojar, Ph.D., Ústav formální a aplikované lingvistiky Klíčová slova: transfer znalostí, strojový překlad, hluboké neuronové sítě, jazyky s málo zdroji Abstrakt: Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s ne- dostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů. Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů. Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře: a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení. Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik transferu...
Keywords:
deep neural networks; low-resource languages; machine translation; transfer learning; hluboké neuronové sítě; jazyky s málo zdroji; strojový překlad; transfer znalostí
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/115854