|
|
Exploring Benefits of Transfer Learning in Neural Machine Translation
Kocmi, Tom ; Bojar, Ondřej (vedoucí práce) ; van Genabith, Josef (oponent) ; Cuřin, Jan (oponent)
Název práce: Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu Autor: Tom Kocmi Ústav: Ústav formální a aplikované lingvistiky Vedoucí disertační práce: doc. RNDr. Ondřej Bojar, Ph.D., Ústav formální a aplikované lingvistiky Klíčová slova: transfer znalostí, strojový překlad, hluboké neuronové sítě, jazyky s málo zdroji Abstrakt: Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s ne- dostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů. Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů. Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře: a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení. Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik transferu...
|
host ::
RSS.