|
| |
|
|
Enriching Neural MT through Multi-Task Training
Macháček, Dominik ; Bojar, Ondřej (vedoucí práce) ; Helcl, Jindřich (oponent)
Transformer je nedávno objevený, rychlý a výkonný model pro neuronový strojový překlad. V této práci experimentujeme se sdíleným trénováním na více úlohách (tzv. multitasking) pro obohacování zdrojové strany Transformeru lingvistickou anotací, což mu poskytuje další zdroj informací, z nichž může lépe získat znalost jazyka a reálného světa. Zaměřujeme se na dva přístupy: základní model se všemi sdílenými komponentami, u nějž je multitasking implementován jednoduchou manipulací se vstupními daty, a model s více dekodéry. Testujeme sdílené modely pro strojový překlad a určování slovních druhů (POS tagging), závislostní rozbor větné syntaxe (dependency parsing) a rozpoznávání pojmenovaných entit jako sekundární úlohy. Evaluujeme je srovnáním se základním modelem pro strojový překlad a s modely obohacenými umělými, lingvisticky nerelevantními úlohami. Zaměřujeme se primárně na strojový překlad z němčiny do češtiny se standardní velikostí trénovacích dat. Přestože žádný z našich obohacených modelů signifikantně nepřekonal základní model, ukazujeme, že (i) sekundární lingvistické úlohy jsou při trénování strojového překladu užitečné; (ii) z pohledu množství dat použitých při tréninku se modely obohacené více úlohami učí rychleji; (iii) v podmínkách s omezenými zdroji multitasking signifikantně vylepší základní...
|
|
|
Automatická extrakce konkordancí z Internetu
Macháček, Dominik ; Kríž, Vincent (vedoucí práce) ; Vidová Hladká, Barbora (oponent)
Konkordance jsou věty, které obsahují zadané cílové slovo. Jsou důležitými předměty zkoumání ve všech oblastech lingvistiky. Velký počet konkordancí má také využití při řešení problému lexikální desambiguace. Jazykové korpusy ale neposkytují dostatečný počet konkordancí například některých anglických sloves. V této práci se zabýváme návrhem a implementací konzolové aplikace pro automatickou extrakci zadaného počtu anglických konkordancí. Aplikace bere na vstupu cílové slovo, slovní druh a počet vět, a následně na Internetu vyhledá a extrahuje zadaný počet anglických vět obsahujících cílové slovo jako zadaný slovní druh. Vytvořili jsme také knihovnu v Pythonu, s jejíž pomocí se dá aplikace modifikovat pro libovolný jiný jazyk, a zveřejnili jsme ji na serveru PyPI. Součástí práce je také webová stránka umožnující vyzkoušet si aplikaci přes webové rozhraní. 1
|
host ::
RSS.