Název: Přibližná extrakce frázové tabulky z velkého paralelního korpusu
Překlad názvu: Přibližná extrakce frázové tabulky z velkého paralelního korpusu
Autoři: Przywara, Česlav ; Bojar, Ondřej (vedoucí práce) ; Tamchyna, Aleš (oponent)
Typ dokumentu: Diplomové práce
Rok: 2013
Jazyk: eng
Abstrakt: [eng] [cze]
The aim of this work is to examine the applicability of an algorithm for approximate frequency counting to act as an on-the-fly filter in the process of phrase table extraction in Statistical Machine Translation systems. Its implementation allows for the bulk of extracted phrase pairs to be much reduced with no significant loss to the ultimate quality of the phrase-based translation model as measured by the state-of-the-art evaluation measure BLEU. The result of this implementation is a fully working program, called eppex, capable of acting as an alternative to the existing tools for phrase table creation and filtration that are part of the open-source SMT system Moses. A substantial part of this work is devoted to the benchmarking of both the runtime performance and the quality of produced phrase tables achieved by the program when confronted with parallel training data comprised of 2 billions of words. Powered by TCPDF (www.tcpdf.org) Cílem této práce je ověření praktické použitelnosti algoritmu pro přibližné počítání četností jako základu pro implementaci filtru frázových tabulek v systémech pro statistický strojový překlad. Algoritmus navíc dokáže odstranit fráze s nízkou četností přímo během extrakce tabulky. Provedená implementace umožnila vytvářet značně filtrované tabulky, které však v měřeních kvality překladu pomocí automatické metriky BLEU dosahovaly obdobných skóre jako nefiltrované tabulky. Důležitým výsledkem této práce je plně funkční program pro extrakci frázových tabulek, pojmenovaný eppex, schopný nahradit stávající programy se stejnou funkčností, jež jsou součástí volně šířitelného systému pro statistický strojový překlad Moses. Značná část práce je věnována experimentálnímu vyhodnocení systémových nároků programu a kvality vytvářených frázových tabulek, při kterém jsou jako trénovací data použity paralelní korpusy o celkové velikosti 2 miliard slov. Powered by TCPDF (www.tcpdf.org)
Klíčová slova: epochální extrakce; frázová překladová tabulka; Lossy Counting algoritmus; epochal extraction; Lossy Counting algorithm; phrase translation table

Instituce: Fakulty UK (VŠKP) (web)
Informace o dostupnosti dokumentu: Dostupné v digitálním repozitáři UK.
Původní záznam: http://hdl.handle.net/20.500.11956/52071

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-321388


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Univerzita Karlova > Fakulty UK (VŠKP)
Vysokoškolské kvalifikační práce > Diplomové práce