|
Metriky pro optimalizaci modelů strojového překladu
Macháček, Matouš ; Bojar, Ondřej (vedoucí práce) ; Popel, Martin (oponent)
Moderní automatické překladové systémy používají takzvaný loglineární model, který skládá dohromady více dílčích modelů a pomocí nich predikuje pravděpodobnost překladu dané věty. Každý dílčí model má v loglineárním modelu svojí váhu. Tyto váhy jsou dnes obecně optimalizovány na skóre automatické metriky BLEU, přestože jsou k dispozici i jiné metriky, z nichž některé korelují lépe s lidskými anotátory než metrika BLEU. V této práci zkoumáme ruzné metriky (PER, WER, CDER, TER, BLEU a SemPOS) z hlediska korelace s lidskými anotátory. Hloubeji se věnujeme metrice SemPOS a navrhujeme některé její aproximace a varianty. Uvedené metriky jsme použili v metodě MERT při optimalizaci překladového systému z angličtiny do češtiny a zkoumali jsme, jak optimalizování na ruzné automatické metriky ovlivní výslednou kvalitu systému. V rámci této práce jsme také některé metriky implementovali pro použití v metodě MERT.
|
host ::
RSS.