|
|
Metriky pro optimalizaci modelů strojového překladu
Macháček, Matouš ; Bojar, Ondřej (vedoucí práce) ; Popel, Martin (oponent)
Moderní automatické překladové systémy používají takzvaný loglineární model, který skládá dohromady více dílčích modelů a pomocí nich predikuje pravděpodobnost překladu dané věty. Každý dílčí model má v loglineárním modelu svojí váhu. Tyto váhy jsou dnes obecně optimalizovány na skóre automatické metriky BLEU, přestože jsou k dispozici i jiné metriky, z nichž některé korelují lépe s lidskými anotátory než metrika BLEU. V této práci zkoumáme ruzné metriky (PER, WER, CDER, TER, BLEU a SemPOS) z hlediska korelace s lidskými anotátory. Hloubeji se věnujeme metrice SemPOS a navrhujeme některé její aproximace a varianty. Uvedené metriky jsme použili v metodě MERT při optimalizaci překladového systému z angličtiny do češtiny a zkoumali jsme, jak optimalizování na ruzné automatické metriky ovlivní výslednou kvalitu systému. V rámci této práce jsme také některé metriky implementovali pro použití v metodě MERT.
|
|
|
Measures of Machine Translation Quality
Macháček, Matouš ; Bojar, Ondřej (vedoucí práce) ; Kuboň, Vladislav (oponent)
Název práce: Měření kvality strojového překladu Autor: Matouš Macháček Ústav: Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: RNDr. Ondřej Bojar, Ph.D. Abstrakt: V této práci zkoumáme manuální i automatické metody pro vy- hodnocování kvality strojového překladu. Navrhujeme manuální metodu evaluace, ve které anotátoři hodnotí místo celých vět pouze krátké úseky strojového překladu, což zjednodušuje a zefektivňuje anotaci. Provedli jsme anotační experiment a vyhodnotili jsme systémy strojového překladu podle této metody. Získané výsledky jsou velmi podobné těm z oficiálního vy- hodnocení systémů v rámci sotěže WMT14. Získanou databázi anotací dále používáme k evaluaci nových, neviděných systémů a k ladění parametrů stati- stického strojového překladače. Evaluace nových systémů ale dává nepřesné výsledky a v práci proto analyzujeme důvody tohoto neúspěchu. V rámci zkoumání automatických metod evaluace jsme dvakrát po sobě organizovali soutěž strojových metrik v rámci workshopu WMT. V této práci uvádíme výsledky z poslední soutže, diskutujeme různé metody metaevaluace a ana- lyzujeme některé zúčastněné metriky. Klíčová slova: strojový překlad, vyhodnocování kvality,...
|
|
|
Measures of Machine Translation Quality
Macháček, Matouš ; Bojar, Ondřej (vedoucí práce) ; Kuboň, Vladislav (oponent)
Název práce: Měření kvality strojového překladu Autor: Matouš Macháček Ústav: Ústav formální a aplikované lingvistiky Vedoucí diplomové práce: RNDr. Ondřej Bojar, Ph.D. Abstrakt: V této práci zkoumáme manuální i automatické metody pro vy- hodnocování kvality strojového překladu. Navrhujeme manuální metodu evaluace, ve které anotátoři hodnotí místo celých vět pouze krátké úseky strojového překladu, což zjednodušuje a zefektivňuje anotaci. Provedli jsme anotační experiment a vyhodnotili jsme systémy strojového překladu podle této metody. Získané výsledky jsou velmi podobné těm z oficiálního vy- hodnocení systémů v rámci sotěže WMT14. Získanou databázi anotací dále používáme k evaluaci nových, neviděných systémů a k ladění parametrů stati- stického strojového překladače. Evaluace nových systémů ale dává nepřesné výsledky a v práci proto analyzujeme důvody tohoto neúspěchu. V rámci zkoumání automatických metod evaluace jsme dvakrát po sobě organizovali soutěž strojových metrik v rámci workshopu WMT. V této práci uvádíme výsledky z poslední soutže, diskutujeme různé metody metaevaluace a ana- lyzujeme některé zúčastněné metriky. Klíčová slova: strojový překlad, vyhodnocování kvality,...
|
|
|
Metriky pro optimalizaci modelů strojového překladu
Macháček, Matouš ; Bojar, Ondřej (vedoucí práce) ; Popel, Martin (oponent)
Moderní automatické překladové systémy používají takzvaný loglineární model, který skládá dohromady více dílčích modelů a pomocí nich predikuje pravděpodobnost překladu dané věty. Každý dílčí model má v loglineárním modelu svojí váhu. Tyto váhy jsou dnes obecně optimalizovány na skóre automatické metriky BLEU, přestože jsou k dispozici i jiné metriky, z nichž některé korelují lépe s lidskými anotátory než metrika BLEU. V této práci zkoumáme ruzné metriky (PER, WER, CDER, TER, BLEU a SemPOS) z hlediska korelace s lidskými anotátory. Hloubeji se věnujeme metrice SemPOS a navrhujeme některé její aproximace a varianty. Uvedené metriky jsme použili v metodě MERT při optimalizaci překladového systému z angličtiny do češtiny a zkoumali jsme, jak optimalizování na ruzné automatické metriky ovlivní výslednou kvalitu systému. V rámci této práce jsme také některé metriky implementovali pro použití v metodě MERT.
|
host ::
RSS.