Original title: Mining Parallel Corpora from the Web
Translated title: Mining Parallel Corpora from the Web
Authors: Kúdela, Jakub ; Holubová, Irena (advisor) ; Helcl, Jindřich (referee)
Document type: Master’s theses
Year: 2016
Language: eng
Abstract: [eng] [cze]
Title: Mining Parallel Corpora from the Web Author: Bc. Jakub Kúdela Author's e-mail address: jakub.kudela@gmail.com Department: Department of Software Engineering Thesis supervisor: Doc. RNDr. Irena Holubová, Ph.D. Supervisor's e-mail address: holubova@ksi.mff.cuni.cz Thesis consultant: RNDr. Ondřej Bojar, Ph.D. Consultant's e-mail adress: bojar@ufal.mff.cuni.cz Abstract: Statistical machine translation (SMT) is one of the most popular ap- proaches to machine translation today. It uses statistical models whose parame- ters are derived from the analysis of a parallel corpus required for the training. The existence of a parallel corpus is the most important prerequisite for building an effective SMT system. Various properties of the corpus, such as its volume and quality, highly affect the results of the translation. The web can be considered as an ever-growing source of considerable amounts of parallel data to be mined and included in the training process, thus increasing the effectiveness of SMT systems. The first part of this thesis summarizes some of the popular methods for acquiring parallel corpora from the web. Most of these methods search for pairs of parallel web pages by looking for the similarity of their structures. How- ever, we believe there still exists a non-negligible amount of parallel... Názov: Rafinácia paralelných korpusov z webu Autor: Bc. Jakub Kúdela E-mailová adresa autora: jakub.kudela@gmail.com Katedra: Katedra Softwarového Inženýrství Vedúci práce: Doc. RNDr. Irena Holubová, Ph.D. E-mailová adresa vedúceho: holubova@ksi.mff.cuni.cz Konzultant práce: RNDr. Ondřej Bojar, Ph.D. E-mailová adresa konzultanta: bojar@ufal.mff.cuni.cz Abstrakt: Štatistický strojový preklad (SMT, statistical machine translation) je v súčasnosti jeden z najpopulárnejších prístupov ku strojovému prekladu. Tento prístup využíva štatistické modely, ktorých parametre sú získané z analýzy para- lelných korpusov potrebných pre tréning. Existencia paralelného korpusu je naj- d^oležitejšou prerekvizitou pre vytvorenie účinného SMT prekladača. Viaceré vlas- nosti tohto korpusu, ako napríklad objem a kvalita, ovplyvňujú výsledky prekladu do značnej miery. Web m^ožeme považovat' za neustále rastúci zdroj značného množstva paralelných dát, ktoré m^ožu byt' rafinované a zahrnuté do trénovacieho procesu, čím m^ožu zdokonalit' výsledky SMT prekladača. Prvá čast' práce suma- rizuje niektoré z rozšírených metód pre získavanie paralelného korpusu z webu. Väčšina z metód hl'adá páry paralelných webových stránok podl'a podobnosti ich...
Keywords: bilingual document alignment; locality-sensitive hashing; mining parallel corpora; word2vec; bilingválne dokumentové zarovnanie; lokálne-senzitívne hašovanie; rafinácia paralelných korpusov; word2vec

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/78076

Permalink: http://www.nusl.cz/ntk/nusl-347592


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Master’s theses