|
|
Using Explicit Semantic Analysis to Link in Multi-Lingual Document Collections
Žilka, Lukáš ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Keeping links in quickly growing document collections up-to-date is problematic, which is exacerbated by their multi-linguality. We utilize Explicit Semantic Analysis to help identify relevant documents and links across languages without machine translation. We designed and implemented several approaches as a part of our link discovery system. Evaluation was conducted on Chinese, Czech, English and Spanish Wikipedia. Also, we discuss the evaluation methodology for such systems and assess the agreement between links on different versions of Wikipedia. In addition, we evaluate properties of Explicit Semantic Analysis which are important for its practical use.
|
|
|
Využití explicitní sémantické analýzy pro detekci podobností ve zdrojových kódech
Všianský, Richard
Diplomová práce se zabývá využitím explicitní sémantické analýzy v odhalovaní podobností ve zdrojových kódech v kontextu plagiátorství. Pro vybudování sémantického interpretu bylo využito 40 829 článků z Wikipedie a analýza se testovala na 25 speciálně vytvořených souborech za pomocí plagiátorských technik a pěti staženými napříč pěti jazyky: Java, Javascript, PHP, C++ a Python. Další dataset o velikosti 15 stažených souborů testoval náhodné shody. Prokázalo se, že analýza je schopna na daném datasetu odhalit podobnosti i mezi odlišnými jazyky. K upřesnění výsledků byl použit Greedy String Tiling algoritmus a společně s explicitní sémantickou analýzou je implementován do systému Anton.
|
|
|
Using Explicit Semantic Analysis to Link in Multi-Lingual Document Collections
Žilka, Lukáš ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Keeping links in quickly growing document collections up-to-date is problematic, which is exacerbated by their multi-linguality. We utilize Explicit Semantic Analysis to help identify relevant documents and links across languages without machine translation. We designed and implemented several approaches as a part of our link discovery system. Evaluation was conducted on Chinese, Czech, English and Spanish Wikipedia. Also, we discuss the evaluation methodology for such systems and assess the agreement between links on different versions of Wikipedia. In addition, we evaluate properties of Explicit Semantic Analysis which are important for its practical use.
|
host ::
RSS.