Original title:
Sémantická podobnost článků
Translated title:
Semantic Similarity of Articles
Authors:
Veselovský, Martin ; Otrusina, Lubomír (referee) ; Kouřil, Jan (advisor) Document type: Bachelor's theses
Year:
2014
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
Tato práce se zabývá modelováním struktury sémantických vztahů mezi články v anglickém jazyce. Představuje existující metody pro reprezentaci a výpočet podobnosti článků. Základnou metodou je vektorový model, který reprezentuje dokument jako vektor slov. Jednotlivým slovům jsou v rámci modelu určené váhy důležitosti metodou TF-IDF. Dále jsou zde popsány pokročilé metody modelování a to Latentní sémantická analýza (LSA) a Latentní Dirichletova alokace (LDA). Práce se také zabývá články, které jsou sémanticky anotované, přičemž váhy anotačních slov jsou vypočítány na základe metody SGD. Vyhodnocení výsledků probíhá na připraveném testovacím korpusu dokumentů, ke kterému existuje referenční hodnocení podobnosti.
This bachelor's thesis deals with modelling of structure of semantic relationships among articles in English language. There are introduced existing methods of articles representation and computation of similarity. The base method is vector space model, which represents document as vector of words. There are given weights of importance to these words using TF-IDF method. Next, there are described advanced methods of modelling, Latent semantic analysis (LSA) and Latent Dirichlet allocation (LDA). This thesis also deals with articles, which are semantically annotated, while weights of annotation words are computed by Stochastic Gradient Descent method. Evaluation of results takes place on the prepared test corpus of documents to which there is reference similarity evaluation.
Keywords:
cross validation; Elasticsearch; Gensim; LDA; LSA; natural language processing; Python; semantic annotations; semantic similarity; SGD; TF-IDF; vector space model; Elasticsearch; Gensim; křížová validace; LDA; LSA; Python; SGD; sémantická podobnost; sémantické anotace; TF-IDF; vektorový model; zpracování přirozeného jazyka
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/56420