Original title:
Zlepšení předpovědi sociálních značek využitím Data Mining
Translated title:
Improved Prediction of Social Tags Using Data Mining
Authors:
Harár, Pavol ; Galáž, Zoltán (referee) ; Kříž, Jiří (advisor) Document type: Master’s theses
Year:
2015
Language:
slo Publisher:
Vysoké učení technické v Brně. Fakulta podnikatelská Abstract:
[slo][eng]
Diplomová práca sa zaoberá využitím Text miningu ako metódy na predikovanie značiek článkov. Práca popisuje iteratívny spôsob narábania s veľkými súbormi dát, ich rozbor, čistenie a výpočet skóre TF-IDF pre výrazy vyskytujúce sa v článku. Detailne popisuje priebeh programu naprogramovaného v jazyku Python 3.4.3. Výsledkom spracovania viac ako 1 milióna článkov databázy webovej encyklopédie Wikipédia je slovník výrazov anglického jazyka, pomocou ktorej je možné určiť n najdôležitejších výrazov vlastných článku z korpusu článkov. Relevantnosť výsledných značiek dokazuje vhodnosť použitej metódy.
This master’s thesis deals with using Text mining as a method to predict tags of articles. It describes the iterative way of handling big data files, parsing the data, cleaning the data and scoring of terms in article using TF-IDF. It describes in detail the flow of program written in programming language Python 3.4.3. The result of processing more than 1 million articles from Wikipedia database is a dictionary of English terms. By using this dictionary one is capable of determining the most important terms from article in corpus of articles. Relevancy of consequent tags proves the method used in this case.
Keywords:
Data mining; iterative parsing; Python; scoring; tags; Text mining; TF-IDF
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/39521