Název:
Reprezentace textu a její vliv na kategorizaci
Překlad názvu:
Representation of Text and Its Influence on Categorization
Autoři:
Šabatka, Ondřej ; Chmelař, Petr (oponent) ; Bartík, Vladimír (vedoucí práce) Typ dokumentu: Diplomové práce
Rok:
2010
Jazyk:
cze
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [cze][eng]
Diplomová práce se zabývá strojovým zpracováním textových dat. V teoretické části jsou popsány problémy související se zpracováním přirozeného jazyka a dále jsou představeny různé způsoby předzpracování a reprezentace textu. Práce se také blíže věnuje použití N-gramů jako rysů pro reprezentaci dokumentů a popisuje některé algoritmy sloužící pro jejich extrakci. Další část je pak věnována přehledu používaných klasifikačních metod. V rámci praktické části práce byla navržena a implementována aplikace sloužící pro předzpracování a vytváření různých reprezentací textových dat. V rámci experimentů je pak sledován vliv těchto reprezentací na úspěšnost klasifikačních algoritmů.
The thesis deals with machine processing of textual data. In the theoretical part, issues related to natural language processing are described and different ways of pre-processing and representation of text are also introduced. The thesis also focuses on the usage of N-grams as features for document representation and describes some algorithms used for their extraction. The next part includes an outline of classification methods used. In the practical part, an application for pre-processing and creation of different textual data representations is suggested and implemented. Within the experiments made, the influence of these representations on accuracy of classification algorithms is analysed.
Klíčová slova:
algoritmus Sufixového stromu; dolování z textu; kategorizace; klasifikační metody; N-gramy; reprezentace textových dokumentů; reprezentace textu; TF-IDF; categorization; classification algorithms; N-grams; representation of text; representation of text documents; Suffix tree algorithm; text mining; TF-IDF
Instituce: Vysoké učení technické v Brně
(web)
Informace o dostupnosti dokumentu:
Plný text je dostupný v Digitální knihovně VUT. Původní záznam: http://hdl.handle.net/11012/54406