|
|
Hledání sémantické informace v textových datech s využitím latentní analýzy
Řezníček, Pavel
První část práce se věnuje teoretickému úvodu do vybraných metod text miningu - Information retrieval, klasifikace a shlukování. Je představena metoda LSA jakožto pokročilejší model pro reprezentaci textových dat. Dále jsou v práci popsána zdrojová data a metody pro jejich předzpracování a přípravu použité za účelem zvýšení efektivity text miningových metod. Pro jednotlivé oblasti text miningu jsou definovány hodnotící metriky a jsou představeny použité již existující, případně nově implementované, programy. Výsledky experimentů, srovnávajících vliv různého předzpracování a využití odlišných modelů zdrojových dat, jsou následně přehledně demonstrovány a v závěru práce diskutovány.
|
|
|
Automatizace generování stopslov
Krupník, Jiří
Práce se zabývá automatizací generování stopslov, což je jeden ze způsobů předzpracování textových dokumentů. Zkoumá vliv odstraňování těchto slov na výsledky úloh z oblasti dolování znalostí (klasifikace a shlukování). Prvně je zde popsána problematika dolování znalostí z textových dokumentů, včetně rozboru používaných algoritmů. Detailně jsou zde popsány metody pro vytváření doménově nezávislých seznamů stopslov. Dále jsou prezentovány a diskutovány výsledky implementace metod, kterých bylo dosaženo při testování na kolekci rozsáhlých dokumentů ze zkoumané oblasti.
|
|
|
Aplikace metod předzpracování při dolování znalostí z textových dat
Kotíková, Michaela
Diplomová práce se zabývá předzpracováním textu při dolování znalostí z těchto nestrukturovaných textových dat. V rámci práce je navržena a realizována série experimentů zaměřených na text mining. Na základě výstupu těchto experimentů je zhodnocen vliv různých technik předzpracování dat na průběh celého procesu dolování znalostí a na jeho výsledky.
|
|
| |
|
| |
|
|
Repozitář nalezených výsledků úloh dobývaní asociačních pravidel v projektu SEWEBAR
Marek, Tomáš ; Šimůnek, Milan (vedoucí práce) ; Svátek, Vojtěch (oponent)
Tato diplomová práce se zaměřuje na návrh a implementaci aplikace I:ZI Repository. Aplikace I:ZI Repository poskytuje správu úložiště úloh dobývání znalostí z databází a jejich výsledků a funkce pro prohledávání tohoto úložiště. I:ZI Repository je REST API postavené na Java EE technologii, pro ukládání úloh DZD je použita Berkeley XML databáze. I:ZI Repository vznikla jako nová verze starší aplikace XQuery search. Oproti předchozí aplikaci došlo ke kompletnímu přepracování struktury aplikace s důrazem na zachování funkčnosti z předchozí aplikace. Dále byly přidány možnosti zadání obecnějšího vyhledávacího dotazu, přidány fuzzy přístupy do vyhledávání a možnost shlukovat výsledky vyhledávání. Součástí implementace je i vylepšené logování chodu aplikace zaměřené na zaznamenávání příchozích vyhledávacích dotazů a odchozích výsledků vyhledávání. Součástí práce jsou i výsledky testování aplikace.
|
|
|
Zpracování asociačních pravidel metodou vícekriteriálního shlukování
Kejkula, Martin ; Rauch, Jan (vedoucí práce) ; Berka, Petr (oponent) ; Máša, Petr (oponent)
Cílem této práce je navrhnout metodu, která by umožňovala zpracovat množinu asociačních pravidel: měla by poskytovat strukturovaný, přehledný popis celé množiny asociačních pravidel, získané libovolnou implementací nějakého algoritmu pro hledání asociačních pravidel v analyzovaných datech. Měla by uživateli poskytnout přehled o množině vygenerovaných asociačních pravidel a usnadnit její zpracování. Způsob dosažení cíle, zvolený v této práci je: rozdělit množinu asociačních pravidel do podmnožin. Asociační pravidla v jedné podmnožině by si měla být vzájemně více podobná než pravidla ze dvou různých podmnožin. Hlavním přínosem této práce je nová originální metoda zpracování asociačních pravidel. Vedlejším přínosem práce je rozsáhlá rešerše publikovaných metod zpracování asociačních pravidel. Metoda vícekriteriálního shlukování poskytuje rozdělení asociačních pravidel do skupin vzájemně si podobných pravidel (tzv. "přirozených shluků"), kterého není možné dosáhnout žádnou z doposud známých metod. Metoda používá nový způsob reprezentace asociačních pravidel, inspirovaný vektorovým modelem, používaným v oblasti zpracování informačních fondů (information retrieval). V práci je popsán převod asociačních pravidel do vektorového modelu, analogickému k vektorové reprezentaci dokumentů. Jádrem metody je dvojí, na sobě nezávislé shlukování asociačních pravidel: shlukování kvantitativních charakteristik (jako jsou např. spolehlivost, podpora, faktor zajímavosti) a cedentální shlukování asociačních pravidel (inspirované shlukováním dokumentů). Struktura práce: na úvodní kapitolu navazuje kapitola, popisující proces dobývání znalostí z databází. Proces je popsán na základě vybraných metodik (CRISP-DM, SEMMA, GUHA, RAMSYS).Třetí kapitola je věnována pojmu asociační pravidlo a charakteristikám asociačních pravidel. Další kapitola obsahuje rešerši současných metod post-processingu asociačních pravidel. Pátá kapitola seznamuje s problematikou shlukování. Šestá kapitola obsahuje popis metody vícekriteriálního shlukování asociačních pravidel. Další kapitola se věnuje experimentům. Osmá kapitola se zabývá možnostmi využití metody.
|
|
|
Využití principů business intelligence v dotazníkových šetřeních
Hanuš, Václav ; Maryška, Miloš (vedoucí práce) ; Novotný, Ota (oponent)
Tato práce je zaměřena na praktické použití nástrojů pro dolování dat a business intelligence. Mezi hlavní cíle patří zpracování zdrojových dat do vhodné podoby a zkušební nasazení vybraného nástroje na testovací úloze. Jako vstupní data posloužila databáze vzniklá zpracováním dotazníkových šetření, užitých pro ověření úrovně výuky IT a ekonomických předmětů napříč českými vysokými školami. Tyto data jsem následně upravil tak, aby je bylo možné zpracovat pomocí nástrojů pro dolování dat, které jsou obsaženy v balíku software Microsoft SQL Server 2008. Pro ověření možností jsem zvolil dvě úlohy. První úloha byla zaměřena na shlukování s využitím algoritmu Microsoft Clustering. Její náplní bylo roztřídění škol do shluků na základě jednotlivých atributů odpovídajících skupinám předmětů ohodnocených počty kreditů z nich získaných. Při řešení nastaly dva problémy. Bylo třeba snížit počet skupin předmětů, jinak hrozilo, že pro shlukování vznikne větší množství shluků, než dovedu pojmenovat. Dalším problémem bylo nestejnoměrné ohodnocení jednotlivých skupin předmětů a od toho se odvíjející problémy s váhami jednotlivých atributů. Řešení bylo nakonec vcelku jednoduché. Ve skupinách předmětů jsem vybral atributy, které se obsahově blíží nebo se překrývají a ty jsem následně sloučil do obecnějších kategorií. Co se týče následného nestejnoměrného rozložení kreditů použitých pro ohodnocení, pomocí parametru jsem každou nově vzniklou skupinu předmětů převedl na stupnici 0-5. Ve druhé úloze jsem se zaměřil na předpověď budoucí hodnoty a využití algoritmů Microsoft Logistic Regresion a Microsoft Neural Network. Zde bylo cílem provést předpověď počtu studujících studentů. K dispozici byla historická data z let 2001-2009. Na jejich základě byl sestrojen prediktivní model, jehož výsledky jsem mohl porovnat se skutečnými daty. Také bylo v rámci řešení potřeba upravit zdrojová data tak, aby umožnila nasazení testovaného nástroje. Původní data byla umístěna v pohledu namísto tabulky a navíc data obsahovala i záznamy nejenom o studujících, ale i různě roztříděné. Například podle pohlaví. Řešením bylo tedy vytvoření nové tabulky, do které se umístily jen záznamy podstatné pro řešenou úlohu. Posledním problém nastal při pokusu o predikci roku 2010, ke kterému nebyla skutečná data. Software nahlásil chybu a predikci neprovedl. Při mém pátrání, jsem na technické podpoře společnosti Microsoft nalezl několik odkazů na podobný problém, takže je pravděpodobné, že se jedná o systémovou chybu, která bude opravená v rámci aktualizace. Splnění těchto úkolů mi poskytlo dostatek indicií pro ověření možností softwaru dodávaného společností Microsoft. Po mých předchozích školních zkušenostech se software pro dolování dat od společností IBM (dříve SSPS) a SAS tak mohu dobře porovnat, zda se prověřovaný nástroj těmto hlavním hráčům na trhu dokáže vyrovnat a zda je vhodný pro seriózní využití.
|
|
| |
|
|
Web Analytics: Identifikace nových trendů
Slavík, Michal ; Kliegr, Tomáš (vedoucí práce) ; Nekvasil, Marek (oponent)
Tématem práce jsou nástroje pro analýzu návštěvnosti webových stránek a cílem je identifikace trendů v tomto tržním odvětví i předmětu vědeckého zájmu. V oblasti teorie je cíle dosaženo analýzou dostupné literatury, znalosti z praxe jsou zjišťovány terénním výzkumem, jehož účastníky jsou zástupci tří firem působících v oblasti SEO. Identifikovány jsou tyto trendy: nárůst poptávky po aplikacích Web Analytics, zvyšování zájmu o vzdělávací kurzy, rozšiřování záběru aplikací na měření sociálních sítí a Webu 2.0 a ve sféře výzkumu využití sémantických informací. Práce také nastiňuje principy technik zkoumaných v oblasti Web Usage Miningu: asociačních pravidel, shlukování, sekvenčních vzorů a zobecňování dotazů. Dle výsledků terénního výzkumu projevila praxe největší zájem o techniku shlukování. První dvě kapitoly seznamují čtenáře s oblastí Web Analytics a současnými aplikacemi. Třetí kapitola rozebírá oblasti teoretického zkoumání, pátá kapitola podává výsledky terénního výzkumu. Čtvrtá kapitola upozorňuje na terminologickou nejednotnost v oblasti.
|
host ::
RSS.