|
|
Knihovna pro podporu vývoje systému ReReSearch
Heller, Stanislav ; Otrusina, Lubomír (oponent) ; Šperka, Svatopluk (vedoucí práce)
Vývoj systému ReReSearch je značně zpomalen vzájemnou nekompatibilitou jednotlivých modulů z hlediska programových prostředků, faktem, že vývojáři často opakují již známé chyby a v neposlední řadě slabou komunikací vývojářů mezi sebou. Pro řešení uvedených problémů bylo zapotřebí vytvořit prvek, který by implementoval časté úkony a procesy, sjednotil některá rozhraní v systému a poskytl prostředky pro řešení problémů na vyšší úrovni abstrakce. Výsledkem této snahy je knihovna rrslib, která by měla sloužit všem, kteří se věnují vývoji systému ReReSearch: práci s jeho databází, extrakci, zpracování, analýze a indexaci dat z webu a z lokálních dokumentů nebo jiným částem systému ReReSearch. Používáním knihovny by mělo být docíleno konzistentnějšího, rychlejšího a méně chybového vývoje systému ReReSearch.
|
|
|
Inteligentní systém pro odpovídání na otázky
Mičulka, Jakub ; Kouřil, Jan (oponent) ; Otrusina, Lubomír (vedoucí práce)
Tato práce se zabývá problematikou zpracování otázek položených v přirozeném jazyce a jejich použitím ve vyhledávačích. Práce osvětluje základní principy funkčnosti vyhledávacích systémů s hlavním zaměřením na vyhledávání v databázích. Zásadní část článku pak tvoří popis návrhu a implementace programu questionAnswering, který slouží k vyhledávání dat v databázi projektu ReResearch. Čtenáři je vysvětlen postup při návrhu a tvorbě tohoto programu, popsány všechny zásadní problémy, jež se v průběhu této činnosti vyskytly, a nakonec jsou výsledky programu zhodnoceny pomocí standardních metrik.
|
|
| |
|
|
Vyhledávání nejčastějších n-tic slov
Holec, Matúš ; Szőke, Igor (oponent) ; Smrž, Pavel (vedoucí práce)
Tato práce se zabývá návrhem a implementací efektivního systému vyhledávání n-tic slov v textu. Systém je založen na principu dávkového zpracování, což umožňuje zpracování rozsáhlých textů. V první části práce jsou shrnuty principy stávajících metod sloužících pro extrakci n-gramů. V další části je popsán implementovaný systém a následně i jeho urychlení pomocí paralelizace dávkového zpracování. V závěru je uvedeno srovnání výkonnosti dostupných implementací s navrženým systémem, jakož i porovnání časové náročnosti sekvenčního přístupu s paralelním.
|
|
|
Zpracování češtiny v Pythonu
Novotný, Zdeněk ; Schmidt, Marek (oponent) ; Smrž, Pavel (vedoucí práce)
V této práci jsou představeny některé způsoby zpracování českého jazyka. První část obsahuje obecný popis systému NLTK. Některé později zmíněné funkce byly inspirovány funkcemi ze systému NLTK. Jsou zde popsány funkce zabývající se časováním a skloňováním slov různých slovních druhů v českém jazyce. Další část je zaměřena na zpracování textu v českém jazyce, v němž dochází k vyhledávání a označení jednotlivých vět a jiných částí. Poslední část popisuje možnost aplikace transformačních pravidel na části textu. Výsledek po aplikaci pravidel lze zobrazit graficky.
|
|
|
Czech-English Translation
Petrželka, Jiří ; Schmidt, Marek (oponent) ; Smrž, Pavel (vedoucí práce)
This Master's thesis describes the principles of statistical machine translation and demonstrates how to assemble the Moses statistical machine translation system. In the preparation step, a research on freely available bilingual Czech-English corpora is done. An empirical analysis of time requirements of multithreaded word alignment tools demonstrates that MGIZA++ can achieve a five-fold speed-up, while PGIZA++ can reach an eight-fold speed-up (compared to GIZA++).Three scenarios of morphological pre-processing of Czech training data are tested, using simple unfactored models. While pure lemmatization can aggravate the BLEU, more sophisticated approaches usually raise BLEU. The positive effect of morphological pre-processing diminishes as corpus size rises. The relation between other corpora characteristics (size, genre, extra data) and the resulting BLEU are empirically gauged. A final system is trained on the CzEng 0.9 corpus and evaluated on the testing set from WMT 2010 workshop.
|
|
|
Similarity Search in Document Collections
Jordanov, Dimitar Dimitrov ; Plchot, Oldřich (oponent) ; Smrž, Pavel (vedoucí práce)
The main objective of this work is to estimate the efficiency of the available software for similarity search in document collections and on two in particular, Semantic Vectors and Lecene's class MoreLikeThis. The paper provides a comparison of those two approaches and introduces methods that can lead to improving the quality of the results generated by a search.
|
|
|
Dolování dat v prostředí sociálních sítí
Raška, Jiří ; Očenášek, Pavel (oponent) ; Bartík, Vladimír (vedoucí práce)
Tato práce se zabývala získáváním znalostí ze sociálních médií. Konkrétním cílem této práce bylo získávání názorů na úrovní rysů z uživatelských recenzí. V teoretické části byly uvedeny metody v procesu dolování názorů a zpracování přirozeného jazyka. Hlavní částí této práce byly návrh a implementace knihovny pro dolování názorů pomocí analyzátoru přirozeného jazyka Stanford Parser a lexikální databáze WordNet. Pro identi kaci rysů byla použita závislostní gramatika, implicitní rysy byly dolovány metodou CoAR a názory byly klasi kovány algoritmem typu učení s učitelem. Na závěr byly uvedeny experimenty vyhodnocující implementované řešení a příklady použití.
|
|
|
Klasifikace dokumentů podle tématu
Marek, Tomáš ; Škoda, Petr (oponent) ; Otrusina, Lubomír (vedoucí práce)
Tato práce se zabývá problematikou klasifikace textových dokumentů, a to především metodami klasifikace textu. Hlavním cílem této práce je rozebrat dva algoritmy pro klasifikaci dokumentů, implementovat je a následně porovnat. Byl zvoleny algoritmy Bayesovského klasifikátoru a klasifikátoru založeného na metodě support vector machines (SVM), které jsou v této práci podrobně analyzovány a popsány. Jedním z cílů této práce bylo optimálně vytvořit a vybrat příznaky, které by co nejvíce napomohly klasifikaci textu. V závěru práce je provedeno množství testů, ukazujících účinnost obou klasifikátorů za různých podmínek.
|
|
|
Rozpoznávání pojmenovaných entit
Rylko, Vojtěch ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
V této práci je načrtnuta historie a jsou představena teoretická východiska rozpoznávání pojmenovaných entit, na jejichž základě je implementován systém v jazyce C++ pro detekci a zjednoznačňování pojmenovaných entit. Systém používá lokální metodu zjednoznačňování a pracuje se statistikami vytvořenými z rozsáhlých webových dat Wikilinks. S vyvinutým systémem jsou prováděny experimenty a je srovnáván s alternativními implementacemi. Experimenty prokazují dostatečnou úspěšnost a rychlost systému. Systém se účastní soutěže Entity Recognition and Disambiguation Challenge 2014.
|
host ::
RSS.