|
|
Chatbot Capable of Information Search
Ďurista, Michal ; Beneš, Karel (oponent) ; Černocký, Jan (vedoucí práce)
''Chatbot'' is a very popular term in today's artificial intelligence era. Chatbots can be seen in business solutions more a more nowadays. The main goal of this thesis is to create an algorithm that is capable of information retrieval and implement it into a chatbot. The information resides on a real customer's web pages. The thesis also provides an overview of current chatbot situation along with the Microsoft technologies used for the development. The technological background of these technologies, mostly natural language processing techniques, is covered too. The thesis also describes the implementation of the algorithm and the chatbot itself as well as the real industrial environment testing process.
|
|
|
Automatické hledání vazeb mezi částmi audiovizuálních dokumentů
Sychra, Marek ; Černocký, Jan (oponent) ; Szőke, Igor (vedoucí práce)
Tato práce se zabývá tématem hledání tématu v textu. Konkrétně hledání spojitostí mezi krátkými texty a hledání hranic jednotlivých částí stejného tématu v jednom hlavním textu. Hlavní motivací výzkumu bylo zavedení do praxe a to v rámci aplikace na přednáškové materiály na FIT (provázání jednotlivých částí různých přednášek). Přístup k porovnávání textů spočívá v analýze textu a slov, která obsahuje a zjišťování významu a důležitosti jednotlivých slov. Segmentace textu toto využívá, když hledá předěly mezi tématy v textu. Obě části problému ( link detection, story segmentation ) měly velmi vysokou úspěšnost na testovacích datech (zprávy ze světových novin). Při subjektivním vyhodnocování u částí přednášek byla úspěšnost nižší, ale stále dobrá.
|
|
|
Named Entity Recognition Exploiting Sub Word Information
Dobrovodský, Patrik ; Egorova, Ekaterina (oponent) ; Kesiraju, Santosh (vedoucí práce)
The aim of this thesis is the creation of a Named Entity Recognition system based on an older state-of-the-art model and studying how subword information can improve the recognition of out-of-vocabulary words. This proposed system besides English has to support two additional Indo-European languages: German and Hungarian. This work features a named entity tagger based on deep learning using pretrained and custom-trained word embeddings, sparse features, and character embeddings extracted by a Convolutional Neural Network. All these features are then processed by sequence-based (bidirectional Long Short-Term Memory) and feature-based (Conditional Random Field) approaches with the goal of achieving a F1-score similar to the work it is based on, and to compare how far present time state-of-the-art systems have evolved. The result is a system that achieves a 90.98% F1-score on the CoNLL 2003 English test dataset using pretrained word embeddings, not far behind the original work's 91.26%. For the other two languages, the model scores 89.34% on the WikiAnn German test dataset and 93.04% on the WikiAnn Hungarian test dataset with the usage of custom-trained embeddings.
|
|
|
Analysis of Product Reviews
Klocok, Andrej ; Doležal, Jan (oponent) ; Smrž, Pavel (vedoucí práce)
Online store customers generate vast amounts of product and service information through reviews, which are an important source of feedback. This thesis deals with the creation of a system for the analysis of product and shop reviews in the czech language. It describes the current methods of sentiment analysis and builds on current solutions. The resulting system implements automatic data download and their indexing, subsequently sentiment analysis together with text summary in the form of clustering of similar sentences based on vector representation of the text. A graphical user interface in the form of a web page is also included. A review data set with a total of more than six million reviews was created during the semester along with an interface for easy data export.
|
|
| |
|
|
Filtrování spamových zpráv pomocí metod umělé inteligence
Safonov, Yehor ; Uher, Václav (oponent) ; Kolařík, Martin (vedoucí práce)
V moderním počítačovém světě e-mailová komunikace patří do nejpoužívanějších prostředků pro výměnu zpráv mezi uživateli. Jedná se o volně dostupný, efektivní a jednoduchý způsob sloužící ke sdělení informací. Tyto tři základní pilíře přispívají k její světové rozšířenosti a strmému nárůstu přenášených elektronických zpráv. Na druhou stranu, rostoucí popularita této technologie v sobě skrývá velká bezpečnostní rizika a tvoří z ní ideální nástroj pro šíření nevyžádaného obsahu a realizaci útoků cílených jak na koncové uživatele, tak i na celé počítačové infrastruktury. Ačkoliv v dnešní době používané klasické nástroje na filtrování spamu dosahují vysokých přesností, často neumožňují pokrytí dynamičnosti vývoje spamových technik a trpí problémy s přeučením, uváznutím v nevhodných lokálních minimech, neschopností efektivně zpracovávat vysoce dimenzionální data a z dlouhodobého hlediska disponují problémy s udržitelností. Hlavním cílem této diplomové práce je vytvoření a naučení modelů hlubokých neuronových sítí použitím nejmodernějších technik a přístupů existujících ve světě zpracování přirozeného jazyka a strojového učení. V rámci teoretické části se práce zaměřuje na problematiku e-mailové komunikace se zaměřením na filtrování nevyžádané pošty. Následně se věnuje doméně strojového učení a umělých neuronových sítí, zejména principům jejich fungování, základním vlastnostem a možnostem jejich aplikování na okruh problémů spojených s provedením textové analýzy. Mezi silné stránky práce patří provedení podrobného srovnání současných metod strojového učení, jejich specifik a přesnosti při aplikování na klasifikaci spamu. V praktické části práce byl důraz položen na zpracování datové sady surových e-mailů a srovnání modelů ULMFiT, BERT a XLNet. Zpracování dat bylo rozděleno do pěti etap, a to s cílem zachování co nejvyšší informační hodnoty zpráv a vytvoření kvalitní datové sady, která byla použita pro trénování, testování a validaci zvolených druhů neuronových sítí. Dále diplomová práce zahrnuje popis procesu učení sítí včetně etapy finálního přizpůsobení dat k modelování. Na konci práce byly implementované modely srovnány a byla nastíněna případná rozšíření do budoucna.
|
|
|
Počítač jako inteligentní spoluhráč ve slovně-asociační hře Krycí jména
Jareš, Petr ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
Tato práce řeší určování sémantické podobnosti slov. K tomu je využita kombinace prediktivního modelu fastText a metody založené na počtu Pointwise Mutual Information. Je zde popsán systém, který s využitím sémantických modelů je schopen zastoupit hráče ve slovně-asociační hře Krycí jména. Systém má implementovanou herní strategii využívající informace z průběhu hry k prospěchu týmu, za který hraje. Systém je schopen plnit funkci hráče hádajícího asociovaná slova k nápovědě, tak i hráče vytvářejícího vlastní nápovědy.
|
|
|
Word2vec modely s přidanou kontextovou informací
Šůstek, Martin ; Rozman, Jaroslav (oponent) ; Zbořil, František (vedoucí práce)
Tato práce se zabývá porozuměním word2vec modelů. Přestože tyto modely vznikly nedávno (2013), staly se velmi populárními. Učením těchto modelů lze obdržet vektorovou reprezentaci slov v~N-dimenzionálním prostoru reálných čísel. Pomocí operací nad těmito vektory je možné určit sémantické vazby mezi slovy. Dále se práce snaží o rozšíření představených modelů za účelem jiné reprezentace slov. K tomuto účelu je navrženo využití obrazové informace. Taktéž je diskutována možnost použití konvolučních neuronových sítí ve spojitosti s poskytnutím odlišné kontextové informace.
|
|
|
Extrakce informací z biomedicínských textů
Knoth, Petr ; Burget, Radek (oponent) ; Smrž, Pavel (vedoucí práce)
V poslední době bylo vynaloženo velké úsilí k tomu, aby byly biomedicínské znalosti, typicky uložené v podobě vědeckých článků, snadněji přístupné a bylo možné je efektivně sdílet. Ve skutečnosti ale nestrukturovaná podstata těchto textů způsobuje velké obtíže při použití technik pro získávání a vyvozování znalostí. Anotování entit nesoucích jistou sémantickou informaci v textu je prvním krokem k vytvoření znalosti analyzovatelné počítačem. V této práci nejdříve studujeme metody pro automatickou extrakci informací z textů přirozeného jazyka. Dále zhodnotíme hlavní výhody a nevýhody současných systémů pro extrakci informací a na základě těchto znalostí se rozhodneme přijmout přístup strojového učení pro automatické získávání exktrakčních vzorů při našich experimentech. Bohužel, techniky strojového učení často vyžadují obrovské množství trénovacích dat, která může být velmi pracné získat. Abychom dokázali čelit tomuto nepříjemnému problému, prozkoumáme koncept tzv. bootstrapping techniky. Nakonec ukážeme, že během našich experimentů metody strojového učení pracovaly dostatečně dobře a dokonce podstatně lépe než základní metody. Navíc v úloze využívající techniky bootstrapping se podařilo významně snížit množství dat potřebných pro trénování extrakčního systému.
|
|
|
Shlukování slov podle významu
Hošták, Viliam Samuel ; Otrusina, Lubomír (oponent) ; Smrž, Pavel (vedoucí práce)
Táto práca sa zaoberá sémantickou podobnosťou slov. Popisuje a porovnáva existujúce modely, ktoré sa aktuálne pre tento účel používajú. Rozoberá návrh a implementáciu vytvoreného systému na predspracovanie textového korpusu, vytváranie sémantických modelov a vyhľadávanie sémanticky príbuzných slov. Vytvorený systém umožňuje prácu s distribučnými sémantickými modelmi Word2vec, FastText a GloVe.
|
host ::
RSS.