|
|
Visual Question Answering
Kocurek, Pavel ; Ondřej, Karel (oponent) ; Fajčík, Martin (vedoucí práce)
Visual Question Answering (VQA) is a system where an image and a question are used as input and the output is an answer. Despite many research advances, unlike image captioning, VQA is rarely used in practice. This work aims to narrow the gap between research and practice. To examine the possibility of using VQA by blind and visually impaired people, this thesis proposes a demonstrative VQA application and then, a smartphone application. The study with 20 participants from the community was conducted. Firstly, the participants received an application for two weeks. Then, each of them was asked to fill out the questionnaire. 80 % of respondents rated the accuracy of VQA application as sufficient or better and most of them would appreciate it if their image captioning application also supported VQA. Following this discovery, this work tries to establish the link between image captioning and VQA. In particular, the work studies the informativeness provided by both systems in different scenarios. It collects a novel dataset of 111 images with manually annotated captions and diverse scenes. An experiment comparing obtained knowledge showed a success rate of 69.9 % and 46.2 % for VQA and image captioning, respectively. In another experiment 70.9 % of the time, participants were able to select the correct caption based on VQA. The results suggest that VQA outperforms image captioning regarding image details, therefore should be used in practice more often.
|
|
|
Machine Learning for Question Answering in Czech
Pastorek, Peter ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
This Master's thesis deals with teaching neural network question answering in Czech. Neural networks are created in Python programming language using the PyTorch library. They are created based on the LSTM structure. They are trained on the Czech SQAD dataset. Because Czech data set is smaller than the English data sets, I opted to extend neural networks with algorithmic procedures. For easier application of algorithmic procedures and better accuracy, I divide question answering into smaller parts.
|
|
|
Komunikační agent pro informace o Brně
Jurkovič, Juraj ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
Cieľom tejto práce je preskúmať a následne aplikovať techniky a technické riešenia pri vývoji informačných agentov. Práca sa zameriava na riešenia jednotlivých podproblémov pomocou existujúcich systémov, prepojenie týchto systémov, jejich prispôsobenie pre danú doménu a implementáciu jednotlivých modulov. Uživateľské rozhranie je postavené na multiplatformnej četovacej aplikácii Telegram. Extrakciu informácií zo vstupu uživatela vykonáva služba Dialogflow. Pre uspokojenie požiadavky užívateľa je použitých niekoľko externých služieb. Pre vyhľadávanie v štruktúrovaných dátach je použitá technológia Elasticsearch. Pre extrakciu odpovedí z voľného textu je použitý systém R-net. Výsledkom je systém ktorého znalostnú bázu, ako aj množinu dotazov ktoré je schopný uspokojiť, možno jednoducho rozšíriť a ktorý môže byť nasadený na ľubovoľnú četovaciu platformu.
|
|
|
Mezijazykový přenos znalostí v úloze odpovídání na otázky
Macková, Kateřina ; Straka, Milan (vedoucí práce) ; Rosa, Rudolf (oponent)
Question answering je disciplínou informatiky v oblasti zpracování přirozeného jazyka a získávání informací. Cílem je vytvořit systém, který automaticky najde odpověď na určitou otázku v textu. V dnešní době existuje spousta modelů trénovaných na obrovských tréninkových datových souborech v angličtině. Tato práce se zaměřuje na budování podobných modelů v češtině bez českých tréninkových datasetů. Při této práci jsme použili SQuAD 1.1 a přeložili jej do češtiny pro vytvoření trénovacích a testovacích datových souborů. Pak jsme trénovali a testovali modely BiDirectional Attention Flow a BERT. Nejlepší získaný výsledek na českém datasetu je z modelu BERT trénovaného na češtině s přesnou shodou 60,48% a skóre F1 73,46%. Kromě toho jsme také natrénovali model BERT na anglickém datasetu a vyhodnotili jsme ho na českém testovacím datasetu bez překladu. Dosáhli jsme přesné shody 63,71% a skóre F1 74,78%, což je mimořádně dobré navzdory tomu, že model dosud neviděl žádné české question answering data. Takový model je velmi univerzální a poskytuje systém odpovědí na otázky v jakémkoli jazyce, pro který máme dostatek monolingválních textů.
|
|
|
Machine Comprehension Using Commonsense Knowledge
Daniš, Tomáš ; Landini, Federico Nicolás (oponent) ; Fajčík, Martin (vedoucí práce)
In this thesis, the commonsense reasoning ability of modern neural systems is explored. The goal is to provide insight into the current state of research in this area and identify promising research directions. A state-of-the-art question-answering model has been implemented and experimented with in various scenarios. Unlike in older approaches, the model achieved comparable results with best available models for the target task without using any task-specific architecture. Furthermore, unintended statistical biases are discovered in a popular commonsense reasoning dataset which allow models to compute the correct answer even when it does not have sufficient information to do so. Based on these findings, recommendations and possible future research areas are suggested.
|
|
|
Hybrid Deep Question Answering
Aghaebrahimian, Ahmad ; Holub, Martin (vedoucí práce) ; Kordik, Pavel (oponent) ; Pecina, Pavel (oponent)
Název práce: Hybridní hluboké metody pro automatické odpovídání na otázky Autor: Ahmad Aghaebrahimian Ústav: Ústav Formální a Aplikované Lingvistiky Vedoucí disertační práce: RNDr. Martin Holub, Ph.D., Ústav Formální a Ap- likované Lingvistiky Abstrakt: Automatické odpovídání na otázky jakožto jedna z nejstarších úloh z oblasti zpracování přirozeného jazyka je jednou z nejzajímavějších a nejná- ročnějších oblastí výzkumu s množstvím vědeckých a komerčních uplatnění. Od- povídání na otázky jakožto disciplína se ve spojení s informatikou, statistikou, lingvistikou a kognitivní vědou zabývá tvorbou systémů, které automaticky vy- hledávají odpovědi na otázky kladené lidmi v přirozeném jazyce. Tato doktorská disertační práce představuje autorův výzkum uskutečněný v uvedené oblasti. Au- tor předkládá především své studie a výzkum zaměřený na hybridní systémy pro odpovídání na otázky zahrnující vyhledávací stroje pracující jak se struktu- rovanými, tak s nestrukturovanými daty. Jádrem strukturovaného vyhledávacího stroje je state-of-the-art systém založený na znalostních grafech. Nestrukturovaný vyhledávací stroj je tvořen state-of-the-art systémem pro odpovídání na otázky na větné úrovni a systémem pro odpovídání na otázky na úrovni slov s výsledky, které se blíží tomu, čeho dosahují lidé. Tato práce představuje...
|
|
|
Visual Question Answering
Hajič, Jakub ; Straka, Milan (vedoucí práce) ; Lokoč, Jakub (oponent)
Visual Question Answering (zodpovídání dotazů nad obrázky, VQA) je nová multimodální úloha v oblasti strojového učení. Vstupem této úlohy je obrázek a otázka vztahující se k tomuto obrázku a výstupem je odpověď na tuto otázku. V této diplomové práci navrhujeme dvě modifikace stávajícího modelu, který zví- tězil v soutěži VQA 2016 pomocí tzv. multimodálního kompaktního bilineární pooling ("Multimodal compact bilinear pooling"), což je nový způsob kombinace modalit. První modifikací bylo přidání mechanizmu "language attention", který jsme dále rozšířili zavedením "region attention" mechanizmu se zaměřením na objekty rozpoznané na obrázku. Rovněž provádíme experiment s různými kombi- nacemi těchto modifikací v rámci jednoho end-to-end modelu. Tato práce popisuje MCB model a naše rozšíření a jejich dvě různé implementace a vyhodnocuje je standardními postupy na původních evaluačních datech soutěže VQA pro přímé porovnání s předchozími výsledky. 1
|
|
|
Inteligentní systém pro odpovídání na otázky
Mičulka, Jakub ; Kouřil, Jan (oponent) ; Otrusina, Lubomír (vedoucí práce)
Tato práce se zabývá problematikou zpracování otázek položených v přirozeném jazyce a jejich použitím ve vyhledávačích. Práce osvětluje základní principy funkčnosti vyhledávacích systémů s hlavním zaměřením na vyhledávání v databázích. Zásadní část článku pak tvoří popis návrhu a implementace programu questionAnswering, který slouží k vyhledávání dat v databázi projektu ReResearch. Čtenáři je vysvětlen postup při návrhu a tvorbě tohoto programu, popsány všechny zásadní problémy, jež se v průběhu této činnosti vyskytly, a nakonec jsou výsledky programu zhodnoceny pomocí standardních metrik.
|
|
|
Vyhledávání informací TRECVid Search
Čeloud, David ; Mlích, Jozef (oponent) ; Chmelař, Petr (vedoucí práce)
Tato diplomová práce se zabývá vyhledáváním informací. Její náplní je sumarizace znalostí z oblasti vyhledávání informací. Začíná úvodem do problematiky vyhledávání informací. Dále práce podává přehled o modelech používaných ve vyhledávání informací, představuje používaná data a uvádí aktuální problémy v oblasti vyhledávání informací a jejich možná řešení. V praktické části se diplomová práce zaměřuje na implementaci metod vyhledávání informací v textových datech. Poslední část práce je věnována experimentům s vytvořenými metodami vyhledávání informací.
|
|
|
Znalec encyklopedie
Krč, Martin ; Schmidt, Marek (oponent) ; Smrž, Pavel (vedoucí práce)
Předmětem projektu je systém pro zodpovídání otázek formulovaných v přirozeném jazyce. Práce pojednává nejprve o problémech spjatých se systému tohoto druhu a o některých uplatňovaných přístupech. Důraz je kladen na povrchové metody, které nejsou tolik náročné na dostupnost lingvistických zdrojů. V praktické části je pak popsán návrh systému, který zodpovídá faktografické otázky s využitím české Wikipedie jako zdroje informací. Extrakce odpovědí je založena zčásti na specifických rysech Wikipedie a zčásti na ručně předdefinovaných vzorech. Výsledky ukazují, že pro zodpovídání jednoduchých otázek je systém výrazně přínosnější než běžný vyhledávací stroj.
|
host ::
RSS.