Original title: Efektivní vyhledávání ve videu pomocí komplexních skic a explorace založené na sémantických deskriptorech
Translated title: Efficient video retrieval using complex sketches and exploration based on semantic descriptors
Authors: Blažek, Adam ; Lokoč, Jakub (advisor) ; Mráz, František (referee)
Document type: Master’s theses
Year: 2016
Language: eng
Abstract: [eng] [cze]
This thesis focuses on novel video retrieval scenarios. More particularly, we aim at the Known-item Search scenario wherein users search for a short video segment known either visually or by a textual description. The scenario assumes that there is no ideal query example available. Our former known- item search tool relying on color feature signatures is extended with major enhancements. Namely, we introduce a multi-modal sketching tool, the exploration of video content with semantic descriptors derived from deep convolutional networks, new browsing/visualization methods and two orthogonal approaches for textual search. The proposed approaches are embodied in our video retrieval tool Enhanced Sketch-based Video Browser (ESBVB). To evaluate ESBVB performance, we participated in international competitions comparing our tool with the state-of-the-art approaches. Repeatedly, our tool outperformed the other methods. Furthermore, we show in our user study that even novice users are able to effectively employ ESBVB capabilities to search and browse known video clips. Powered by TCPDF (www.tcpdf.org) Tématem této práce jsou nové způsoby hledání ve videu. Konkrétněji se zaměřujeme na hledání známého objektu, v našem případě krátkého video segmentu. Předpokládáme, že žádný vhodný příklad pro podobnostní vyhledávání není k dispozici. Náš původní nástroj, opírající se o zachycení distribuce barev ve videu, je rozšířen o řadu nových modulů. Jmenovitě představujeme multi-modální skicy, nové prohledávací a vizualizační metody, podobnostní hledání s pomocí sémantických deskriptorů a v neposlední řadě dvě ortogonální metody pro zpracování textových dotazů. Navržené metody jsou implementovány v nástroji Enhanced Sketch-based Video Browser (ESBVB). Efektivita nástroje je testována v konkurenci dalších nejmodernejších metod na mezinárodní soutěži. Opakovaně se ukazuje, že ESBVB představuje jeden z nejefektivnějíších přístupů k dané problematice. V uživatelských studiích je dále ukázáno, že i nezkušení uživatélé dokáží využít možností ESBVB pro hledání známého objektu ve videu. Powered by TCPDF (www.tcpdf.org)
Keywords: CNN descriptors; color signatures; query by sketch; Video retrieval; barevné signatury; CNN deskriptory; dotazování pomocí skic; Vyhledávání ve videu

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/83107

Permalink: http://www.nusl.cz/ntk/nusl-464380


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Master’s theses