|
|
Efficient implementation of deep neural networks
Kopál, Jakub ; Mrázová, Iveta (vedoucí práce) ; Střelský, Jakub (oponent)
V posledných rokoch sa algoritmy v oblasti rozpoznávania obrazu založené na hlbokých neurónových sieťach neustále zlepšujú. Úspešnosť týchto algorit- mov dosiahla dokonca takú hranicu, že časť vývoja začala byť zameraná na zvýšenie ich rýchlosti na úkor presnosti. Vďaka najmodernejším pokrokom v oblasti hlbokého učenia a nového hardvéru optimalizovaného pre hlboké ne- urónové siete, je dnes možné detekovať objekty v obraze rýchlosťou viac než stokrát za sekundu s použitím mobilných zariadení. Hlavný cieľ tejto práce je naštudovať a zhrnúť významné metódy v oblasti efektívneho detekovania objektov v obraze a pomocou týchto metód ďalej aplikovať riešenie na daný problém. S použitím najnovších metód sme vyvinuli trakovací algoritmus za- ložený na našich vlastných modeloch na sledovanie vozidiel v reálnom čase za použitia mobilných zariadení. 1
|
|
|
Optical Music Recognition using Deep Neural Networks
Mayer, Jiří ; Pecina, Pavel (vedoucí práce) ; Hajič, Jan (oponent)
Automatický přepis notových zápisů (Optical Music Recognition) je zajímavá úloha, v mnoha ohledech podobná automatickému přepisu textu (Optical Character Recognition). Přináší s sebou ovšem mnoho problémů, které způsobují potíže klasickým metodám počí- tačového vidění. Hluboké neuronové sítě umožnily řešit automatický přepis textu tzv. end-to-end přístupem, kdy se celá úloha řeší najednou. Zkusili jsme použít tuto metodu na problém rozpoznávání notových zápisů, ale zaměřili jsme se pouze na ručně psané zápisy. Pro vyřešení nedostatku trénovacích dat jsme vyvinuli sázecí systém s názvem Mashcima. Tento systém úspěšně napodobuje vzhled datasetu CVC-MUSCIMA. Provedli jsme vyhodnocení našeho přístupu na části datasetu CVC-MUSCIMA s velmi nadějnými výsledky, což naznačuje, že použité řešení je funkční a další práce v tomto směru by mohla vést ještě k dalšímu zlepšení. 1
|
|
|
Semi-Supervised Training of Deep Neural Networks for Speech Recognition
Veselý, Karel ; Ircing, Pavel (oponent) ; Lamel, Lori (oponent) ; Burget, Lukáš (vedoucí práce)
In this thesis, we first present the theory of neural network training for the speech recognition, along with our implementation, that is available as the 'nnet1' training recipe in the Kaldi toolkit. The recipe contains RBM pre-training, mini-batch frame Cross-Entropy training and sequence-discriminative sMBR training. Then we continue with the main topic of this thesis: semi-supervised training of DNN-based ASR systems. Inspired by the literature survey and our initial experiments, we investigated several problems: First, whether the confidences are better to be calculated per-sentence, per-word or per-frame. Second, whether the confidences should be used for data-selection or data-weighting. Both approaches are compatible with the framework of weighted mini-batch SGD training. Then we tried to get better insight into confidence calibration, more precisely whether it can improve the efficiency of semi-supervised training. We also investigated how the model should be re-tuned with the correctly transcribed data. Finally, we proposed a simple recipe that avoids a grid search of hyper-parameters, and therefore is very practical for general use with any dataset. The experiments were conducted on several data-sets: for Babel Vietnamese with 10 hours of transcribed speech, the Word Error Rate (WER) was reduced by 2.5%. For Switchboard English with 14 hours of transcribed speech, the WER was reduced by 3.2%. Although we found it difficult to further improve the performance of semi-supervised training by means of enhancing the confidences, we still believe that our findings are of significant practical value: the untranscribed data are abundant and easy to obtain, and our proposed solution brings solid WER improvements and it is not difficult to replicate.
|
|
|
Exploring Benefits of Transfer Learning in Neural Machine Translation
Kocmi, Tom ; Bojar, Ondřej (vedoucí práce) ; van Genabith, Josef (oponent) ; Cuřin, Jan (oponent)
Název práce: Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu Autor: Tom Kocmi Ústav: Ústav formální a aplikované lingvistiky Vedoucí disertační práce: doc. RNDr. Ondřej Bojar, Ph.D., Ústav formální a aplikované lingvistiky Klíčová slova: transfer znalostí, strojový překlad, hluboké neuronové sítě, jazyky s málo zdroji Abstrakt: Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s ne- dostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů. Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů. Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře: a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení. Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik transferu...
|
|
|
Comparison of deep learning and classical methods for traffic signs detection
Geiger, Petr ; Šikudová, Elena (vedoucí práce) ; Mirbauer, Martin (oponent)
Cílem této práce je prozkoumat a vyhodnotit klasické metody počítačového vidění a metody založené na hlubokých neuronových sítích určené pro detekci pozice závory na železničních přejezdech. Tato práce je založena na počátečním detekčním algoritmu, jehož hlavní komponenta používá detektor stabilní vlny. Tento počáteční algoritmus je v práci nejprve zoptimalizován z hlediska výkonosti i kvality jeho výsledků. Obojí je zásadní, jelikož nejlepší metoda by měla být vhodná jako komponenta real-time bezpečnostního systému pro železniční přejezdy. Dále je implementován další přístup založený na hlubokých neuronových sítích, který je také zoptimalizován v obou aspektech. V průběhu této práce je vytvořeno několik datasetů, jak pro trénování, tak i testování detekčních algoritmů. Oba přístupy jsou nakonec vyhodnoceny na stejných datasetech a jejich výsledky jsou porovnány.
|
|
|
Indonesian-English Neural Machine Translation
Dwiastuti, Meisyarah ; Popel, Martin (vedoucí práce) ; Novák, Michal (oponent)
Title: Indonesian-English Neural Machine Translation Author: Meisyarah Dwiastuti Department: Institute of Formal and Applied Linguistics Supervisor: Mgr. Martin Popel, Ph.D., Institute of Formal and Applied Linguis- tics Abstract: In this thesis, we conduct a study on neural machine translation (NMT) for an under-studied language, Indonesian, specifically for English-Indonesian (EN-ID) and Indonesian-English (ID-EN) in a low-resource domain, TED talks. Our goal is to implement domain adaptation methods to improve the low-resource EN-ID and ID-EN NMT systems. First, we implement model fine-tuning method for EN-ID and ID-EN NMT systems by leveraging a large parallel corpus contain- ing movie subtitles. Our analysis shows the benefit of this method for the improve- ment of both systems. Second, we improve our ID-EN NMT system by leveraging English monolingual corpora through back-translation. Our back-translation ex- periments focus on how to incorporate the back-translated monolingual corpora to the training set, in which we investigate various existing training regimes and introduce a novel 4-way-concat training regime. We also analyze the effect of fine- tuning our back-translation models with different scenarios. Experimental results show that our method of implementing back-translation followed by model...
|
|
|
Aproximace hlubokých neuronových sítí
Stodůlka, Martin ; Mrázek, Vojtěch (oponent) ; Vaverka, Filip (vedoucí práce)
Cílem mé práce je zjistit vliv a dopad aproximovaného počítání na přesnost hluboké neuronové sítě, konkrétně neuronové sítě pro klasifikaci obrazu. Pro implementaci neuronové sítě byla použita varianta frameworku Caffe zvaná Ristretto-caffe, která byla rozšířena o možnost použití aproximovaných operací v konvolučních vrstvách. pro používání aproximovaných komponent. Aproximované počítání bylo použito na násobení v dopředné propagaci při konvoluci. Jako aproximované komponenty byly zvoleny komponenty z knihovny Evoapproxlib.
|
|
|
Identifikace chodců
Jurča, Jan ; Špaňhel, Jakub (oponent) ; Hradiš, Michal (vedoucí práce)
Tato práce se zabývá identifikací osob z videa na základě rozpoznání postavy, obličeje a chůze. Pro rozpoznání postavy a chůze jsou využity předtrénované sítě. Zatímco k rozpoznání chůze je v rámci práce implementováno a srovnáno několik architektur sítí. Finální rozpoznání chodce probíhá na základě multimodální fůze realizované neuronovou sítí. Pro účely práce byl vytvořen vlastní dataset, zároveň se sadou nástrojů umožňující jeho téměř automatickou tvorbu.
|
|
|
Analýza rozložení stran textových dokumentů pomocí hlubokých neuronových sítí
Endrych, David ; Herout, Adam (oponent) ; Kodym, Oldřich (vedoucí práce)
Cílem této bakalářské práce je vytvořit nástroj pro analýzu rozložení stran textových dokumentů. Problém je řešen pomocí konvolučních neuronových sítí. Architekturou zvolenou v téhle bakalářské práci je architektura U-Net. Pro trénování modelu sítě se používá chybová funkce cross entropy s použitím mapy vah. Pomocí hledání spojitých komponent dochází k získávání regionů odstavců. Experimenty se vyhodnocují pomocí objektové metriky Symmetric Best Dice. Z experimentů vyplynulo, že je lepší používat všechny hrany odstavců než se zaměřovat pouze na vertikální hrany odstavců. Dále experimenty ukazují, že trénovací strategie vzorkování batche a adaptativní rozlišení pomáhají ke zlepšení výsledků analýzy. V experimentech je také popsána aplikace separátorů, která je užitečná při analýze vícesloupcových dokumentů.
|
|
|
Hluboké neuronové sítě pro detekci anomálií při kontrole kvality
Juřica, Tomáš ; Herout, Adam (oponent) ; Hradiš, Michal (vedoucí práce)
Cílem této práce je automatizovat detekci defektů při průmyslové výrobě plastových karet. Typickým defektem vzniklým při takovéto výrobě je kontaminace prachovými částicemi či vlasem. Hlavními výzvami, které v této práci řeším, je malý počet dostupných dat (214 karet), velmi malá plocha defektů v kontextu celé karty (průměrně 0,0068 \% plochy karty) a zároveň velice rozmanité a komplexní pozadí, ve kterém defekty hledám. Realizaci úkolu jsem dosáhl za použití detekčního algoritmu Mask R-CNN a rozšíření datové sady pomocí namodelování vzhledu typických defektů a vytvoření syntetického datasetu o počtu 20 000 obrázků, na kterém jsem detektor natrénoval. Takovýmto způsobem jsem dosáhl 0,83 AP při IoU rovno 0,1 na testovací části původní datové sady.
|
host ::
RSS.