|
|
Bayesian Optimization of Hyperparameters Using Gaussian Processes
Arnold, Jakub ; Straka, Milan (vedoucí práce) ; Vomlelová, Marta (oponent)
Cílem této práce bylo naimplementovat praktický nástroj pro optimalizaci hyperparametrů neuronových sítí pomoci bayesovské optimalizace. Práce zavádí potřebnou teorii pro bayesovskou optimalizaci, včetně matematických základů pro regresi pomocí gaussovských procesů, a dalších rozšíření bayesovské optimal- izace. Abychom mohli porovnat efektivnitu bayesovské optimalizace provedli jsme několik realistických experimentů s různými architekturami neuronových sítí. Bayesovskou optimalizaci jsme také srovnali s náhodným prohledáváním, kde ve většině případů záskala lepší výslednou hodnotu optimalizované funkce, včetně menšího rozptylu v opakovaných experimentech. Ve třech ze čtyř ex- perimentů Bayesovská optimalizace získala lepší výsledek, než ručně optimali- zované hyperparametry. Navíc také ukazujeme, jak může být regrese pomocí gaussovských procesů použita pro vizualizaci vlivů jednotlivých hyperparametrů na optimalizovanou funkci, a také závislostí mezi více hyperparametry. 1
|
|
|
Visual Question Answering
Hajič, Jakub ; Straka, Milan (vedoucí práce) ; Lokoč, Jakub (oponent)
Visual Question Answering (zodpovídání dotazů nad obrázky, VQA) je nová multimodální úloha v oblasti strojového učení. Vstupem této úlohy je obrázek a otázka vztahující se k tomuto obrázku a výstupem je odpověď na tuto otázku. V této diplomové práci navrhujeme dvě modifikace stávajícího modelu, který zví- tězil v soutěži VQA 2016 pomocí tzv. multimodálního kompaktního bilineární pooling ("Multimodal compact bilinear pooling"), což je nový způsob kombinace modalit. První modifikací bylo přidání mechanizmu "language attention", který jsme dále rozšířili zavedením "region attention" mechanizmu se zaměřením na objekty rozpoznané na obrázku. Rovněž provádíme experiment s různými kombi- nacemi těchto modifikací v rámci jednoho end-to-end modelu. Tato práce popisuje MCB model a naše rozšíření a jejich dvě různé implementace a vyhodnocuje je standardními postupy na původních evaluačních datech soutěže VQA pro přímé porovnání s předchozími výsledky. 1
|
|
|
Object recognition using 3D convolutional neural networks
Moravec, Jaroslav ; Lokoč, Jakub (vedoucí práce) ; Straka, Milan (oponent)
Název: Rozpoznávání objektů pomocí 3D konvolučních neuronových sítí Autor: Jaroslav Moravec Katedra: Katedra softwarového inženýrství Školitel: RNDr. Jakub Lokoč, Ph.D., Katedra softwarového inženýrství Abstrakt: S rychlým rozvojem laserů a senzorů se velmi usnadnilo skenování i ukládání objektů do digitální podoby v perzistentních databázích. S rostoucím počtem naskenovaných 3D objektů je nezbytné vyvinout metody pro práci s těmito daty a jejich vyhledávání. Pro různé úkoly vyhledávání je také potřeba, aby tyto vyhledávací modely byly co nejefektivnější. V naší práci se zaměřujeme na efektivní klasifikaci a vyhledávání podobných objektů. Studovaný přístup se zakládá na konvolučních neuronových sítích, tedy metodě strojového učení, která v posledních letech zažívá boom. Navrhli jsme a natrénovali několik architek- tur 3D konvolučních neuronových sítí a testovali jsme je na nejmodernějších 3D datasetech pro rozpoznávání a vyhledávání podobných 3D objektů. Podařilo se nám též ukázat, že naučené znaky objektů z jednoho datasetu se mohou následně použít na určení tříd objektů z jiného 3D datasetu. Klíčová slova: Rozpoznávání objektů, 3D konvoluce, neuronové sítě
|
|
|
Detection of malignant melanoma in histological sample using deep neural networks
Frey, Adam ; Lokoč, Jakub (vedoucí práce) ; Straka, Milan (oponent)
The aim of this thesis is to create a classification method for detection of ma- lignant melanoma in high-resolution digital images. Deep convolutional neural networks were used for this task. At first, a short overview of malignant melanoma and ways to detect it is presented. Deep convolutional neural networks are also introduced with a special attention given to models used further in this work. Several ways to generate samples from the provided histological images are discussed, and several experiments are evaluated to decide how to maximize the accuracy of employed classification methods. The thesis then focuses on several neural network structures used for image classification and their possible utiliza- tion for the given task. The emphasis is laid on the transfer learning, a method used for modifying already trained models for different tasks. This method is then used for training several classifiers. Further on, several methods for the visualization of model results are discussed with some of them implemented. The experiments show promising results on par with other studies dealing with similar problems. Several possibilities for further development are listed in the conclusion.
|
|
|
Natural Language Correction
Náplava, Jakub ; Straka, Milan (vedoucí práce) ; Straňák, Pavel (oponent)
Cílem této diplomové práce je prozkoumat oblast automatické korekce pravopisu (jazyka) a navrhnout sadu modelů založených na neuronových sítí pro řešení úkolů počínaje opravou gramatiky až po diakritizaci. Diplomová práce začíná popisem postupů k jednotlivým problémům automatické korekce pravopisu. Dále jsou představeny již existující a dva nové datasety: dataset pro opravu gramatiky v češtině odvozený od datasetu CzeSL (Czech as a Second Language) a dataset s automaticky vytvořenými českými překlepy. Hlavní část této diplomové práce je věnována návrhu, implementaci a vyhodnocení tří navržených modelů na vybraných problémech automatické korekce pravopisu. Hlavní výhodou našich modelů v porovnání s existujícími statistickými systémy je fakt, že se vše dokáží naučit pouze z trénovacích dat. Naopak u současných statistických systémů musí být specifikován chybový model, model pro generování potencionálních oprav a mnohdy je také potřeba systém pro generování morfologických slovních druhů daného jazyka. Naše modely překonávají současné systémy na generování diakritizace. Při opravování překlepů a menších gramatických chyb je úspěšnost našich modelů lepší na 2 ze 3 datasetů. V gramatické korekci textu pak dosahujeme horších, i když stále srovnatelných, výsledků s nedávno nejlepším modelem.
|
|
|
Named Entity Recognition and Linking
Taufer, Pavel ; Straka, Milan (vedoucí práce) ; Kliegr, Tomáš (oponent)
Cílem této diplomové práce je navrhnout a naimplementovat algoritmus pro rozpoznávání a propojování pojmenovaných entit. Součástí tohoto cíle je také navrhnutí a vytvoření báze znalostí, která je v algoritmu použita. Vzhledem k omezenému množství dat pro jiné jazyky než pro angličtinu chceme, aby naši metodu bylo možné natrénovat na jednom jazyku a naučené parametry přenést na jiné jazyky (ve kterých není tolik trénovacích dat). Práce se skládá z popisu dostupných bází znalostí, existujicích metod, navrhnutí a implementace vlastní báze znalostí a metody pro propojování pojmenovaných entit. Na několika variantách tradičního datasetu AIDA CoNLL-YAGO dosahuje implementovaný algoritmus nejlepších známých výsledků. Na vzorku českých anotovaných dat z datasetu PDT dosahuje algoritmus pomocí parametrů natrénovaných na anglickém CoNLL datasetu srovnatelných výsledků. Powered by TCPDF (www.tcpdf.org)
|
|
|
Off-line vyhledávání spojení na platformě Google Android
Křepelka, Michal ; Bojar, Ondřej (vedoucí práce) ; Straka, Milan (oponent)
Tato práce pojednává o vyhledávání spojení ve veřejné dopravě bez nutnosti permanentního připojení k serveru, který by prováděl náročné výpočty. K tomuto účelu používá metodu Transfer Patterns v aplikaci běžící na platformě Google Android. Čtenáři je demonstrováno několik nejběžnějších grafů používaných pro vyhledávání spojení ve veřejné dopravě a následně také postup, jak zformulovat tabulky jízdních řádů jako takovýto graf. Dále je zde popsán princip Transfer Patterns a představen způsob, jak je lze z grafu pro jízdní řády vypočítat a uložit do SQLite databáze pro Android. Na takto předem připravených datech lze velmi rychle a efektivně vyhledávat spojení i na poměrně výkonově omezených přístrojích s Androidem.
|
|
|
Functional Data Stuctures and Algorithms
Straka, Milan ; Dvořák, Zdeněk (vedoucí práce) ; Koucký, Michal (oponent) ; Brodal, Gerth (oponent)
Název práce: Funkcionální datové struktury a algoritmy Autor: Milan Straka Ústav: Informatický ústav Univerzity Karlovy Vedoucí doktorské práce: doc. Mgr. Zdeněk Dvořák, Ph.D, Informatický ústav Univerzity Karlovy Abstrakt: Funkcionální programování je rozšířené a stále více oblíbené programo- vací paradigma, které nachází své uplatnění i v průmyslových aplikacích. Datové struktury používané ve funkcionálních jazycích jsou převážně perzistentní, což znamená, že pokud jsou změněny, zachovávají své předchozí verze. Cílem této práce je rozšířit teorii perzistentních datových struktur a navrhnout efektivní implementace těchto datových struktur pro funkcionální jazyky. Bezpochyby nejpoužívanější datovou strukturou je pole. Ačkoli se jedná o vel- mi jednoduchou strukturu, neexistuje jeho perzistentní protějšek s konstantní složitostí přístupu k prvku. V této práci popíšeme zjednodušenou implementaci perzistentního pole s asymptoticky optimální amortizovanou časovou složitostí Θ(log log n) a především téměř optimální implementaci se složitostí v nejhorším případě. Také ukážeme, jak efektivně rozpoznat a uvolnit nepoužívané verze per- zistentního pole. Nejvýkonnější datové struktury nemusí být vždy ty, které jsou založeny na asymptoticky nejlepších strukturách. Z toho důvodu se také zaměříme na imple- mentaci...
|
|
|
Kryptografie založená na kvadratických tělesech
Straka, Milan ; Žemlička, Jan (oponent) ; Stanovský, David (vedoucí práce)
Imaginární kvadratická tělesa byla navržena pro použití v asymetrické kryptografii Buchmannem a Williamsem již v roce 1988 a od té doby vznikly i další kryptografické protokoly. I když tyto protokoly nejsou tak efektivní jako podobná schémata s eliptickými křivkami, mohou konkurovat schématům založeným na RSA, a navíc je jejich bezpečnost považována za nezávislou na bezpečnosti běžných kryptosystémů jako RSA, DSA a ECC. Tato práce shrnuje dosavadní výsledky v oboru kvadratické kryptografie. Jednak popisuje algebraickou teorii nutnou pro zavedení třídové grupy imaginárních kvadratických těles a dále studuje algoritmy operací v třídové grupě, jak asymptoticky, tak prakticky efektivní. Také rozebírá vhodná kryptografická schémata a útoky na ně. Součástí této práce je knihovna, která popsané protokoly efektivně implementuje.
|
|
|
Persistentní datové struktury
Kupec, Martin ; Straka, Milan (oponent) ; Mareš, Martin (vedoucí práce)
V této práci studujeme persistentní datové struktury, tedy takové, které si uchovávají svou historii změn. Zabýváme se zejméena strukturami založenými na ukazatelích, pro něž lze dosáhnout plné, a tedy i částečné persistence s amortizovaně konstantním časem i prostorem na operaci. Popisujeme také zpersistentnění polí, u nějž je existence optimální struktury nadále otevřena. Uvádíme těž konkrétní aplikace obecných zpersistentňovacích postupů a příklady použití persistentních struktur.
|
host ::
RSS.