|
|
Gaussian Processes Based Hyper-Optimization of Neural Networks
Coufal, Martin ; Landini, Federico Nicolás (oponent) ; Beneš, Karel (vedoucí práce)
The goal of this thesis is to create a lightweight toolkit for artificial neural network hyper-parameter optimisation. The optimisation toolkit has to be able to optimise multiple, possibly correlated hyper-parameters. I solved this problem by creating an optimiser that uses Gaussian processes to predict the influence of the hyper-parameters on the resulting neural network accuracy. Based on the experiments on multiple benchmark functions, the toolkit is able to provide better results than random search optimisation and thus reduce the number of necessary optimisation steps. The random search optimisation provided better results only in the first few optimisation steps before Gaussian process optimisation creates sufficient model of the problem. However the experiments on MNIST dataset show that random optimisation achieves almost always better results than used GP optimiser. These differences between the experiments results are probably caused by insufficient complexity of the benchmarks or by selected parameters of the implemented optimiser.
|
|
|
Modern regression methods in data mining
Kopal, Vojtěch ; Holeňa, Martin (vedoucí práce) ; Gemrot, Jakub (oponent)
Tato práce porovnává nelineární regresní metody na umělých datech vytvořených po- mocí standardních testovacích funkcí pro spojité black-box optimalizace. Pro toto srovnání jsme vybrali následující regresní metody: sítě s bázemi tvořenými radiálními funkcemi, Gaussovské procesy, regresi založenou na opěrných vektorech a náhodné lesy. Metody jsou porovnány v kontextu problémů black-box optimalizace, kde se právě tyto metody používají jako náhradní modely. Metody jsou vyhodnoceny na základě střední kvadratické chyby a na základě Kendallova koeficientu mezi pořadím funkčních hodnot podle modelu a podle funkce, která byla použita k vygenerování dat. 1
|
|
|
Model-based evolutionary optimization methods
Bajer, Lukáš ; Holeňa, Martin (vedoucí práce) ; Brockhoff, Dimo (oponent) ; Pošík, Petr (oponent)
Statistické modely se používají pro urychlení optimalizace jak v akademické sféře, tak v průmyslu. Právě v reálných aplikacích, kde je optimalizovaná funkce často finančně nebo časově náročná, mohou statistické modely ušetřit zdroje nebo urychlit optimalizaci. Každá ze tří částí dizertační práce se zabývá jedním takovým modelem: v první části práce nahrazují kopule grafické modely v algoritmech odhadující distribuci, RBF sítě slouží jako náhradní model v genetických algoritmech pro kombinaci spojitých a diskrétních proměnných ve druhé části a třetí část práce používá gaussovské procesy jednak jako model pro vzorkování v bayesovských optimalizačních algoritmech, jednak jako náhradní model v evoluční strategii adaptující kovarianční matici (CMA-ES). Poslední kombinaci, která je popsána klíčové části práce, využívá navržený algoritmus DTS-CMA-ES---dvojitě trénovaný CMA-ES s náhradním modelem. Tento algoritmus využívá nejistotu predikovanou gaussovským procesem, aby vybral část populace CMA-ES k ohodnocení drahou originální funkcí, zatímco zbytek populace je ohodnocen modelem---predikovanou nejpravděpodobnější hodnotou. Výsledky ukázaly, že DTS-CMA-ES konverguje na několika syntetických funkcích rychleji než současné spojité optimalizační algoritmy s náhradním modelem.
|
|
|
Filtering for Stochastic Evolution Equations
Kubelka, Vít ; Maslowski, Bohdan (vedoucí práce)
Filtrace stochastických evolučních rovnic Vít Kubelka Disertační práce Abstrakt Práce se zabývá problémem lineární filtrace nekonečně-rozměrných gau- ssovských procesů při konečně-rozměrném pozorování. Jsou zde odvozeny integrální rovnice pro filtr a kovarianci chyby odhadu. Obecné výsledky jsou aplikovány na lineární stochastické parciální diferenciální rovnice řízené Gauss-volterrovskými šumy pozorované v konečně mnoha bodech domény a na zpožděné stochastické parciální diferenciální rovnice řízené bílým šumem. Následně je v práci dokázána spojitá závislost filtru a chyby odhadu na parametrech, které se mohou nacházet v signálu i v pozorování. Tyto výsledky jsou aplikovány na signály dané stochastickou rovnicí vedení tepla řízenou dis- tribuovaným nebo bodovým frakcionálním šumem. Zašuměný signál může být pozorován v daných bodech domény, které také mohou záviset na para- metru. 1
|
|
|
Filtering for Stochastic Evolution Equations
Kubelka, Vít ; Maslowski, Bohdan (vedoucí práce)
Filtrace stochastických evolučních rovnic Vít Kubelka Disertační práce Abstrakt Práce se zabývá problémem lineární filtrace nekonečně-rozměrných gau- ssovských procesů při konečně-rozměrném pozorování. Jsou zde odvozeny integrální rovnice pro filtr a kovarianci chyby odhadu. Obecné výsledky jsou aplikovány na lineární stochastické parciální diferenciální rovnice řízené Gauss-volterrovskými šumy pozorované v konečně mnoha bodech domény a na zpožděné stochastické parciální diferenciální rovnice řízené bílým šumem. Následně je v práci dokázána spojitá závislost filtru a chyby odhadu na parametrech, které se mohou nacházet v signálu i v pozorování. Tyto výsledky jsou aplikovány na signály dané stochastickou rovnicí vedení tepla řízenou dis- tribuovaným nebo bodovým frakcionálním šumem. Zašuměný signál může být pozorován v daných bodech domény, které také mohou záviset na para- metru. 1
|
|
|
Filtering for Stochastic Evolution Equations
Kubelka, Vít ; Maslowski, Bohdan (vedoucí práce) ; Tudor, Ciprian (oponent) ; Klebanov, Lev (oponent)
Filtrace stochastických evolučních rovnic Vít Kubelka Disertační práce Abstrakt Práce se zabývá problémem lineární filtrace nekonečně-rozměrných gau- ssovských procesů při konečně-rozměrném pozorování. Jsou zde odvozeny integrální rovnice pro filtr a kovarianci chyby odhadu. Obecné výsledky jsou aplikovány na lineární stochastické parciální diferenciální rovnice řízené Gauss-volterrovskými šumy pozorované v konečně mnoha bodech domény a na zpožděné stochastické parciální diferenciální rovnice řízené bílým šumem. Následně je v práci dokázána spojitá závislost filtru a chyby odhadu na parametrech, které se mohou nacházet v signálu i v pozorování. Tyto výsledky jsou aplikovány na signály dané stochastickou rovnicí vedení tepla řízenou dis- tribuovaným nebo bodovým frakcionálním šumem. Zašuměný signál může být pozorován v daných bodech domény, které také mohou záviset na para- metru. 1
|
|
|
Gaussian Processes Based Hyper-Optimization of Neural Networks
Coufal, Martin ; Landini, Federico Nicolás (oponent) ; Beneš, Karel (vedoucí práce)
The goal of this thesis is to create a lightweight toolkit for artificial neural network hyper-parameter optimisation. The optimisation toolkit has to be able to optimise multiple, possibly correlated hyper-parameters. I solved this problem by creating an optimiser that uses Gaussian processes to predict the influence of the hyper-parameters on the resulting neural network accuracy. Based on the experiments on multiple benchmark functions, the toolkit is able to provide better results than random search optimisation and thus reduce the number of necessary optimisation steps. The random search optimisation provided better results only in the first few optimisation steps before Gaussian process optimisation creates sufficient model of the problem. However the experiments on MNIST dataset show that random optimisation achieves almost always better results than used GP optimiser. These differences between the experiments results are probably caused by insufficient complexity of the benchmarks or by selected parameters of the implemented optimiser.
|
|
|
Model-based evolutionary optimization methods
Bajer, Lukáš ; Holeňa, Martin (vedoucí práce) ; Brockhoff, Dimo (oponent) ; Pošík, Petr (oponent)
Statistické modely se používají pro urychlení optimalizace jak v akademické sféře, tak v průmyslu. Právě v reálných aplikacích, kde je optimalizovaná funkce často finančně nebo časově náročná, mohou statistické modely ušetřit zdroje nebo urychlit optimalizaci. Každá ze tří částí dizertační práce se zabývá jedním takovým modelem: v první části práce nahrazují kopule grafické modely v algoritmech odhadující distribuci, RBF sítě slouží jako náhradní model v genetických algoritmech pro kombinaci spojitých a diskrétních proměnných ve druhé části a třetí část práce používá gaussovské procesy jednak jako model pro vzorkování v bayesovských optimalizačních algoritmech, jednak jako náhradní model v evoluční strategii adaptující kovarianční matici (CMA-ES). Poslední kombinaci, která je popsána klíčové části práce, využívá navržený algoritmus DTS-CMA-ES---dvojitě trénovaný CMA-ES s náhradním modelem. Tento algoritmus využívá nejistotu predikovanou gaussovským procesem, aby vybral část populace CMA-ES k ohodnocení drahou originální funkcí, zatímco zbytek populace je ohodnocen modelem---predikovanou nejpravděpodobnější hodnotou. Výsledky ukázaly, že DTS-CMA-ES konverguje na několika syntetických funkcích rychleji než současné spojité optimalizační algoritmy s náhradním modelem.
|
|
|
Modern regression methods in data mining
Kopal, Vojtěch ; Holeňa, Martin (vedoucí práce) ; Gemrot, Jakub (oponent)
Tato práce porovnává nelineární regresní metody na umělých datech vytvořených po- mocí standardních testovacích funkcí pro spojité black-box optimalizace. Pro toto srovnání jsme vybrali následující regresní metody: sítě s bázemi tvořenými radiálními funkcemi, Gaussovské procesy, regresi založenou na opěrných vektorech a náhodné lesy. Metody jsou porovnány v kontextu problémů black-box optimalizace, kde se právě tyto metody používají jako náhradní modely. Metody jsou vyhodnoceny na základě střední kvadratické chyby a na základě Kendallova koeficientu mezi pořadím funkčních hodnot podle modelu a podle funkce, která byla použita k vygenerování dat. 1
|
host ::
RSS.