|
|
Gaussian Processes Based Hyper-Optimization of Neural Networks
Coufal, Martin ; Landini, Federico Nicolás (oponent) ; Beneš, Karel (vedoucí práce)
The goal of this thesis is to create a lightweight toolkit for artificial neural network hyper-parameter optimisation. The optimisation toolkit has to be able to optimise multiple, possibly correlated hyper-parameters. I solved this problem by creating an optimiser that uses Gaussian processes to predict the influence of the hyper-parameters on the resulting neural network accuracy. Based on the experiments on multiple benchmark functions, the toolkit is able to provide better results than random search optimisation and thus reduce the number of necessary optimisation steps. The random search optimisation provided better results only in the first few optimisation steps before Gaussian process optimisation creates sufficient model of the problem. However the experiments on MNIST dataset show that random optimisation achieves almost always better results than used GP optimiser. These differences between the experiments results are probably caused by insufficient complexity of the benchmarks or by selected parameters of the implemented optimiser.
|
|
|
Evolutionary Algorithms for Multiobjective Optimization
Pilát, Martin ; Neruda, Roman (vedoucí práce) ; Schoenauer, Marc (oponent) ; Pošík, Petr (oponent)
Vícekriteriální evoluční algoritmy se v posledních letech těší velké pozornosti. Dokázaly, že patří mezi nejlepší vícekriterální optimali- zátory a byly použity v mnoha průmyslových aplikacích. Jejich po- užitelnost je ale omezována tím, že vyžadují velké množství vyhod- nocení jednolivých účelových funkcí. Tyto mohou být v případě re- álných problémů složité a jejich vyhodnocení může být drahé. Pro snížení počtu vyhodnocení jednotlivých účelových funkcí se použí- vají tzv. náhradní modely. Ty jsou jednoduchou a rychlou aproximací skutečných účelových funkcí. V této práci představujeme výsledky výzkumu prováděného mezi lety 2009 a 2013. Představujeme vícekriteriální evoluční algoritmus s agregovaným náhradním modelem a jeho verze, které použivají další náhradní model pro předvýběr jedinců. V další části se zabýváme pro- blémem výběru vhodného typu náhradního modelu. Diskutujeme o tom, které charakteristiky modelu jsou důležité a žádané, a navrhu- jeme propojení náhradního modelování s meta-učením. V poslední části se potom zabýváme využitím vícekriteriální optimalizace pro ladění parametrů klasifikátorů a ukazujeme, že přidání dalších účelo- vých funkcí může urychlit nalezení vhodného nastavení. 1
|
|
|
Gaussian Processes Based Hyper-Optimization of Neural Networks
Coufal, Martin ; Landini, Federico Nicolás (oponent) ; Beneš, Karel (vedoucí práce)
The goal of this thesis is to create a lightweight toolkit for artificial neural network hyper-parameter optimisation. The optimisation toolkit has to be able to optimise multiple, possibly correlated hyper-parameters. I solved this problem by creating an optimiser that uses Gaussian processes to predict the influence of the hyper-parameters on the resulting neural network accuracy. Based on the experiments on multiple benchmark functions, the toolkit is able to provide better results than random search optimisation and thus reduce the number of necessary optimisation steps. The random search optimisation provided better results only in the first few optimisation steps before Gaussian process optimisation creates sufficient model of the problem. However the experiments on MNIST dataset show that random optimisation achieves almost always better results than used GP optimiser. These differences between the experiments results are probably caused by insufficient complexity of the benchmarks or by selected parameters of the implemented optimiser.
|
|
|
Evolutionary Algorithms for Multiobjective Optimization
Pilát, Martin ; Neruda, Roman (vedoucí práce) ; Schoenauer, Marc (oponent) ; Pošík, Petr (oponent)
Vícekriteriální evoluční algoritmy se v posledních letech těší velké pozornosti. Dokázaly, že patří mezi nejlepší vícekriterální optimali- zátory a byly použity v mnoha průmyslových aplikacích. Jejich po- užitelnost je ale omezována tím, že vyžadují velké množství vyhod- nocení jednolivých účelových funkcí. Tyto mohou být v případě re- álných problémů složité a jejich vyhodnocení může být drahé. Pro snížení počtu vyhodnocení jednotlivých účelových funkcí se použí- vají tzv. náhradní modely. Ty jsou jednoduchou a rychlou aproximací skutečných účelových funkcí. V této práci představujeme výsledky výzkumu prováděného mezi lety 2009 a 2013. Představujeme vícekriteriální evoluční algoritmus s agregovaným náhradním modelem a jeho verze, které použivají další náhradní model pro předvýběr jedinců. V další části se zabýváme pro- blémem výběru vhodného typu náhradního modelu. Diskutujeme o tom, které charakteristiky modelu jsou důležité a žádané, a navrhu- jeme propojení náhradního modelování s meta-učením. V poslední části se potom zabýváme využitím vícekriteriální optimalizace pro ladění parametrů klasifikátorů a ukazujeme, že přidání dalších účelo- vých funkcí může urychlit nalezení vhodného nastavení. 1
|
host ::
RSS.