|
|
Coevolution of Fitness Predicotrs in Cartesian Genetic Programming
Drahošová, Michaela ; Pošík, Petr (referee) ; Šenkeřík, Roman (referee) ; Sekanina, Lukáš (advisor)
Kartézské genetické programován (CGP) je evoluc inspirovaná metoda strojového učen, která je primárně určená pro automatizovaný návrh programů a čslicových obvodů. CGP je úspěšné v řešen mnoha úloh z reálného světa. Avšak k nalezen inovativnch řešen obvykle potřebuje značný výpočetn výkon. Každý kandidátn program navržený pomoc CGP mus být spuštěn, aby se zjistilo, do jaké mry tento program řeš zadaný problém, a mohla mu být přiřazena fitness hodnota. Právě vyhodnocen fitness bývá výpočetně nejnáročnějš část návrhu pomoc CGP. Tato práce se zabývá využitm koevoluce prediktorů fitness v CGP za účelem zrychlen procesu evolučnho návrhu prováděného pomoc CGP. Prediktor fitness je malá podmnožina trénovacch dat použvaná pro rychlý odhad fitness hodnoty namsto náročného vyhodnocen objektivn fitness hodnoty. Koevoluce prediktorů fitness je optimalizačn metoda modelován fitness, která snižuje náročnost a frekvenci výpočtu fitness. V této práci je koevolučn algoritmus přizpůsoben pro CGP a jsou představeny a zkoumány tři přstupy k zakódován prediktorů fitness. Představená metoda je experimentálně vyhodnocena v pěti úlohách symbolické regrese a v úloze návrhu obrazových filtrů. Výsledky experimentů ukazuj, že pomoc této metody lze významně snžit výpočetn čas, který CGP potřebuje pro řešen zkoumané třdy úloh.
|
|
|
Evolutionary Algorithms for Multiobjective Optimization
Pilát, Martin ; Neruda, Roman (advisor) ; Schoenauer, Marc (referee) ; Pošík, Petr (referee)
Multi-objective evolutionary algorithms have gained a lot of atten- tion in the recent years. They have proven to be among the best multi-objective optimizers and have been used in many industrial ap- plications. However, their usability is hindered by the large number of evaluations of the objective functions they require. These can be expensive when solving practical tasks. In order to reduce the num- ber of objective function evaluations, surrogate models can be used. These are a simple and fast approximations of the real objectives. In this work we present the results of research made between the years 2009 and 2013. We present a multi-objective evolutionary algo- rithm with aggregate surrogate model, its newer version, which also uses a surrogate model for the pre-selection of individuals. In the next part we discuss the problem of selection of a particular type of model. We show which characteristics of the various models are im- portant and desirable and provide a framework which combines sur- rogate modeling with meta-learning. Finally, in the last part, we ap- ply multi-objective optimization to the problem of hyper-parameters tuning. We show that additional objectives can make finding of good parameters for classifiers faster. 1
|
|
|
Model-based evolutionary optimization methods
Bajer, Lukáš ; Holeňa, Martin (advisor) ; Brockhoff, Dimo (referee) ; Pošík, Petr (referee)
Model-based black-box optimization is a topic that has been intensively studied both in academia and industry. Especially real-world optimization tasks are often characterized by expensive or time-demanding objective functions for which statistical models can save resources or speed-up the optimization. Each of three parts of the thesis concerns one such model: first, copulas are used instead of a graphical model in estimation of distribution algorithms, second, RBF networks serve as surrogate models in mixed-variable genetic algorithms, and third, Gaussian processes are employed in Bayesian optimization algorithms as a sampling model and in the Covariance matrix adaptation Evolutionary strategy (CMA-ES) as a surrogate model. The last combination, described in the core part of the thesis, resulted in the Doubly trained surrogate CMA-ES (DTS-CMA-ES). This algorithm uses the uncertainty prediction of a Gaussian process for selecting only a part of the CMA-ES population for evaluation with the expensive objective function while the mean prediction is used for the rest. The DTS-CMA-ES improves upon the state-of-the-art surrogate continuous optimizers in several benchmark tests.
|
|
|
Coevolution of Fitness Predicotrs in Cartesian Genetic Programming
Drahošová, Michaela ; Pošík, Petr (referee) ; Šenkeřík, Roman (referee) ; Sekanina, Lukáš (advisor)
Kartézské genetické programován (CGP) je evoluc inspirovaná metoda strojového učen, která je primárně určená pro automatizovaný návrh programů a čslicových obvodů. CGP je úspěšné v řešen mnoha úloh z reálného světa. Avšak k nalezen inovativnch řešen obvykle potřebuje značný výpočetn výkon. Každý kandidátn program navržený pomoc CGP mus být spuštěn, aby se zjistilo, do jaké mry tento program řeš zadaný problém, a mohla mu být přiřazena fitness hodnota. Právě vyhodnocen fitness bývá výpočetně nejnáročnějš část návrhu pomoc CGP. Tato práce se zabývá využitm koevoluce prediktorů fitness v CGP za účelem zrychlen procesu evolučnho návrhu prováděného pomoc CGP. Prediktor fitness je malá podmnožina trénovacch dat použvaná pro rychlý odhad fitness hodnoty namsto náročného vyhodnocen objektivn fitness hodnoty. Koevoluce prediktorů fitness je optimalizačn metoda modelován fitness, která snižuje náročnost a frekvenci výpočtu fitness. V této práci je koevolučn algoritmus přizpůsoben pro CGP a jsou představeny a zkoumány tři přstupy k zakódován prediktorů fitness. Představená metoda je experimentálně vyhodnocena v pěti úlohách symbolické regrese a v úloze návrhu obrazových filtrů. Výsledky experimentů ukazuj, že pomoc této metody lze významně snžit výpočetn čas, který CGP potřebuje pro řešen zkoumané třdy úloh.
|
|
|
Model-based evolutionary optimization methods
Bajer, Lukáš ; Holeňa, Martin (advisor) ; Brockhoff, Dimo (referee) ; Pošík, Petr (referee)
Model-based black-box optimization is a topic that has been intensively studied both in academia and industry. Especially real-world optimization tasks are often characterized by expensive or time-demanding objective functions for which statistical models can save resources or speed-up the optimization. Each of three parts of the thesis concerns one such model: first, copulas are used instead of a graphical model in estimation of distribution algorithms, second, RBF networks serve as surrogate models in mixed-variable genetic algorithms, and third, Gaussian processes are employed in Bayesian optimization algorithms as a sampling model and in the Covariance matrix adaptation Evolutionary strategy (CMA-ES) as a surrogate model. The last combination, described in the core part of the thesis, resulted in the Doubly trained surrogate CMA-ES (DTS-CMA-ES). This algorithm uses the uncertainty prediction of a Gaussian process for selecting only a part of the CMA-ES population for evaluation with the expensive objective function while the mean prediction is used for the rest. The DTS-CMA-ES improves upon the state-of-the-art surrogate continuous optimizers in several benchmark tests.
|
|
|
Evolutionary Algorithms for Multiobjective Optimization
Pilát, Martin ; Neruda, Roman (advisor) ; Schoenauer, Marc (referee) ; Pošík, Petr (referee)
Multi-objective evolutionary algorithms have gained a lot of atten- tion in the recent years. They have proven to be among the best multi-objective optimizers and have been used in many industrial ap- plications. However, their usability is hindered by the large number of evaluations of the objective functions they require. These can be expensive when solving practical tasks. In order to reduce the num- ber of objective function evaluations, surrogate models can be used. These are a simple and fast approximations of the real objectives. In this work we present the results of research made between the years 2009 and 2013. We present a multi-objective evolutionary algo- rithm with aggregate surrogate model, its newer version, which also uses a surrogate model for the pre-selection of individuals. In the next part we discuss the problem of selection of a particular type of model. We show which characteristics of the various models are im- portant and desirable and provide a framework which combines sur- rogate modeling with meta-learning. Finally, in the last part, we ap- ply multi-objective optimization to the problem of hyper-parameters tuning. We show that additional objectives can make finding of good parameters for classifiers faster. 1
|
guest ::
