Original title:
Vícekriteriální hledání architektur neuronových sítí
Translated title:
Multi-objective Neural Architecture Search
Authors:
Pivodová, Renáta ; Pilát, Martin (advisor) ; Kadlecová, Gabriela (referee) Document type: Master’s theses
Year:
2023
Language:
eng Abstract:
[eng][cze] Multi-objective Neural Architecture Search Bc. Ren'ata Pivodov'a Abstract Neural architecture search is a promising approach to automatic neural net- work architecture design, which can save a designer's work. The real world contains a lot of problems, which are time-consuming to solve even by neural architecture search techniques. A lot of these problems require architectures optimized according to different criteria such as quality, time of search, etc. In this work, we present two methods extending the CoDeepNEAT, a state-of- the-art neural architecture search algorithm. The Lamarckian CoDeepNEAT is the CoDeepNEAT enriched with weight inheritance implementation inspired by the Lamarckian theory of evolution. The Multi-objective CoDeepNEAT per- forms a multi-objective minimization of two chosen neural network objectives - the error rate and the number of floating point operations. Thanks to the base NSGA-II algorithm, the Multi-objective CoDeepNEAT searches for well- performing and fast networks. The methods are evaluated on the MNIST and CIFAR-10 datasets. 1Vícekriteriální hledání architektur neuronových sítí Bc. Renáta Pivodová Abstrakt Hledání architektur neuronových sítí je slibnou metodou automatizovaného ná- vrhu architektur neuronových sítí, která šetří práci a čas vývojářů. V reálném světě nalezneme mnoho problémů, jejichž řešení je náročné i pomocí technik hledání architektur neuronových sítí. Spousta z těchto problémů vyžaduje řešení s optimalizací více kritérií, jako je jeho kvalita, doba hledání etc. V této práci představujeme dvě metody rozšiřující CoDeepNEAT, známý algoritmus hledání architektur neuronových sítí. Lamarckistický CoDeepNEAT je CoDeepNEAT obohacený o implementaci dědění neuronových vah, která byla inspirována Lamarckovou teorií evoluce. Vícekriteriální CoDeepNEAT provádí vícekriteriální minimalizaci dvou vybraných vlastností neuronových sítí - míry chybovosti a počtu operací s plovoucí desetinnou čárkou. Díky algoritmu NSGA-II, který je použit jako základ pro naši metodu, hledá Vícekriteriální CoDeepNEAT dobře fungující a rychlé sítě. Metody jsou vyhodnoceny na datasetech MNIST a CIFAR-10. 1
Keywords:
neural architecture search|multiobjective optimization|lamarckism|evolutionary algorithm|CoDeepNEAT|neural networks; hledání architektur neuronových sítí|vícekrtiteriální optimalizace|lamarckismus|evoluční algoritmy|CoDeepNEAT|neuronové sítě
Institution: Charles University Faculties (theses)
(web)
Document availability information: Available in the Charles University Digital Repository. Original record: http://hdl.handle.net/20.500.11956/181945