Original title: Evoluční návrh nelineárních funkcí pro konvoluční neuronové sítě
Translated title: Evolutionary Design of Non-Linear Functions for Convolutional Neural Networks
Authors: Hladiš, Martin ; Mrázek, Vojtěch (referee) ; Sekanina, Lukáš (advisor)
Document type: Master’s theses
Year: 2024
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Cílem této diplomové práce je návrh a implementace programu pro automatizovaný návrh nelineárních aktivačních funkcí pro konvoluční neuronové sítě (CNN) s využitím evolučních algoritmů. Využití automatického návrhu poskytuje nezávislý pohled na systematické prozkoumání širokého spektra aktivačních funkcí a identifikaci těch nejlepších. Metoda zvolená v práci pro automatický návrh je formou evolučních algoritmů nazývanou jako kartézské genetické programování, které pro zakódování řešení využívá grafovou reprezentaci. Tato technika umožňuje definici sady matematických primitiv, která definuje prohledávací prostor, a tak jednoduše parametrizuje návrh. Implementovaný přístup byl otestován na několika různých architekturách a datasetech (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experimenty dokázaly, že přístup dokáže nalézt aktivační funkce, které statisticky zlepšují přesnost CNN oproti běžně využívané funkci ReLU. The aim of this thesis is to design and implement a program for automated design of nonlinear activation functions for convolutional neural networks (CNN) using evolutionary algorithms. The use of automated design provides an independent view to systematically explore a wide range of activation functions and identify the best ones. The method for automatic design chosen in this thesis is a form of evolutionary algorithms referred to as Cartesian genetic programming, which uses a graph representation to encode the solution. This technique allows for the definition of a set of mathematical primitives that define the search space, and thus simply parameterize the design. The implemented approach has been tested on several different architectures and datasets (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experiments have shown that the approach can find activation functions that statistically improve the accuracy of the architecture over the commonly used ReLU function.
Keywords: Activation Functions; AutoML; Cartesian Genetic Programming; Convolutional neural nets; Deep Learning; Evolutionary algorithms; Aktivační funkce; AutoML; Evoluční algoritmy; Hluboké učení; Kartézské genetické programování; Konvoluční neuronové sítě

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: https://hdl.handle.net/11012/248896

Permalink: http://www.nusl.cz/ntk/nusl-618588


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses