Název: Evoluční návrh nelineárních funkcí pro konvoluční neuronové sítě
Překlad názvu: Evolutionary Design of Non-Linear Functions for Convolutional Neural Networks
Autoři: Hladiš, Martin ; Mrázek, Vojtěch (oponent) ; Sekanina, Lukáš (vedoucí práce)
Typ dokumentu: Diplomové práce
Rok: 2024
Jazyk: cze
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [cze] [eng]
Cílem této diplomové práce je návrh a implementace programu pro automatizovaný návrh nelineárních aktivačních funkcí pro konvoluční neuronové sítě (CNN) s využitím evolučních algoritmů. Využití automatického návrhu poskytuje nezávislý pohled na systematické prozkoumání širokého spektra aktivačních funkcí a identifikaci těch nejlepších. Metoda zvolená v práci pro automatický návrh je formou evolučních algoritmů nazývanou jako kartézské genetické programování, které pro zakódování řešení využívá grafovou reprezentaci. Tato technika umožňuje definici sady matematických primitiv, která definuje prohledávací prostor, a tak jednoduše parametrizuje návrh. Implementovaný přístup byl otestován na několika různých architekturách a datasetech (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experimenty dokázaly, že přístup dokáže nalézt aktivační funkce, které statisticky zlepšují přesnost CNN oproti běžně využívané funkci ReLU. The aim of this thesis is to design and implement a program for automated design of nonlinear activation functions for convolutional neural networks (CNN) using evolutionary algorithms. The use of automated design provides an independent view to systematically explore a wide range of activation functions and identify the best ones. The method for automatic design chosen in this thesis is a form of evolutionary algorithms referred to as Cartesian genetic programming, which uses a graph representation to encode the solution. This technique allows for the definition of a set of mathematical primitives that define the search space, and thus simply parameterize the design. The implemented approach has been tested on several different architectures and datasets (LeNet-5 \& MNIST, ResNet-10 \& FashionMNIST, WRN-40-4 \& CIFAR-10). Experiments have shown that the approach can find activation functions that statistically improve the accuracy of the architecture over the commonly used ReLU function.
Klíčová slova: Aktivační funkce; AutoML; Evoluční algoritmy; Hluboké učení; Kartézské genetické programování; Konvoluční neuronové sítě; Activation Functions; AutoML; Cartesian Genetic Programming; Convolutional neural nets; Deep Learning; Evolutionary algorithms

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: https://hdl.handle.net/11012/248896

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-618588


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Diplomové práce