Original title: Neuronové sítě: Experimentace s Aktivačními funkcemi
Translated title: Neural Networks: Experimentation with Activation Functions
Authors: Uřídil, Mikuláš ; Pánek, Richard (referee) ; Fritz, Karel (advisor)
Document type: Bachelor's theses
Year: 2025
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Aktivační funkce jsou nezbytnou součástí neuronových sítí a je důležité s nimi experimen- tovat, abychom hledali výhody a nevýhody těchto konkrétních funkcí. V této práci se zabýváme základními koncepty neuronových sítí, abychom pochopili celý koncept, a poté se zaměříme na různé aktivační funkce a analyzujeme jejich dopad v neuronových sítích. Ve druhé části práce experimentujeme s funkcemi Sigmoid, Tanh, ReLU, GELU, ELU a Swish v konvolučních neuronových sítích a autoenkodérech v oblasti detekce anomálií. Používáme datovou sadu Yahoo S5 a poté modifikované datové sady CIFAR-10 a MNIST. Nakonec se podíváme na výsledky experimentů s uvedenými aktivačními funkcemi, které ukazují, že moderní aktivační funkce (např. Swish, ELU, GELU) mají často lepší výkon než klasické funkce, jako je Sigmoid a Tanh, a to díky hladšímu zpracování gradientů a konkrétně přede- vším lepšímu zvládání problému zvaný vanishing gradient. Activation functions are an essential part of neural networks and it is important to exper- iment with them to find the advantages and disadvantages of these particular functions. In this paper, we will cover the basic concepts of neural networks to understand the whole concept and then focus on different activation functions and analyze their impact in neu- ral networks. In the second part of the paper, we experiment with Sigmoid, Tanh, ReLU, GELU, ELU and Swish functions in convolutional and autoencoder architectures in the field of anomaly detection. We use Yahoo S5 time series dataset and then modified CIFAR-10 and MNIST datasets. Finally, we will look at the results of experiments with the men- tioned activation functions which show that modern activation functions (e.g., Swish, ELU, GELU) often have superior performance over classic functions like Sigmoid and Tanh, due to smoother gradients flow and mainly better handling of vanishing-gradient problems.
Keywords: Aktivační funkce; Detekce anomálií; Experimentální funkce; Konvergence; Matematické vlastnosti; Neuronové sítě; Optimalizace sítě; Přetížení; Učení neuronových sítí; Vliv aktivační funkce na metriky; Výkon neuronové sítě; Activation Functions; Anomaly Detection; Convergence; Effect of Activation Function on Metrics; Experimental Functions; Mathematical Properties; Network Optimization; Neural Network Learning; Neural Network Performance; Neural Networks; Overfitting

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/253702

Permalink: http://www.nusl.cz/ntk/nusl-681569


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses