Original title: Neuronové sítě: Experimentace s Aktivačními funkcemi
Translated title: Neural Networks: Experimentation with Activation Functions
Authors: Movsesian, Lilit ; Sedlák, David (referee) ; Fritz, Karel (advisor)
Document type: Bachelor's theses
Year: 2025
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Aktivační funkce jsou klíčovými komponentami neuronových sítí, protože určují výstupy neuronů na základě vstupů a váh. Výběr aktivačních funkcí se nicméně často provádí bez komplexní analýzy. Tato bakalářská práce zkoumá vliv aktivačních funkcí na výkon konvolučních neuronových sítí (CNNs) při úlohách klasifikace obrazů na dvou datových sadách, CIFAR-10 a Fashion MNIST. Byla navržena a provedena řada experimentů, zaměřených na přesnost klasifikace, rychlost konvergence, schopnost generalizace, velikosti gradientů a odolnost proti útokům FGSM. Hlavním přínosem této práce je komplexní analýza různých aktivačních funkcí, včetně běžně používaných funkcí, sinusových aktivací, lineárních kombinací a funkce SELU se zaměřením na vnitřní normalizaci. Dále studie představuje účinné techniky, jako je přidání šumu do aktivačních funkcí a stochastický výběr aktivační funkce, jako obranné mechanismy proti útokům FGSM. Activation functions are key components of neural networks, as they determine neuron outputs based on inputs and weights. Nevertheless, the choice of activation function is often made without a comprehensive analysis. This thesis investigates the impact of activation functions on the performance of convolutional neural networks (CNNs) in image classification tasks on two datasets, CIFAR-10 and Fashion MNIST. A series of experiments was designed and conducted, focusing on classification accuracy, convergence speed, generalization ability, gradient magnitudes, and resistance to FGSM attacks. The main contribution of this thesis is the comprehensive analysis of various activation functions, including commonly used ones, sinusoidal activations, linear combinations, and the SELU function with a focus on internal normalization. Additionally, the study introduces effective techniques like noise injection into the activation functions and stochastic activation function selection as defense mechanisms against FGSM attacks.
Keywords: Aktivační funkce; odolnost vůči FGSM.; periodické aktivační funkce; přidání šumu do ReLU; SELU; stochastický výběr aktivačních funkcí; trénovatelné aktivační funkce; trénovatelné lineární kombinace aktivačních funkcí; Activation functions; noise injection to ReLU; periodic activation functions; resistance to FGSM.; SELU; stochastic selection of activation functions; trainable activation functions; trainable linear combinations of activation functions

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/253747

Permalink: http://www.nusl.cz/ntk/nusl-682653


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses