Original title: Metody inicializace vah neuronových sítí a jejich vliv na učení sítí
Translated title: Methods for initializing neural network weights and their effect on network learning
Authors: Prukner, Jakub ; Nemčeková, Petra (referee) ; Chmelík, Jiří (advisor)
Document type: Bachelor's theses
Year: 2024
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta elektrotechniky a komunikačních technologií
Abstract: [cze] [eng]
Práce se zabývá použitím různých metod inicializace vah umělých neuronových sítí a sledováním jejich vlivu na učení sítě. Jako úloha pro síť je zvolena klasifikace obrázků ze dvou databází MNIST a CIFAR-10. Teoretická část popisuje oblast umělých neuronových sítí a také různé metody nicializace vah. Praktická část obsahuje popis a implementaci experimentů, popis architektur a jejich hyperparametrů. Jednotlivé experimenty sledují vliv vybraných metod a jejich případných konfigurací na učení různých architektur umělých neuronových sítí. Výsledky jsou pro jednotlivé databáze a typy architektur porovnány a jsou vybrány metody, se kterými síť dosáhla nejlepšího naučení. Dále jsou vybrány metody, se kterými bylo dosaženo optimálního naučení sítě nejrychleji. Dosažené výsledky jsou diskutovány. This thesis examines the use of various methods for initialising the weights of artificial neural networks and monitoring their impact on network learning. Image classification from two databases, MNIST and CIFAR-10, is selected as the task for the network. The theoretical section provides an overview of the field of artificial neural networks, along with an analysis of different methods for initialising weights. The practical section includes a description of the experiments conducted, an explanation of the architectures and their associated hyperparameters. The individual experiments observe the effect of the selected methods and their respective configurations on the learning of different artificial neural network architectures. The results are compared for each dataset and architecture type, and the methods with which a the network achieved the best learning are selected. Furthermore, the methods with which the optimal learning of the network was achieved the fastest are selected. The results obtained are discussed.
Keywords: CIFAR-10; LSUV; MNIST; Neural networks; weight initialisation; CIFAR-10; Inicializace vah; LSUV; MNIST; Neuronové sítě

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: https://hdl.handle.net/11012/246793

Permalink: http://www.nusl.cz/ntk/nusl-618552


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses