Original title: Evoluční optimalizace konvolučních neuronových sítí
Translated title: Evolutionary Optimization of Convolutional Neural Networks
Authors: Čoupek, Vojtěch ; Mrázek, Vojtěch (referee) ; Sekanina, Lukáš (advisor)
Document type: Master’s theses
Year: 2023
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Práce se zabývá problematikou komprese vah neuronové sítě pomocí techniky Weight-Sharing a~optimalizací parametrů této techniky pomocí nekonvenčních optimalizačních algoritmů. Důvodem optimalizace je snížení paměťové, respektive energetické náročnosti výpočtu odezvy neuronové sítě. Cílem je navrhnout systém, který dokáže přijmout neuronovou síť a~snížit její paměťovou náročnost, a~ověřit použitelnost této metody na několika případových studiích. Práce prozkoumává využití různých optimalizačních algoritmů, dodatečnou kompresi pomocí kvantizace nad technikou Weight-Sharing a navrhuje metodu ladění výsledků kvantizace pro zlepšení přesnosti. Tyto postupy jsou nejdříve vyzkoušeny na síti Le-Net-5 a následně aplikovány na kompresi sítě MobileNet\_v2. This thesis deals with the problem of neural network weights compression using the technique of Weight-Sharing and parameter optimization of this technique by unconventional optimization algorithms. The reason for the optimization is decreasing the memory or energy demands of the neural network response calculation. The aim is to design a system that accepts a neural network and reduces its memory demands. Its functionality is demonstrated with the help of several experiments. The thesis investigates the use of various optimization algorithms, additional compression using the quantization above the Weight-Sharing technique, and proposes the quantization results tuning method to improve accuracy. These procedures are first tested on the Le-Net-5 network and then applied for the MobileNet\_v2. network compression.
Keywords: blackhole algorithm; clustering; Compression; convolutional neural networks; genetic algorithm; K-Means; Le-Net-5; Mobilenet\_v2; neural networks; optimization algorithms; particle swarm optimization; weight-sharing; algoritmus černé díry; genetický algoritmus; K-means; Komprese; konvoluční neuronové sítě; Le-Net-5; Mobilenet\_v2; neuronové sítě; optimalizace hejnem částic; optimalizační algoritmy; sdílení vah; shlukování

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/213223

Permalink: http://www.nusl.cz/ntk/nusl-531446


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses