Název: Evoluční optimalizace konvolučních neuronových sítí
Překlad názvu: Evolutionary Optimization of Convolutional Neural Networks
Autoři: Čoupek, Vojtěch ; Mrázek, Vojtěch (oponent) ; Sekanina, Lukáš (vedoucí práce)
Typ dokumentu: Diplomové práce
Rok: 2023
Jazyk: cze
Nakladatel: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstrakt: [cze] [eng]
Práce se zabývá problematikou komprese vah neuronové sítě pomocí techniky Weight-Sharing a~optimalizací parametrů této techniky pomocí nekonvenčních optimalizačních algoritmů. Důvodem optimalizace je snížení paměťové, respektive energetické náročnosti výpočtu odezvy neuronové sítě. Cílem je navrhnout systém, který dokáže přijmout neuronovou síť a~snížit její paměťovou náročnost, a~ověřit použitelnost této metody na několika případových studiích. Práce prozkoumává využití různých optimalizačních algoritmů, dodatečnou kompresi pomocí kvantizace nad technikou Weight-Sharing a navrhuje metodu ladění výsledků kvantizace pro zlepšení přesnosti. Tyto postupy jsou nejdříve vyzkoušeny na síti Le-Net-5 a následně aplikovány na kompresi sítě MobileNet\_v2. This thesis deals with the problem of neural network weights compression using the technique of Weight-Sharing and parameter optimization of this technique by unconventional optimization algorithms. The reason for the optimization is decreasing the memory or energy demands of the neural network response calculation. The aim is to design a system that accepts a neural network and reduces its memory demands. Its functionality is demonstrated with the help of several experiments. The thesis investigates the use of various optimization algorithms, additional compression using the quantization above the Weight-Sharing technique, and proposes the quantization results tuning method to improve accuracy. These procedures are first tested on the Le-Net-5 network and then applied for the MobileNet\_v2. network compression.
Klíčová slova: algoritmus černé díry; genetický algoritmus; K-means; Komprese; konvoluční neuronové sítě; Le-Net-5; Mobilenet\_v2; neuronové sítě; optimalizace hejnem částic; optimalizační algoritmy; sdílení vah; shlukování; blackhole algorithm; clustering; Compression; convolutional neural networks; genetic algorithm; K-Means; Le-Net-5; Mobilenet\_v2; neural networks; optimization algorithms; particle swarm optimization; weight-sharing

Instituce: Vysoké učení technické v Brně (web)
Informace o dostupnosti dokumentu: Plný text je dostupný v Digitální knihovně VUT.
Původní záznam: http://hdl.handle.net/11012/213223

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-531446


Záznam je zařazen do těchto sbírek:
Školství > Veřejné vysoké školy > Vysoké učení technické v Brně
Vysokoškolské kvalifikační práce > Diplomové práce