|
|
Automated compression of neural network weights
Lorinc, Marián ; Sekanina, Lukáš (referee) ; Mrázek, Vojtěch (advisor)
Konvolučné neurónové siete (CNN) od svojho vynájdenia zrevolucionizovali spôsob, akým sa realizujú úlohy z odvetvia počítačového videnia. Vynález CNN viedol k zníženiu pamäťovej náročnosti, keďže váhy boli nahradené konvolučnými filtrami obsahujúcimi menej trénovateľných váh. Avšak, toto zníženie bolo dosiahnuté na úkor zvýšenia požiadaviek na výpočtový výkon, ktorý je naviazaný na výpočet konvolúcie. Táto práca skúma hypotézu, či je možné sa vyhnúť načítavaniu váh a miesto toho ich vypočítať, čím sa ušetrí energia. Na otestovanie tejto hypotézy bol vyvinutý nový algoritmus kompresie váh využívajúci Kartézske genetické programovanie. Tento algoritmus hľadá najoptimálnejšiu funkciu kompresie váh s cieľom zvýšiť energetickú účinnosť. Experimenty vykonané na architektúrach LeNet-5 a MobileNetV2 ukázali, že algoritmus dokáže efektívne znížiť spotrebu energie pri zachovaní vysokej presnosti modelu. Výsledky ukázali, že určité vrstvy je možné doplniť vypočítanými váhami, čo potvrdzuje potenciál pre energeticky efektívne neurónové siete.
|
guest ::
