Original title: Využití aproximovaných aritmetických obvodů v neuronových sítí
Translated title: Exploiting Approximate Arithmetic Circuits in Neural Networks Inference
Authors: Matula, Tomáš ; Mrázek, Vojtěch (referee) ; Češka, Milan (advisor)
Document type: Master’s theses
Year: 2019
Language: eng
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [eng] [cze]
Táto práca sa zaoberá využitím aproximovaných obvodov v neurónových sieťach so zámerom prínosu energetických úspor. K tejto téme už existujú štúdie, avšak väčšina z nich bola príliš špecifická k aplikácii alebo bola demonštrovaná v malom rozsahu. Pre dodatočné preskúmanie možností sme preto skrz netriviálne modifikácie open-source frameworku TensorFlow vytvorili platformu umožňujúcu simulovať používanie approximovaných obvodov na populárnych a robustných neurónových sieťach ako Inception alebo MobileNet. Bodom záujmu bolo nahradenie väčšiny výpočtovo náročných častí konvolučných neurónových sietí, ktorými sú konkrétne operácie násobenia v konvolučnách vrstvách. Experimentálne sme ukázali a porovnávali rozličné varianty a aj napriek tomu, že sme postupovali bez preučenia siete sa nám podarilo získať zaujímavé výsledky. Napríklad pri architektúre Inception v4 sme získali takmer 8% úspor, pričom nedošlo k žiadnemu poklesu presnosti. Táto úspora vie rozhodne nájsť uplatnenie v mobilných zariadeniach alebo pri veľkých neurónových sieťach s enormnými výpočtovými nárokmi. This thesis is concerned with the utilization of approximate circuits in neural networks to provide energy savings. Various studies showing interesting results already exist, but most of them were very application specific or demonstrated on a small scale. To take this further, we created a platform by nontrivial modifications of robust open-source framework Tensorflow allowing us to simulate approximate computing on known state-of-the-art neural networks e.g. Inception or MobileNet. We focused only on replacement of most computationally expensive parts of convolutional neural networks, which are multiplication operations in convolution layers. We experimentally demonstrated and compared various setups and even that we proceeded without relearning, we were able to obtain promising results. For example, with zero accuracy loss on Inception v4 architecture, we gained almost 8% energy savings which could be valuable, especially in low-power devices or in large neural networks with enormous computational demands.
Keywords: aproximované obvody; energetická úspora; Inception; MobileNet; neurónové siete; qvantizácia; TensorFlow; umelá inteligencia; approximate circuits; artificial intelligence; energy savings; Inception; MobileNet; neural networks; quantization; TensorFlow

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/180437

Permalink: http://www.nusl.cz/ntk/nusl-399179


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses