Original title:
Knihovna pro návrh konvolučních neuronových sítí
Translated title:
A Library for Convolutional Neural Network Design
Authors:
Rek, Petr ; Mrázek, Vojtěch (referee) ; Sekanina, Lukáš (advisor) Document type: Master’s theses
Year:
2018
Language:
cze Publisher:
Vysoké učení technické v Brně. Fakulta informačních technologií Abstract:
[cze][eng]
V rámci této diplomové práce je čtenář seznámen s problematikou neuronových a konvolučních neuronových sítí. Na základě těchto znalostí je poté proveden návrh a implementace knihovny umožňující práci s konvolučními neuronovými sítěmi - od návrhu, přes trénování až po validaci. Výsledná knihovna je poté vyhodnocena na klasických úlohách pro konvoluční neuronové sítě a porovnána s jinými knihovnami. Rozšířením knihovny, díky kterému se odliší od jiných volně dostupných, je nezávislost na datovém typu. Každá vrstva může mít až tři na sobě nezávislé datové typy - pro váhy, pro inferenci a pro učení. Za účelem vyhodnocení tohoto rozšíření je součástí knihovny i datový typ s pevnou řádovou čárkou. Vliv této reprezentace na přesnost natrénované sítě je podroben experimentům.
In this diploma thesis, the reader is introduced to artificial neural networks and convolutional neural networks. Based on that, the design and implementation of a new library for convolutional neural networks is described. The library is then evaluated on widely used datasets and compared to other publicly available libraries. The added benefit of the library, that makes it unique, is its independence on data types. Each layer may contain up to three independent data types - for weights, for inference and for training. For the purpose of evaluating this feature, a data type with fixed point representation is also part of the library. The effects of this representation on trained net accuracy are put to a test.
Keywords:
approximation; artificial intelligence; classification; convolutional neural network; deep learning; fixed point; learning; neural network; regression; software library; aproximace; hluboké učení; klasifikace; konvoluční neuronová síť; neuronová síť; pevná řádová čárka; regrese; softwarová knihovna; umělá inteligence; učení
Institution: Brno University of Technology
(web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library. Original record: http://hdl.handle.net/11012/84982