Original title: Akcelerace neuronové sítě pro jazykové modelování
Translated title: Neural Language Model Acceleration
Authors: Labaš, Dominik ; Černocký, Jan (referee) ; Beneš, Karel (advisor)
Document type: Bachelor's theses
Year: 2018
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Táto práca sa zaoberá akceleráciou neurónovej siete pre jazykové modelovanie. Cieľom práce je optimalizovať model doprednej neurónovej siete. Pri urýchľovaní neurónovej siete sme využili zmenu aktivačnej funkcie, predpočítanie matíc pre výpočet skrytej vrstvy, implementáciu cache histórie modelu a odstránenie normalizácie. Model s najlepšími výsledkami bol zrýchlený o 75.3\%. This work adresses the topic of neural language model acceleration. The aim of this work is to optimize model of a feed-forward neural network. In accelerating of the neural network we used a change of activation function, pre-calculation of matrices for calculationg the hidden layer, implementation of the model's history cache and unnormalized model. The best-performing model was accelerated by 75.3\%.
Keywords: Language model; Language modeling; Neural Network; Neural network acceleration; Akcelerácia neurónovej siete; Dopredná neurónová sieť; Jazykové modelovanie; Jazykový model

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/85264

Permalink: http://www.nusl.cz/ntk/nusl-386281


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Bachelor's theses