Original title: Paralelní trénování hlubokých neuronových sítí
Translated title: Parallel Deep Learning
Authors: Šlampa, Ondřej ; Sochor, Jakub (referee) ; Hradiš, Michal (advisor)
Document type: Master’s theses
Year: 2017
Language: cze
Publisher: Vysoké učení technické v Brně. Fakulta informačních technologií
Abstract: [cze] [eng]
Cílem této práce je navrhnou způsob jak zhodnotit výhodnost použití paralelního trénování neuronových sítí. V této práci jsem provedl analýzu paralelního trénování se zaměřením na délku trénování. Vycházím ze sekvenční délky trénování a délky přenosu vah po síti. Výsledkem této práce je návrh vzorců, které slouží k odhadu zrychlení na více výpočetních jednotkách. Tyto vzorce je možné použít na zjištění ideálního počtu pracovních jednotek pro trénování. Aim of this thesis is to propose how to evaluate favourableness of parallel deep learning. In this thesis I analyze parallel deep learning and I focus on its length. I take into account gradient computation length and weight transportation length. Result of this thesis is proposal of equations, which can estimate the speedup on multiple workers. These equations can be used to determine ideal number of workers for training.
Keywords: computation length estimation; computer networks; convolutional neural networks; distributed computing; Neural networks; parallel computing; Python.; soft computing; Tensorflow; training; distribuovaný výpočet; konvoluční neuronové sítě; Neuronové sítě; odhad délky výpočtu; paralení výpočet; počítačové sítě; Python.; soft computing; Tensorflow; trénování

Institution: Brno University of Technology (web)
Document availability information: Fulltext is available in the Brno University of Technology Digital Library.
Original record: http://hdl.handle.net/11012/69598

Permalink: http://www.nusl.cz/ntk/nusl-547928


The record appears in these collections:
Universities and colleges > Public universities > Brno University of Technology
Academic theses (ETDs) > Master’s theses