Název: The influence of first CNN layer initialization on training convergence
Autoři: Krejsa, Jiří ; Věchet, Stanislav ; Chen, K.S.
Typ dokumentu: Příspěvky z konference
Konference/Akce: Engineering Mechanics 2023 /29./, Milovy (CZ), 20230509
Rok: 2023
Jazyk: eng
Abstrakt: During evaluation of convolution neural networks on the task of sign language single hand alphabet classification we have discovered that in small but not negligible number of cases the training of the network does not converge at all. This paper investigates the problem that we believe is independent of the application. While the true cause of training divergence was not discovered, we can offer the reader an easy solution from practical point of view – initialization of the first CNN layer using pretrained networks parameters.
Klíčová slova: convolution neural networks; initialization; training
Zdrojový dokument: Engineering Mechanics 2023 : 29th International Conference, ISBN 978-80-87012-84-0, ISSN 1805-8248
Poznámka: Související webová stránka: https://www.engmech.cz/im/proceedings/show_p/2023/135

Instituce: Ústav termomechaniky AV ČR (web)
Informace o dostupnosti dokumentu: Dokument je dostupný v příslušném ústavu Akademie věd ČR.
Původní záznam: https://hdl.handle.net/11104/0351917

Trvalý odkaz NUŠL: http://www.nusl.cz/ntk/nusl-542026


Záznam je zařazen do těchto sbírek:
Věda a výzkum > AV ČR > Ústav termomechaniky
Konferenční materiály > Příspěvky z konference