Original title: Konvergence stochastického gradientu v úlohách strojového učení
Translated title: Convergence of stochastic gradient descent in machine learning problems
Authors: Jelínková, Marie ; Branda, Martin (advisor) ; Kozmík, Karel (referee)
Document type: Bachelor's theses
Year: 2022
Language: cze
Abstract: [cze] [eng]
Tato práce se zabývá hledáním minima účelové funkce, která je součtem diferenco- vatelné (možno i nekonvexní) a obecné konvexní funkce. Zaměřili jsme se na metody stochastického a projektovaného gradientového sestupu ze strojového učení. Představu- jeme metodu kombinující oba přístupy. Postupně zavedeme potřebné pojmy a představíme RSPG algoritmus schopný řešit daný problém. Dokážeme jeho konvergenci pro konvexní i nekonvexní funkce. Součástí práce je i krátká numerická studie. 1 The aim of this thesis is solving minimization problems where the objective function is a sum of a differentiable (yet possibly non-convex) and general convex function. We focus on methods of stochastic and projected gradient descent from machine learning. By combining those two approaches we introduce an algorithm for solving such problems. The work is composed in a gradual manner where we firstly define necessary concepts needed for describing RSPG algorithm. Then we proceed to show the convergence of the algorithm for both convex and non-convex objective functions. A short numerical study is also included at the end. 1
Keywords: machine|learning|optimization|stochastic|gradient|projection; strojové|učení|optimalizace|stochastický|gradient|projekce

Institution: Charles University Faculties (theses) (web)
Document availability information: Available in the Charles University Digital Repository.
Original record: http://hdl.handle.net/20.500.11956/175756

Permalink: http://www.nusl.cz/ntk/nusl-509624


The record appears in these collections:
Universities and colleges > Public universities > Charles University > Charles University Faculties (theses)
Academic theses (ETDs) > Bachelor's theses