|
|
Some modifications of the limited-memory variable metric optimization methods
Vlček, Jan ; Lukšan, Ladislav
Several modifications of the limited-memory variable metric (or quasi-Newton) line search methods for large scale unconstrained optimization are investigated. First the block version of the symmetric rank-one (SR1) update formula is derived in a similar way as for the block BFGS update in Vlˇcek and Lukˇsan (Numerical Algorithms 2019). The block SR1 formula is then modified to obtain an update which can reduce the required number of arithmetic operations per iteration. Since it usually violates the corresponding secant conditions, this update is combined with the shifting investigated in Vlˇcek and Lukˇsan (J. Comput. Appl. Math. 2006). Moreover, a new efficient way how to realize the limited-memory shifted BFGS method is proposed. For a class of methods based on the generalized shifted economy BFGS update, global convergence is established. A numerical comparison with the standard L-BFGS and BNS methods is given.
Plný tet:  PDF
|
|
|
Numerická optimalizace
Márová, Kateřina ; Janovský, Vladimír (vedoucí práce) ; Lukšan, Ladislav (oponent)
Práce se věnuje metodám numerické optimalizace bez omezení, konkrétně výkladu metod, jež nevyžadují existenci derivací účelové funkce o více proměnných. Sedm nejznámějších algoritmů, rozdělených do tří skupin, je popsáno a implementováno v jazyce MATLAB. Optimalizace ve směrech souřadnicových os a Hooke-Jeevesova metoda jsou zástupci jednoduchých "pattern search" metod. Rodina simplexových metod obsahuje Spendley-Hext-Himsworthův algoritmus a Nelder-Meadův algoritmus. Metody s proměnnými směry vyhledávání jsou tři: Rosenbrockova, Davies-Swann- Campeyho a Powellova. Všechny metody jsou následně testovány na třech předem vybraných funkcích dvou proměnných. Postup výpočtů je kvantitativně i kvalitativně analyzován a názorně graficky ilustrován. Powered by TCPDF (www.tcpdf.org)
|
|
|
Numerical Optimization Methods for the Falsification of Hybrid Dynamical Systems
Kuřátko, Jan ; Ratschan, Stefan (vedoucí práce) ; Bergamaschi, Luca (oponent) ; Lukšan, Ladislav (oponent)
Název práce: Numerické algoritmy pro analýzu hybridních dynamických systémů Autor: Jan Kuřátko Katedra: Katedra numerické matematiky Vedoucí disertační práce: Stefan Ratschan, Ústav informatiky Akademie věd České republiky Abstrakt: Disertační práci tvoří tři články, v nichž jsme navrhli způsob, jak hledat chybové trajektorie hybridních dynamických systémů. Hybridním dynamickým systémem rozumíme takový systém, který nabývá jak spojitých, tak i diskrétních stavů. Jako ilustrační příklad může posloužit termostat udržující zadanou teplotu v místnosti. Termostat může mít dva diskrétní stavy, a to vypnout vytápění, zapnout vytápění, a spojitým stavem zde je teplota v místnosti. Termostat přechází ze stavu vypnout do stavu zapnout vytápění na základě výše teploty a tím ji udržuje na zadané hodnotě. Chybovou trajektorií systému rozumíme vývoj systému v čase, při němž nastane nežádoucí nebo nebezpečná situace. Těm se chceme vyhnout, a proto jsou potřeba metody, které dokážou automaticky testovat vznik nežádoucích stavů. Výsledky v disertační práci jsou postavené na numerické optimalizaci. Klíčová slova: numerická optimalizace, dynamické systémy, sedlobodové matice
|
|
|
Two limited-memory optimization methods with minimum violation of the previous quasi-Newton equations
Vlček, Jan ; Lukšan, Ladislav
Limited-memory variable metric methods based on the well-known BFGS update are widely used for large scale optimization. The block version of the BFGS update, derived by Schnabel (1983), Hu and Storey (1991) and Vlček and Lukšan (2019), satisfies the quasi-Newton equations with all used difference vectors and for quadratic objective functions gives the best improvement of convergence in some sense, but the corresponding direction vectors are not descent directions generally. To guarantee the descent property of direction vectors and simultaneously violate the quasi-Newton equations as little as possible in some sense, two methods based on the block BFGS update are proposed. They can be advantageously combined with methods based on vector corrections for conjugacy (Vlček and Lukšan, 2015). Global convergence of the proposed algorithm is established for convex and sufficiently smooth functions. Numerical experiments demonstrate the efficiency of the new methods.
Plný tet: PDF
|
|
|
Hybrid Methods for Nonlinear Least Squares Problems
Lukšan, Ladislav ; Matonoha, Ctirad ; Vlček, Jan
This contribution contains a description and analysis of effective methods for minimization of the nonlinear least squares function F(x) = (1=2)fT (x)f(x), where x ∈ Rn and f ∈ Rm, together with extensive computational tests and comparisons of the introduced methods. All hybrid methods are described in detail and their global convergence is proved in a unified way. Some proofs concerning trust region methods, which are difficult to find in the literature, are also added. In particular, the report contains an analysis of a new simple hybrid method with Jacobian corrections (Section 8) and an investigation of the simple hybrid method for sparse least squares problems proposed previously in [33] (Section 14).
Plný tet: 0504615-av1 - PDF
Plný text: content.csg - PDF
|
|
|
Application of the Infinitely Many Times Repeated BNS Update and Conjugate Directions to Limited-Memory Optimization Methods
Vlček, Jan ; Lukšan, Ladislav
To improve the performance of the L-BFGS method for large scale unconstrained optimization, repeating of some BFGS updates was proposed. Since this can be time consuming, the extra updates need to be selected carefully. We show that groups of these updates can be repeated infinitely many times under some conditions, without a noticeable increase of the computational time. The limit update is a block BFGS update. It can be obtained by solving of some Lyapunov matrix equation whose order can be decreased by application of vector corrections for conjugacy. Global convergence of the proposed algorithm is established for convex and sufficiently smooth functions. Numerical results indicate the efficiency of the new method.
|
|
| |
|
| |
|
| |
|
| |
host ::
RSS.