Last update: doc. RNDr. Václav Kučera, Ph.D. (19.12.2018)
The course deals with the theoretical and practical questions of the numerical solution of non-linear equations
and minimization of functionals. The first part is dedicated to the solution of nonlinear equations and their
systems, we will focus mainly on Newton's method, its variants and modifications. The second part deals with
the minimization of functionals, focusing on descent methods (e.g. the non-linear conjugate gradient method
and quasi-Newtonian methods) and on trust region methods.
Last update: doc. RNDr. Václav Kučera, Ph.D. (15.01.2019)
Předmět se zabývá teoretickými i praktickými otázkami numerického řešení nelineárních rovnic a minimalizace funkcionálu.
V první části se věnujeme řešení nelineárních rovnic a jejich soustav, zaměříme se hlavně na Newtonovu metodu, její varianty a modifikace.
Druhá část pojednává o minimalizaci funkcionálu, se zaměřením na metody spádových směrů (například nelineární metodu sdružených gradientů a kvazi-newtonovské metody) a na metody s lokálně omezeným krokem.
Literature -
Last update: doc. RNDr. Václav Kučera, Ph.D. (19.12.2018)
J. M. Ortega, W. C. Rheinboldt: Iterative solution of nonlinear equations in several variables. Academic Press new York and London, 1970.
C. T. Kelley: Solving Nonlinear Equations with Newton's Method. Philadelphia, SIAM 2003.
A. Ostrowski: Solution of Equations and Systems of Equations. Academic Press, New York 1960; second edition, 1966.
P. Henrici: Elements of Numerical Analysis. John Wiley and Sons, Inc. 1964.
P. Deufelhard: Newton Methods for Nonlinear Problems. Springer-Verlag Berlin Heidelberg, 2004.
R. Fletcher, Practical Methods of Optimization, 2nd edition Wiley 1987, (republished 2000).
D. G. Luenberger and Y. Ye, Linear and Nonlinear Programming, Third edition. Springer, New York, MA, 2008.
J. Nocedal and S. Wright, Numerical Optimization, Second edition, Springer Verlag 2006.
J. E. Dennis, Jr. and Robert B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM 1996, originally published in 1983.
Last update: doc. RNDr. Václav Kučera, Ph.D. (15.01.2019)
J. M. Ortega, W. C. Rheinboldt: Iterative solution of nonlinear equations in several variables. Academic Press new York and London, 1970.
C. T. Kelley: Solving Nonlinear Equations with Newton's Method. Philadelphia, SIAM 2003.
A. Ostrowski: Solution of Equations and Systems of Equations. Academic Press, New York 1960; second edition, 1966.
P. Henrici: Elements of Numerical Analysis. John Wiley and Sons, Inc. 1964.
P. Deufelhard: Newton Methods for Nonlinear Problems. Springer-Verlag Berlin Heidelberg, 2004.
R. Fletcher, Practical Methods of Optimization, 2nd edition Wiley 1987 (republished 2000).
D. G. Luenberger, Y. Ye, Linear and Nonlinear Programming, Third edition. Springer, New York, MA, 2008.
J. Nocedal, S. Wright, Numerical Optimization, Second edition, Springer Verlag 2006.
J. E. Dennis, Jr., Robert B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, SIAM 1996, originally published in 1983.
Syllabus -
Last update: doc. RNDr. Václav Kučera, Ph.D. (20.12.2018)
Basic numerical methods for solving scalar nonlinear equations (Newton's method and secant method), local convergence, order of convergence. More advanced methods (Muller's method, inverse quadratic interpolation, Brent's method).
Solution of systems of nonlinear equations, Newton's method, quasi-Newtonian methods. Global convergence, continuation methods.
Theory of unconstrained optimization (necessary and sufficient conditions, role of convexity).
Line search - the search for minima in the given descent direction (Goldstein, Armijo, Wolfe conditions). Basic descent methods (the method of steepest descent and the Newton method), conjugate direction methods (the nonlinear conjugate gradient method),
Quasi-Newton methods (rank-one update, DFP, BFGS, the Broyden family),
Trust-region methods, dogleg.
Least-squares problems (the Gauss-Newton and the Levenberg-Marquart method).
Last update: doc. RNDr. Václav Kučera, Ph.D. (15.01.2019)
Základní numerické metody pro řešení skalárních nelineárních rovnic (Newtonova metoda a metoda sečen), lokální konvergence, řád konvergence. Pokročilejší metody (Mullerova metoda, inverzní kvadratická konvergence, Brentova metoda).
Teorie nepodmíněné optimalizace (nutné a postačující podmínky, role konvexity).
Line search - úloha hledání minima v daném spádovém směru (Goldsteinovy, Armijovy, Wolfeho podmínky). Základní spádové metody (největšího spádu a Newtonova), metody sdružených směrů (nelineární metoda sdružených gradientů), kvazi-newtonovské metody (update hodnosti 1, DFP, BFGS, Broydenovy metody).
Metody s lokálně omezeným krokem, dogleg.
Řešení problému nejmenších čtverců (Gauss-Newtonova a Levenberg-Marquartova metoda).
