Zobrazeno 1 - 10
of 22
pro vyhledávání: '"Castera, Camille"'
Autor:
Castera, Camille, Ochs, Peter
Towards designing learned optimization algorithms that are usable beyond their training setting, we identify key principles that classical algorithms obey, but have up to now, not been used for Learning to Optimize (L2O). Following these principles,
Externí odkaz:
http://arxiv.org/abs/2405.18222
In order to minimize a differentiable geodesically convex function, we study a second-order dynamical system on Riemannian manifolds with an asymptotically vanishing damping term of the form $\alpha/t$. For positive values of $\alpha$, convergence ra
Externí odkaz:
http://arxiv.org/abs/2312.06366
We introduce an autonomous system with closed-loop damping for first-order convex optimization. While, to this day, optimal rates of convergence are almost exclusively achieved by non-autonomous methods via open-loop damping (e.g., Nesterov's algorit
Externí odkaz:
http://arxiv.org/abs/2311.10053
Publikováno v:
SIAM Journal on Optimization (2024) 34(1):251--277
We introduce a new dynamical system, at the interface between second-order dynamics with inertia and Newton's method. This system extends the class of inertial Newton-like dynamics by featuring a time-dependent parameter in front of the acceleration,
Externí odkaz:
http://arxiv.org/abs/2301.08726
Autor:
Castera, Camille
Publikováno v:
Journal of Optimization Theory and Applications (2023) 199(12):881--903
We study the asymptotic behavior of second-order algorithms mixing Newton's method and inertial gradient descent in non-convex landscapes. We show that, despite the Newtonian behavior of these methods, they almost always escape strict saddle points.
Externí odkaz:
http://arxiv.org/abs/2111.04596
Publikováno v:
Neural Processing Letters (2022)
In view of a direct and simple improvement of vanilla SGD, this paper presents a fine-tuning of its step-sizes in the mini-batch case. For doing so, one estimates curvature, based on a local quadratic model and using only noisy gradient approximation
Externí odkaz:
http://arxiv.org/abs/2103.03570
Publikováno v:
Journal of Machine Learning Research (JMLR), v22(134):1-31, 2021
We introduce a new second-order inertial optimization method for machine learning called INNA. It exploits the geometry of the loss function while only requiring stochastic approximations of the function values and the generalized gradients. This mak
Externí odkaz:
http://arxiv.org/abs/1905.12278
Akademický článek
Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.
K zobrazení výsledku je třeba se přihlásit.
Akademický článek
Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.
K zobrazení výsledku je třeba se přihlásit.
Akademický článek
Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.
K zobrazení výsledku je třeba se přihlásit.