Properties of the sign gradient descent algorithms
| Autor: | Franck Plestan, Emmanuel Moulay, Vincent Léchappé |
|---|---|
| Přispěvatelé: | Systèmes et Réseaux Intelligents (XLIM-SRI), XLIM (XLIM), Université de Limoges (UNILIM)-Centre National de la Recherche Scientifique (CNRS)-Université de Limoges (UNILIM)-Centre National de la Recherche Scientifique (CNRS), Ampère, Département Méthodes pour l'Ingénierie des Systèmes (MIS), Ampère (AMPERE), École Centrale de Lyon (ECL), Université de Lyon-Université de Lyon-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Institut National des Sciences Appliquées (INSA)-Université de Lyon-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-École Centrale de Lyon (ECL), Institut National des Sciences Appliquées (INSA)-Université de Lyon-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE), Laboratoire des Sciences du Numérique de Nantes (LS2N), IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Nantes - UFR des Sciences et des Techniques (UN UFR ST), Université de Nantes (UN)-Université de Nantes (UN)-École Centrale de Nantes (ECN)-Centre National de la Recherche Scientifique (CNRS), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-École Centrale de Lyon (ECL), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Centre National de la Recherche Scientifique (CNRS)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE) |
| Rok vydání: | 2019 |
| Předmět: |
Information Systems and Management
Computer science metaheuristic 02 engineering and technology [SPI.AUTO]Engineering Sciences [physics]/Automatic Theoretical Computer Science Artificial Intelligence 0202 electrical engineering electronic engineering information engineering Initial value problem Global optimization Metaheuristic Gradient descent Rprop algorithm 05 social sciences 050301 education Lyapunov sequence Computer Science Applications Maxima and minima Control and Systems Engineering discrete-time systems 020201 artificial intelligence & image processing [MATH.MATH-OC]Mathematics [math]/Optimization and Control [math.OC] optimization 0503 education Algorithm Software Sign (mathematics) |
| Zdroj: | Information Sciences Information Sciences, Elsevier, 2019, ⟨10.1016/j.ins.2019.04.012⟩ |
| ISSN: | 0020-0255 |
| DOI: | 10.1016/j.ins.2019.04.012 |
| Popis: | The aim of this article is to study the properties of the sign gradient descent algorithms involving the sign of the gradient instead of the gradient itself and first introduced in the RPROP algorithm. This article provides two results of convergence for local optimization , a first one for nominal systems without uncertainty and a second one for systems with uncertainties. New sign gradient descent algorithms including the dichotomy algorithm DICHO are applied on several examples to show their effectiveness in terms of speed of convergence. As a novelty, the sign gradient descent algorithms can allow to converge in practice towards other minima than the closest minimum of the initial condition making these algorithms suitable for global optimization as a new metaheuristic method. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|
Full Text from ScienceDirect