Learning Co-Sparse Analysis Operators with Separable Structures
| Autor: | Martin Kleinsteuber, Matthias Seibert, Rémi Gribonval, Julian Wörmann |
|---|---|
| Přispěvatelé: | Technische Universität Munchen - Université Technique de Munich [Munich, Allemagne] (TUM), Parcimonie et Nouveaux Algorithmes pour le Signal et la Modélisation Audio (PANAMA), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Télécom Bretagne-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-Télécom Bretagne-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Télécom Bretagne-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS), European Project: 277906,EC:FP7:ERC,ERC-2011-StG_20101014,PLEASE(2012), CentraleSupélec-Télécom Bretagne-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Université de Bretagne Sud (UBS)-Centre National de la Recherche Scientifique (CNRS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-CentraleSupélec-Télécom Bretagne-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Université de Bretagne Sud (UBS)-Centre National de la Recherche Scientifique (CNRS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA) |
| Rok vydání: | 2015 |
| Předmět: |
FOS: Computer and information sciences
Theoretical computer science Machine Learning (stat.ML) 02 engineering and technology Upper and lower bounds Machine Learning (cs.LG) Operator (computer programming) [INFO.INFO-TS]Computer Science [cs]/Signal and Image Processing [INFO.INFO-LG]Computer Science [cs]/Machine Learning [cs.LG] Statistics - Machine Learning stochastic gradient descent Convergence (routing) 0202 electrical engineering electronic engineering information engineering Electrical and Electronic Engineering Mathematics sample complexity separable filters 020206 networking & telecommunications Filter (signal processing) Inverse problem Computer Science - Learning Stochastic gradient descent Separable filter Co-sparsity Signal Processing 020201 artificial intelligence & image processing Algorithm design |
| Zdroj: | IEEE Transactions on Signal Processing IEEE Transactions on Signal Processing, 2015, 64 (1), pp.120-130. ⟨10.1109/TSP.2015.2481875⟩ IEEE Transactions on Signal Processing, Institute of Electrical and Electronics Engineers, 2015, 64 (1), pp.120-130. ⟨10.1109/TSP.2015.2481875⟩ |
| ISSN: | 1053-587X |
| DOI: | 10.48550/arxiv.1503.02398 |
| Popis: | In the co-sparse analysis model a set of filters is applied to a signal out of the signal class of interest yielding sparse filter responses. As such, it may serve as a prior in inverse problems, or for structural analysis of signals that are known to belong to the signal class. The more the model is adapted to the class, the more reliable it is for these purposes. The task of learning such operators for a given class is therefore a crucial problem. In many applications, it is also required that the filter responses are obtained in a timely manner, which can be achieved by filters with a separable structure. Not only can operators of this sort be efficiently used for computing the filter responses, but they also have the advantage that less training samples are required to obtain a reliable estimate of the operator. The first contribution of this work is to give theoretical evidence for this claim by providing an upper bound for the sample complexity of the learning process. The second is a stochastic gradient descent (SGD) method designed to learn an analysis operator with separable structures, which includes a novel and efficient step size selection rule. Numerical experiments are provided that link the sample complexity to the convergence speed of the SGD algorithm. Comment: 11 pages double column, 4 figures, 3 tables |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|