Estimation and Feature Selection in High-Dimensional Mixtures-of-Experts Models

Autor: Huynh, Bao-Tuyen
Přispěvatelé: Laboratoire de Mathématiques Nicolas Oresme (LMNO), Centre National de la Recherche Scientifique (CNRS)-Université de Caen Normandie (UNICAEN), Normandie Université (NU)-Normandie Université (NU), LMNO Lab CNRS, UMR 6139, University of Caen, Faicel Chamroukhi, Huynh, Bao-Tuyen
Jazyk: angličtina
Rok vydání: 2019
Předmět:
Zdroj: Statistics [math.ST]. LMNO Lab CNRS, UMR 6139, University of Caen, 2019. English
Popis: This thesis deals with the problem of modeling and estimation of high-dimensional MoE models, towards effective density estimation, prediction and clustering of such heterogeneous and high-dimensional data. We propose new strategies based on regularized maximum-likelihood estimation (MLE) of MoE models to overcome the limitations of standard methods, including MLE estimation with Expectation-Maximization (EM) algorithms, and to simultaneously perform feature selection so that sparse models are encouraged in such a high-dimensional setting. We first introduce a mixture-of-experts' parameter estimation and variable selection methodology, based on $\ell_1$ (lasso) regularizations and the EM framework, for regression and clustering suited to high-dimensional contexts. Then, we extend the method to regularized mixture of experts models for discrete data, including classification. We develop efficient algorithms to maximize the proposed $\ell_1$-penalized observed-data log-likelihood function. Our proposed strategies enjoy the efficient monotone maximization of the optimized criterion, and unlike previous approaches, they do not rely on approximations on the penalty functions, avoid matrix inversion, and exploit the efficiency of the coordinate ascent algorithm, particularly within the proximal Newton-based approach.
Cette th`ese traite de la mod´elisation et de l’estimation de mod`eles de m´elanges d’experts de grande dimension, en vue d’efficaces estimation de densit´e, pr´ediction et classification de telles donn´ees complexes car h´et´erog`enes et de grande dimension. Nous proposons de nouvelles strat´egies bas´ees sur l’estimation par maximum de vraisemblance r´egularis´e des mod`eles pour pallier aux limites des m´ethodes standards, y compris l’EMV avec les algorithmes d’esp´erance-maximisation (EM), et pour effectuer simultan´ement la s´election des variables pertinentes afin d’encourager des solutions parcimonieuses dans un contexte haute dimension. Nous introduisons d’abord une m´ethode d’estimation r´egularis´ee des param`etres et de s´election de variables d’un m´elange d’experts, bas´ee sur des r´egularisations ℓ1 (lasso) et le cadre de l’algorithme EM, pour la r´egression et la classification adapt´es aux contextes de la grande dimension.Ensuite, nous ´etendons la strat´egie un m´elange r´egularis´e de mod`eles d’experts pour les donn´ees discr`etes, y compris pour la classification. Nous d´eveloppons des algorithmes efficaces pour maximiser la fonction de log-vraisemblance ℓ1-p´enalis´ee des donn´ees observ´ees. Nos strat´egies propos´ees jouissent de la maximisation monotone efficace du crit`ere optimis´e, et contrairement aux approches pr´ec´edentes, ne s’appuient pas sur des approximations des fonctions de p´enalit´e, ´evitent l’inversion de matrices et exploitent l’efficacit´e de l’algorithme de mont´ee de coordonn´ees, particuli`erement dans l’approche proximale par mont´ee de coordonn´ees.
Databáze: OpenAIRE
Externí odkaz: