Etudes techniques de compression de réseaux de neurones pour sa mise en place dans une architecture embarquée de type Smartphone
| Autor: | Berthelier, Anthony |
|---|---|
| Přispěvatelé: | STAR, ABES, Institut Pascal (IP), Centre National de la Recherche Scientifique (CNRS)-Université Clermont Auvergne (UCA)-Institut national polytechnique Clermont Auvergne (INP Clermont Auvergne), Université Clermont Auvergne (UCA)-Université Clermont Auvergne (UCA), Université Clermont Auvergne, Thierry Chateau |
| Jazyk: | francouzština |
| Rok vydání: | 2021 |
| Předmět: | |
| Zdroj: | Electronique. Université Clermont Auvergne, 2021. Français. ⟨NNT : 2021UCFAC086⟩ |
| Popis: | Over the past years, deep neural networks have proved to be an essential element for developing intelligent solutions. They have achieved remarkable performances at a cost of a large size with deeper layers and millions of parameters. Therefore utilising these networks for developing augmented reality applications on limited resource platforms such as embedded devices or mobile phones is a challenging task. In this context, this thesis addresses the problem of neural networks compression and optimisation in order to enhance the performance of these models on limited resource systems.In the first part of this manuscript, we present an overview of different compression methods present in the literature as well as their strengths, their weaknesses and a brief comparison of these techniques. We are also interested in the methods that are allowing the optimisation of deep neural networks structure design, from simple modules to autonomous models building.In the second part, we show the feasibility of an augmented reality application in real-time using a deep learning model in order to achieve a face parsing task. By using adapted frameworks and an optimised architecture, we achieve the segmentation of different face components in real-time with a high level of consistency on an iPhone X.The last two parts are focused on the development and the evaluation of a new deep convolutional neural networks compression method. Based on a regularisation term which is defined on the filter coefficients of the model, our approach is inducing sparsity among the weights of the network. Thus, our method is redistributing the information between the model filters, enabling us to remove the filters with the smaller values. We show the performance of our method on classic classification tasks. We are also introducing the efficiency of our technique on more complex models and tasks such as classification, segmentation and detection problems while specialising these models on a subset of categories on several databases. Au cours de ces dernières années, les réseaux de neurones profonds se sont montrés être des éléments centraux dans le développement de solutions intelligentes. Ils ont atteint des performances remarquables au détriment de la grande taille de leurs modèles avec de nombreuses couches profondes et des millions de paramètres. Ainsi, utiliser ces modèles pour des applications en réalité augmentée devant fonctionner sur des plateformes possédant des ressources limitées comme des systèmes embarqués ou des smartphones est une tâche loin d'être évidente. Dans ce contexte, cette thèse s'intéresse au problème de la compression et de l'optimisation de réseaux de neurones dans le but de réduire la taille de leur modèle sur des systèmes ayant des ressources limitées.Nous présentons dans une première partie différentes méthodes de compression de la littérature ainsi que leurs forces, leurs faiblesses et une brève comparaison entre elles. Nous nous intéressons également aux méthodes permettant d'optimiser la construction des architectures de réseaux de neurones profonds, allant de simples modules à la construction autonome de modèles.Nous montrons dans une deuxième partie la faisabilité technique d'une application en réalité augmentée et en temps réel utilisant un modèle d'apprentissage profond pour de l'analyse de visages. En utilisant des frameworks adaptés et une architecture optimisée, nous arrivons à segmenter différents composants du visage de manière robuste en temps réel sur un iPhone X.Les deux dernières parties sont consacrées au développement et à l'évaluation d'une nouvelle méthode de compression de réseaux de neurones convolutifs profonds. Basée sur un terme de régularisation défini sur les coefficients des filtres du modèle, notre approche permet d'introduire de la dispersion au sein des poids du réseau. Cela a pour effet de redistribuer l'information entre les filtres du modèle, nous permettant de supprimer les filtres ayant une valeur faible suite à cette opération. Nous évaluons les performances de notre méthode sur des tâches de classification classiques. Nous introduisons aussi l'efficacité de notre technique sur des modèles et des tâches de classification, segmentation et détection plus complexes en spécialisant les modèles sur certaines sous-catégories de jeux de données. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|