Multi-Class Discriminant Analysis Based on Support Vector Machine Ensembles

Autor: Filisbino, Tiene Andre
Přispěvatelé: Giraldi, Gilson Antônio, Porto, Fabio André Machado, Feitosa, Raquel Queiroz, Conci, Aura
Jazyk: angličtina
Rok vydání: 2019
Předmět:
Zdroj: Biblioteca Digital de Teses e Dissertações do LNCC
Laboratório Nacional de Computação Científica (LNCC)
instacron:LNCC
Popis: Submitted by Maria Cristina (library@lncc.br) on 2020-05-12T17:19:38Z No. of bitstreams: 1 Tese_Tiene Filisbino_2019.pdf: 7800114 bytes, checksum: 94ecd8afaf78582bdf1ca8fca72f2c95 (MD5) Approved for entry into archive by Maria Cristina (library@lncc.br) on 2020-05-12T17:20:02Z (GMT) No. of bitstreams: 1 Tese_Tiene Filisbino_2019.pdf: 7800114 bytes, checksum: 94ecd8afaf78582bdf1ca8fca72f2c95 (MD5) Made available in DSpace on 2020-05-12T17:20:14Z (GMT). No. of bitstreams: 1 Tese_Tiene Filisbino_2019.pdf: 7800114 bytes, checksum: 94ecd8afaf78582bdf1ca8fca72f2c95 (MD5) Previous issue date: 2019-05-17 CNPQ Many areas such as pattern recognition and analysis of image databases require the managing of datasets originally represented in high dimensional spaces. Besides, the original data representation suffers, in general, of redundancy and noise. Thus, we must compute a more suitable feature space, reducing both the dimension and redundancy of representation in order to minimize the computational cost of further operations. Once a feature space has been defined there is the necessity of determining the most important discriminant features for pattern recognition tasks, like classification. Discriminant analysis techniques, which in the literature are known as discriminant functions, seek to solve this type of problem. Thus, the goal of the proposed thesis is to develop discriminant analysis methods for multi-class classification problems. The key idea is to combine N classifiers to form a global discriminant function, which allows to rank the components of the space according to the importance of each feature to the classification. To achieve this goal, we use separate hyperplanes computed by linear support vector machines (SVMs) or defined by a Kernel SVM (KSVM) decision boundary, and use the ensemble methodology known as AdaBoost.M2 to combine the weak linear classifiers. More specifically, our proposed techniques seek to generate multi-class versions of the Discriminant Principal Component Analysis (DPCA), which was originally developed for binary problems. In this work, principal components analysis (PCA), Convolutional neural networks (CNNs) and texture descriptors, are used to create feature spaces that serve as input to perform discriminant analysis. In terms of application for validation of the proposed techniques our focus are human face and texture images obtained from granite tiles. Our experimental results have shown that the features selected by our proposal allow higher recognition rates using less features when compared with related methods as well as robust reconstruction and interpretation of the data. Further works will be undertaken by exploring deep learning methods, color images, tensor subspaces as well as to improve performance. Muitas áreas, como reconhecimento de padrões e análise de bancos de dados de imagens requerem o gerenciamento de conjuntos de dados originalmente representados em espaços de alta dimensionais. Além disso, a representação original dos dados sofre, em geral, de redundância e ruído. Assim, nós devemos determinar um espaço de características mais adequado, reduzindo tanto a dimensão quanto a redundância da representação, a fim de minimizar o custo computacional de outras operações. Uma vez que um espaço de características tenha sido definido há a necessidade de determinar as características discriminantes mais importantes para reconhecimento de padrões, como classificação. Técnicas de análise discriminante, que na literatura são conhecidas como funções discriminantes, procuram resolver este tipo de problema. Então, o objetivo da tese proposta é desenvolver métodos de análise discriminante para problemas de classificação multi classe. A ideia chave é combinar N classificadores para formar uma função discriminante global, que permita ordenar as componentes do espaço de acordo com a importância de cada característica para a classificação. Para atingir esse objetivo, nós usamos hiperplanos computados por SVMs lineares (support vector machines) ou definidos por uma superfície de decisão gerada pelo Kernel SVM (Kernel support vector machine) e usamos metodologia ensemble conhecida como AdaBoost.M2 para combinar os classificadores lineares fracos. Mais especificamente, as técnicas propostas procuram gerar versões multi-classe do DPCA ( Discriminant Principal Component Analysis), que foi originalmente desenvolvido para problemas binários. Neste trabalho, PCA (Principal Component Analysis), redes neurais convolucionais (Convolution Neural Networks (CNNs)) e descritores de textura, são usados para criar espaços de características que servem como entrada para realizar análise discriminante. Em termos de aplicação, para validação das técnicas propostas, nosso foco são faces humanas e imagens de textura obtidas a partir de ladrilhos de granito. Nossos resultados experimentais mostraram que as características selecionados por nossa proposta permitem taxas de reconhecimento mais altas usando menos características quando comparado com métodos relacionados, bem como reconstrução e interpretação robustas dos dados. Como trabalhos futuros, nós exploraremos técnicas de aprendizagem profunda, imagens coloridas, subespaços tensoriais, bem como buscaremos melhorar o desempenho.
Databáze: OpenAIRE
Externí odkaz: