Semantic description of objects in images based on Prototype Theory
| Autor: | Omar Vidal Pino |
|---|---|
| Přispěvatelé: | Mario Fernando Montenegro Campos, Erickson Rangel do Nascimento, Anderson de Rezende Rocha, Wagner Meira Junior, Renato José Martins, Luiz Chaimowicz |
| Jazyk: | portugalština |
| Rok vydání: | 2020 |
| Předmět: |
Computação – Teses
Visão computacional – Teses Semantic description Visão computacional Descrição semântica Deep learning Teoria dos Protótipos Prototypicality effects Teoria dos protótipos – Teses Computer vision Aprendizagem profunda Prototype Theory Aprendizado profundo – Teses Efeitos prototípicos |
| Zdroj: | Repositório Institucional da UFMG Universidade Federal de Minas Gerais (UFMG) instacron:UFMG |
| Popis: | CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico FAPEMIG - Fundação de Amparo à Pesquisa do Estado de Minas Gerais CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior Esta pesquisa tem como objetivo propor um modelo para a descrição semântica das características de objetos a partir de imagens. Apresenta-se uma nova abordagem de descrição semântica de objetos fundamentada na Teoria dos Protótipos. Propõe-se o Modelo Computacional do Protótipo (CPM) para codificar e armazenar o significado semântico central (protótipo semântico) das categorias de objetos. O modelo CPM é utilizado para representar e construir os protótipos semânticos das categorias de objetos usando as Redes Neuronais Convolucionais (CNN). Propõe-se um Modelo de Descrição Semântica baseado em Protótipos que usa o modelo CPM proposto para descrever objetos de maneira a destacar as características que os distinguem dentro de uma categoria.O Descritor Semântico Global proposto (GSDP) constrói assinaturas discriminativas, de baixa dimensionalidade, interpretáveis e que codificam a informação semântica dos objetos por meio dos protótipos semânticos construídos. O descritor semântico GSDP usa a Camada de Similaridade Prototípica (PS-Layer) proposta para recuperar o protótipo correspondente à categoria de interesse usando o princípio de categorização baseado em protótipos. Os experimentos realizados utilizando conjuntos de dados de domínio público mostraram que: i) o modelo CPM proposto simula adequadamente a estrutura interna das categorias; ii) a métrica de distância proposta apresenta poder expressivo para capturar a tipicidade do objeto dentro da categoria; iii) a classificação semântica baseada em protótipos pode melhorar o desempenho dos modelos CNN de classificação; iv) a codificação do descritor semântico proposto é semanticamente interpretável e supera significativamente em desempenho outras codificações globais de imagem em tarefas de agrupamento e classificação. This research aims to build a model for semantic description of objects based on features detected in images. We introduce a novel semantic description approach inspired on the Prototype Theory foundations. Inspired by the human approach used for representing categories, we propose a novel Computational Prototype Model (CPM) that encodes and stores the central semantic meaning of the object’s category: the semantic prototype. Our CPM model is used to represent and construct the semantic prototypes of object categories using Convolutional Neural Networks (CNN). The proposed Prototype-based Description Model uses the CPM model to describe an object highlighting its most distinctive features within the category. Our Global Semantic Descriptor (GSDP) builds discriminative, low-dimensional and semantically interpretable signatures that encode the semantic information of the objects using the constructed semantic prototypes. Our semantic descriptor use the proposed Prototypical Similarity Layer (PS-Layer) to retrieves the category prototype using the principle of categorization based on prototypes. In our experiments, using publicly available datasets, we show that: i) the proposed CPM model adequately simulates the internal semantic structure of the categories; ii) the proposed semantic distance metric can be understood as the object typicality score within a category; iii) our semantic classification method based on prototypes can improve the performance and interpretation of CNN classification models; iv) our semantic descriptor encoding ignificantly outperforms others state-of-the-art image global encoding in clustering and classification tasks. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|