Image representativeness analysis for event description

Autor: Caroline Mazini Rodrigues
Přispěvatelé: Dias, Zanoni, 1975, Rocha, Anderson de Rezende, 1980, Ponti Junior, Moacir Pereira, Pedrini, Hélio, Universidade Estadual de Campinas. Instituto de Computação, Programa de Pós-Graduação em Ciência da Computação, UNIVERSIDADE ESTADUAL DE CAMPINAS
Jazyk: portugalština
Rok vydání: 2020
Předmět:
Zdroj: Biblioteca Digital de Teses e Dissertações da Universidade Estadual de Campinas (UNICAMP)
Universidade Estadual de Campinas (UNICAMP)
instacron:UNICAMP
Popis: Orientadores: Zanoni Dias, Anderson de Rezende Rocha Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Uma diversidade de eventos, como atos terroristas e catástrofes naturais, ocorrem frequentemente em todo o mundo. A disponibilidade de imagens na internet pode ajudar a entender esses eventos. Ao lidar com imagens de eventos, filtrar as imagens é um dos principais desafios. Os dados cruciais, que realmente poderiam representar o evento, podem estar misturados com quantidades ainda maiores de dados sem importância. No entanto, a seleção manual de imagens representativas (úteis) em uma grande quantidade de dados pode ser inviável. Assim, uma pergunta surge: como separar automaticamente as imagens representativas das não-representativas? Nesta pesquisa, propomos técnicas para lidar com essa questão, considerando a falta de imagens rotuladas para indicar representatividade. Lidamos com a recuperação de imagens por representatividade usando métodos de recuperação de imagem baseados em conteúdo (Content-Based Image Retrieval - CBIR), posteriormente aprimorados por métricas de avaliação de qualidade de ranking. No entanto, um dos maiores problemas ao recuperar imagens é representá-las de maneira correta semanticamente. Para propor representações capazes de capturar a semântica de eventos, apresentamos duas abordagens. Nossas abordagens são baseadas em representações de componentes que podem codificar as informações necessárias para descrever os eventos, como pessoas que fizeram parte do evento (por exemplo, suspeitos ou vítimas); objetos que aparecem na cena (por exemplo, carros ou armas); e o local onde o evento se desenrolou (por exemplo, parques, estádios ou prédios). A primeira abordagem proposta, chamada Espaço Semântico de Evento, pretende descrever imagens como uma representação de baixa dimensionalidade usando uma pequena quantidade de imagens representativas conhecidas. A segunda abordagem, chamada Espaço Combinado de Evento, visa melhorar os resultados de precisão da primeira abordagem aprendendo uma maneira de combinar os componentes representativos. Os resultados em três conjuntos de dados de eventos do mundo real atestam a capacidade de nossos métodos para representar eventos com base na combinação de componentes representativos Abstract: Different events, such as terrorist acts and natural catastrophes, frequently occur across the world. The availability of images on the internet can help to understand events. When dealing with images from events, filter the images is one of the major challenges. The crucial data, which could indeed represent the event, might be mixed with even more massive amounts of non-important data. However, manually selecting representative (helpful) images from a massive amount of data can be infeasible. Hence, the question becomes: How to automatically separate the representative images from the non-representative ones? In this research, we propose techniques to deal with this question considering the lack of labeled images to indicate representativeness. We cope with the representativeness image retrieval using methods of Content-Based Image Retrieval - CBIR, posteriorly improved by quality ranking metrics. Nevertheless, one of the biggest problems when retrieving images is to correctly represent these images semantically. In order to propose representations which could capture the event semantics we present two approaches. Our approaches are based on representations of components which could encode the information necessary to describe the events, such as people attending it (e.g. suspects or victims); objects that appear in the event scene (e.g., cars,gun, backpack); and the place where the event unfolded (e.g.,park, stadium, building). The first approach proposed, called Event Semantic Space, intend to describe images as a low-dimensional representation using a small quantity of known representative images. The second approach, called Event Combined Space, aims to overcome the precision results of the first one by learning a manner to combine the representative components. Results on three real-world event datasets attest the capability of our methods to represent events based on representative components combination Mestrado Ciência da Computação Mestra em Ciência da Computação FAPESP 2018/16214-3 CNPQ 130849/2018-9
Databáze: OpenAIRE
Externí odkaz: