Describing image regions through deep neural networks and abstract meaning representation
| Autor: | Almeida Neto, Antonio Manoel dos Santos |
|---|---|
| Přispěvatelé: | Caseli, Helena de Medeiros, Almeida, Tiago Agostinho |
| Jazyk: | portugalština |
| Rok vydání: | 2020 |
| Předmět: | |
| Zdroj: | Repositório Institucional da UFSCAR Universidade Federal de São Carlos (UFSCAR) instacron:UFSCAR |
| Popis: | Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) The world around us is composed of images that often need to be translated into words. This translation can take place in parts, converting regions of the image into textual descriptions. The description of the region of an image is the transformation of the information contained in this area into words in natural language, to express the way objects relate to each other. Recently, computational models that seek to perform this task in a similar way to human beings are being proposed, mainly using deep neural networks. As a way to improve the quality of the sentences produced by one of these models, this work verified the employability of the Abstract Meaning Representation (AMR) semantic representation in the generation of descriptions for image regions. AMR was investigated as representation formalism, as an alternative to natural language, using it with some variations, so that the machine learning model, using deep neural networks, was able to predict sentences in such representation. The hypothesis of this study, that the use of sentences in the form of AMR would result in better descriptions, was partially confirmed, since the model trained with AMR was superior in almost all evaluations. O mundo que nos cerca é composto por imagens que, muitas vezes, precisam ser traduzidas em palavras. Essa tradução pode se dar em partes, convertendo regiões da imagem em descrições textuais. A descrição da região de uma imagem é a transformação da informação contida nesta área para palavras em língua natural, de modo a expressar a maneira como os objetos se relacionam entre si. Recentemente, modelos computacionais que procuram desempenhar essa tarefa de maneira semelhante aos seres humanos estão sendo propostos, principalmente utilizando redes neurais profundas (deep learning). Como forma de melhorar a qualidade das sentenças produzidas por um desses modelos, este trabalho verificou a empregabilidade da representação semântica Abstract Meaning Representation (AMR) na geração de descrições para regiões de imagem. A AMR foi investigada como formalismo de representação, em alternativa à língua natural, empregando-a com algumas variações, para que o modelo de aprendizado de máquina, utilizando redes neurais profundas, fosse capaz de prever sentenças em tal representação. A hipótese deste trabalho, de que a utilização de sentenças em forma de AMR resultaria em melhores descrições foi confirmada parcialmente, visto que o modelo treinado com AMR foi superior em quase todas as avaliações. CAPES: 2018/1771510 - 001 |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|