Desenvolvimento de aplicações de realidade aumentada coerentes com o contexto ambiental
| Autor: | Barreira, João Carlos dos Santos |
|---|---|
| Přispěvatelé: | Bessa, Maximino Esteves Correia, Magalhães, Luís Gonzaga Mendes |
| Jazyk: | portugalština |
| Rok vydání: | 2017 |
| Předmět: | |
| Zdroj: | Repositório Científico de Acesso Aberto de Portugal Repositório Científico de Acesso Aberto de Portugal (RCAAP) instacron:RCAAP |
| Popis: | Tese de Doutoramento em Informática A Realidade Aumentada (RA) caracteriza-se pela mistura de elementos virtuais no mundo real de uma forma interativa e em tempo real. Diversas aplicações em áreas como o património cultural, arquitetura ou engenharia requerem que os objetos virtuais sejam integrados com o maior realismo possível. O principal problema para conseguir uma integração realista entre objetos reais e virtuais é obter coerência visual. Para isso, é necessário um correto registo geométrico dos elementos virtuais com o cenário real em termos de transformações geométricas, e as condições de iluminação da cena devem ser determinadas em tempo real, num processo de registo fotométrico. O registo geométrico tem sido amplamente investigado na literatura com soluções eficientes. Contudo, o registo fotométrico ainda é problemático. As principais abordagens apresentadas para registo fotométrico requerem a utilização de uma light probe no ponto da cena em que o objeto virtual é colocado ou um objecto de calibração a partir do qual a informação fotométrica da cena é disponibilizada. Embora eficiente para cenários interiores, estas técnicas dificilmente podem ser aplicadas a cenários exteriores visto que em cenas dinâmicas as informações da light probe se tornam inválidas. Nesta tese, é investigada a coerência em aplicações de RA através da utilização do contexto ambiental. A utilização de informações de contexto fornece uma ligação entre o mundo real e as aplicações, podendo essa informação ser utilizada para determinar o que deve ser exibido, onde e como. É proposto um novo método de registo fotométrico, baseado no contexto ambiental, para calcular a iluminação incidente na cena e usar essa informação para aplicações de RA visualmente coerentes sem recorrer a light probes. Os parâmetros de iluminação são adquiridos a partir de dados dos sensores integrados em dispositivos móveis. A posição e direção do sol é calculada com base na localização do utilizador e data/hora atual. Por outro lado, atualmente dentro dos ambientes existentes de RA poucos são os que exploram a estimulação multissensorial. A maioria das abordagens considera apenas a visão, limitando assim o efeito de coerência. Nesta tese, são realizados testes experimentais desenvolvidos no sentido de determinar como os estímulos multissensoriais infuenciam a perceção de uma cena de RA. Os resultados mostram que a coerência dos estímulos é importante (os dados são significativamente diferentes), mas também que a adição de mais estímulos corretos aumenta a perceção de coerência. Com os resultados obtidos é proposta a adição de um módulo de contexto ao sistema típico de RA. O módulo facilita a integração e processamento de informações de contexto e a sua utilização eficiente no registo fotométrico e síntese de estímulos multissensoriais. Augmented reality (AR) technology aims to display virtual objects in the real environment, interactively and in real-time. Many AR applications in areas such as cultural heritage, architectural visualizations or building engineering require that the virtual objects appear to the user as real as possible. In order to create convincing AR applications visual coherence between virtual and real objects is a major concern. To achieve seamless integration the real light conditions must be determined in real-time, known as photometric registration. The prominent approaches proposed in the literature to address this problem require either having knowledge of the 3D geometric model of the scene and/or having an HDR environment map obtained from a light probe placed in the scene. While efficient for indoor scenarios, these techniques hardly can be applied to outdoor scenes as in dynamic scenes the light probe information becomes invalid when changes occur in the illuminations conditions, and reconstruction of the 3D geometry is a very difficult task. In this thesis, we present the development of coherent AR applications through the use of the environmental context. The use of context information provides a link between the real world and the applications that can be used to determine what should be displayed, where and how. We propose a novel method for photometric registration which estimate daylight illumination and use this information in AR applications to render virtual objects with coherent illumination and shadows. The illumination parameters are acquired in real-time from context-aware live sensors data. The sun position is calculated based on the user location and time of the day. On the other hand, within existing AR environments there are few who exploit the multisensory stimulation. The main approaches consider only one sense, thus limiting the applications coherence. In this thesis, we present experimental tests developed to determine how multisensory stimuli influence the perception of an AR scene. The results clearly show that the consistency of stimuli is important (the data are significantly different), but also that the addition of more correct stimulus also increases the perception of consistency. With these results we proposed to add a context module to the typical AR system. This module facilitates the integration and refining of context information to be used in new photometric registration and multisensory approaches. |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|