Comparing Novel 3D Reconstruction Methods of Real Environments

Autor: Mário Manuel Seixas Travassos
Jazyk: angličtina
Rok vydání: 2024
Předmět:
Druh dokumentu: Dissertação
Popis: Recentemente, a tecnologia de Realidade Virtual (RV) tem visto adoção em diversas indústrias, reformulando processos na educação [23], no entretenimento [36], no turismo [6], entre outros casos. Notavelmente, a RV tem-se revelado uma ferramenta importante para a exploração de locais remotos e sítios de interesse cultural [44]. Apesar desta procura por experiências de Realidade Virtual sofisticadas, disponibilizar ambientes complexos em VR, num contexto distribuído, continua a ser algo bastante desafiante, o que limita o potencial de adoção desta tecnologia, e afeta negativamente a experiência dos utilizadores. Estes desafios são o foco desta dissertação, e podem ser divididos em três domínios: captura [43, 13, 37], transmissão [40, 52], e renderização [47]. De modo a lidar com desafios em cada um destes domínios, várias técnicas e otimizações podem ser utilizadas, como compressão, caches, partição da cena, renderização preliminar na cloud, níveis de detalhe (LODs), seleção de oclusões, ou consciência de conteúdo. Um dos objetivos principais desta dissertação é apresentar o Estado da Arte, detalhando os desafios e as soluções existentes. Enquanto que a Fotogrametria tem sido uma técnica comum no campo da reconstrução 3D, têm surgido desenvolvimentos recentes no campo que constituem alternativas viáveis, como os Neural Radiance Fields (NeRF) [28], e mais recentemente 3D Gaussian Splatting [18]. Estas novas abordagens encontram-se ainda na sua infância, e existem muitos poucos estudos [39] a objetivamente avaliar as vantagens e desvantagens destes métodos. Procuramos preencher este vazio ao realizar uma comparação crítica entre estas novas técnicas, realçando as suas vantagens, limitações, compromissos, e impedimentos. No contexto de sistemas de RV distribuídos, é ainda essencial explorar como a complexidade de transmissão e renderização é afetada pela escolha do método de reconstrução 3D que é a base do sistema. Ademais, é importante compreender quais destes métodos é mais adequado à captura de diferentes tipos de ambientes. Por último, iremos desenvolver um sistema experimental que nos permitirá analisar a viabilidade destas técnicas e otimizações em cenários reais, avaliando a sua performance consoante a sua fidelidade visual, escalabilidade e eficiência computacional do sistema. Posteriormente, para validar o nosso trabalho, iremos utilizar o conhecimento adquirido para comparar representações criadas com base em NeRFs e 3D Gaussian Splatting, e modelos 3D gerados a partir destas com o resultado final de um processo de Fotogrametria mais extenso, deste modo demonstrando as aplicações práticas do nosso trabalho. Esperamos que este esforço não só contribua para o corpo de literatura existente, mas que também sirva como base para desenvolvimentos futuros na criação e representação de ambientes imersivos e interativos em Realidade Virtual.
In recent years, Virtual Reality (VR) has seen adoption across many industries, reshaping processes in education [23], entertainment [36], tourism [6], among many others. Notably, VR has become an important tool for the exploration of remote locations and cultural heritage sites [44]. Despite this demand for sophisticated Virtual Reality experiences, providing complex VR environments in a distributed context still poses several challenges, which restrain this technology's potential for adoption and hinder the overall user experience. These challenges are the focus of this dissertation and can be separated into three domains: capture [43, 13, 37], transmission [40, 52], and rendering [47]. In order to address challenges across each of these domains, various techniques and optimizations can be employed, such as compression, caching, world partitioning, preliminary cloud rendering, Levels of Detail (LOD), occlusion culling, or content awareness. One of the main objectives of this dissertation is to present the State of the Art, detailing the challenges and existing solutions. While Photogrammetry has long been a staple in 3D reconstruction, there have been recent developments in the field that constitute viable alternatives, such as Neural Radiance Fields (NeRF) [28], and more recently, 3D Gaussian Splatting [18]. These new approaches are still in their infancy, and there are very few studies [39] objectively evaluating the advantages and disadvantages between these methods. We seek to fill this gap by performing a critical comparison between these novel techniques, highlighting their strengths, limitations, trade-offs, and caveats. In the context of distributed Virtual Reality systems, it is also essential to explore how streaming and rendering complexity would be impacted by the choice of the underlying 3D reconstruction method in a system. Furthermore, it is important to understand which of these approaches more effectively captures different types of environments. Lastly, we will develop an experimental system that will allow us to analyze the feasibility and suitability of these techniques and optimizations in real-world scenarios, evaluating their performance according to the visual fidelity, scalability, and computational efficiency of the system. Subsequently, to validate our findings, we will use the knowledge acquired to compare NeRF and 3D Gaussian Splatting-based representations, and 3D meshes generated from these, with the result of a more detailed Photogrammetry process, thus showcasing the practical applications of our work. It is our hope that this endeavor not only contributes to the existing body of research but also paves the way for future strides in the creation and representation of immersive and interactive VR environments.
Databáze: Networked Digital Library of Theses & Dissertations
Externí odkaz: