Compressively sampled light field reconstruction using orthogonal frequency selection and refinement

Autor: Philippe Guillotel, Guillaume Boisson, Fatma Hawary, Christine Guillemot
Přispěvatelé: Analysis representation, compression and communication of visual data (Sirocco), Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Technicolor [Cesson Sévigné], Technicolor, European Research Council, Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique)
Rok vydání: 2021
Předmět:
Zdroj: Signal Processing: Image Communication
Signal Processing: Image Communication, Elsevier, 2021, 92, pp.116087. ⟨10.1016/j.image.2020.116087⟩
Signal Processing: Image Communication, 2021, 92, pp.116087. ⟨10.1016/j.image.2020.116087⟩
ISSN: 0923-5965
1879-2677
DOI: 10.1016/j.image.2020.116087
Popis: International audience; This paper considers the compressive sensing framework as a way of overcoming the spatio-angular trade-off inherent to light field acquisition devices. We present a novel method to reconstruct a full 4D light field from a sparse set of data samples or measurements. The approach relies on the assumption that sparse models in the 4D Fourier domain can efficiently represent light fields. The proposed algorithm reconstructs light fields by selecting the frequencies of the Fourier basis functions that best approximate the available samples in 4D hyper-blocks. The performance of the reconstruction algorithm is further improved by enforcing orthogonality of the approximation residue at each iteration, i.e. for each selected basis function. Since sparsity is better preserved in the continuous Fourier domain, we propose to refine the selected frequencies by searching for neighboring non-integer frequency values. Experiments show that the proposed algorithm yields performance improvements of more than 1dB compared to state-of-the-art compressive light field reconstruction methods. The frequency refinement step also significantly enhances the visual quality of reconstruction results of our method by a 1.8dB average.
Databáze: OpenAIRE
Externí odkaz: