AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras

Autor: Guglielmo Fernandez Garcia, Thomas Corpetti, Marie Nevoux, Laurent Beaulaton, François Martignac
Přispěvatelé: Dynamique et durabilité des écosystèmes : de la source à l’océan (DECOD), Institut Français de Recherche pour l'Exploitation de la Mer (IFREMER)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE), Pôle OFB-INRAE-Institut Agro-UPPA pour la gestion des migrateurs amphihalins dans leur environnement (MIAME), Université de Pau et des Pays de l'Adour (UPPA)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Office français de la biodiversité (OFB)-Institut Agro Rennes Angers, Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro), Observation de l’environnement par imagerie complexe (OBELIX), SIGNAL, IMAGE ET LANGAGE (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Littoral, Environnement, Télédétection, Géomatique (LETG - Rennes ), Université de Brest (UBO)-Université de Rennes 2 (UR2)-Nantes Université (Nantes Univ)-Littoral, Environnement, Télédétection, Géomatique UMR 6554 (LETG), Université de Brest (UBO)-Université de Rennes 2 (UR2)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN), Nantes Université - pôle Humanités, Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Nantes Université - pôle Humanités, Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN), Nantes Université (Nantes Univ), Office national de l'eau et des milieux aquatiques [Dijon] (ONEMA), Office national de l'eau et des milieux aquatiques (ONEMA), Ministère de l'écologie, du développement durable et de l'énergie-Ministère de l'écologie, du développement durable et de l'énergie, OFB, Programme scientifique Sélune (jeu de données)
Jazyk: angličtina
Rok vydání: 2023
Předmět:
Zdroj: Aquatic Ecology
Aquatic Ecology, 2023, ⟨10.1007/s10452-023-10004-2⟩
ISSN: 1386-2588
1573-5125
DOI: 10.1007/s10452-023-10004-2⟩
Popis: International audience; Acoustic cameras, or imaging sonars, are high-potential devices for many applications in aquatic ecology, notably for fisheries management and population monitoring. However, how to extract such data into high-value information without a time-consuming entire data set reading by an operator is still a challenge. Moreover, the analysis of acoustic imaging, due to its low signal-to-noise ratio, is a perfect training ground for experimenting with new approaches, especially concerning deep learning techniques. We present hereby a novel approach that takes advantage of both convolutional neural network (CNN) and classical computer vision (CV) techniques, able to detect fish passages in acoustic video streams. The pipeline pre-treats the acoustic images to localise the signals of interest and to improve the detection performances. The YOLOv3-based model was trained with fish data from multiple species recorded by the two most frequently used models of acoustic cameras, the DIDSON and ARIS, including species of high ecological interest, as Atlantic salmon or European eels. The pre-treatment of images greatly improves the model performance, increasing its F1-score from 0.52 to 0.69. The model we developed provides satisfying results detecting almost 80% of fish passages and minimising the false-positive rate. On a validation data set, 40 h of videos and around 1 800 fish passages, the efficiency increases with the fish sizes, notably reaching a recall higher than 95% for Atlantic salmon. Conversely, the model appears much less efficient for eel detections on ARIS videos than on DIDSON data (31% recall vs 75%).
Databáze: OpenAIRE
Externí odkaz: