Feature Extraction and Pattern Recognition with Neuromorphic Vision Sensors

Autor: Maro, Jean-Matthieu
Přispěvatelé: Institut de la Vision, Institut National de la Santé et de la Recherche Médicale (INSERM)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), Sorbonne Université, Ryad Benosman, Sio-Hoï Ieng, STAR, ABES
Jazyk: angličtina
Rok vydání: 2020
Předmět:
Zdroj: Neurons and Cognition [q-bio.NC]. Sorbonne Université, 2020. English. ⟨NNT : 2020SORUS155⟩
Popis: Event-based cameras -- also known as neuromorphic -- are sensors that mimic the mammalian eye in the way they acquire the visual scene. Each pixel is independent and asynchronous, and reacts to changes in its own field-of-view by emitting events that signal these changes. The stream of events output by the camera is a sparse and non-redundant representation of the visual scene. In this thesis, we introduce event-based -- asynchronous, triggered by new events -- methods for feature extraction and pattern recognition. The first feature is a motion-based feature that accumulate optical-flows, that can serve for pattern recognition and corner detection. We then introduce a gesture recognition pipeline that is embarked on a smartphone, that includes a dynamic background suppression, and runs without any off-board requirements. We then present a new time-adaptive memory architecture for event-based algorithms, focusing on semi-accumulative methods. This memory is based on an associative memory, and while allowing for a more efficient storage of events, enables "in-memory" computation, pushing forward the philosophy of distributed computation in event-based systems. We finally discuss the benefits and disadvantages of semi-accumulative methods.
Les caméras événementielles ou neuromorphiques sont des capteurs s'inspirant de l’œil humain dans leur fonctionnement. Chaque pixel est indépendant, asynchrone et réagit aux changements de luminosité se produisant dans son propre champ de vision ; ces changements se traduisent par l'émission d'un événement. Le flot d'évènements émis par la caméra est une représentation éparse et non redondante de la scène visuelle. Dans cette thèse, nous introduisons des méthodes événementielles, c'est-à-dire asynchrones et déclenchées par des événements, qui ont pour but l'extraction de caractéristiques et la reconnaissance de formes. Nous introduisons une première primitive basée sur le flot optique. Celle-ci est ensuite utilisée pour des tâches de reconnaissance de gestes et de détection de coins. Nous introduisons ensuite un système complet de reconnaissance de gestes basé sur HOTS (Hierarchy Of Time-Surfaces, Lagorce 2016) avec suppression dynamique de l'arrière-plan. L'ensemble se contente de la puissance de calcul offerte par un smartphone standard. Nous présentons ensuite une proposition d'architecture de mémoire adaptée aux algorithmes événementiels semi-accumulatifs. Celle-ci se fonde sur le principe des mémoires associatives. Elle présente deux avantages : un stockage plus efficace des événements et la possibilité d'effectuer des calculs à l'intérieur même du bloc mémoire. Ce dernier point est un pas supplémentaire vers un calcul distribué dans les systèmes événementiels. Nous discutons également au long de ce travail des bénéfices et désavantages des méthodes semi-accumulatives.
Databáze: OpenAIRE
Externí odkaz: