Abstract
La vision par ordinateur embarquée est récemment devenue omniprésente. Elle englobe des tâches telles que la détection, la reconnaissance et le suivi d’éléments visuels, avec des applications en robotique (conduite autonome), dans l’industrie (évaluation de la qualité des produits, automatisation de tâches répétitives), dans la sécurité, pour l’expérience client, dans les réseaux sociaux, etc. Cet engouement généralisé ne fait que renforcer la nécessité de surmonter les défis posés par ce domaine de recherche, à savoir une consommation d’énergie gargantuesque, une grande mémoire et la prise en charge d’un large éventail d’algorithmes. Nous pensons qu’une réponse prometteuse à ces défis peut être amenée par l’utilisation combinée de réseaux de neurones à impulsions (SNNs) et de caméras événementielles. Les SNNs sont des réseaux de neurones artificiels bio-inspirés qui visent à imiter la dynamique des neurones biologiques en traitant l’information sous forme de séries d’impulsions. Les caméras événementielles sont un nouveau type de capteur visuel bio-inspiré qui génère des données asynchrones en fonction des changements d’intensité des pixels. Elles sont idéales pour les applications en temps réel, mais la grande quantité d’informations temporelles qu’elles génèrent est difficile à traiter à l’aide de modèles traditionnels de vision par ordinateur. Cependant, les données événementielles se combinent naturellement aux SNNs en termes d’inspiration biologique, d’économie d’énergie, de latence et d’utilisation de la mémoire, pour le traitement dynamique des données visuelles.Cependant, la nouveauté des SNNs et caméras événementielles laisse place à de nombreuses améliorations en termes de prétraitement optimal des données ainsi que leur traitement subséquent, en tirant le meilleur parti des particularités de ces concepts scientifiques. Dans cette thèse, nous avons identifié plusieurs problématiques liées à ce vaste champ de recherche, que nous avons condensées en deux thèmes principaux. La première problématique concerne l’optimisation du prétraitement embarqué des données événementielles acquises par une caméra embarquée pour en faciliter l’analyse ultérieure. Nous proposons trois solutions : les événements pourraient soit 1) être réduits dans l’espace ou dans le temps, online ou offline ; 2) ne conserver que les éléments saillants et rejeter le reste ; 3) être soumis à un mécanisme de fovéation, selon un compromis bio-plausible entre les deux solutions précédentes. Nous avons comparé qualitativement et quantitativement les données obtenues après chaque méthode de prétraitement afin d’évaluer si le compromis entre la quantité de données (c’est-à-dire le nombre d’événements) conservées et la pertinence de l’information préservée est idéal. Le second défi est l’exploitation de l’adéquation des SNNs pour traiter la temporalité spécifique des événements dans un contexte embarqué. Dans l’ensemble, nous espérons avoir apporté une contribution utile à l’exploitation des avantages uniques de la combinaison des SNNs avec les caméras événementielles pour la vision par ordinateur embarquée, en particulier en ce qui concerne le prétraitement des données événementielles.
Amélie Gruel
PhD student in Computer Sciences at i3S/CNRS
During my PhD, I am focusing on Ultra-fast vision using Spiking Neural Networks.