“Neural computations with precise spiking motifs for dynamic vision” Soutenance de thèse Antoine Grimaldi

• Date : Jeudi 16 mai à 15h (CEST)
• https://neuromatch.social/@laurentperrinet/112454990080998095

Jury

• Président : Martin Vinck
• Rapporteure : Barbara Webb
• Examinateur : Dan Goodman
• Examinateur : Andrea Alamia
• Examinatrice : Sonja Grün
• Examinatrice: Sophie Denève
• Directeur de thèse : Laurent Perrinet
• Codirecteur de thèse : Jean Martinet

Abstract

Our brains are extremely efficient at solving highly complex visual tasks. In a few hundred milliseconds, we are able to recognise different objects invariant to various characteristics, such as their size or orientation. Recently, artificial neural networks have made great strides in solving the tasks faced by biological systems. They draw on knowledge from neuroscience to form biologically realistic learning architectures that could provide us with interesting insights into how the human brain works. But these architectures still face a number of challenges: the models are not always interpretable, they do not necessarily seem to use the same strategies as their biological equivalents and they are very energy-intensive. We believe that one of the reasons why the visual system is so efficient is that it uses short pulses to represent information: the action potentials, or spikes, emitted by neurons.

Using a neuromorphic approach, the aim of this thesis project is to develop visual information processing models using representations based on spikes, binary events described only by their time and origin. We have chosen to use a dynamic signal, cap- tured by an event-based camera, which transcribes a visual scene using only events, or spikes. We solve visual cognitive tasks using the temporal code formed by precise sequences of events that we call spiking motifs. A large body of experimental evidence suggests that the temporal code carried by these patterns is a strategy used by the brain to encode visual information. We will see that the use of these patterns makes it possible to develop local and biologically realistic learning methods while dynamically and asynchronously processing the events characterising a visual scene. We show that these algorithms can solve an object recognition task and a motion estimation task ultra-fast and efficiently. We also observe the emergence of an organisation of recep- tive fields similar to that of biological systems, suggesting that a similar strategy may be employed by the brain. In the final part of this work, we will detail the development of a new algorithm for detecting this type of activity in recordings of real neurons.

Résumé

Notre cerveau est extrêmement efficace pour résoudre des tâches visuelles très complexes. En quelques centaines de millisecondes, nous sommes capables de reconnaître différents objets de manière invariante à diverses caractéristiques, telles que leur taille ou leur orientation. Récemment, les réseaux neuronaux artificiels ont fait de grands progrès dans la résolution des tâches auxquelles sont confrontés les systèmes biologiques. Ils s’appuient sur les connaissances des neurosciences pour former des architectures d’apprentissage biologiquement réalistes qui pourraient nous fournir des informations intéressantes sur le fonctionnement du cerveau humain. Mais ces architectures sont encore confrontées à un certain nombre de défis : les modèles ne sont pas toujours interprétables, ils ne semblent pas nécessairement utiliser les mêmes stratégies que leurs équivalents biologiques et ils sont très gourmands en énergie. Nous pensons qu’une des raisons de la grande efficacité du système visuel est qu’il utilise des impulsions courtes pour représenter l’information : les potentiels d’action émis par les neurones. En utilisant une approche neuromorphique, l’objectif de ce projet de thèse est de développer des modèles de traitement de l’information visuelle utilisant des représentations basées sur ces impulsions, événements binaires décrits uniquement par leur temps et leur origine. Nous avons choisi d’utiliser un signal dynamique, capturé par une caméra événementielle, qui transcrit une scène visuelle en utilisant uniquement des événements, ou impulsions. Nous résolvons des tâches cognitives visuelles en utilisant le code temporel formé par des séquences précises d’événements que nous appelons motifs d’impulsions. De nombreuses preuves expérimentales suggèrent que le code temporel porté par ces motifs serait une stratégie d’encodage de l’information visuelle utilisée par le cerveau. Nous verrons que l’utilisation de ces motifs permet de développer des méthodes d’apprentissage locales et biologiquement réalistes tout en traitant de manière dynamique et asynchrone les événements caractérisant une scène visuelle. Nous montrons que ces algorithmes permettent de résoudre une tâche de reconnaissance d’objet et une tâche d’estimation de mouvement de manière ultra-rapide et efficace. Nous observons également l’émergence d’une organisation des champs récepteurs similaire à celle des systèmes biologiques, ce qui suggère qu’une stratégie similaire peut être employée par le cerveau. Dans la dernière partie de ce travail, nous détaillerons le développement d’un nouvel algorithme pour détecter ce type d’activité dans des enregistrements de neurones réels.