| Next-generation neural computations

Laurent Perrinet (https://laurentperrinet.github.io) [2024-09-09] Enjeux pour l'IA embarquée

outline =
Bonjour. Je suis Laurent Perrinet, directeur de recherche CNRS en neurosciences computationnelles à l’Institut des neurosciences de la Timone à Marseille. Je vous remercie pour cette invitation à participer à cette table ronde sur l’IA embarquée dans le domaine spatial. Je suis moi-même un passionné d’aéronautique et de spatial, ce qui m’a amené à suivre l’école d’aéronautique SUPAERO. Puis vers l’imagerie satellitaire, qui dépendait déjà de l’IA sous la forme des réseaux de neurones. C’est à partir de là, grâce à la rencontre avec mon professeur de mathématiques Manuel Samuelides, que j’ai découvert les neurosciences computationnelles et les pouvoirs qu’elles peuvent offrir pour mieux comprendre le cerveau et pour créer de nouveaux systèmes d’intelligence artificielle.
Les neurosciences computationnelles sont les sciences qui essaient d’extraire de nos connaissances en neurosciences biologiques des principes computationnels, comme le neurone formel et sa capacité d’apprentissage, qui est la brique de base des réseaux de neurones. Ces derniers ont conduit à la révolution de l’IA avec les réseaux profonds.
Je suis convaincu que nous sommes au tournant d’une nouvelle ère dans le développement des systèmes embarqués, où l’intelligence artificielle a le potentiel de créer des innovations disruptives à la hauteur des performances de l’intelligence naturelle et pour lesquelles il est essentiel de s’inspirer des neurosciences biologiques.
C’est pourquoi je suis très heureux de vous présenter en premier lieu le projet ANR AgileNeuRobot, un projet de recherche interdisciplinaire visant à développer des robots aériens agiles bio-mimétiques pour le vol en conditions réelles.

Dans cette optique, afin de caractériser certains enjeux de l’IA embarquée, notamment dans le domaine du spatial, je vais vous présenter deux leviers s’inspirant de la biologie et illustrant comment les neurosciences peuvent faire avancer le domaine de façon radicale. L’intégration de connaissances biomimétiques dans les engins spatiaux peut améliorer leur résilience et leur adaptabilité face aux environnements hostiles, tout en réduisant la consommation d’énergie. Je serais ravi d’engager ensuite une discussion avec vous sur ces sujets et d’échanger sur vos propres expériences et perspectives.

AgileNeuRobot: Fiche d’identité

Titre : Robots aériens agiles bio-mimetiques pour le vol en conditions réelles
Title : Bio-mimetic agile aerial robots flying in real-life conditions
CES : CE23 - Intelligence Artificielle (ANR-20-CE23-0021)
Durée: 4 ans, du 1er Octobre 2021 au 30 Septembre 2025
Budget total: 435 k€

AgileNeuRobot: Consortium:


Stéphane Viollet	Ryad Benosman	Laurent Perrinet
Julien Diperi	Sio-Hoï Ieng	Emmanuel Daucé
Post-doc 1	Post-doc 2	PhD (JN Jérémie)
Inst Sciences Mouvement	Inst de la Vision	Inst Neurosci de la Timone

Le projet AgileNeuRobot est un projet que je coordonne en collaboration avec plusieurs institutions :

l’Inst Sciences du Mouvement pour la partie robotique bio-inspirée,
l’Institut de la Vision pour le développement de nouveaux capteurs.
l’Institut de Neurosciences de la Timone (Aix-Marseille Université) pour l’aspect théorique et l’intégration de ces disciplines.

Ensemble, nous travaillons à la fois sur les aspects techniques et scientifiques pour créer ces robots aériens. Ce projet a pour but de contribuer non seulement au développement de nouvelles technologies, mais aussi à la compréhension et à l’élaboration de nouveaux modèles théoriques pour expliquer les mécanismes naturels sous-jacents aux capacités d’adaptabilité et d’apprentissage des systèmes biologiques.

AgileNeuRobot: Agile = Performant et efficace

The system includes 3 units to process event-driven visual inputs communicating by feed-forward and feed-back paths.

Enjeux de l’IA embarquée : latence de réponse

Visual latencies [[Grimaldi *et al*, 2022]](https://laurentperrinet.github.io/publication/grimaldi-22-polychronies/) — Visual latencies [Grimaldi *et al*, 2022]

Enjeux de l’IA embarquée : budget énergétique

Prototype avec caméra événementielle et calculateur.

Levier #1: Réseaux de neurones impulsionnels (SNNs)

From frame-based to event-based cameras.

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Sensor	Range	Framerate	Resolution	Power
Human eye	60 (?) dB	300 (?) fps	100 (?) Mpx	10 mW
DSLR	44.6 dB	120 fps	2–20 Mpx	30 W
Ultra-high speed	64 dB	10^4 fps	0.3–4 Mpx	300 W
Event-based	120 dB	10^6 fps	0.1–2 Mpx	30 mW

Les caméras événementielles présentent plusieurs propriétés qui les rendent remarquables. Tout d’abord, la précision temporelle des événements est de l’ordre de la microseconde, ce qui permet d’atteindre une cadence théorique de l’ordre du million d’images par seconde. On peut la comparer à celle d’une caméra classique, qui est de l’ordre de la centaine d’images par seconde, ou à celle d’une caméra à grande vitesse, qui peut atteindre 10 000 images par seconde. Il est difficile d’estimer la fréquence d’échantillonnage de la perception humaine, car si 25 images par seconde sont souvent suffisantes pour visionner un film, il a été démontré que l’œil humain peut distinguer des détails temporels jusqu’à la milliseconde.

Une autre caractéristique importante de ces caméras est leur capacité à détecter une très large gamme de luminosité, dépassant de loin celle des caméras conventionnelles à 120 dB (un facteur d’un million, comparé au facteur de un sur mille de l’œil humain entre la pleine lune et le soleil),

Il convient de noter que la « résolution spatiale » de ces caméras est souvent relativement modeste, de l’ordre du mégapixel. Cependant, il ne s’agit pas d’une limitation technique, mais plutôt d’une conséquence des applications technologiques dans lesquelles ces caméras sont couramment utilisées.

Par rapport aux caméras classiques, qui consomment plusieurs watts, les caméras événementielles consomment très peu d’énergie électrique, de l’ordre de 10 milliwatts, soit une consommation équivalente à celle de l’œil humain. https://en.wikipedia.org/wiki/Event_camera#Functional_description

Levier #1: Réseaux de neurones impulsionnels (SNNs)

The HD-SNN neural network [[Grimaldi *et al*, 2023]](https://laurentperrinet.github.io/publication/grimaldi-23-bc/) — The HD-SNN neural network [Grimaldi *et al*, 2023]

Ces caméras ne présentent que des avantages, mais alors, comment traiter cette nouvelle représentation des données ? En effet, les neurosciences montrent que les neurones ne manipulent pas des données continues (comme ceux du deep learning), mais communiquent exactement de la même manière en échangeant de brèves impulsions prototypiques, les potentiels d’action (spikes).
Notre solution : une architecture similaire au deep learning, mais chaque neurone (brique élémentaire) est un modèle simplifié de neurone biologique impulsionnel. Cependant, nous nous retrouvons avec un problème par rapport à l’établissement que nous avons réussi à résoudre théoriquement. Un avantage supplémentaire est que ce genre de calcul est actuellement développé sur des puces embarquées (comme les pixels de la caméra évanementielle).
notre architecture fonctionne ainsi directement sur cette même représentation. Un autre avantage : le « always on computing ».

Quels résultats ? Peut-on les évaluer avant d’avoir ces puces ?

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Time-to-Contact maps [Nunes et al, 2023]

2 MINUTES

Nos simulations montrent ainsi une très grande efficacité (ici pour catégoriser un type de flux optique, ce qui peut guider la navigation).
un aspect innovant de notre technologie réside dans notre capacité à utiliser autant de neurones, mais moins de connexions. Nous avons par ailleurs montré que l’efficacité restait acceptable. Par rapport à une technologie classique (en orange) qui montre une baisse rapide, nos résultats montrent une bonne efficacité avec une demi-valeur critique donnée pour un gain de 700x (noter l’axe log). C’est ce qu’on appelle le « frugal computing » et nous œuvrons maintenant à son implémentation dans un PEPR IA.
c’est une étape importante, mais on peut aller plus loin, et je vais vous présenter un deuxième levier : éviter de tout traiter pour ne traiter que ce qui est nécessaire.

Levier #2: Vision active / Active Vision

[[Jérémie *et al*, 2024](https://laurentperrinet.github.io/publication/jeremie-24)] — [Jérémie *et al*, 2024]

Levier #2: Vision active / Active Vision

Laurent Perrinet (https://laurentperrinet.github.io) [2024-09-09] Enjeux pour l'IA embarquée