| Next-generation neural computations

Qu'est-ce que les Neurosciences peuvent apporter à l'Intelligence Artificielle ? $ANR$
[2025-02-14] Airbus Helicopters Laurent Perrinet ― https://laurentperrinet.github.io

Mais que fait un neuroscientifique à Airbus Helictopters?

Je suis moi-même un passionné d’aéronautique et de spatial, ce qui m’a amené à suivre l’école d’aéronautique SUPAERO. Puis vers l’imagerie satellitaire, qui dépendait déjà de l’IA sous la forme des réseaux de neurones. C’est à partir de là, grâce à la rencontre avec mon professeur de mathématiques Manuel Samuelides, que j’ai découvert les neurosciences computationnelles et les pouvoirs qu’elles peuvent offrir pour mieux comprendre le cerveau et pour créer de nouveaux systèmes d’intelligence artificielle. Voici un

Le jury était consistué (de gauche à droite) de Jeanny Hérault (Rapporteur), Michel Imbert (Président), Yves Burnod (Rapporteur, absent de la photo), Manuel Samuelides (Directeur de thèse) et Simon Thorpe (Co-directeur de thèse).

Depuis ce temps là, je développe des réseaux de neurones concus comme des algorithmes / processus d’optimisation numérique, que j’applique pour le traitement automatisé des images. une optique nouvelle n’est pas simplement d’utiliser l’inspiration neuro-mimétique mais de faire des aller retours avec l’expérimentation

mais d’abord quid AI ?

L’intelligence artificielle est-elle “intelligente” ?

L’intelligence artificielle (IA) est-elle “intelligente” ?

L’IA est une science multi-disciplinaire qui vise à créer des machines capables d’exécuter des tâches intelligentes, similaires à celles effectuées par l’être humain.
années 1950-1970 : approches logiques et symboliques
années 1980-2010 : machine learning (apprentissage automatique)
années 2010-2020 : deep learning
années 2020-… : la révolution des transformers

L’intelligence artificielle est-elle “intelligente” ?

Sommet de l'IA de 2025 — Sommet de l’IA de 2025

Enjeux de l’IA embarquée : latence de réponse

Visual latencies [[Grimaldi *et al*, 2022]](https://laurentperrinet.github.io/publication/grimaldi-22-polychronies/) — Visual latencies [Grimaldi *et al*, 2022]

Tout d’abord, les systèmes sensoriels biologiques sont composés de séquences de traitement qui possèdent des délais de traitement. Je décris ici la chaîne de traitement d’une image visuelle, ici pour un enfant jouant à un jeu et devant cliquer sur le bon bouton, et qui illustre les différentes latences du traitement de l’information de la vision à l’action.

Si les délais dans un système embarqué sont plus rapides, il reste que les informations dans les différentes étapes de traitement peuvent être décalées et nécessitent un traitement adapté afin de répondre de la façon la plus immédiate possible. Je pense notamment à la détection d’objets en mouvement très rapide dans le cadre spatial.

Tout d’abord, la plupart de ces systèmes traitent des données statiques. Ils ignorent notamment l’aspect dynamique, comme la nécessité de pouvoir répondre à tout moment ou de compenser les délais de traitement. Dans un premier temps, je présenterai un nouveau type de caméra, inspirée du fonctionnement de la rétine et du codage neural par potentiels d’actions ou « spikes ». Ces caméras permettent de capturer l’information sous forme d’événements et nécessitent d’adapter les algorithmes de traitement de l’information, qui sont plus proches de ceux utilisés par le cerveau.

Enjeux de l’IA embarquée : budget énergétique

“L’irraisonnable efficacité de la vision”

Comment la vision a évolué... [[Perrinet, 2024]](https://theconversation.com/chats-mouches-humains-comment-la-vision-a-evolue-en-de-multiples-facettes-220083) — Comment la vision a évolué… [Perrinet, 2024]

Illusions visuelles

[Rotating Snakes *Akiyoshi KITAOKA*](http://www.ritsumei.ac.jp/~akitaoka/index-e.html) — Rotating Snakes *Akiyoshi KITAOKA*

Illusions visuelles

Ilusions of brightness or lightness Akiyoshi KITAOKA

Illusions visuelles

[Hering illusion](https://en.wikipedia.org/wiki/Hering_illusion) — Hering illusion

Illusions visuelles

Illusions visuelles : Paréidolie

[Cydonia Mensae (1976) *Viking Orbiter image*](https://en.wikipedia.org/wiki/Cydonia_(Mars)) — Cydonia Mensae (1976) *Viking Orbiter image*

Illusions visuelles : Paréidolie

[Cydonia Mensae (2007) *Mars Global Surveyor*](https://en.wikipedia.org/wiki/Cydonia_(Mars)) — Cydonia Mensae (2007) *Mars Global Surveyor*

Illusions visuelles : Paréidolie

Neurosciences computationnelles de la vision

[[Sejnowski, Koch & Churchland (1998)](http://www.hms.harvard.edu/bss/neuro/bornlab/nb204/papers/sejnowski-koch-churchland-science1988.pdf)] — [Sejnowski, Koch & Churchland (1998)]

Anatomie du système visuel humain

Cortex visuel primaire

[Hubel & Wiesel, 1962]

Modèles hybrides d’IA

Using goal-driven deep learning models to understand sensory cortex [Yamins & DiCarlo, 2016]

Levier #1: Réseaux de neurones impulsionnels (SNNs)

From frame-based to event-based cameras.

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Sensor	Range	Framerate	Resolution	Power
Human eye	60 (?) dB	300 (?) fps	100 (?) Mpx	10 mW
DSLR	44.6 dB	120 fps	2–20 Mpx	30 W
Ultra-high speed	64 dB	10^4 fps	0.3–4 Mpx	300 W
Event-based	120 dB	10^6 fps	0.1–2 Mpx	30 mW

Les caméras événementielles présentent plusieurs propriétés qui les rendent remarquables. Tout d’abord, la précision temporelle des événements est de l’ordre de la microseconde, ce qui permet d’atteindre une cadence théorique de l’ordre du million d’images par seconde. On peut la comparer à celle d’une caméra classique, qui est de l’ordre de la centaine d’images par seconde, ou à celle d’une caméra à grande vitesse, qui peut atteindre 10 000 images par seconde. Il est difficile d’estimer la fréquence d’échantillonnage de la perception humaine, car si 25 images par seconde sont souvent suffisantes pour visionner un film, il a été démontré que l’œil humain peut distinguer des détails temporels jusqu’à la milliseconde.

Une autre caractéristique importante de ces caméras est leur capacité à détecter une très large gamme de luminosité, dépassant de loin celle des caméras conventionnelles à 120 dB (un facteur d’un million, comparé au facteur de un sur mille de l’œil humain entre la pleine lune et le soleil),

Il convient de noter que la « résolution spatiale » de ces caméras est souvent relativement modeste, de l’ordre du mégapixel. Cependant, il ne s’agit pas d’une limitation technique, mais plutôt d’une conséquence des applications technologiques dans lesquelles ces caméras sont couramment utilisées.

Par rapport aux caméras classiques, qui consomment plusieurs watts, les caméras événementielles consomment très peu d’énergie électrique, de l’ordre de 10 milliwatts, soit une consommation équivalente à celle de l’œil humain. https://en.wikipedia.org/wiki/Event_camera#Functional_description

Levier #1: Réseaux de neurones impulsionnels (SNNs)

[Grimaldi *et al*, 2023, [Precise Spiking Motifs](https://laurentperrinet.github.io/publication/grimaldi-22-polychronies/)] — [Grimaldi *et al*, 2023, Precise Spiking Motifs]

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

The HD-SNN neural network [[Grimaldi *et al*, 2023]](https://laurentperrinet.github.io/publication/grimaldi-23-bc/) — The HD-SNN neural network [Grimaldi *et al*, 2023]

Ces caméras ne présentent que des avantages, mais alors, comment traiter cette nouvelle représentation des données ? En effet, les neurosciences montrent que les neurones ne manipulent pas des données continues (comme ceux du deep learning), mais communiquent exactement de la même manière en échangeant de brèves impulsions prototypiques, les potentiels d’action (spikes).
Notre solution : une architecture similaire au deep learning, mais chaque neurone (brique élémentaire) est un modèle simplifié de neurone biologique impulsionnel. Cependant, nous nous retrouvons avec un problème par rapport à l’établissement que nous avons réussi à résoudre théoriquement. Un avantage supplémentaire est que ce genre de calcul est actuellement développé sur des puces embarquées (comme les pixels de la caméra évanementielle).
notre architecture fonctionne ainsi directement sur cette même représentation. Un autre avantage : le « always on computing ».

Quels résultats ? Peut-on les évaluer avant d’avoir ces puces ?

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Time-to-Contact maps [Nunes et al, 2023]

2 MINUTES

Nos simulations montrent ainsi une très grande efficacité (ici pour catégoriser un type de flux optique, ce qui peut guider la navigation).
un aspect innovant de notre technologie réside dans notre capacité à utiliser autant de neurones, mais moins de connexions. Nous avons par ailleurs montré que l’efficacité restait acceptable. Par rapport à une technologie classique (en orange) qui montre une baisse rapide, nos résultats montrent une bonne efficacité avec une demi-valeur critique donnée pour un gain de 700x (noter l’axe log). C’est ce qu’on appelle le « frugal computing » et nous œuvrons maintenant à son implémentation dans un PEPR IA.
c’est une étape importante, mais on peut aller plus loin, et je vais vous présenter un deuxième levier : éviter de tout traiter pour ne traiter que ce qui est nécessaire.

Levier #2: Vision active / Active Vision

[[Jérémie *et al*, 2024](https://laurentperrinet.github.io/publication/jeremie-25)] — [Jérémie *et al*, 2024]

Levier #2: Vision active / Active Vision

[Kremkow et al, 2018]

Levier #2: Vision active / Active Vision

---
## Levier #2: Vision active / *Active Vision*



	
	
	
	
	
	
	
	
	
	
	
	
	
	
	
	
	
	
	  
	    
	  

	      [Jérémie et al, 2024]

Levier #2: Vision active / Active Vision

Qu'est-ce que les Neurosciences peuvent apporter à l'Intelligence Artificielle ? $ANR$
[2025-02-14] Airbus Helicopters Laurent Perrinet ― https://laurentperrinet.github.io

Qu'est-ce que les Neurosciences peuvent apporter à l'Intelligence Artificielle ?

L’intelligence artificielle est-elle “intelligente” ?

L’intelligence artificielle (IA) est-elle “intelligente” ?

L’intelligence artificielle est-elle “intelligente” ?

Enjeux de l’IA embarquée : latence de réponse

Enjeux de l’IA embarquée : budget énergétique

“L’irraisonnable efficacité de la vision”

Illusions visuelles

Illusions visuelles

Illusions visuelles

Illusions visuelles

Illusions visuelles : Paréidolie

Illusions visuelles : Paréidolie

Illusions visuelles : Paréidolie

Neurosciences computationnelles de la vision

Anatomie du système visuel humain

Cortex visuel primaire

Cortex visuel primaire

Modèles hybrides d’IA

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #1: Réseaux de neurones impulsionnels (SNNs)

Levier #2: Vision active / Active Vision

Levier #2: Vision active / Active Vision

Levier #2: Vision active / Active Vision

Levier #2: Vision active / Active Vision

Levier #2: Vision active / Active Vision

Levier #2: Vision active / Active Vision

Qu'est-ce que les Neurosciences peuvent apporter à l'Intelligence Artificielle ?