Behavioural Neuroscience

Foveated Retinotopy Improves Classification and Localization in CNNs
*Foveated Retinotopy in CNNs.* We represent Left an input image and how it is transformed by foveated retinotopy. We show below a representative reconstruction showing that it also acts as a cortical zoom on the image around the point of fixation. The transformed image is then fed to the ResNet deep learning architecture.
Foveated Retinotopy in CNNs. We represent Left an input image and how it is transformed by foveated retinotopy. We show below a representative reconstruction showing that it also acts as a cortical zoom on the image around the point of fixation. The transformed image is then fed to the ResNet deep learning architecture.

From falcons spotting prey to humans recognizing faces, the ability to rapidly process visual information depends on a foveated retinal organization that provides high-acuity central vision while preserving low-resolution peripheral vision. This organization is conserved along early visual pathways, yet remains under-explored in machine learning. Here, we examine the impact of embedding a foveated retinotopic transformation as a preprocessing layer on convolutional neural networks (CNNs) for image classification. By applying a log-polar mapping to off-the-shelf models and retraining them, we achieve comparable accuracy while improving robustness to scale and rotation. We demonstrate that this architecture is highly sensitive to shifts in the fixation point and that this sensitivity provides an effective proxy for defining saliency maps that facilitate object localization. Our results demonstrate that foveated retinotopy encodes prior geometric knowledge, providing a solution for visual searches and a meaningful classification robustness and localization trade-off. These findings provides a proof of concept in order to connect principles of biological vision with artificial networks, suggesting new, robust and efficient approaches for computer vision systems.

Foveated Retinotopy Improves Classification and Localization in CNNs
Foveal Retinotopy and Dual Pathways: A Computational Model for Active Visual Search

Abstract

This thesis investigates visual search through the lens of the dual visual pathways found in biological systems : the ventral (“what”) pathway, involved in object recognition, and the dorsal (“where”) pathway, responsible for spatial localisation and saccadic planning. Drawing from both neuroscience and computer vision, we propose a computational framework that integrates deep convolutional neural networks (DCNNs) within a biologically inspired architecture grounded in foveal retinotopy. As a proof of concept, prior work has demonstrated that incorporating saccadic planning improves digit categorisation performance in a controlled environment. Building upon this foundation, the primary objective of this thesis is to extend the computational framework to natural images in more ecologically valid settings. Our contributions are as follows : (1) We introduce a novel framework for training and evaluating DCNNs using semantically grounded, task-specific labels ; (2) We bridge the gap between artificial models and biological substrates by emphasizing the role of foveal retinotopy in robust object categorisation and precise localisation ; (3) We disentangle the interplay between categorisation and localisation by proposing a novel “localisation-frame” dataset, aimed at guiding the design of a biologically plausible dorsal stream model ; and (4) We present an initial model of the dorsal pathway, leveraging the new dataset to develop interpretable and efficient active vision systems—where interpretability is achieved through modular and spatially structured representations, and efficiency is reflected in reduced computational cost during inference with saccade planning. Overall, this thesis extends the dual-stream computational paradigm for visual search, contributes tools for explainable active vision, and offers a platform to explore hypotheses about functional specialisation in the human visual cortex.

La modélisation biomorphique de la perception visuelle

in “La modélisation de la genèse physico-mathématique du vivant”

BIOMORPHISME ET CREATION ARTISTIQUE – Session 3

  • Date
    11 Octobre 2018
  • Atelier
    Séminaire/workshop organisé dans le cadre du projet Biomorphisme. Approches sensibles et conceptuelles des formes du vivant
    http://lesa.univ-amu.fr/?q=node/391 http://centregranger.cnrs.fr
  • Location
    Bâtiment Egger, dans la salle E 215 (2ème étage côté voie ferrée) - 3 avenue R. Schuman - Aix-en-Provence
  • Visuels
    HTML
  • Organisation
    Jean Arnaud, PR arts plastiques au LESA-AMU ; Julien Bernard, MCF philosophe des sciences au Centre GG Granger-AMU ; Sylvie Pic, artiste
  • Résumé
    La vision utilise un faisceau d’informations de différentes qualités pour atteindre une perception unifiée du monde environnant. Elle interagit avec lui en créant son propre modèle génératif de sa structure physico-mathématique. Avec Etienne Rey de l’atelier Ondes Parallèles, nous avons utilisé lors de plusieurs projets art-science (voir https://github.com/NaturalPatterns) des installations permettant de manipuler explicitement des composantes de ce flux d’information et de révéler des ambiguités dans notre perception. Dans l’installation Tropique, des faisceaux de lames lumineuses sont arrangés dans l’espace assombri de l’installation. Les spectateurs les observent grâce à leur interaction avec une brume invisible qui est diffusée dans l’espace. L’ensemble des faisceaux évolue comme autant de lames lumineuses à partir de 6 video-projecteurs placés dans l’espace de l’installation, suivant une dynamique autonome. En même temps, la position des spectateurs est captée et permet d’alterner entre une vision de ces sculptures d’un point de vue introceptif à un point de vue exteroceptif. Dans «Trame Élasticité», 25 parallélépipèdes de miroirs (3m de haut) sont arrangés verticalement sur une ligne horizontale. Ces lames sont rotatives et leurs mouvements est synchronisé. Suivant la dyamique qui est imposé à ces lames, la perception de l’espace environnent fluctue conduisant à recomposer l’espace de la concentration à l’expansion, ou encore à générer un surface semblant transparente ou inverser la visons de ce qui est située devant et derrière l’observateur. Enfin, dans «Trames», nous explorons l’interaction de séries périodiques de points placées sur des surfaces transparentes. À partir de premières expérimentations utilisant une technique novatrice de sérigraphie, ces trames de points sont placées afin de faire émerger des structures selon le point de vue du spectateur. Ce qui est en jeu ici c’est l’émergence de l’apparition de motifs virtuels résultat de la relation entre une réalité physique, la grandeur et l’ordonnancement de trames et notre physiologie qui conduit à cette état de perception. Lorsqu’on est fasse à ces motifs ce qui saute au yeux plus que le motif réel c’est sa résultante, instable et éphémère qui fait apparaitre une richesse de figures géométriques qui se transforment et évoluent en fonction du temps d’observation et du point de vue. Sur ce principe de dispositif optique, le travail de chacun des motifs, lié à un séquençage de trames conduit à faire apparaitre une composition et des émergences de formes spécifiques. L’expérience de perception de chacun des motifs explore les notions d’instabilité, de flux, d’émergences … dont l’expérience donne à entrevoir des formes que l’on retrouve dans la nature ou les phénomènes naturels: le dessin du pelage d’un zèbre, une accumulation de bulles de savons, ou plus généralement dans les compositions chimiques issue de la théorie de la morphogénèse de Turing. De manière générale, nous montrerons ici les différentes méthodes utilisées, comme l’utilisation des limites perceptives, et aussi les résultats apportés par une telle collaboration.
  • Mots-Clés
    art cinétique ; science ; vision ; perception ; modèle interne