Understanding natural vision using deep predictive coding - Séminaire à l'Institut de Recherche sur les Phénomènes Hors Équilibre

Understanding natural vision
using deep predictive coding

Laurent Perrinet

Séminaire à l'Institut de Recherche sur les Phénomènes Hors Équilibre (IRPHÉ) 25/9/2020

Bonjour je suis Laurent Perrinet et je vais vous parler aujourd’hui de la vision naturelle. Je vais essayer de vous démontrer l’importance que son étude peut avoir sur la construction d’algorithmes de vision par ordinateur mais aussi pour nous mettre permettre d’avoir une meilleure compréhension des principes neuronaux qui sous-tendent le fonctionnement de notre cerveau.

La vision est ce processus qui nous permet de faire sens à partir du monde lumineux qui nous entoure. Je vous remercie de m'avoir invité, car son étude pourrait a priori par être éloigné du domaine de recherche qui sont étudiés à votre institut ... et je vais essayer de démontrer durant cet exposé que la déraisonnable efficacité de la vision dans le monde naturel peuvent se comprendre comme des mécanismes d’intégration dynamique qui ne vous seront sûrement pas étranges... On pourra donc espérer faire des ponts entre ces différents domaines d’études.

Outline

Natural Vision

Deep Learning

Predictive processes

Perspectives

La voie ventrale est principalement impliqué dans la reconnaissance des formes comme par exemple la catégorisation des images visuelles. Ce processus peut lui-même être décomposé en une séquence de différentes étapes de traitement de l’information depuis la rétine et le thalamus, pour passer dans les aires visuelles primaires V1, V2, V3 jusqu’au aires corticales situées dans le lobe inferotemporal. Ainsi certaines neurones de ces aires peuvent être sensible à des caractéristiques visuelles particulières comme par exemple des objets ou des visages, et ceci indépendamment de leur position dans l’espace visuel. Cette organisation ressemble grossièrement aux chaînes de traitement de l’information que l’on rencontre dans les algorithmes de vision par ordinateur, depuis l'entrée rétinienne jusqu’à une sortie, par exemple motrice. Il est toutefois remarquable de noter que la vision nous paraît comme un mécanisme tout à fait naturel, et que le monde visuel nous paraisse tout à fait stable alors que ce système est soumis à des contraintes majeures.

LP (2019) Illusions et hallucinations visuelles : une porte sur la perception

D’abord, on peut noter que dès la rétine, l’information visuelle (ici chez l’homme) est fortement focalisée sur la rétine. L’anatomie de l’œil que l’on voit sur cette figure montre que la rétine correspond à un senseur placé sur le fond de l’œil. La majorité des "pixels", c’est-à-dire des photos récepteurs sont concentrés sur la foveala (macula), qui est la région autour de l’axe optique. Schématiquement, on peut illustrer cette transformation sur une image classique en A, jusqu’à sa transformation dans une carte de type log-polaire de telle sorte qu’on peut comprimer l’image en une représentation en C, et que l’on peut aussi représenter dans l’espace visuel sous la forme de la figure D. Cette transformation de l’espace visuel induit une forte distorsion de l’image qui est difficilement imaginable, et des illusions d’optique permet de le révéler. Un exemple sont les illusions qui mettent en évidence la tache aveugle c’est-à-dire le point où la sortie de la rétine converge sur le nerf optique et qui n'est pas photosensible. Certaines illusions utilisent des configurations pour lesquelles cette distorsion induit une certaine instabilité…

LP (2019) Illusions et hallucinations visuelles : une porte sur la perception

LP (2020) Temps et cerveau : comment notre perception nous fait voyager dans le temps

Une autre contrainte à laquelle notre cerveau est confronté et le fait que l’information visuelle mette un certain temps pour passer d’un coté à l’autre le long des voies visuelles. Je reproduis ici une figure établie par Simon Thorpe qui montre chez le macaque les différentes latences de l’information visuelle quand elle voyage depuis la rétine jusqu’à une réponse motrice. Ainsi si une image est présentée au temps zéro elle sortira de la rétine après environ 30 millisecondes, puis sera traité dans l’ère visuelle primaire après 50 millisecondes pour être traité le long de la voie ventrale en 100 millisecondes. Cette information pourra ensuite être traitée pour atteindre les aires motrices pour établir une commande motrice et enfin une réponse en environ 200 ms. C’est l'ordre de grandeur du temps qu’il faut pour répondre à une image et qui est observé aussi chez les humains. Je vais maintenant vous illustrer les conséquences de ses délais neuronaux.

LP (2020) Temps et cerveau : comment notre perception nous fait voyager dans le temps

En effet si l’on considère une situation relativement naturel relevant du domaine de la vision c’est-à-dire ici Jau Wilfried son gars son gars à vous le donne en train en train d’essayer de rattraper passer une chatte est une chatte est un chat pour une vitesse pour une balle se déplaçant à une vitesse d’environ 20 m/s. En rapportant les délais neuronaux par rapport à la balle à l’instant présent telle qu’elle est au centre de l’image, On n’en déduit que l’image qui est vu par le cerveau dans l’air visuel primaire dans les airs de reconnaissance le long de la voie dorsale par exemple et décaler dans le temps de s’ennuyer souvent et donc dans l’espace d’environ 1 m. De la même façon, la position de la balle la position de la balle par rapport à une action possible prise à ce moment-là c’est-à-dire à l’instant présent doit être effectué pour une position de Laval telle qu’elle sera 80 000 secondes après le temps présent c’est-à-dire en avant d’une distance équivalente à à peu près 80 cm. Devant l’urgence de pouvoir répondre de façon efficace à une telle scène, on comprend que le système visuel a été optimisé durant les millions d’années de la sélection de l’éternel. Pour permettre de réagir efficacement à ce genre de situation. Ce genre d’optimisation de la vision des processus de la vision peut être mis en évidence dans une illusion extrême moment simple dite du flash retardé.

LP (2020) Temps et cerveau : comment notre perception nous fait voyager dans le temps

Dans cette illusion, la consigne est de fixer le point vert au centre de l’écran. Si maintenant je vous demande de me donner la position du point rouge au moment où le point vert apparaît, vous me direz sans doute il apparaît légèrement à droite de celui ci. Pourtant, à l’instant où le point vert apparaît, le point rouge est exactement à la verticale du point vert. Ceci est dû au fait que le point vert apparaît de façon non prédictive alors que le point rouge, qui suit qui suit une trajectoire rectiligne et continue, est lui représenté par le système visuel en avant de sa trajectoire. Cela implique aussi le système visuel ne regarde pas de façon passive l’information rétinienne mais plutôt qu’il perçoit une information telle qu'elle est transformée par les processus visuels. On voit pas ce qu’on voit mais on voit ce qu’on croit.

Par conséquent, on a pu mettre en évidence par ces simples expériences la déraisonnable efficacité du système visuel.

Outline

Natural Vision

Deep Learning

Predictive processes

Perspectives

Matthew Ricci and Thomas Serre (2020) Hierarchical Models of the Visual System

14 Ce type d’architecture consiste à décomposer les niveaux d’analyse en des processus traitant progressivement des caractéristiques visuelles du particulier au général. Dans la première couche (V1), nous avons un traitement qui va extraire les contours de l’image pour ensuite analyser les courbure de ces différents contours, pour ensuite introduire des représentations plus complexes et abstraites et enfin obtenir des unités de classification ("un renard"). Mathématiquement, on peut formaliser ce type de modèle sous la forme d’un réseau de neurones convolutionnel et qui constitue la base de la grande majorité des algorithmes d’apprentissage profond qui sont utilisés de nos jours. L’opération de base correspond à un filtrage linéaire qui utilise un noyau conditionnel et qui va représenter la corrélation de ce noyau avec des sous partie de l’image. Cette opération est répétée dans une même couche sur différents canaux et va permettre par exemple de représenter sur une même carte les différentes orientations des contours sur cette carte. Avant de propager ce traitement dans une nouvelle couche une étape importante et d’opérer une transformation non linéaire qui correspondent à une rectification et à une intégration par exemple en éliminant un neurone sur deux. On voit ainsi que au fur et à mesure que l’on monte dans la hiérarchie, les champs récepteurs deviennent progressivement à la fois de plus en plus grands et de moins en moins précis - comme on peut voir ici en comparant les champs récepteur RF1 et RF2.

Wikipedia (2020) ImageNet

Dario Amodei & Danny Hernandez (2018) OpenAI

Thomas Serre (2019) Deep Learning: The Good, the Bad, and the Ugly

En dehors des progrès effectués dans la catégorisation d'images (ce qui est très important pour les entreprises qui financent ces recherche -Facebook, Amazon, ou Google- on a vu l'émergence de nouvelles techniques qui illustrent toute la créativité de la communauté en apprentissage profond. En suivant cet article de revue de Thomas Serre, je citerai par exemple la capacité de pouvoir faire du transfert de style c'est-à-dire de pouvoir transformer une image dans le style d'un peintre donné. Ou alors la création d'images complètement nouvelles comme par exemple montrer dans le panneau d, ou alors dans cette peinture dans le panneau B qui a été créé par un algorithme génératif et qui a même atteint un prix mirobolant dans une vente aux enchères....

Figure 3 Art and image synthesis with deep neural networks. (a) Style transfer with convolutional neural networks (CNNs). The content of an image (top, first panel) is combined with the style of three distinct paintings (top, second, third, and fourth panels) to synthesize a new artistic image (bottom row) using a neural network (Gatys et al. 2017). Image credit: Matthias Bethge (adapted with permission). (b) The Portrait of Edmond Belamy produced by a generative adversarial network (GAN) and sold by Christie's for $432,500 in October 2018. Reproduced with permission from the copyright holder. Sotheby's Contemporary Art Day Auction held in March 2019 also featured a machine installation that used neural networks to generate an infinite stream of portraits. Mainstream artists including Refik Anadol, Trevor Paglen, and Jason Salavon have started to incorporate neural networks as a part of their artistic process. (c) Latest improvements in style transfer by leveraging attentional mechanism to produce transfers that respect the semantic content of the original image (Park & Lee 2019). Image credit: Dae Y. Park and Kwang H. Lee (adapted with permission). (d) Synthetic images generated by a large generative adversarial network named BigGAN (Brock et al. 2019). Adapted with permission from the authors.

Thomas Serre (2019) Deep Learning: The Good, the Bad, and the Ugly

Mais tout n'est pas rose dans le monde de l'apprentissage profond… En effet, ces modèles qui ont gagné le concours de reconnaissance d'image peuvent être très sensibles à des petites perturbations qui va faire qu'une chaussette va être reconnu comme un éléphant, qu'un panneau de signalisation ne pourra pas être reconnu. si il contient des bouts de sketch de scotch, , qu'une personne va changer d'une entité si elle porte des lunettes. Pire, des algorithmes qui atteignent des niveaux de performance sur-humains seront incapables de généraliser leurs performances si on change le type de perturbation qui est appliquée aux images. Il existe d'autres faiblesses, comme le manque d'interprétabilité, mais...

Figure 4 Deep neural networks are sensitive to noise perturbations. (a) Universal adversarial attacks. State-of-the-art deep neural networks are vulnerable to universal (image-agnostic) adversarial attacks such that a very small noise mask (shown magnified for GoogLeNet) applied to images would lead to misclassification with high probability (actual adversarial samples with noise overlaid shown). Panel adapted from Moosavi-Dezfooli et al. (2017) with permission. (b–d) Sample adversarial physical attacks (b) conducted on a traffic sign system using stickers masked as graffiti, (c) using printed glasses to fool a face verification system, and (d) using a sticker to cause a deep neural network to see bananas everywhere. Panel b adapted from Eykholt et al. (2018) with permission. Panel c adapted from Sharif et al. (2019) with permission. Panel d adapted from Brown et al. (2017) with permission. (e) Deep neural networks do not generalize to unseen noise patterns, as shown for a network trained with additive Gaussian noise and tested on salt-and-pepper noise, which appear nearly identical to human observers. Panel adapted from Geirhos et al. (2018) with permission.

Thomas Serre (2019) Deep Learning: The Good, the Bad, and the Ugly

Outline

Natural Vision

Deep Learning

Predictive processes

Perspectives

Matthew Ricci and Thomas Serre (2020) Hierarchical Models of the Visual System

Bosking et al. (1997) Journal of Neuroscience

Bastos et al. (2012) Canonical Microcircuits for Predictive Coding

Boutin, Franciosini, Chavane, Ruffier, LP (2020) submitted

Outline

Natural Vision

Deep Learning

Predictive processes

Perspectives

... ainsi qu'à l'existence d'un forte compression de l'information autour de l'axe optique.

Imaginons alors une simple expérience psychophysique dans laquelle je vous demande de fixer la croix,

puis de reconnaitre un chiffre en périphérie

38-40

ou au centre...

41-46

si la présentation est rapide, cette tache peut-être difficile, notamment car si le chiffre est en périphérie, sa résolution décroit et donc il ne peut pas être déchiffré (à proprement parler) sans faire une saccade vers la position de ce chiffre. on parle alors d'inférence contre-factuelle, car on doit deviner l'action à mener en devinant la performance obtenue en effectuant cette action. Ce genre de problème est extrêmement courant en vision d'où l'importance d'introduire ce type d'action dans la vision par ordinateur. Nous avons alors fait l'hypothèse que les deux voies (ventrale et dorsale) sont dédiées à deux taches différente