Vision algorithmique Vision biologique RobotvisOdyssée Modéliser pour –Trouver des solutions pour résoudre de nouvelles problématiques dans un contexte applicatif ou industriel Méthodologie –Approches continues variationnelles et par EDP –Systèmes dEDO Critère de qualité –Amélioration qualitative ou quantitative des résultats ou performances Modéliser pour –Reproduire la biologie –Comprendre les performances du système visuel Méthodologie –Approches continues variationnelles et par EDP? –Réseaux de neurones analogiques et impulsionnels Critère de qualité –Se confronter aux expérimentations biologiques – Se confronter à la vision algorithmique

La vision biologique L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept

La vision biologique Van Essen, Gallant (1994) L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept

La vision biologique Tootell etal (1988) L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept

La vision biologique [Churland, Sejnowski, 1992] 1m 10cm 1cm 1mm 100 m 1 m 1A CNS Systems Maps Networks Neurons Synapses Molecules L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept

La vision biologique L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept

La vision biologique L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept Taux de décharge moyen Temps de latences par rapport à un temps de référence Mesures de synchronisation ou de corrélations Distributions des intervalles de temps entre impulsions Répétition de certains motifs spatio-temporels Différences de phases en régime oscillatoire …

La vision biologique L'information visuelle est traitée par plusieurs aires corticales Une hiérarchie élaborée hautement connectée Chaque aire pariétale est rétinotopique, organisée en unités (colonnes) De nombreuses échelles dobservation Une transmission de linformation par des impulsions (spikes) Le code neural? Un percept

Au cœur des neurosciences Comprendre lanatomie et le fonctionnement du système nerveux… Mais comment? –Des outils dimagerie: IRMf, IRM de diffusion –Des outils de mesure de lactivité électrique: MEG, EEG –Mais aussi optical imaging, mesures cellulaires etc. –La psychophysique

Deux grands types de besoins Des besoins de formalisation, en fonction de léchelle –Approches variationnelles –EDP stochastiques –Comment « décoder » le code neural? Des besoins de modélisation: La vision bio- inspirée saura-telle concurrencer la vision algorithmique?

Estimation du mouvement Psychophysique: Les préceptes du percept Thèse dEmilien Tlapale ( ) co-encadrement: Guillaume Masson Projet Européen SEARISE (Smart Eyes: Attending and Recognizing Instances of Salient Events) Problématique –Entrée: Une vidéo –Sortie: Une « probabilité » dune vitesse donnée ( en tt point) Une approche bio-inspirée –Dans larchitecture (V1-MT et V2) –Dans la présence de rétroactions MT V1 –Un modèle phénoménologique Validation des résultats –Se confronter avec la psychophysique

Mouvement et problème douverture Intégrer linformation non ambiguë En vision par ordinateur: Ajouter de la régularité Dans le système visuel: Intégration par la diffusion –La diffusion engendre la perception –La forme contrôle la diffusion –La diffusion sopère principalement par la rétroaction Wallach (1935) La preuve en image!

La diffusion engendre la perception Notre percept change en fonction du masquage Exemple du barberpole Exemple de multistabilite

La diffusion engendre la perception Importance des mouvements non ambigus (fins de lignes, jonctions) Le nombre fait la force? Pas seulement Explications

La forme contrôle la diffusion Illusion du Chopstick Anstis (1990) Notre percept change en fonction du masquage

La forme contrôle la diffusion Le percept naît de la scène globale La notion de jonctions extrinsèque ou intrinsèque est globale Explications

La diffusion sopère principalement par la rétroaction Des vitesses de propagation très différentes –Horizontales (0,1 à 0,2 m/s) –Feedbacks (2 à 6 m/s) Rétroactions vers V1 très importantes –Quantité –Fonction: La diffusion longue distance provient de la rétroaction Angelucci, Bullier (2003)

Des modèles bio-inspirés existent Modèles sans rétroaction –Simoncelli, Heeger (1998): linéaire/non-linéaire Modèles avec rétroaction et intervention de la forme –Grossberg etal (2007): 15 équations, grand nombre de paramètres, des images binaires en entrée –Bayerl, Neumann (2007): Détecteurs de jonctions qui inhibent toute diffusion –Tlapale, Masson, Kornprobst (2007): Utiliser la forme et les jonctions pour mieux diffuser, des cas réels

Modèle proposé Tlapale, Masson, Kornprobst RR (2007) « Probabilité » davoir la vitesse v à la position x au temps t Activité du neurone sensible à la vitesse v à la position x au temps t unités

Modèle proposé Tlapale, Masson, Kornprobst RR (2007) Détecteur de mouvement local Normalisations A priori sur les petites vitesses Normalisations Intégration dépendant de la forme Prise en compte du feedback

Diffusion par feedbacks Diffusion par la forme –Corrélation de luminosité en chaque point pour chaque direction –Intégration dépendant du contraste Normalisations Points clés Tlapale, Masson, Kornprobst RR (2007)

Résultats La diffusion engendre la perception Tlapale, Masson, Kornprobst RR (2007) Séquence V1 MT

Séquence Tlapale, Masson, Kornprobst RR (2007) Résultats La forme contrôle la diffusion V1 MT

Tlapale, Masson, Kornprobst RR (2007) Résultats Séquences réelles V1 MT Séquence

Un travail en cours Une implémentation très efficace en GPGPU Amélioration du modèle –Intégration, diffusion? –Prédiction? –Effets de lattention? Validation avec un readout Masson et al

En conclusion

Modéliser de façon bio-inspirée –Reproduire une architecture et une variabilité –Reproduire la façon dont le système nerveux communique –Reproduire des fonctions, des mécanismes Vision algorithmique Vision biologique Confronter ses prédictions à la biologie –Mesures de cellules –Percept Mais reproduire nest pas expliquer –Tout modèle reste une abstraction et repose sur des hypothèses –Difficulté de léventail des échelles –Si on ne peut pas toujours expliquer… on peut quand même…

Vision biologique Comprendre le code neural –Un problème ouvert –Quel(s) critère(s) considérer? –Comment mesurer des distances entre trains dimpulsions? –Comment étudier ses distributions? Vers de nouvelles applications informatiques ? –Les impulsions comme nouveau paradigme? Nécessité dun travail multidisciplinaire –Neurosciences et neurosciences computationnelles –Psychophysique –Mathématiques Vision algorithmique

Pour en savoir plus Odyssée Lab Vision biologique Vision algorithmique