Vision sur puce Thierry Bernard © A. Kitaoka 2003

Agitation de données  consommation d’énergie Vision sur puce Système de vision traditionnel versus traitement en plan focal Agitation de données  consommation d’énergie xk/k = xk/k-1 + Kkyk ^ ^ ~ ··· (20-02)2+4112 Approche classique ··· (x,y) ··· ··· p(B/Ai)p(Ai) ∑jp(B/Aj)p(Aj) Imageur Calculateur xk/k = xk/k-1 + Kkyk ^ ^ ~ ··· (20-02)2+4112 ··· (x,y) ··· ··· ··· p(B/Ai)p(Ai) ∑jp(B/Aj)p(Aj) Rétine « Cortex »

Vision sur puce Rétines bio-inspirées versus rétines programmables Bio-inspiration ? Polyvalence  programmabilité Un processeur programmable dans le pixel, plutôt numérique, pour réaliser une large classe de traitements rétinotopiques en plan focal. Rémanence du mouvement Flot optique 1-D 40 MOS [Özalevli 06] Vout Vcas Vb analogique ingénieux très faible conso. précision limitée figé, cloisonné 5 MOS Détection de changement temporel [Delbrück 94] La vidéo « motion aftereffect » a 2 objets : a) illustrer la notion de flot optique b) indiquer qu’elle se déroule dans le cortex humain, mais qu’elle correspond néanmoins à une réprésentation rétinotopique, que l’on va essayer de réaliser dans le plan focal. « plutôt numérique » a un double sens : a) l’éventualité d’une programmation véritablement analogique comme dans les CNN - b) le caratère fortement analogique de notre processeur numérique conversion analogique numérique photo-capteur processeur numérique Rétine

Vision sur puce Système de vision à base de rétine artificielle programmable grille SIMD cellulaire de processeurs produit des descripteurs d’image Cortex opérations non rétinotopiques pilotage de la rétine Atouts Rapidité Capture active Faible consommation Compacité (VSOC) Limitations Autonomie mémoire concision algorithmique Rigidité du mode SIMD pb taux d’occupation  datapath image / UC Code Rétine Des-crip- teurs Cortex ASIC COTS, IP parallélisme spatial massif sans transfert d’image déplacements surtout locaux processeur pixellique simple booléen, sans décodeur calculs bit-série fréquence modérée (10MHz) Ptransport ≈ Pcalcul Pcontrôle ≈ Pcalcul Gain de 2 / 3 ordres de grandeur par rapport à un microprocesseur / PC  Autonomie mémoire appelle deux attitudes : a) concision des algos b) multigranularité

Vision sur puce Contrat CALADIOM Système de surveillance très basse consommation Client : DGA Partenaires : Bertin Technologies (MO), CEA/LETI, ULIS Nouvelle génération de rétine Pvlsar34 : 200x200 pixels CMOS 0,35µm pitch 37,5µm 45 bits/pixel basse consommation capture/CAN de qualité Innovations : mémorisation, calcul, communication exotiques éclectisme « design for yield » (DFY) Cortex embarqué © Bertin Technologies nombre de bits/pixel 80 Positionnement par rapport à la concurrence Pvlsar34-IR Pvlsar34 40 Tokyo Vision Chip 30µm2/bit 20 Séville ACE16k i/i (%) 10 Arcueil Pvlsar2.2 5 4k 8k 16k 32k 64k nombre de pixels

Vision sur puce A la conquête du moyen niveau Manipulation de régions, d’ensembles de pixels Reconstruction géodésique Propagation asynchrone via des connexions programmables bidirectionnelles Pb du taux d’utilisation résolu pleine efficacité énergétique rapide car asynchrone Calcul régionaux Primitive symétrique fondamentale : la somme Calcul sur un arbre couvrant orienté connexions monodirectionnelles Racine = pixel représentant la région Additionneur bit-série distribué, opérant en // sur les régions Utilisé dans MAO (en 8-connexité) et en partie dans Tokyo Vision Chip Trop coûteux dans une rétine arité arbre couvrant : jusqu’à 3 ou 4

Collab. A. Mérigot (Paris XI) Vision sur puce Structures asynchrones cellulaires légères [Thèse V. Gies] Recours au micropipeline de Y. Sutherland propagation par jetons, conservative de la somme version arborescente du micropipeline valorisation des ressources nécessaires (arbitre) à l’installation de l’arbre couvrant Calcul explicite de la somme ramené dans le domaine synchrone fusion de paires de jetons de poids 2k en jetons de poids 2k+1 multiplication par environ 4 du nombre de phases asynchrones suppression additionneur et autre opérateur superflu Allègement considérable du coût matériel : 52 MOS/pixel, contre ≈2500 pour la MAO et même ≈30 par connexité accrue pour réduire à 2 l’arité maximale de l’arbre couvrant Collab. A. Mérigot (Paris XI)

Vision sur puce Perspectives - Interactions Achèvement d’une période de faisabilité Pvlsar34 : rétine de niveau quasi-industriel Cortex façon « système embarqué » O. Hammami Ensemble validé sur application réelle A. Manzanera Vers la robotique Capacités moyen niveau via l’asynchronisme A. Mérigot (Paris XI) Exploitation descripteur rapide d’image pour un \ M. Renaudin (TIMA) ? paramétrage statistiquement fondé des algorithmes Thèse Nicolas BURRUS J.-M. Jolion (INSA) Apprentissage structurel et statistique rapide D. Filliat & J.C. Baillie de la scène pour la localisation/navigation Thèse Renaud BARATE collab. externe AD Embarquement sur robot Pionner en cours IHM Vers des « killer retinas » Système de vision sur puce collab. externe AD Vérification/optimisation/compilation Bruno Monsuez Enrichissement de l’interface cortex/rétine

Vision sur puce Enseignement, encadrement, publications, etc. 1A : tronc commun « Electronique numérique » (3ECTS) 2A : resp. voie SIC (16ECTS), interventions module électif « Image » 3A : resp. module « Perception » (8ECTS), resp. semaine européenne « Parole » Mines de Paris 2A : « Electronique » (2ECTS) Encadrement Thèse V. Gies (soutenue le 12/12/2005) Thèse N. Burrus (débutée le 01/10/2005) Publications 8 rapports CALADIOM 1 article de revue 9 papiers en conférence internationale Divers 3 jurys de thèse, dont 1 en tant que rapporteur relecteur/évaluateur pour différentes revues et institutions