14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 1/18 PEA CALADIOM « Capteur intelligent À Longue Autonomie pour la Détection et lIdentification dObjets Mobiles » Présentation – Conseil de la Recherche Thierry Bernard & Antoine Manzanera

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 2/18 CALADIOM le contexte du PEA Origine : 98/99 : DGA/DCE/CTA et Aérospatiale Missiles élaboration poursuivie à lENSTA en 01/02 Objectifs : Réaliser un prototype de système de vision à très faible consommation dénergie, répondant à un besoin optronique de Défense en détection/identification, grâce au développement dune nouvelle génération de rétine programmable. Avancement du projet : Tranche 1 terminée (2005) : Prototype visible (rétine ENSTA CMOS standard) Tranche 2 en cours : Prototype infrarouge (rétine mixte ENSTA-CEA) Client : DGA/DSA/SPART Maître dœuvre : Bertin Technologies Partenaires : CEA Leti (conception détecteurs IR) – ULIS (production rétines IR) Prix CHANSON (2007) : récompense succès tranche visible + faisabilité prototype IR.

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 3/18 CALADIOM description du système Balise de renseignement : système de vidéo surveillance abandonné capable de fonctionner en autonomie pendant plusieurs semaines. Solution retenue : Dispositif de réveil intégrant une rétine artificielle fonctionnant en permanence et chargé de détecter les menaces potentielles. Unité principale comportant une caméra HR fonctionnant par intermittence et chargée d'identifier ces menaces. © Bertin Technologies

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 4/18 CALADIOM les enjeux scientifiques et technologiques Micro-électronique : concevoir une nouvelle génération de rétine programmable répondant aux contraintes optroniques (sensibilité, résolution, rapport signal sur bruit) et fonctionnelles (analyse du mouvement). Algorithmique : concevoir une détection d'objets mobiles robuste (fonctionnement continu tout temps) et adaptée aux contraintes de calcul (parallélisme massif cellulaire). Infra-Rouge : adapter le circuit de traitement numérique au circuit d'acquisition thermique dans une technologie hybridée. Système : réaliser le packaging électronique, mécanique et optique respectant des contraintes sévères en consommation et encombrement. © Bertin Technologies

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 5/18 CALADIOM pourquoi des rétines dans CALADIOM ? Fort bénéfice énergétique système – Sobriété énergétique rétinienne Rapprochement mémoire-traitement énergie de transport énergie de calcul Parallélisme spatial massif de type SIMD énergie de contrôle énergie de calcul même si Valim=3,3V – Contribution prépondérante à la tâche de vision réalisée Adéquation algorithme-architecture Programmabilité et ressources mémoire Fréquence de fonctionnement Calcul collectif par sommateur global Sobriété énergétique du cortex Tout en demeurant un capteur – Contraintes de résolution et dimension => intégration extrême – Compatibilité processeur pixellique / qualité de capture microproc. rétine < 0,5W < 1W > bits (> 1 MHz) 200x200 pixels < 40x40µm 2 0,5% Objectifs

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 6/18 CALADIOM Système de vision traditionnel vs traitement en plan focal (x,y) ( ) p(B/A i )p(A i ) j p(B/A j )p(A j ) x k/k = x k/k-1 + K k y k ^ ^ ~ ··· (x,y) ( ) p(B/A i )p(A i ) j p(B/A j )p(A j ) x k/k = x k/k-1 + K k y k ^ ^ ~ ··· ImageurCalculateur Rétine« Cortex » ··· Agitation de données consommation dénergie Approche classique

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 7/18 Bio-inspiration ? Polyvalence programmabilité Un processeur programmable dans le pixel, plutôt numérique, pour réaliser une large classe de traitements rétinotopiques en plan focal. CALADIOM Rétines bio-inspirées vs rétines programmables Vout Vcas Vb Rémanence du mouvement Détection de changement temporel [Delbrück 94] 5 MOS Flot optique 1-D 40 MOS [Özalevli 06] analogique ingénieux très faible conso. précision limitée figé, cloisonné photo- capteur conversion analogique numérique processeur numérique Rétine

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 8/18 Rétine : grille SIMD cellulaire de processeurs produit des descripteurs dimage Cortex opérations non rétinotopiques pilotage de la rétine Des- crip- teurs Code RétineCortex ASIC COTS, IP datapath image / UC parallélisme spatial massif sans transfert dimage déplacements surtout locaux mémoire numérique réduite processeur pixellique simple booléen, sans décodeur calculs bit-série fréquence modérée (10MHz) CALADIOM Système de vision à base de rétine programmable Conséquences sur l'algorithmique et le logiciel :

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 9/18 Pvlsar34 : 200x200 pixels CMOS 0,35µm pitch 37,5µm 45 bits/pixel basse consommation capture/CAN de qualité 64k32k16k8k4k nombre de pixels Positionnement par rapport à la concurrence Pvlsar34 Pvlsar34-IR Séville ACE16k Tokyo Vision Chip Arcueil Pvlsar2.2 nombre de bits/pixel 30µm 2 /bit CALADIOM La nouvelle génération de rétine : Pvlsar 34 Innovations : mémorisation, calcul, communication exotiques éclectisme « design for yield » (DFY)

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 10/18 CALADIOM Algorithmique plan focal : détection dobjets mobiles

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 11/18 CALADIOM Algorithmique plan focal : détection dobjets mobiles But : détecter les pixels dont les valeurs se distinguent significativement de la distribution temporelle du fond statique. Concision algorithmique : cette distribution temporelle doit être représentée par un petit nombre de descripteurs de petite taille. Moyenne temporelle récursive naïve : Moyenne récursive exponentielle : Représentation incrémentale : fonction affine : pas calculable !

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 12/18 CALADIOM Algorithmique plan focal : détection dobjets mobiles Idéalement, t doit dépendre de la probabilité d'occurence de I t : Ex : Estimation gaussienne : Concision algorithmique : f t doit être représentable par quelques paramètres : 1 mode 1 mesure de dispersion

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 13/18 CALADIOM Algorithmique plan focal : détection dobjets mobiles Distribution unimodale à décroissance hyperbolique (loi de Zipf-Mandelbrot) : Dans ce cas, la fonction d'incrément t est proche d'une fonction échelon (Heaviside)... Pour lequel l'estimation de la moyenne s'assimile à la modulation. mode dispersion

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 14/18 CALADIOM Algorithmique plan focal : détection dobjets mobiles La détection de changement temporel par estimation approche originale issue de la concision rétinotopique. fondements et performances comparables à Estimation gaussienne coût de calcul encore plus faible que la moyenne récursive Jeu d'instruction : - incrément/décrément - comparaison - différence Complexité déportée dans les structures de contrôle

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 15/18 CALADIOM Le dispositif de réveil intégré RAP visible Carte SUPPORT RETINE Carte INTERFACE RETINE Carte COM & ALIM Carte CORTEX Carte COM & ALIM Carte CORTEX NG Carte INTERFACE RETINE IR En visible......et en Infrarouge © Bertin Technologies © Bertin Technologies

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 16/18 CALADIOM La rétine infrarouge Prochaine étape : le CALADIOM jour/nuit Technologie non refroidie : matrice de bolomètres : Circuit numérique : mémorisation + calcul (ENSTA) Circuit analogique : capture et numérisation (CEA) Technologie hybridée Circuits fabriquées et en phase de test au CEA matrice de détecteurs bolométriques

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 17/18 CALADIOM Le futur des rétines : vers le moyen niveau Reconstruction géodésique Propagation asynchrone via des connexions programmables bidirectionnelles Pb du taux dutilisation résolu pleine efficacité énergétique rapide car asynchrone Calcul de statistiques régionales Primitive symétrique fondamentale : la somme Calcul sur un arbre couvrant orienté connexions monodirectionnelles Racine = pixel représentant la région Calcul mixte par propagation asynchrone de jetons et fusion dyadiques synchrones de paires de jetons. Manipulation de régions, densembles de pixels

14 juin 2007 Unité Electronique Informatique Conseil de la Recherche 18/18 CALADIOM Conclusion PEA CALADIOM Succès d'un projet de transfert industriel, du laboratoire au produit fini. Innovations microélectronique et algorithmique éprouvées à échelle industrielle. Première mondiale : système de vision complet à base de rétine numérique. Cas exemplaire de l'investissement de l'ENSTA dans les projets DGA. Bémols Rédaction de rapports techniques de niveau industriel Coût de la gestion de l'exploitation industrielle Difficulté de la gestion des ressources affectées Difficulté à valoriser le travail en recherche académique