Interprétation de séquences d’images pour des applications de vidéosurveillance bancaires Monique THONNAT et Nathanaël ROTA Projet ORION INRIA de Sophia Antipolis

Plan de l ’exposé Objectifs Contexte Système d’interprétation vidéo Résultats Conclusion et Perspectives 25/09/2001 Orion

Objectifs Analyse automatique de vidéo: permet d ’analyser un grand nombre de caméras Reconnaissance de comportements intéressants: focalisation sur des cas utiles alerte des opérateurs pour décisions 25/09/2001 Orion

Contexte INRIA équipe Orion à Sophia Antipolis et Bull dans le cadre du GIE DYADE: recherches en vision cognitive Caisse régionale de la Brie (responsable sécurité physique) et le département FTR de la FNCA. Accès à l ’agence de Moissy Cramayel fourniture de données (vidéos) modélisation des connaissances 25/09/2001 Orion

Système d’interprétation video Axe de recherches Orion: Interprétation automatique d’une scène à partir de séquences d’images. Domaines d’application: Surveillance de métro, parking, Espace médiatisé: bureau, salle à café, Surveillance d’agences bancaires. 25/09/2001 Orion

Système d’interprétation vidéo Détection des personnes et suivi de leurs déplacements (2) Reconnaissance de comportements (3) Segmentation du mouvement (1) Caméra Utilisateur Approche utilisant: un flux vidéo issu d ’une camera fixe un modèle 3D de la scène vide un ensemble de modèle de comportements 25/09/2001 Orion

Modèle 3D de la scène vide Contient des informations a priori sur la scène vide observée géométrie des objets 3D et des structures 2D (armoires, tables, murs, zones …) sémantique des objets 3D et des structures 2D (nom, fonction, caractéristiques, …. Exemple arrière guichet) Utilisé pour détection, suivi de personnes et reconnaissance de scénarios 25/09/2001 Orion

Modèle 3D de la scène vide Modèle 3D agence de Moissy Cramayel 25/09/2001 Orion

Modèle 3D de la scène vide Modèle 3D agence de Moissy Cramayel 25/09/2001 Orion

Segmentation du mouvement Différence entre 1 image courante et 1 image virtuelle (calculée) de la scène vide _ 25/09/2001 Orion

Détection de personnes Approche: parcourir les groupements de régions mobiles 2D jusqu’à obtenir un bon regroupement 2D et 3D. Parcours heuristique 25/09/2001 Orion

Suivi des déplacements Approche: A partir de primitives d ’évolution (est la même personne que …, est entré, est sorti, est caché, etc. ), on calcule l ’évolution la plus vraisemblable. A l ’instant t: A l ’instant t+1: Entrée 25/09/2001 Orion

Reconnaissance de scénarios Modélisation de comportements intéressants en coopération avec J. Névot, J. Déchot et J.-Ph. Blanchard. 3 types de scénarios utiles et reconnaissables par capteur visuel: accès à une zone interdite (arrière guichet, local automate, etc..) contrainte sur une personne contrainte sur un groupe de personnes 25/09/2001 Orion

Reconnaissance de scénarios Modélisation des comportements = transformer la connaissance de l ’expert en modèles compréhensibles par le système -> non automatique 25/09/2001 Orion

Reconnaissance de scénarios « …une personne entre dans une zone» «une personne à t est loin d ’une zone et proche à t+ dt» «la distance entre une personne et la zone est supérieure à d1 à t et inférieure à d2 à t+ dt» Exemple : « Accès à une zone interdite de type automate » «une personne entre dans une zone à t est n ’en n ’est pas sortie à t+ dt et la zone est une zone d ’automate interdite» 25/09/2001 Orion

contrainte sur une personne Résultats Séquence 1 contrainte sur une personne 25/09/2001 Orion

accès arrière guichet puis contrainte sur une personne Résultats Séquence 2 accès arrière guichet puis contrainte sur une personne 25/09/2001 Orion

Contrainte sur une personne puis accès coffre Résultats Séquence 3 Contrainte sur une personne puis accès coffre 25/09/2001 Orion

Contrainte sur un groupe de personnes Résultats Séquence 4 Contrainte sur un groupe de personnes 25/09/2001 Orion

Conclusions Points positifs: Suivi des personnes de bonne qualité. Reconnaissance prometteuse d’accès à zones interdites et contraintes sur une personne Modélisation de la scène vide (3D et sémantique) nécessaire pour l interprétation de vidéo. 25/09/2001 Orion

Conclusions Difficultés: Situation de contrainte sur groupe de personnes Présence de nombreuses personnes (occultations) Segmentation parfaite des individus (ombres, reflets) Objets passifs déplacés (chaises, porte) 25/09/2001 Orion

Conclusions Enseignements pour la banque: Etalonnage des lieux utile pour précision localisation une fois suffit Positionnement des caméras (plan large) Filtrage d’alarme mais pas de décision 25/09/2001 Orion

Conclusions Etat d ’avancement: Prototype et non système opérationnel Recherches réalisées dans le cadre d’un partenariat Dyade entre l’Inria et Bull terminé en mars 2001 Sans participation financière du Crédit agricole Nouveau partenariat associant le Crédit agricole (nécessaire pour la connaissance du contexte bancaire) et l ’Inria. 25/09/2001 Orion

Perspectives Thèmes de recherches: Prise en compte des objets 3D mobiles (ex: chaise) dans la modélisation de la scène vide. Prise en compte de plusieurs capteurs (multi-cameras, contacteurs ouverture porte, etc..) Description plus fine des individus suivis (couleur des vêtements, modèle 3D, ….) Utilisation de techniques d ’apprentissage 25/09/2001 Orion