Interprétation de séquences dimages pour des applications MédiaSpace Alberto AVANZI François BREMOND Monique THONNAT Projet ORION INRIA de Sophia Antipolis

31/01/2001 Orion 2 Objectifs Système dinterprétation video Modèle 3D de la scène vide Détection des individus Suivi spatio-temporel dindividus Reconnaissance de scénarios Résultats Conclusion et Perspectives Plan de l exposé

31/01/2001 Orion 3 Eviter la rupture dans la coprésence: ex. éviter de rester en face de la caméra pour avoir son image transmise Protéger lespace privé: ex: protéger des visiteurs qui ne se savent pas observés Objectifs

31/01/2001 Orion 4 Une caméra fixe grand angle observe toute la scène Les personnes se déplacent librement Eviter la rupture dans la coprésence: Seules les sous-parties intéressantes des images sont transmises Protéger lespace privé: Les images sont transmises en fonction du niveau de disponibilité interprété nécessité de linterprétation de séquences vidéo Objectifs

31/01/2001 Orion 5 Axe de recherches Orion: Analyser automatiquement une scène donnée à partir des séquences dimages de cette scène. Domaines dapplication: Surveillance de métro, parking, Surveillance dagences bancaires Espace médiatisé: bureau, salle à café. Système dinterprétation video

31/01/2001 Orion 6 (1) Acquisition et numérisation dimages. (2) Traitement de séquences dimages: détecter et suivre les individus. (3) Reconnaître les scénarios et les comportements des individus évoluant dans la scène. (4) Utilisation du modèle 3D de la scène vide. Détection et suivi dindividus (2) Reconnaissance de scénarios (3) Acquisition de séquences dimages (1) Caméra Utilisateur Système dinterprétation video

31/01/2001 Orion 7 Modèle 3D de la scène vide Contient des informations a priori sur la scène vide observée géométrie des objets 3D et des structures 2D (armoires, tables, murs,…) sémantique des objets 3D et des structures 2D (nom, fonction, caractéristiques, ….) Utilisé pour détection, suivi et reconnaissance de scénarios

31/01/2001 Orion 8 Modèle 3D de la scène vide Scène vide

31/01/2001 Orion 9 Modèle 3D de la scène vide Deux vues VRML de la scène 3D modélisée

31/01/2001 Orion 10 Détection des régions mobiles. Détection de la couleur peau (coopération avec PRIMA) Classification des régions mobiles Classes: personne, groupe, bruit, objet de la scène vide, personne occultée,… Utilise le résultat de la détection de peau Utilise le modèle de la scène vide Détection des individus

31/01/2001 Orion 11 Détection des individus

31/01/2001 Orion 12 Détection des individus

31/01/2001 Orion 13 Détection des individus Détection des zones de couleur de la peau dans les régions mobiles

31/01/2001 Orion 14 Suivi spatio-temporel dindividus Régions mobiles Module de suivi spatio-temporel d individus Individus suivis Délai de T instants (images) Approche: suivre les individus avec un retard T par rapport aux régions mobiles détectées Motivations: permettre de rattraper les erreurs de suivi.

31/01/2001 Orion 15 Suivi spatio-temporel dindividus

31/01/2001 Orion 16 Reconnaissance de scénarios Modélisation de comportements intéressants en coopération avec J Coutaz d IIHM Reconnaissance de quelques scénarios simples bases sur le nombre de personnes présentes dans le bureau observé Changement automatique du niveau de disponibilité en fonction du scénario reconnu

31/01/2001 Orion 17 Reconnaissance de scénarios Modélisation des comportements

31/01/2001 Orion 18 Résultats Séquence avec 0 à 2 personnes

31/01/2001 Orion 19 Résultats Séquence avec 3 niveaux de disponibilité Non disponible Peu disponible Disponible

31/01/2001 Orion 20 Résultats Séquence avec croisement

31/01/2001 Orion 21 Résultats Séquence avec croisement Non disponible Peu disponible Disponible

31/01/2001 Orion 22 Conclusions Points positifs: Détection, localisation, comptage et suivi des personnes de bonne qualité. Modélisation de la scène vide (3D et sémantique) nécessaire pour l interprétation de vidéo. Plate-forme dinterprétation tourne sur un PC Linux traite jusquà 4 images par seconde 10 séquences de bureau ont été traitées Approche générale qui peut être appliquée à de nombreuses autres situations d'interprétation

31/01/2001 Orion 23 Conclusions Difficultés: Intégration avec la partie communication du Mediaspace non aboutie. Réseau trop contraignant pour expérimentation Hétérogénéité des materiels et logiciels des 3 équipes (Sun Solaris, MacIntosh, SGI) dou migration vers PC Linux

31/01/2001 Orion 24 Perspectives Thèmes de recherches: Prise en compte des objets 3D déplaçables (ex: chaise) dans la modélisation de la scène vide. Enrichissement des scénarios à reconnaître (prise en compte de la localisation comme poste de travail, tableau, table de réunion,….) Description plus fine des individus suivis (couleur des vêtements, modèle 3D, ….)

31/01/2001 Orion 25 Perspectives Séquence difficile

31/01/2001 Orion 26 Perspectives Séquence difficile Non disponible Peu disponible Disponible

31/01/2001 Orion 27 Perspectives Long terme: traiter des informations complémentaires, issues de capteurs différents: capteur porte caméras stéréo capteur audio connexion de la personne à une machine (login) extension multi-support (WAP, Palm-Pilot, montre…)

31/01/2001 Orion 28 Détection des individus

31/01/2001 Orion 29 Outil de travail collaboratif Support à la coprésence Facilite le contact informel, permanent entre les membres déquipes distantes Le projet MédiaSpace