Atelier sur la sécurité du transport ferroviaire et urbain Montréal Novembre 2007 Vidéotechnologie pour la sécurité : problèmes et solutions M. Dmitry Gorodnichy, Ph.D. Systèmes de reconnaissance vidéo* Chef de projet

Aperçu 1. La vidéotechnologie (VT) 2. La surveillance intelligente Historique de la VT Projet des systèmes de reconnaissance vidéo du CNRC/ITI VT au sein du GC (réunion sur la VT4NS’07) Faits importants en VT : ce que les fournisseurs ne disent pas 2. La surveillance intelligente Faits à savoir : état actuel, défis réels, solutions réelles « Détection du mouvement » Surveillance de la prochaine génération : détection des objets Présentation de la surveillance ACE (preuve critique annotée) Tendance future 3. La reconnaissance faciale par vidéo Très différente de la technique photographique : Différentes contraintes, différentes méthodes, différentes applications 2. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Historique de la VT Méthodes élaborées Reconnaissance vidéo : début du traitement rapide des images (plus de 12 par seconde) XXe siècle XXIe siècle Vision artificielle Reconnaissance vidéo VT sans fils, IP VT numérique Reconnaissance des formes VT analogique Première vidéo: début de l’affichage rapide des images (plus de 12 par seconde) 3. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Reconnaissance vidéo – comme la VT de nouvelle génération Autres appellations - Vidéo intelligente, vidéo informatisée, … - Analyse vidéo et extraction de contenu (VACE) - Vision perceptuelle N’A PAS TRAIT à l’acquisition des données (amélioration des objectifs, capteurs, codeurs, émetteurs), - mais à la compréhension des données acquises (meilleure théorie) Domaine très nouveau QUI N’EST PAS : la reconnaissance des motif la vision artificielle et le traitement des images la vision biologique mais qui exige une combinaison de compétences dans tous ces secteurs! 4. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Systèmes de reconnaissance vidéo Début en 2001 au sein du CNRC/ITI Anciennement, le projet de vision perceptuelle Recherches / services et développement / octroi de licences Participation à Canadarm2 (2001-2) Outil NouseMD (nez utilisé comme souris) pour personnes souffrant d’un handicap (2003-7) Accent sur la sécurité et la surveillance depuis 2004 Surveillance intelligente Reconnaissance faciale par vidéo Travail avec l’industrie, les universités et d’autres ministères : Surtout ASFC, GRC et RDDC Partenaire du programme VACE du DTO (É.-U.)  document (analyse vidéo et extraction de contenu du Disruptive Technology Office) 5. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Compétences en SRV Détection et suivi des objets Visages sur vidéo Téléopérateur automatisé Surveillance ACE Visages sur vidéo Détection et suivi des visages Reconnaissance faciale par vidéo Autres Recherche d’image (Roth) Suivi par marqueurs (Fiala) 17:00-24:00  2 mins 6. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Rapport sur la VT4NS’07 (Rencontre des ministères fédéraux) Pas encore de programme national / régional de VT Décisions influencées par les fournisseurs / solutions à court terme  Pas de normes nationales d’acquisition et d’enregistrement des données vidéo p. ex. plus de 30 systèmes vidéo différents déployés à Ottawa Pas de politique de traitement des preuves p. ex. pour établir si les données sont originales et non altérées Beaucoup d’initiatives locales, non coordonnées Ville de Calgary (détection des anomalies de la circulation par des caméras de TVCF) Frontière canado-américaine à Cornwall* (DVR). Projet pilote no 1 pour défaut d’arrêt à la douane Aéroports d’Ottawa et de Montréal* (TVCF, DVR PIZ), … Changement imminent (2007) Selon le modèle VACE du DTO (É.-U.) 7. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Faits à savoir (ce que les fournisseurs de VT ne disent pas toujours) 1. L’acquisition vidéo n’est plus ni coûteuse ni de mauvaise qualité Vidéo composite/RCA (TVCF analogique) Caméras et numériseurs USB2 Caméras Firewire Caméras sans fil et IP Capteurs d’images multi-canaux pour la TVCF 2. Attention aux caméras à « haute résolution » Probablement pas la résolution réelle Rendre la vidéo plus « intelligente » ne règle par le problème 3. Il manque de l’intelligence 8. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Problèmes 1. Milieu/installation – éclairage/conditions météo, champ de vision… 2. Objets/activités – mesures non concertées 3. Idées fausses (à l’avantage des fournisseurs) 1. Mieux vaut plus – NON 2. L’humain peut voir, le système le pourra aussi (un jour) – NON 3. « Rappel du passé » : utilisation d’anciens outils pour de NOUVEAUX problèmes 4. Contraintes en temps réel – pour les systèmes « d’alarme » 5. Résolution 1. Petites images vidéo : 720 x 480 (NTSC) 2. Occupation d’une petite partie par les objets : <1/8 de l’image Mais la résolution fait-elle vraiment problème? 9. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Enregistrement à la télévision (vidéo à 320 x 240) « Faible » résolution + orientation, expression et occlusion (visages de 30 x 30 pixels!) n’empêchent pas l’humain de reconnaître les gens et les activités Mais les ordinateurs en sont incapables… (jusque au ce moment) Même pour une vidéo réalisée en studio avec champ et éclairage parfaits! 10. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Surveillance intelligente : problèmes et solutions C.E.S. = C.E.S. TCP-IP = TCP-IP C.E.S. Capture, Recognition & Sending Clients (located at surveyed premises) = Clients d’acquisition, de reconnaissance et d’envoi de C.E.S. (situés dans les locaux surveillés) C.E.S. collecting and managing server (located at security office) = Serveur de collecte et de gestion de C.E.S. (situé au bureau de la sécurité) 11. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Deux problèmes graves 1. Consommation d’espace de stockage Affectation typique : 2-16 caméras, 7 ou 30 jours d’enregistrement, 2-10 Mo par min. 1,5 Go par jour par caméra / 20 - 700 Go en tout! 2. Gestion et récupération des données Expérience de reconstitution vidéo des bombardements de Londres : « La consultation manuelle de millions d’heures de vidéo numérisée provenant de milliers de caméras s’est révélée impossible dans des délais serrés. » [par l’équipe de Scotland Yard qui tentait de reconstituer les déplacements des suspects] 12. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Idée fausse de l’acquisition « basée sur le mouvement » L’expression « basée sur le mouvement » donne à croire que la reconnaissance vidéo a effectivement lieu, ce qui n’est pas le cas! L’acquisition est en fait basée sur la variation de l’éclairage, car elle fait appel à une comparaison simple de la brillance des pixels : Ce qui est souvent attribuable à autre chose que le mouvement! Changements d’intensité lumineuse / conditions météo (surtout pour la surveillance 24/7) Contre les rayons du soleil, hors foyer, flou, à travers le verre Reflets, diffraction et interférences optiques Transmission des images, pertes de compression 13. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Surveillance de la prochaine génération Solution : Exécuter autant de reconnaissance vidéo que possible en temps réel AVANT d’enregistrer la vidéo! Surveillance basée sur les objets (pas sur les changements)! Exemple : technologie de surveillance ACE (preuve critique annotée) Basée sur les progrès récents de la détection et du suivi des objets Remplace les clips vidéo par des images JPG annotées Comprime une vidéo de 1 Go en 2 Mo d’images fixes faciles à consulter (plusieurs années de preuve peuvent être stockées sur un seul ordinateur) Annotations indiquées : taille, vitesse et couleur des objets détectés Permet la consultation Zoom-on-Evidence (zoom sur preuve) 14. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Acquisition basée sur le mouvement Beaucoup de séquences inutiles : bruit ou redondance. Sans annotation visuelle, perte de l’information de mouvement. La distribution horaire des séquences n’est pas très utile. 15. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Acquisition ACE Chaque séquence est utile. Position et vitesse des objets indiquées par annotation graphique La distribution horaire des séquences est indicative de ce qui s’est produit chaque heure et résume bien les activités sur une longue période. 16. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Exemple : surveillance au XXIe siècle Mode en temps réel : surveillance attentive lorsqu’une alarme se déclenche. En cas d’éloignement, la dernière séquence de preuve critique indique si quelque chose d’anormal a eu lieu. Au besoin, relire toutes les séquences. Dans le mode d’archivage, zoom sur preuve – zoom sur un jour, une heure, puis un événement – pointer et cliquer (haute résolution au besoin). 17. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Consultation par zoom sur preuve Porte d’entrée arrière Entrée de livraison En semaine En fin de semaine 18. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Tendances futures Logiciel (algorithmes de reconnaissance vidéo) : Amélioration de la détection et du suivi des objets Pour les mouvements complexes Pour les caméras mobiles Amélioration des annotations : reconnaissance des activités Matériel : Caméras PIZ intelligentes : PIZ sur objets Caméras IP intelligentes : sélection du moment de l’envoi et du contenu envoyé seulement Vidéocaméra + appareil photo haute résolution / autres capteurs Caméras synchronisées Dans la mentalité / logistique : Plus d’initiatives interministérielles en VT Plus d’installations et de tâches restreintes/appropriées 19. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Recognition faciale par vidéo : problèmes et solutions 20. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Idée fausse intentionnelle? Au cours des 5 dernières années, XXX.XXX.XXX $ ont été consacrés à la reconnaissance faciale à partir de données vidéo… Et puis? Cependant, l’essai des fournisseurs en reconnaissance faciale (www.frvt.org) met l’accent sur la « production de données vidéo de meilleure qualité ». (2006) Plutôt que d’élaborer des méthodes de traitement des données à basse résolution. 21. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

La reconnaissance faciale sur vidéo exige un cadre basé sur la vidéo. Important Les données faciales photographiques et les données faciales acquises par vidéo se caractérisent par deux modalités différentes basées sur les images. nature différente des données type différent de biométrie méthodes différentes critères d’essai différents La reconnaissance faciale sur vidéo exige un cadre basé sur la vidéo. 22. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Comparaison entre photo et vidéo - Haute résolution spatiale - Aucune résolution temporelle p. ex. visages : 1. dans un milieu contrôlé (comme pour l’enregistrement d’empreintes digitales) 2. imposition-positionnement « en douceur » 3. DIO de 60 pixels (DIO = distance intra-oculaire) Vidéo : - Basse résolution spatiale - Haute résolution temporelle (chaque image étant de basse qualité) 1. dans un milieu sans contrainte (installation de caméra « cachée ») 2. ne pas regarder la caméra, ne pas même y faire face 3. DIO de 10-20 pixels Néanmoins, pour l’humain, la vidéo (même de cette « basse » qualité) véhicule souvent plus d’information qu’une photographie! 23. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Modèle facial canonique utilisé dans les passeports Adopté par OACI 2002 pour les documents de type passeport (utilisés au Canada, aux É.–U. et dans l’UE) Une image par personne DIO=60 (largeur=120 pixels) Utilisé Pour stocker des visages dans des bases de données Dans les algorithmes de reconnaissance Mais peut-il s’utiliser pour la vidéo? Devrait-il l’être? OUTER REGION = RÉGION EXTÉRIEURE INNER REGION = RÉGION INTÉRIEURE 24. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Tout ce qui se base sur une seule image ne convient pas. Méthodes appropriées 1. Application à des images de basse résolution (tant que la DIO >10) 2. Accumulation de données faciales dans le temps Une bonne reconnaissance vidéo implique l’accumulation de données dans le temps! Tout ce qui se base sur une seule image ne convient pas. Types de fusion de données faciales multi-images Résolution supérieure Neurobiologique (adaptation synaptique) Modèles faciaux tridimensionnels 25. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Technologie des SRV (annotation personnelle dans des émissions de télévision) Les gens: reconnaissent les visages à partir d’une DIO > 10 Bonne nouvelle (2002) : les ordinateurs peuvent aussi détecter les visages de même taille Limitation: difficulté de pour les capteurs situe tres haut Neural response = Réponse neuronale 26. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)

Examen DIO < 10, utilisation de la biométrie corps/démarche DIO > 11, possibilité d’une « certaine » reconnaissance faciale à partir de la vidéo DIO >40, peuvent, dans certains cas (nombreuses séquences sous de bons angles) permettre identification des personnes Bonnes applications : Surveillance de lieux à accès limité Suivi d’une personne par caméras multiples et reconstitution de son trajet Vérification (p. ex. avec une carte d’accès) Enregistrement facial imposé (comme aux postes de contrôle/par caméra « cachée » au niveau des yeux) Question: Courriel: Dmitry@Gorodnichy.ca (DG@videorecognition.com) Site de la projet : http://vrs.iit.nrc.ca  http://vrs.iitc.ca (after Nov. 1, 2007) www.videorecognition.com, www.perceptual-vision.com 27. Systèmes de reconnaissance vidéo (Dmitry Gorodnichy)