Ministère délégué à la Recherche Ministère de la Défense 1 Programme Techno Vision Argos Evaluation of video surveillance tools Thomas Fourès.

Présentation au sujet: "Ministère délégué à la Recherche Ministère de la Défense 1 Programme Techno Vision Argos Evaluation of video surveillance tools Thomas Fourès."— Transcription de la présentation:

1 Ministère délégué à la Recherche Ministère de la Défense 1 Programme Techno Vision Argos Evaluation of video surveillance tools Thomas Fourès

2 Ministère délégué à la Recherche Ministère de la Défense 2 Programme Techno Vision General description Steering committee CLIPS IMAG EURECOM INA IRIT LABRI LIP6 NOVELTIS SFRS

3 Ministère délégué à la Recherche Ministère de la Défense 3 Programme Techno Vision Goals Evaluation of analysis tools applied on heterogeneous contents Content sets Documentaries, TV news, Videosurveillance Results analysis Comparing methods Identifying remaining locks General description

4 Ministère délégué à la Recherche Ministère de la Défense 4 Programme Techno Vision Tasks and evaluation Phase 1 Shot segmentation Transition effects identification Camera motion identification Shot location Presence of persons Presence of text Phase 2 Phase 1 tasks + Framing identification Same person identification Text-in-video transcription Story segmentation Behaviour identification

5 Ministère délégué à la Recherche Ministère de la Défense 5 Programme Techno Vision Evaluation Type of results Segmentation: Starting/ending frame Feature detection: Presence in a segment Confrontation with the ground truth

6 Ministère délégué à la Recherche Ministère de la Défense 6 Programme Techno Vision Corpus 42 hours

7 Ministère délégué à la Recherche Ministère de la Défense 7 Programme Techno Vision Corpus Documentaries: 10h24MPEG-2720x57625fps TV News: 11h10MPEG-1352x28825fps Videosurveillance I : 10h32MPEG-2352x28825fps Videosurveillance II : 10h50MPEG-1352x28824 fps

8 Ministère délégué à la Recherche Ministère de la Défense 8 Programme Techno Vision Implementation Web site : www.irit.fr/argoswww.irit.fr/argos Public software resources Evaluation tools Annotation tools Ground truth Results submission

9 Ministère délégué à la Recherche Ministère de la Défense 9 Programme Techno Vision Implementation Participants CLIPS-IMAG EURECOM IRISA IRIT LABRI LIFL LIP6 LIRIS Participants LISTIC VIPER – U. Geneva ENST Cost 292

10 Ministère délégué à la Recherche Ministère de la Défense 10 Programme Techno Vision Implementation Time Schedule End January 2006 : Evaluations of the first phase March 2006 : Results September 2006 : Evaluations of the second phase November 2006 : Results

11 Ministère délégué à la Recherche Ministère de la Défense 11 Programme Techno Vision Implementation Time Schedule End January 2006 : Evaluations of the first phase March 2006 : Results September 2006 : Evaluations of the second phase November 2006 : Results

12 Ministère délégué à la Recherche Ministère de la Défense 12 Programme Techno Vision Results in XML Schemes Segmentation description scheme (T 1.1, 2.1, 2.10) Feature description scheme (T 1.2, 1.3, 1.4, 1.5, 1.6, 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8, 2.9)

13 Ministère délégué à la Recherche Ministère de la Défense 13 Programme Techno Vision Segmentation "http://www.w3.org/2001/XMLSchema"

14 Ministère délégué à la Recherche Ministère de la Défense 14 Programme Techno Vision Segmentation ARGOS ElementTrecVideo Equivalent Segmenttrans Documentseg segBoundaryResultshotBoundaryResult segBoundaryResultsshotBoundaryResults Xtype (transition effect) Xasr (speech transcription)

15 Ministère délégué à la Recherche Ministère de la Défense 15 Programme Techno Vision Segmentation

16 Ministère délégué à la Recherche Ministère de la Défense 16 Programme Techno Vision Detection "http://www.w3.org/2001/XMLSchema"

17 Ministère délégué à la Recherche Ministère de la Défense 17 Programme Techno Vision Detection Argos ElementTRECVidéo Equivalent videoFeatureExtractionResults videoFeatureExtractionRunResult sysId XtrType (training type) Xpriority (run priority, lab ranking) XDesc (method textual description) videoFeatureExtractionFeatureResult fNum Item segIdshotId seqNum textTranscriptionX

18 Ministère délégué à la Recherche Ministère de la Défense 18 Programme Techno Vision Detection Result Submission

19 Ministère délégué à la Recherche Ministère de la Défense 19 Programme Techno Vision Evaluation : recall x precision « TRECVID-like » results

20 Ministère délégué à la Recherche Ministère de la Défense 20 Programme Techno Vision Participation Corpus restriction to the videosurveillance part Agreement Contact : joly@irit.fr

21 Ministère délégué à la Recherche Ministère de la Défense 21 Programme Techno Vision Schémas de soumission des résultats - détection fNum : PTTC P : Phase = {1,2} T : Tâche C : Numéro de la caractéristique Tâche 1.2 : Identification des effets de transition Cut 1021 Transition complete par interpolation progressive (fondus, morphing...) 1022 Transition complete par incrustation progressive (volets, iris...)1023 Transition partielle (compositing, incrustations,...)1024 Autre1020 Tâche 1.3 : Identification des mouvements de caméra plan fixe1031 zoom/trav avant1032 zoom/trav arrière1033 pan/trav à droite1034 pan/trav à gauche1035 plongee/pano/ trav vers le bas 1036 contre-plongee/pan/travvers le haut 1037 Autre1030 Tâche 1.4 : Identification du lieu du tournage interieur 1041 exterieur 1042 autre 1040

22 Ministère délégué à la Recherche Ministère de la Défense 22 Programme Techno Vision Schémas de soumission des résultats - détection Tâche 1.5 : Identification de la présence de personnes a l'image Présence de personnes1051 Absence de personnes (non requise) 1052 Tâche 1.6 : Identification de la présence de texte à l'image Présence de texte1061 Absence de texte (non requise) 1062 Tâche 2.7 : Identification du cadrage Plan rapproche (1 visage, 1 objet,...) 2071 Plan moyen (2 ou 3 visages, 2 ou 3 objets,...)2072 Plan d'ensemble2073 Autre2070 Tâche 2.8 : Identification des différentes apparitions d'une même personne personne 12081 personne 22082 personne 32083 … Tâche 2.9 : transcription du texte ascii présent dans une vidéo2090 Tâche 2.11 : identification du comportement de personnes Courir2111 S'arrêter2112 Déposer un objet2113