Système complet d’acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés Application.

Présentation au sujet: "Système complet d’acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés Application."— Transcription de la présentation:

1 Système complet d’acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés Application à la surveillance apicole Système complet d’acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés Application à la surveillance apicole S OUTENANCE DE THÈSE DE Guillaume CHIRON D IRECTEUR : Michel MÉNARD C OENCADRANTE : Petra GOMEZ-KRÄMER LE Vendredi 28 novembre 2014 octobre 2011 — novembre 2014 Travaux financés par le CG 17 soutien avec les projets RISQAPI/EPERAS/FREDD Université de la Rochelle Ecole doctorale S2Im Laboratoire L3i - INRA Magneraud, - Muséum National d’Histoire Naturelle Collaborations :

2 A CQUISITION RGB - D P RÉAMBULE Contexte ●○○○○○○ Bio-indicatrice « sentinelle de l’environnement » Menacée (déclin mondial) Enjeux s ociétaux Informatique : fort potentiel (vision, signal, modélisation) Soutiens financiers (FEDER, CG17, région, FranceAgrimer, ANR, FREDD) Collaborations (INRA, MNHN, CEBC, FREDD, entreprises locales) Axe environnement (> 2011, L3i) 2

3 A CQUISITION RGB - D P RÉAMBULE Motivation – Une application interdisciplinaire ○●○○○○○ Collecter des données d’une nature nouvelle 3 Extérieur de la ruche Trajectoires de vol, 3D Comportement de la colonie La surveillance apicole Angle d’attaque innovant Comprendre les phénomènes biologiques émergents

4 A CQUISITION RGB - D P RÉAMBULE Biologie – Dispositif pour la surveillance de ruche ○○●○○○○ (Streit 2003, Decourtye 2011) 4 Système de comptage : technologie RFID Identification lors des entrées / sorties : ( histoire de vie de l’abeille) INRA Magneraud

5 A CQUISITION RGB - D P RÉAMBULE Vision par ordinateur – Appliquée à l’abeille (Maitra 2009) (Khan 2004) ○○○●○○○ 5 Détection Trajectoire Comportement Passage à l’échelle Approche « Individu » Approche « Colonie » Intérieur de la ruche, 2D, fort a priori

6 A CQUISITION RGB - D P RÉAMBULE Vision par ordinateur – Appliquée à l’abeille (Feldman 2004) (Khan 2004) ○○○●○○○ 6 Détection Trajectoire Comportement Passage à l’échelle Approche « Individu » Approche « Colonie » Suivi d’une abeille parmi d’autres

7 A CQUISITION RGB - D P RÉAMBULE Vision par ordinateur – Appliquée à l’abeille (Veeraraghavan 2008) (Oh 2005) ○○○●○○○ 7 Détection Trajectoire Comportement Passage à l’échelle Approche « Individu » Approche « Colonie » Détection d’un comportement individuel

8 A CQUISITION RGB - D P RÉAMBULE Vision par ordinateur – Appliquée à l’abeille ○○○●○○○ Compteur d’abeilles (Blois 2011), Partenariat Apilab, L3i, INRA Avignon Valorisation : solutions commerciales Plateforme PRESERVE, L3i Partenariat Apilab, L3i, Azimut 8 Détection Trajectoire Comportement Passage à l’échelle Approche « Individu » Approche « Colonie » Travaux au L3i

9 A CQUISITION RGB - D P RÉAMBULE Problématique générale Construire une chaîne de traitement permettant d’observer et de modéliser des comportements de groupes d’individus aux mouvements complexes, faiblement contraints, avec un minimum d’a priori ? ○○○○●○○ 9

10 A CQUISITION RGB - D P RÉAMBULE Interdisciplinarité (partage d'expertise) Challenges ○○○○○●○ Chaîne de traitement « Acquisition 3D → Comportement » (scène extérieure, encombrée, dynamique …) Approche novatrice (terra incognita) Coté applicatif important (rigueur expérimentale) 10

11 A CQUISITION RGB - D P RÉAMBULE 4 4 3 3 2 2 1 1 Plan 11 A CQUISITION RGB - D ET D ÉTECTION DE CIBLES A CQUISITION RGB - D ET D ÉTECTION DE CIBLES S UIVI 3 D MULTI - CIBLES S UIVI 3 D MULTI - CIBLES M ODÉLISATION COMPORTEMENTALE M ODÉLISATION COMPORTEMENTALE A PPLICATION : S URVEILLANCE APICOLE ○○○○○○●

12 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE 12 1 1 A CQUISITION RGB - D ET D ÉTECTION DE CIBLES A CQUISITION RGB - D ET D ÉTECTION DE CIBLES formalisation ○○○○○ validation ○○ Contexte théorique

13 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE Données : manquantes imprécises incertaines Problématique Image Carte de profondeur Image Carte de profondeur Image d’intensité Carte de profondeur …… o o x Séquence vidéo formalisation ●○○○○ validation ○○ Utilisation des informations « intensité et/ou profondeur » pour détecter et localiser des cibles évoluant en 3D dans des scènes naturellement encombrées. o 13 Cams. RGBCam. StéréoCam. TOF Cam. Plénoptique

14 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE Contraintes du milieu observé Caractéristiques de scène Encombrée En extérieur Éclairage non-contrôlé Variabilité Nature des cibles Nombreuses Petite taille / scène Apparence instable Dynamique non contrainte Poissons (Beyan 13) Chauves-souris (Betke 13) Abeilles (Chiron 13) Verrous technologiques Milieu naturel, accès difficile Intrusion déconseillée formalisation ○●○○○ validation ○○ 14

15 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE Etat de l’art ○○●○○ [INTENSITÉ] Soustraction d’arrière plan +   Médiane adaptative, mixture de gaussiennes… [Sobral 2014] PROBLEME : Conditions naturelles + Encombrement  Modélisation difficile de l’arrière plan [INTENSITÉ & PROFONDEUR] Détecteur RGB-D  Fortement basé sur la carte de profondeur [Steiger 2009] PROBLEME : Plutôt adapté à des objets volumineux Problèmes d’appariement formalisation ○○●○○ validation ○○ 15 [INTENSITÉ] Détection par modèle d’apparence  Cascade de classifieurs [Viola, Jones 2001] PROBLEME : Cibles similaires MAIS Apparences variées sur les images

16 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE Problèmes liés aux défauts d’appariement Intensité Ombre Profondeur inconnue Zone non appariée formalisation ○○○●○ validation ○○ 16 zone appariée contrainte prof. cible 3D zone non- appariée mouvement cible 2D (profondeur inconnue) Profondeur

17 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE PROFONDEUR filtre (morph.) filtre (morph.) seuil dilatation (morph.) INTENSITÉ DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM IRMM UDTM I t+1 ForeGround (FG) ItIt ItIt DDTM - - ¬ =0 ∪ - - - > Solution proposée 17 ○○●○○ Segmentation HIDS - Tirer le meilleur parti du couple « intensité/profondeur » formalisation ○○○○● validation ○○ Mouvement local I t+1 ItIt ItIt IRMM

18 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE PROFONDEUR filtre (morph.) filtre (morph.) seuil dilatation (morph.) INTENSITÉ DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM IRMM UDTM I t+1 ForeGround (FG) ItIt ItIt DDTM - - ¬ =0 ∪ - - - > Solution proposée 18 Segmentation HIDS - Tirer le meilleur parti du couple « intensité/profondeur » formalisation ○○○○● validation ○○ I t+1 PROFONDEUR ItIt ItIt IAMM Mouvement globale Intensity BackGround (IBG)

19 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE PROFONDEUR filtre (morph.) filtre (morph.) seuil dilatation (morph.) INTENSITÉ DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM IRMM UDTM I t+1 ForeGround (FG) ItIt ItIt DDTM - - ¬ =0 ∪ - - - > Solution proposée 19 ○○●○○ Segmentation HIDS - Tirer le meilleur parti du couple « intensité/profondeur » formalisation ○○○○● validation ○○ Intensity BackGround (IBG) I t+1 DDTM ItIt ItIt Cibles appariées DtDt DtDt Depth BackGround (DBG)

20 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE PROFONDEUR filtre (morph.) filtre (morph.) seuil dilatation (morph.) INTENSITÉ DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM IRMM UDTM I t+1 ForeGround (FG) ItIt ItIt DDTM - - ¬ =0 ∪ - - - > Intensity BackGround (IBG) I t+1 ItIt ItIt Solution proposée 20 ○○●○○ formalisation ○○○○● validation ○○ Segmentation HIDS - Tirer le meilleur parti du couple « intensité/profondeur » DtDt DtDt DDTM Undetermined Depth Mask (UDM) IAMM Cibles non-appariées UDTM Depth BackGround (DBG)

21 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE PROFONDEUR filtre (morph.) filtre (morph.) seuil dilatation (morph.) INTENSITÉ DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM IRMM UDTM I t+1 ForeGround (FG) ItIt ItIt DDTM - - ¬ =0 ∪ - - - > Intensity BackGround (IBG) I t+1 ItIt ItIt IRMM Solution proposée 21 ○○●○○ formalisation ○○○○● validation ○○ Segmentation HIDS - Tirer le meilleur parti du couple « intensité/profondeur » DtDt DtDt Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM DDTM UDTM 3D 2D Cibles en vol

22 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE PROFONDEUR filtre (morph.) filtre (morph.) seuil dilatation (morph.) INTENSITÉ DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) IAMM IRMM UDTM I t+1 ForeGround (FG) ItIt ItIt DDTM - - ¬ =0 ∪ - - - > Solution proposée 22 ○○●○○ formalisation ○○○○● validation ○○ Adaptation du modèle d’arrière plan (contraint par IRMM) Segmentation HIDS - Tirer le meilleur parti du couple « intensité/profondeur » DtDt DtDt Intensity BackGround (IBG) Depth BackGround (DBG) Undetermined Depth Mask (UDM) I t+1 ForeGround (FG) ItIt ItIt IRMM IAMM DDTM UDTM

23 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE 23 1 1 A CQUISITION RGB - D ET D ÉTECTION DE CIBLES A CQUISITION RGB - D ET D ÉTECTION DE CIBLES formalisation ○○○○○ validation ○○ Mise en œuvre & Validation

24 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE Mise en œuvre et validation Stéréovision : G3 Evo (752 × 480 @50Hz) formalisation ○○○○○ validation ●○ 24 Acquisition de séquences de tests

25 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE Evaluation Vérité terrain 500 couples 928 abeilles annotées Triple annotations Résultats Cibles non-détectées : 4,5% Fausses détections : 19,54% formalisation ○○○○○ validation ○● 25 Taille (px) Profondeur (mm)

26 S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION P RÉAMBULE 26 Chiron G., Gomez-Krämer P., Ménard M. “Detecting and tracking honeybees in 3D at the beehive entrance using stereo vision” Journal EURASIP (JIVP), 2013 Publications Contributions Chiron G., Gomez-Krämer P., Ménard M. ”Outdoor 3D Acquisition System for Small and Fast Targets. Application to honeybee monitoring at the beehive entrance” Workshop GEODIFF, Barcelone, 2013 1.Segmentation HIDS mouvement relatif (différence d’image d’intensité) mouvement absolu (modèle adaptatif d‘arrière plan d’intensité) information de profondeur (modèle d‘arrière plan) Bilan

27 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION 27 2 2 S UIVI 3 D MULTI - CIBLES S UIVI 3 D MULTI - CIBLES formalisation ○○○○○ validation ○○ Contexte théorique

28 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Problématique formalisation ●○○○○ validation ○○ Reconstruire des trajectoires 3D dans un contexte de - données incomplètes, - densité importante autour des zones d’intérêt. Minimisation de l’a priori. 28

29 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Etat de l’art formalisation ○●○○○ validation ○○ Filtrage particulaire Filtre PHD Filtrage de Kalman + A ssociation de cibles (e.g. GNN) Nécessité de proposer de nouvelles méthodes pour répondre à notre problématique. 29 (Doucet 2001) (Mahler 2003) (Kalman 1960, Blackman 1986) => Nombreuses extensions/variantes : cibles entrantes / sortantes multi-hypothèses plusieurs modes cas non-linéaire occultations …

30 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Contrib. 1 – Observations incomplètes formalisation ○○●○○ validation ○○ Méthode pour la gestion des informations partielles (e.g. absence de profondeur) O 1 (2D + d) R EPÈRE IMAGE Caméra en [0,0,0] R EPÈRE DU MONDE RÉEL (Suivi effectué en 3D dans le monde réel) Mesure 3D Mesure 2D O 4 (2D + ? ) o 1) Prédiction (x,y,z) Origine en [0,0] O 4 (x,y,z) 3) projection en 3D et correction + o o 4) Prédiction (x,y,z) O2…O2… O3…O3… 2) projection inverse du « z prédit » d + 30 Projection (paramètres du capteur) + O 1 (x,y,z) + + O3O3

31 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Modélisation 3D de la structure de la scène « Zone contrainte » (vitesse, orientation…) Contrib. 2a – Dynamique adaptée à la scène formalisation ○○○●○ validation ○○ 1 ère APPROCHE « avec a priori » : Modèle d’interaction « Trajectoire / Structure de la scène » Trajectoire o 31 distance Incertitude ( fonction de la distance) Problème : Zones d’intérêt  Concentration importante  Erreur d’association Observations « Zone non-contrainte »

32 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Contrib. 2b – Dynamique adaptée à la scène formalisation ○○○○● validation ○○ Prédiction du filtre Kalman Remplacement ou combinaison zone d'intérêt Réponse Estimation 32 Requête sous-trajectoire 2 ème APPROCHE « avec minimisation de l’a priori » : Suivi via une « bibliothèque » de trajectoires établies en amont

33 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION 33 formalisation ○○○○○ validation ○○ 2 2 S UIVI 3 D MULTI - CIBLES S UIVI 3 D MULTI - CIBLES Mise en œuvre & Validation

34 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Mise en œuvre – Suivi avec un minimum d’a priori formalisation ○○○○○ validation ●○ 34 Contexte 2D Contexte 3D (tolérance sur la profondeur lors du requêtage)

35 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION Résultat Evaluation formalisation ○○○○○ validation ○● Vérité terrain « semi-simulée » 200 trajectoires en 3D (corpus vidéo de test « Abeille ») Génération aléatoire de scénarios 35 Comparaison des 3 contributions (scénario difficile) Méthode d’association GNN MHT Contrib. 1 - Gestion des obs. incomplètes Contrib. 2a - Avec a priori (modèle 3D) Contrib. 2b - A priori limité (biblio. traj) A²

36 M ODÉLISATION COMP. S UIVI 3D MULTI - CIBLES A CQUISITION & D ÉTECTION 36 Chiron G., Gomez-Krämer P., Ménard M., Requier F. ”3D Tracking of Honeybees Enhanced by Environmental Context” Conférence ICIAP, Naples, 2013 Publications Contributions Chiron G., Gomez-Krämer P., Ménard M. ”3D tracking based on possibilities rather than probabilities. Application to flying honeybees at the beehive entrance ” Workshop VAIB, Stockholm, 2014 1.Gestion des observations incomplètes (e.g. 2D/3D) 2.Adaptation du suivi en fonction de la structure de la scène : a.Méthode à hypothèse forte b.Méthode limitant l’a priori 3.Modélisation de surface via l’information de profondeur 4.Implémentation d’algorithmes complexes (e.g. MHT) Bilan

37 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES 37 formalisation ○○○○○○ validation ○○○ 3 3 M ODÉLISATION C OMPORTEMENTALE M ODÉLISATION C OMPORTEMENTALE Contexte théorique

38 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Problématique formalisation ●○○○○○ validation ○○○ Détecter et modéliser des comportements récurrents à partir d’un ensemble structuré de données. Minimisation de l’a priori. 38

39 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Etat de l’art formalisation ○●○○○○ validation ○○○ Données éparses Comportements locaux (e.g. annotation de trajectoires) Données denses Comportements globaux (e.g. classif. de mouvements de foule) K -means + HMM (Feldman 2005) «sac de mots» (Mehran 2009) Approches « bayésiennes non-paramétriques » Agrégation de données avec un minimum d’a priori. 39 Données éparses Comportements globaux

40 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Clusters d’éléments similaires Phénomènes émergents Contribution – Montée en sémantique formalisation ○○●○○○ validation ○○○ Comportements individuels Signatures structurées (e.g. 3 échelles temporelles) Comportements globaux 40 Agrégation - Minimum d’a priori ( MLC-HDP) (Wulsin 2012) config. à 3 niveaux Système multi-agents - Peu de paramètres - Simulation de trajectoires sans modèle Structuration de l’info. - Calcul des signatures - Organisation hiérarchique ( segmentation temporelle multi-échelles) Système test ? (trajectoires) Trajectoires

41 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Structure hiérarchique et agrégation formalisation ○○○●○○ validation ○○○ Agrégation de portions de vidéos (à différentes échelles) en entités sémantiques Corpus vidéo Capture 1 Capture 2 Capture 3 … SousClip 1 SousClip 2 SousClip 3 SousClip 1 SousClip 2 SousClip 3 SousClip 1 SousClip 2 SousClip 3 ……… Entités sémantiques hiérarchisées selon une structure à plusieurs niveaux Comportements (Niv. 3) Activités (Niv. 2) 0.6 0.1 0.3 Poids ∑ =1 Atomes d’activité (Niv. 1) Signatures de trajectoires 41 Trajectoires :

42 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Méthodes bayésiennes non-paramétriques formalisation ○○○○●○ validation ○○○ Dirichlet Process Mixture – DPM (Ferguson 1973) Multi-level of Clustering HDP MLC-HDP (Wulsin 2012) Hierachical DPM HDPM (Teh 2006) 42 c1c1 c2c2 c3c3 c4c4 c5c5 c6c6 c7c7 SousClip 1  DPM SousClip 2  DPMSousClip 3  DPM Clustering avec un minimum d’a priori  « k » estimé à partir des données

43 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Méthodes bayésiennes non-paramétriques formalisation ○○○○●○ validation ○○○ Dirichlet Process Mixture – DPM (Ferguson 1973) Multi-level of Clustering HDP MLC-HDP (Wulsin 2012) Hierachical DPM HDPM (Teh 2006) 43 c1c1 c2c2 CAPTURE 1  DP c3c3 c1c1 c2c2 c3c3 c1c1 c2c2 c3c3 SousClip 1  DPM SousClip 2  DPMSousClip 3  DPM Données groupées, partage des clusters Solution globale optimale Pondération des clusters sur chaque élément

44 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES CORPUS VIDEO  DP Méthodes bayésiennes non-paramétriques formalisation ○○○○●○ validation ○○○ Dirichlet Process Mixture – DPM (Ferguson 1973) Multi-level of Clustering HDP MLC-HDP (Wulsin 2012) Hierachical DPM HDPM (Teh 2006) 44 c1c1 c2c2 CAPTURE 1  DP c3c3 c1c1 c2c2 c3c3 c1c1 c2c2 c3c3 SousClip 1  DPM SousClip 2  DPMSousClip 3  DPM CAPTURE 2  DP Clustering à différents niveaux

45 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Validation : Système multi-agents formalisation ○○○○○● validation ○○○ Simulation de comportements à différents niveaux 45 Abeilles (Chiron 14) Proies/Prédateurs (Wilensky 97) Fourmis (Wilensky 97) Comportements globaux Variables globales d’environnement (e.g. quantité de nourriture, distribution de la population) Comportements locaux Trajectoires générées (agents mobiles, dynamique non définie par un modèle de traj.)

46 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES 3 3 M ODÉLISATION COMPORTEMENTALE M ODÉLISATION COMPORTEMENTALE 46 formalisation ○○○○○○ validation ○○○ Mise en œuvre & Validation

47 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Signature d’une trajectoire formalisation ○○○○○○ validation ●○○ Caractéristiques intrinsèquesCaractéristiques globales 47 Vecteur : maillage de la scène + temps de présence. (réduction dimensionnelle via une ACP globale) 2D 2D Vecteur : moyenne, écart-type, min., max., asymétrie … Fonction de Distance Centrée (Bashir 2006) Trajectoire 3D 3D Par rapport à un plan de référence Angles moyens H et V de la trace Distance moyenne

48 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Mise en œuvre d’un SMA pour l’évaluation formalisation ○○○○○○ validation ○●○ EMERGENCE 0.6 0 Poids Sortie ruche (libre) Récolte source 3 Exploration (libre) Récolte source 1 Récolte source 2 150 0 Qté Source1 Source2 Source3 Temps OBSERVATIONS (interprétations) AGGREGATON (MLC-HDP) Atomes d’act. Simulation d’une capture Montée en sémantique Niv. 2 « Activités » (petite échelle) 3D 2D Modèle inspiré de (Figueroa 09) Paramètres du modèle : Communication = 80 % Sensibilité = 80 % 48 Activité associée à chaque SousClip Activité

49 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Mise en œuvre d’un SMA pour l’évaluation formalisation ○○○○○○ validation ○○● Simulation de 80 captures Niv. 3 « Comportements » 49

50 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Mise en œuvre d’un SMA pour l’évaluation formalisation ○○○○○○ validation ○○● Modélisation Niv. 3 « Comportements » Comportement 50

51 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES Mise en œuvre d’un SMA pour l’évaluation formalisation ○○○○○○ validation ○○● 51 Comportement Niv. 3 « Comportements » Synthèse des résultats

52 A PPLICATION APICOLE M ODÉLISATION COMPORTEMENTALE S UIVI 3D MULTI - CIBLES 52 Chiron G., Gomez-Krämer P., Ménard M. ”Discovering Emergent Behaviors from Tracks Using Hierarchical Non-parametric Bayesian Methods” Conférence ICPR, Stockholm, 2014 Publications Contributions Chiron G., Gomez-Krämer P., Ménard M. ”Approche Bayésienne non paramétrique pour la découverte de comportements émergents à partir de trajectoires ” Conférence RFIA, Rouen, 2014 1.Montée en sémantique : Trajectoires  Comportements globaux Structuration des données multi-échelle Regroupement d’éléments via une approche HDP > 2 niveaux 2.Signatures de trajectoires 2D et 3D 3.Modèle multi-agents « Colonie d’abeilles » Bilan

53 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. 53 ○○○ 4 4 A PPLICATION : S URVEILLANCE APICOLE

54 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Protocoles expérimentaux ●○○ Suivi d’une colonie pendant 5 semaines 2 projets interdisciplinaires : RISQAPI (Abeilles vs. Frelon) EPERAS (Abeilles vs. Pesticide) Lecteur RFID 54 7 cohortes introduites progressivement 3 niveaux d’intoxication (thiamétoxam) Calendrier des interventions (été 2013)

55 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Mise en œuvre de la chaîne de traitement ○●○ Acquisition Trajectoires Comport. Détection 55 > 20h de vidéos cumulées, par séquences de 15 min.

56 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Mise en œuvre de la chaîne de traitement ○●○ Acquisition Trajectoires Comport. Détection 56

57 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Mise en œuvre de la chaîne de traitement ○●○ Acquisition Trajectoires Comport. Détection 57

58 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Mise en œuvre de la chaîne de traitement ○●○ Acquisition Trajectoires Comport. Détection 58 Capture (15 min) SousClip (1 min) t e.g. départ direct e.g. essaimage e.g. pression du frelon Structuration à 3 échelles : Corpus composé de : 74 Captures1001 SousClips 315 154 Signatures

59 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Mise en œuvre de la chaîne de traitement ○●○ Acquisition Trajectoires Comport. Détection 59 1 point par signature de trajectoire

60 C ONCLUSION A PPLICATION APICOLE M ODÉLISATION COMP. Résultats ○○● 60

61 C ONCLUSION A PPLICATION APICOLE ○○ 4 4 3 3 2 2 1 1 A CQUISITION RGB - D ET D ÉTECTION DE CIBLES A CQUISITION RGB - D ET D ÉTECTION DE CIBLES S UIVI 3 D MULTI - CIBLES S UIVI 3 D MULTI - CIBLES M ODÉLISATION COMPORTEMENTALE M ODÉLISATION COMPORTEMENTALE A PPLICATION : S URVEILLANCE APICOLE 61

62 C ONCLUSION A PPLICATION APICOLE 1 - A CQUISITION RGB - D ET D ÉTECTION DE CIBLES 1 - A CQUISITION RGB - D ET D ÉTECTION DE CIBLES 2 - S UIVI 3D MULTI - CIBLES 3 - M ODÉLISATION C OMPORTEMENTALE Faisabilité : appréhension 3D d’environnement (application courte portée, encombrée, extérieur) Segmentation HIDS Gestion des observations partielles Dynamique adaptée à la scène (minimisation ou non de l’a priori) Montée en sémantique (Trajectoires  Comportements) Structuration des données multi-échelle Agrégation via une approche HDP > 2 niv. Signature 2D/3D, Modèle SMA « Colonie d’abeilles » Démonstration de faisabilité (première) 4 – A PPLICATION APICOLE Rappel des contributions 62 ●○ Chiron G., Gomez-Krämer P., Michel M. ”Modélisation comportementale selon différentes échelles temporelles à partir de trajectoires issues de scènes encombrées”, Journal RIA, 2015 (soumis oct. 2014)

63 C ONCLUSION A PPLICATION APICOLE Explorer d’autres périphériques d’acquisition (e.g. Leap Motion) Détecter des abeilles sur la planche d’envol Optimiser la méthode minimisant l’a priori Modéliser les probabilités de transition entre états (e.g. HDP-HMM) Gestion données volumineuses (e.g. HADOOP) Fusion RFID / Trajectoires 1 - A CQUISITION RGB - D ET D ÉTECTION DE CIBLES 1 - A CQUISITION RGB - D ET D ÉTECTION DE CIBLES 2 - S UIVI 3D MULTI - CIBLES 3 - M ODÉLISATION C OMPORTEMENTALE 4 – A PPLICATION APICOLE Perspectives méthodologiques 63 ○●

64

65 Merci pour votre attention

66 C OMPLÉMENT Modèle SMA : Colonie d’abeilles 66

67 C OMPLÉMENT Modèle SMA : Colonie de fourmis 67

68 C OMPLÉMENT Fusion de données : Trajectoires / RFID 68