Université de Bourgogne - U.F.R. Sciences et Techniques

Présentation au sujet: "Université de Bourgogne - U.F.R. Sciences et Techniques"— Transcription de la présentation:

1 Université de Bourgogne - U.F.R. Sciences et Techniques
École Doctorale E2S : Environnement, Santé, STIC AgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158 Soutenance de thèse présentée en vue de l'obtention du grade de Docteur en Instrumentation et Informatique de l'Image Gawain JONES Modélisation d'images agronomiques Application à la reconnaissance d'adventices par imagerie pour une pulvérisation localisée Le 26 novembre 2009

2 Contexte et motivations Modélisation Validation
Plan Contexte et motivations Modélisation Validation Discrimination culture/adventices Modélisation spectrale Conclusion et perspectives

3 1. Contexte et motivations

4  Réduction des intrants
1. Contexte et motivations 1.1. Agriculture de précision : variabilité intra-parcellaire Gestion localisée de parcelles : Optimisation des coûts / Impact environnemental Récolte d’informations : État des sols / Rendement / Répartition des intrants Apports des STIC à l’agriculture Capteurs / GPS / Systèmes optiques Forte volonté gouvernementale : DC sur l’eau 2000 / LEMA / Ecophyto 2018  Réduction des intrants Precision Agriculture Australia ©

5 1. Contexte et motivations
1.2. Notre laboratoire Localisation des adventices Traitement localisé  réduction des intrants Approche carte et temps réel Temps réel PhD Bossu, 2007 PhD Vioix 2004 Cartographie

6 Transformée en ondelettes
1. Contexte et motivations 1.2. Notre laboratoire Développement d’algorithmes de discrimination culture/adventices Image périodique 2D FFT + Filtre de Gabor Image IR Image en perspective Transformée en ondelettes Image RGB

7 En pratique, peu d’algorithmes sont évalués
1. Contexte et motivations 1.3. Objectifs Performances des algorithmes de discrimination ? Méthodes actuelles : Comptage manuel au champ Segmentation manuelle des images Thèse J.W. Lu, 2002 En pratique, peu d’algorithmes sont évalués  Développement d’une méthode d’évaluation automatique

8 2. Modélisation

9 Différents objectifs :
2. Modélisation 2.1. Introduction État de l’art Différents objectifs : Croissance / Visualisation (AMAP , LIGNUM …) Préconisation / Simulation d’une information agronomique (APSIM , FARMSTAR …) Compétition (ALMANAC , CROPSIM …) …  Modèles non adaptés

10 Algorithmes de discrimination basés sur l’information spatiale
2. Modélisation 2.1. Introduction Cahier des charges Algorithmes de discrimination basés sur l’information spatiale Pulvérisation post-levée : jeune stade de croissance  modélisation 2D Séparation sol/végétation (indice de végétation)  binaire

11 2. Modélisation 2.2. Champ 2.2.1. Culture Variations stochastiques :
Taille Position sur le rang Position du rang Présence Semis continu en ligne (blé, soja) Semis périodique (tournesol, mais) fx = largeur inter-rang (18cm) fy = largeur intra-rang (19 cm) fx = largeur inter-rang (45cm)

12 Poisson (n) points fils
2. Modélisation 2.2. Champ Adventices Trois distributions : Distribution ponctuelle : Loi de Poisson Distribution agrégative : Processus de Neyman-Scott Aire de propagation elliptique Mélange des deux distributions Surface S Poisson (λS) adventices Poisson (n) points fils Point père

13 2. Modélisation 2.2. Champ 2.2.3. Culture + Adventices
Taux d’infestation contrôlé (WIR=pixels d’adventices/pixels de végétation) Dimensions du champ : - (m) = 2.4 x 3.6 (pix) = 1140 x 894 Plants de culture = 356 Plants d’adventices = 535 WIR = 39.11% (40% demandés) Dimensions du champ : - (m) = 4.2 x 3.7 - (pix) = 512 x 472 Plants de culture = 368 Plants d’adventices = 418 WIR = 29.21% (30% demandés)

14 2.3. Transformation optique
2. Modélisation 2.3. Transformation optique Modèle du sténopé Objectif : prise de photographie adaptable à tout dispositif expérimental Projection du sol sur le CCD en fonction des : Paramètres intrinsèques : Focale f Taille et centre optique du CCD Paramètres extrinsèques : Matrice de rotation Rx, Ry et Rz Vecteur de translation Tz=H (Tx=Ty=0) Matrice de transformation

15 2. Modélisation 2.4. Résultats 2.4.1. Transformation optique WIR = 30%
Le champ Sa photographie Drone H = 5m Rx = 0° Ry = 0° Rz = 20° WIR = 30% Tracteur H = 1m Rx = 70° Ry = 0° Rz = 0° WIR = 40%

16  Peut-on substituer les images virtuelles aux réelles?
2. Modélisation 2.5. Conclusion Modèle spatial permettant la création de scènes agronomiques : Paramètres de culture Distribution des adventices et taux d’infestation Prise en compte d’un système optique Nombreuses variations stochastiques « naturelles »  Peut-on substituer les images virtuelles aux réelles?

17 3. Validation

18 … 3. Validation Caractériser information spatiale
3.2. Culture Analyse de voisinage Caractériser information spatiale Analyse multi-échelle  Validation globale Comparaison image réelle / simulée Motif n°1 Motif n°2 Motif n°3 …

19 3. Validation 3.2. Culture 3.2.2. Comparaison image réelle/simulée
Motif n°1 Réelle Une simulation Motif n°2 Simulée

20 3. Validation Validation de la modélisation spatiale de la culture
Résultats Résultats très bons : le modèle reproduit correctement la spatialisation de la culture Tests identiques sur images avec perspective  mêmes résultats Validation de la modélisation spatiale de la culture

21 3. Validation Validation du semis d’adventices
Méthode Validation du semis d’adventices 150 images traitées : pointage des adventices Comparaison distribution réelle/simulée

22 Fonction de Ripley (thèse F. Goreaud - 2000)
3. Validation 3.3. Adventices Caractérisation de la distribution Fonction de Ripley (thèse F. Goreaud ) 10.105 r (pixels) 600

23 Intervalles de confiance à 1%
3. Validation 3.3. Adventices Caractérisation de la distribution Linéarisation de Besag 10.105 20 Intervalles de confiance à 1% -20 r (pixels) 600 r (pixels) 600

24 Semis ponctuel 3. Validation 3.3. Adventices
Caractérisation de la distribution Semis ponctuel 6 -6 r (pixels) 250

25 Semis Hétérogène 3. Validation 3.3. Adventices
Caractérisation de la distribution Semis Hétérogène 50 300 germes 600 germes -20 r (pixels) 1200

26 Hétérogénéité des semis d’adventices
3. Validation 3.3. Adventices Résultats Hétérogénéité des semis d’adventices 25 -20 r (pixels) 1200

27 Semis ponctuel à une échelle moindre
3. Validation 3.3. Adventices Résultats Semis ponctuel à une échelle moindre

28  Validation du semis ponctuel
3.3. Adventices Résultats ~500 sous-images traitées (de ~200 germes) Les distributions réelles correspondent bien au semis ponctuel développé  Validation du semis ponctuel Nécessité de trouver des adventices réparties en distributions agrégatives L’hétérogénéité dépend de l’échelle : à prendre en compte lors de la distribution des adventices

29  Utilisation du modèle pour tester des algorithmes de discrimination
3. Validation 3.4. Conclusion Validation du modèle : Spatialisation des cultures Distribution des adventices Validité du sténopé développé Les images simulées peuvent remplacer les images réelles  Utilisation du modèle pour tester des algorithmes de discrimination

30 4. Discrimination culture/adventices

31  Objectif : performances et adaptation
4. Discrimination culture/adventices 4.1. Introduction Algorithmes de discrimination FFT + Gabor : perspective Ondelettes : temps de calcul FFT + Gabor Ondelettes PhD Bossu, 2007  Objectif : performances et adaptation

32 Droite dans l’espace cartésien  Maximum dans l’espace polaire
4. Discrimination culture/adventices 4.2. Détection des rangs Transformée de Hough Espace cartésien Espace polaire : Accumulateur Droite dans l’espace cartésien  Maximum dans l’espace polaire

33 4. Discrimination culture/adventices
4.2. Détection des rangs Différentes scènes Accumulateurs de Hough Sans perspective 1000 ρ (pixel) -1000 Avec perspective -90 θ (degrés) 90 1000 ρ (pixel) -1000 -90 θ (degrés) 90

34 4. Discrimination culture/adventices
4.3. Différentes méthodes Introduction Séparation culture/adventices Utilisation des droites détectées Adventices intra-rang = culture

35 4. Discrimination culture/adventices
4.3. Différentes méthodes Méthode 1 : Blob-Coloring Intersection composante connexe / droite Culture bien détectée Culture mal détectée Adventices bien détectées Adventices mal détectées

36 4. Discrimination culture/adventices
4.3. Différentes méthodes Méthode 2 : Estimation de contours Estimation de la largeur du rang

37 Probabilité / centre du rang
4. Discrimination culture/adventices 4.3. Différentes méthodes Méthode 3 : Méthode probabiliste Probabilité / centre du rang Fonction de probabilité Seuil Centre du rang

38 4. Discrimination culture/adventices
4.4. Performances Méthodologie Génération d’une banque d’images pour évaluer les performances des algorithmes face à : des taux d’infestation variables (0 à 60%) différentes distributions d’adventices deux configurations de caméra  7440 images modélisées et testées

39 4. Discrimination culture/adventices
4.4. Performances Méthodologie Comparaison résultats/données initiales Matrice et graphe ROC Détecté Culture Adventices Vrai positif Faux négatif Faux positif Vrai négatif

40 4. Discrimination culture/adventices
4.4. Performances Choix du seuil optimal Choix a posteriori, après test de différents seuils Caractérisation de seuil en fonction : Caractéristiques de la scène Application visée (classe prépondérante?) Choix « optimal » : plus proche de (0, 1)

41 4. Discrimination culture/adventices
4.4. Performances Sans perspective - mixte Composante connexe Estimation rang Probabiliste 100% 80% 0% WIR 60% 0% WIR 60% 0% WIR 60% TVC 86-98% TVC 80-92% TVC 94-98% TVA 93-97% TVA % TVA 94-98%

42 4. Discrimination culture/adventices
4.5. Conclusion Transformée de Hough Très robuste – Adaptation automatique Optimisation : réduction de l’espace étudié Méthodes de discrimination Très bons résultats de classification Méthode probabiliste : Très équilibrée et constante (car choix du seuil a posteriori) Permet l’établissement d’une préférence de détection Erreurs de classification = bords des rangs Détection dans le rang impossible L’amélioration des algorithmes de discrimination passe par la prise en compte d’une information supplémentaire

43 5. Modélisation spectrale

44 5. Modélisation spectrale
5.1. Apports et mise en oeuvre Motivations

45 5. Modélisation spectrale
5.1. Apports et mise en oeuvre Motivations Détection d’adventices dans le rang impossible Utilisation de l’information spectrale pour réaliser cette discrimination  Besoin d’un modèle simulant la réponse spectrale

46 5. Modélisation spectrale
5.1. Apports et mise en oeuvre Motivations Reproduire la réponse spectrale Dépend des angles incidents et réfléchis, Caractérisation pour chaque plante.  Caractérisation et utilisation de modèles de BRDF

47 5. Modélisation spectrale
5.2. BRDF Principe Mesures spectrales multi angulaires Inversion du modèle Obtention des paramètres de BRDF B G R NIR Paramètres + modèle Réponse spectrale pour un nouvel angle Réflectance de plantes

48 5. Modélisation spectrale
5.2. BRDF Choix des modèles PROSPECT (S. Jacquemoud ) : modèle de couches en parallèle développé pour la BRDF des plantes SOILSPECT (S. Jacquemoud ) : modèle de transfert radiatif utilisé pour la BRDF des sols

49 5. Modélisation spectrale
5.3. Du spectre à l’image Du spectre au RGB

50 5. Modélisation spectrale
5.3. Du spectre à l’image Exemples CIE XYZ  fonctions trichromatiques de la caméra Simulation de filtres optiques Obtention d’images PIR et hyperspectrales Données spectrales plantes : LOPEX93 / Sol : S. Jacquemoud

51 5. Modélisation spectrale
5.4. Modèle 3D Nécessité d’un modèle 3D 2D  rapidité et simplicité + orientation feuilles Mais : orientation, hauteur feuilles  Modèle 2D inadapté  Mise en place d’un modèle 3D simple

52 5. Modélisation spectrale
5.4. Modèle 3D Adaptation du modèle agronomique Distribution de la culture et des adventives identique Taux d’infestation calculé avec la surface totale des plantes Discrétisation adaptative des facettes Gestion de l’orientation et de l’occultation de facettes (back-face & occlusion culling)

53 5. Modélisation spectrale
5.5. Conclusion BRDF : modèles adaptés aux plantes et aux sols Mais manque de données spectrales multiangulaires Possibilité de produire des images simulant les caractéristiques des caméras Modèle 3D nécessaire à l’utilisation de BRDF et adaptation des données agronomiques

54 6. Conclusion et Perspectives

55 6. Conclusion et Perspectives
Modèle Modélisation paramétrable de scènes « naturelles » Utilisation du modèle pour améliorer les algorithmes de discrimination et accélérer leur développement Algorithmes de discrimination Méthodes de discrimination très robustes Adaptation automatique à la géométrie de la scène Modélisation spectrale Évolution du modèle vers le spectral Nouvelles possibilités pour l’évaluation d’algorithmes

56 6. Conclusion et Perspectives
Modèle Forme des plantes : modèle déformable Prise en compte des ombres : algorithmes de prétraitement Couplage résultats de discrimination / prédiction de rendement  suivi virtuel de parcelle Campagne d’obtention de données multiangulaires en partenariat avec d’autres laboratoires (LOPEX93) Algorithmes de discrimination : vers le spectral Apprentissage spectral temps-réel à partir de la détection spatiale

57 Merci pour votre attention!

58 Université de Bourgogne - U.F.R. Sciences et Techniques
École Doctorale E2S : Environnement, Santé, STIC AgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158 Soutenance de thèse présentée en vue de l'obtention du grade de Docteur en Instrumentation et Informatique de l'Image Gawain JONES Modélisation d'images agronomiques Application à la reconnaissance d'adventices par imagerie pour une pulvérisation localisée Le 26 novembre 2009