Université de Bourgogne - U.F.R. Sciences et Techniques École Doctorale E2S : Environnement, Santé, STIC AgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158 Soutenance de thèse présentée en vue de l'obtention du grade de Docteur en Instrumentation et Informatique de l'Image Gawain JONES Modélisation d'images agronomiques Application à la reconnaissance d'adventices par imagerie pour une pulvérisation localisée Le 26 novembre 2009

Contexte et motivations Modélisation Validation Plan Contexte et motivations Modélisation Validation Discrimination culture/adventices Modélisation spectrale Conclusion et perspectives

1. Contexte et motivations

 Réduction des intrants 1. Contexte et motivations 1.1. Agriculture de précision 1980-90 : variabilité intra-parcellaire Gestion localisée de parcelles : Optimisation des coûts / Impact environnemental Récolte d’informations : État des sols / Rendement / Répartition des intrants Apports des STIC à l’agriculture Capteurs / GPS / Systèmes optiques Forte volonté gouvernementale : DC sur l’eau 2000 / LEMA 2006 / Ecophyto 2018  Réduction des intrants Precision Agriculture Australia ©

1. Contexte et motivations 1.2. Notre laboratoire Localisation des adventices Traitement localisé  réduction des intrants Approche carte et temps réel Temps réel PhD Bossu, 2007 PhD Vioix 2004 Cartographie

Transformée en ondelettes 1. Contexte et motivations 1.2. Notre laboratoire Développement d’algorithmes de discrimination culture/adventices Image périodique 2D FFT + Filtre de Gabor Image IR Image en perspective Transformée en ondelettes Image RGB

En pratique, peu d’algorithmes sont évalués 1. Contexte et motivations 1.3. Objectifs Performances des algorithmes de discrimination ? Méthodes actuelles : Comptage manuel au champ Segmentation manuelle des images Thèse J.W. Lu, 2002 En pratique, peu d’algorithmes sont évalués  Développement d’une méthode d’évaluation automatique

2. Modélisation

Différents objectifs : 2. Modélisation 2.1. Introduction 2.1.1. État de l’art Différents objectifs : Croissance / Visualisation (AMAP - 1988, LIGNUM - 1996…) Préconisation / Simulation d’une information agronomique (APSIM - 1996, FARMSTAR - 2003…) Compétition (ALMANAC - 1992, CROPSIM - 1996…) …  Modèles non adaptés

Algorithmes de discrimination basés sur l’information spatiale 2. Modélisation 2.1. Introduction 2.1.2. Cahier des charges Algorithmes de discrimination basés sur l’information spatiale Pulvérisation post-levée : jeune stade de croissance  modélisation 2D Séparation sol/végétation (indice de végétation)  binaire

2. Modélisation 2.2. Champ 2.2.1. Culture Variations stochastiques : Taille Position sur le rang Position du rang Présence Semis continu en ligne (blé, soja) Semis périodique (tournesol, mais) fx = largeur inter-rang (18cm) fy = largeur intra-rang (19 cm) fx = largeur inter-rang (45cm)

Poisson (n) points fils 2. Modélisation 2.2. Champ 2.2.2. Adventices Trois distributions : Distribution ponctuelle : Loi de Poisson Distribution agrégative : Processus de Neyman-Scott Aire de propagation elliptique Mélange des deux distributions Surface S Poisson (λS) adventices Poisson (n) points fils Point père

2. Modélisation 2.2. Champ 2.2.3. Culture + Adventices Taux d’infestation contrôlé (WIR=pixels d’adventices/pixels de végétation) Dimensions du champ : - (m) = 2.4 x 3.6 (pix) = 1140 x 894 Plants de culture = 356 Plants d’adventices = 535 WIR = 39.11% (40% demandés) Dimensions du champ : - (m) = 4.2 x 3.7 - (pix) = 512 x 472 Plants de culture = 368 Plants d’adventices = 418 WIR = 29.21% (30% demandés)

2.3. Transformation optique 2. Modélisation 2.3. Transformation optique 2.3.1. Modèle du sténopé Objectif : prise de photographie adaptable à tout dispositif expérimental Projection du sol sur le CCD en fonction des : Paramètres intrinsèques : Focale f Taille et centre optique du CCD Paramètres extrinsèques : Matrice de rotation Rx, Ry et Rz Vecteur de translation Tz=H (Tx=Ty=0) Matrice de transformation

2. Modélisation 2.4. Résultats 2.4.1. Transformation optique WIR = 30% Le champ Sa photographie Drone H = 5m Rx = 0° Ry = 0° Rz = 20° WIR = 30% Tracteur H = 1m Rx = 70° Ry = 0° Rz = 0° WIR = 40%

 Peut-on substituer les images virtuelles aux réelles? 2. Modélisation 2.5. Conclusion Modèle spatial permettant la création de scènes agronomiques : Paramètres de culture Distribution des adventices et taux d’infestation Prise en compte d’un système optique Nombreuses variations stochastiques « naturelles »  Peut-on substituer les images virtuelles aux réelles?

3. Validation

… 3. Validation Caractériser information spatiale 3.2. Culture 3.2.1. Analyse de voisinage Caractériser information spatiale Analyse multi-échelle  Validation globale Comparaison image réelle / simulée Motif n°1 Motif n°2 Motif n°3 …

3. Validation 3.2. Culture 3.2.2. Comparaison image réelle/simulée Motif n°1 Réelle Une simulation Motif n°2 Simulée

3. Validation Validation de la modélisation spatiale de la culture 3.2.4. Résultats Résultats très bons : le modèle reproduit correctement la spatialisation de la culture Tests identiques sur images avec perspective  mêmes résultats Validation de la modélisation spatiale de la culture

3. Validation Validation du semis d’adventices 3.3.1. Méthode Validation du semis d’adventices 150 images traitées : pointage des adventices Comparaison distribution réelle/simulée

Fonction de Ripley (thèse F. Goreaud - 2000) 3. Validation 3.3. Adventices 3.3.2. Caractérisation de la distribution Fonction de Ripley (thèse F. Goreaud - 2000) 10.105 r (pixels) 600

Intervalles de confiance à 1% 3. Validation 3.3. Adventices 3.3.2. Caractérisation de la distribution Linéarisation de Besag 10.105 20 Intervalles de confiance à 1% -20 r (pixels) 600 r (pixels) 600

Semis ponctuel 3. Validation 3.3. Adventices 3.3.2. Caractérisation de la distribution Semis ponctuel 6 -6 r (pixels) 250

Semis Hétérogène 3. Validation 3.3. Adventices 3.3.2. Caractérisation de la distribution Semis Hétérogène 50 300 germes 600 germes -20 r (pixels) 1200

Hétérogénéité des semis d’adventices 3. Validation 3.3. Adventices 3.3.3. Résultats Hétérogénéité des semis d’adventices 25 -20 r (pixels) 1200

Semis ponctuel à une échelle moindre 3. Validation 3.3. Adventices 3.3.3. Résultats Semis ponctuel à une échelle moindre

 Validation du semis ponctuel 3.3. Adventices 3.3.3. Résultats ~500 sous-images traitées (de ~200 germes) Les distributions réelles correspondent bien au semis ponctuel développé  Validation du semis ponctuel Nécessité de trouver des adventices réparties en distributions agrégatives L’hétérogénéité dépend de l’échelle : à prendre en compte lors de la distribution des adventices

 Utilisation du modèle pour tester des algorithmes de discrimination 3. Validation 3.4. Conclusion Validation du modèle : Spatialisation des cultures Distribution des adventices Validité du sténopé développé Les images simulées peuvent remplacer les images réelles  Utilisation du modèle pour tester des algorithmes de discrimination

4. Discrimination culture/adventices

 Objectif : performances et adaptation 4. Discrimination culture/adventices 4.1. Introduction 4.1.1. Algorithmes de discrimination FFT + Gabor : perspective Ondelettes : temps de calcul FFT + Gabor Ondelettes PhD Bossu, 2007  Objectif : performances et adaptation

Droite dans l’espace cartésien  Maximum dans l’espace polaire 4. Discrimination culture/adventices 4.2. Détection des rangs 4.2.1. Transformée de Hough Espace cartésien Espace polaire : Accumulateur Droite dans l’espace cartésien  Maximum dans l’espace polaire

4. Discrimination culture/adventices 4.2. Détection des rangs 4.2.2. Différentes scènes Accumulateurs de Hough Sans perspective 1000 ρ (pixel) -1000 Avec perspective -90 θ (degrés) 90 1000 ρ (pixel) -1000 -90 θ (degrés) 90

4. Discrimination culture/adventices 4.3. Différentes méthodes 4.3.1. Introduction Séparation culture/adventices Utilisation des droites détectées Adventices intra-rang = culture

4. Discrimination culture/adventices 4.3. Différentes méthodes 4.3.2. Méthode 1 : Blob-Coloring Intersection composante connexe / droite Culture bien détectée Culture mal détectée Adventices bien détectées Adventices mal détectées

4. Discrimination culture/adventices 4.3. Différentes méthodes 4.3.3. Méthode 2 : Estimation de contours Estimation de la largeur du rang

Probabilité / centre du rang 4. Discrimination culture/adventices 4.3. Différentes méthodes 4.3.4. Méthode 3 : Méthode probabiliste Probabilité / centre du rang Fonction de probabilité Seuil Centre du rang

4. Discrimination culture/adventices 4.4. Performances 4.4.1. Méthodologie Génération d’une banque d’images pour évaluer les performances des algorithmes face à : des taux d’infestation variables (0 à 60%) différentes distributions d’adventices deux configurations de caméra  7440 images modélisées et testées

4. Discrimination culture/adventices 4.4. Performances 4.4.1. Méthodologie Comparaison résultats/données initiales Matrice et graphe ROC Détecté Culture Adventices Vrai positif Faux négatif Faux positif Vrai négatif

4. Discrimination culture/adventices 4.4. Performances 4.4.2. Choix du seuil optimal Choix a posteriori, après test de différents seuils Caractérisation de seuil en fonction : Caractéristiques de la scène Application visée (classe prépondérante?) Choix « optimal » : plus proche de (0, 1)

4. Discrimination culture/adventices 4.4. Performances 4.4.3. Sans perspective - mixte Composante connexe Estimation rang Probabiliste 100% 80% 0% WIR 60% 0% WIR 60% 0% WIR 60% TVC 86-98% TVC 80-92% TVC 94-98% TVA 93-97% TVA 98-100% TVA 94-98%

4. Discrimination culture/adventices 4.5. Conclusion Transformée de Hough Très robuste – Adaptation automatique Optimisation : réduction de l’espace étudié Méthodes de discrimination Très bons résultats de classification Méthode probabiliste : Très équilibrée et constante (car choix du seuil a posteriori) Permet l’établissement d’une préférence de détection Erreurs de classification = bords des rangs Détection dans le rang impossible L’amélioration des algorithmes de discrimination passe par la prise en compte d’une information supplémentaire

5. Modélisation spectrale

5. Modélisation spectrale 5.1. Apports et mise en oeuvre 5.1.1. Motivations

5. Modélisation spectrale 5.1. Apports et mise en oeuvre 5.1.1. Motivations Détection d’adventices dans le rang impossible Utilisation de l’information spectrale pour réaliser cette discrimination  Besoin d’un modèle simulant la réponse spectrale

5. Modélisation spectrale 5.1. Apports et mise en oeuvre 5.1.1. Motivations Reproduire la réponse spectrale Dépend des angles incidents et réfléchis, Caractérisation pour chaque plante.  Caractérisation et utilisation de modèles de BRDF

5. Modélisation spectrale 5.2. BRDF 5.2.1. Principe Mesures spectrales multi angulaires Inversion du modèle Obtention des paramètres de BRDF B G R NIR Paramètres + modèle Réponse spectrale pour un nouvel angle Réflectance de plantes

5. Modélisation spectrale 5.2. BRDF 5.2.2. Choix des modèles PROSPECT (S. Jacquemoud - 1990) : modèle de couches en parallèle développé pour la BRDF des plantes SOILSPECT (S. Jacquemoud - 1992) : modèle de transfert radiatif utilisé pour la BRDF des sols

5. Modélisation spectrale 5.3. Du spectre à l’image 5.3.1. Du spectre au RGB

5. Modélisation spectrale 5.3. Du spectre à l’image 5.3.2. Exemples CIE XYZ  fonctions trichromatiques de la caméra Simulation de filtres optiques Obtention d’images PIR et hyperspectrales Données spectrales plantes : LOPEX93 / Sol : S. Jacquemoud

5. Modélisation spectrale 5.4. Modèle 3D 5.4.1. Nécessité d’un modèle 3D 2D  rapidité et simplicité + orientation feuilles Mais : orientation, hauteur feuilles  Modèle 2D inadapté  Mise en place d’un modèle 3D simple

5. Modélisation spectrale 5.4. Modèle 3D 5.4.2. Adaptation du modèle agronomique Distribution de la culture et des adventives identique Taux d’infestation calculé avec la surface totale des plantes Discrétisation adaptative des facettes Gestion de l’orientation et de l’occultation de facettes (back-face & occlusion culling)

5. Modélisation spectrale 5.5. Conclusion BRDF : modèles adaptés aux plantes et aux sols Mais manque de données spectrales multiangulaires Possibilité de produire des images simulant les caractéristiques des caméras Modèle 3D nécessaire à l’utilisation de BRDF et adaptation des données agronomiques

6. Conclusion et Perspectives

6. Conclusion et Perspectives Modèle Modélisation paramétrable de scènes « naturelles » Utilisation du modèle pour améliorer les algorithmes de discrimination et accélérer leur développement Algorithmes de discrimination Méthodes de discrimination très robustes Adaptation automatique à la géométrie de la scène Modélisation spectrale Évolution du modèle vers le spectral Nouvelles possibilités pour l’évaluation d’algorithmes

6. Conclusion et Perspectives Modèle Forme des plantes : modèle déformable Prise en compte des ombres : algorithmes de prétraitement Couplage résultats de discrimination / prédiction de rendement  suivi virtuel de parcelle Campagne d’obtention de données multiangulaires en partenariat avec d’autres laboratoires (LOPEX93) Algorithmes de discrimination : vers le spectral Apprentissage spectral temps-réel à partir de la détection spatiale

Merci pour votre attention!

Université de Bourgogne - U.F.R. Sciences et Techniques École Doctorale E2S : Environnement, Santé, STIC AgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158 Soutenance de thèse présentée en vue de l'obtention du grade de Docteur en Instrumentation et Informatique de l'Image Gawain JONES Modélisation d'images agronomiques Application à la reconnaissance d'adventices par imagerie pour une pulvérisation localisée Le 26 novembre 2009