Paris F-RO 98 14-16/1/98 De lemploi de modèles pour explorer de nouvelles stratégies de conduite de culture : application à la conduite du blé M.H. Chatelin.

Présentation au sujet: "Paris F-RO 98 14-16/1/98 De lemploi de modèles pour explorer de nouvelles stratégies de conduite de culture : application à la conduite du blé M.H. Chatelin."— Transcription de la présentation:

1 Paris F-RO 98 14-16/1/98 De lemploi de modèles pour explorer de nouvelles stratégies de conduite de culture : application à la conduite du blé M.H. Chatelin Station d'Economie et Sociologie Rurales INRA 78850 Grignon, France F. Garcia Unité de Biométrie et d'Intelligence Artificielle INRA 31326 Castanet Tolosan, BP27 Auzeville, France XITEK, un outil daide à lexploration basé sur lapprentissage automatique

2 Paris F-RO 98 14-16/1/98 AD pour la gestion de parcelles en grande culture Un besoin rendu nécessaire par le nouveau contexte de production Une solution basée sur la simulation de stratégies de conduite : DECIBLE simulateur DECIBLE stratégie

3 Paris F-RO 98 14-16/1/98 Le simulateur DECIBLE [Aubry et al. 92,97] DECIBLE se décompose en 2 parties : un modèle de croissance du blé un modèle décisionnel pour la gestion de la parcelle –La gestion du blé dhiver est un processus décisionnel séquentiel –Des règles SI.. ALORS.. sont utilisées à chaque étape de décision semisapport N1apport N2 t récolte

4 Paris F-RO 98 14-16/1/98 Schéma général de DECIBLE Simulateur de croissance du blé Simulateur de gestion de la parcelle semis N1 N2 récolte Règles de décision semis Série climatique rendement, maladies, résidus... Règles de décision N1 Règles de décision N2 Règles de décision récolte

5 Paris F-RO 98 14-16/1/98 Vers un système daide à lexploration Les concepteurs ont des difficultés à imaginer de nouvelles stratégies de conduite Besoin dun outil daide à la découverte de nouvelles stratégies de qualité espace des stratégies qualité Stratégies courantes ? ?

6 Paris F-RO 98 14-16/1/98 Génération automatique de stratégies La gestion du blé peut être représenté comme un Problème Décisionnel de Markov Les algorithmes de Programmation Dynamique ne sont pas utilisables car : –forte complexité algorithmique –pas de modèle probabiliste des transitions –la représentation des stratégies nest pas adaptée

7 Paris F-RO 98 14-16/1/98 XITEK : Un outil daide à lexploration basé sur lapprentissage automatique Le système itérativement génère, transforme et teste des stratégies en vue doptimiser leur qualité. générateur de climats aléatoires module dapprentissage simulateur DECIBLE Évaluation de la stratégie stratégie

8 Paris F-RO 98 14-16/1/98 Définition des stratégies Pour chaque étape de décision, des espaces détats et de décisions S i et D i sont définis Une stratégie est une séquence de fonctions de décision de S i dans D i SEMISN1N2Récolte N_sol [0,100]kg/ha J_1cm [01/03,15/05] BA_1cm [30,120]g/m² date_N2 [01/03,15/05] qt_N2 [0,200]g/m² date_récolte J_tallage Nb_pieds date_N1 [15/01,01/03] qt_N1 [0,100]g/m² date_semis [15/09,15/12] densité [100,300]g/m² variété {soisson,..} variables détat observées variables de décision

9 Paris F-RO 98 14-16/1/98 Quelle représentation des stratégies ? Discrétisation des S i et D i Partitionnement des S i et D i (CMAC) Utilisation de règles de décision SI s1 in [s1 début ; s1 fin ]... sp in [sp début ; sp fin ] ALORSd1 in [d1 début ; d1 fin ]... dq in [dq début ; dq fin ] Réseaux neuronaux

10 Paris F-RO 98 14-16/1/98 Simulation de stratégies et évaluation Ssemis Dsemis sini t Si Di SN1 DN1 Un critère numérique r semis +... + r récolte est associé à chaque trajectoire on recherche des stratégies qui maximisent E(r semis +... + r récolte )

11 Paris F-RO 98 14-16/1/98 Apprentissage par renforcement des stratégies A.R. est une nouvelle technique pour résoudre les problèmes décisionnels de Markov. Son principe est le suivant : stratégie n+1 = stratégie n + n. erreur n –erreur n est une estimation aléatoire de lécart entre stratégie n et stratégie* disponible à chaque étape – n tend lentement vers 0

12 Paris F-RO 98 14-16/1/98 Algorithmes dApprentissage par Renforcement Il existe des méthodes dA.R. basées sur une convergence asymptotique selon des critères dévaluation différents : –critère -pondéré : Algorithme Q-learning [Watkins 89] –critère moyen Algorithme R-learning [Schwartz 93] Représentation discrète

13 Paris F-RO 98 14-16/1/98 Particularité de notre problème Horizon fini, N étapes non stationnarité : espaces détats et dactions différents à chaque étape domaines mixtes (discrets, continus)

14 Paris F-RO 98 14-16/1/98 A.R en Horizon fini - non stationnaire [Garcia, Ndiaye 97] Adaptation des méthodes existantes : Q-learning en horizon fini R-learning en horizon fini Introduction d un nouvel algorithme : RH-learning (critère moyen)

15 Paris F-RO 98 14-16/1/98 A.R. pour les domaines continus Représentation CMAC : partitionnement uniforme des espaces détats et dactions Approximation dune fonction de valeur V(e,d) = ( 1 + … + ng )/ng Apprentissage des poids i

16 Paris F-RO 98 14-16/1/98 Des résultats partiels

17 Paris F-RO 98 14-16/1/98

18 Paris F-RO 98 14-16/1/98 Conclusion XITEK est en cours de développement les premiers résultats confirment la complexité du problème doptimisation sous-jacent l approche A.R. est ici validée sur un problème de grande taille un important travail doit être poursuivi concernant la visualisation et lanalyse des stratégies générées notre prochaine étape concerne la génération directe ou indirecte de règles de décision.

19 Paris F-RO 98 14-16/1/98 La représentation CMAC pour lestimation de fonctions f(s) = (w 1 + … + w ng )/ng s

20 Paris F-RO 98 14-16/1/98 Exemple de règle de décision pour le semis 15/1015/1101/0931/1231/10 date Soissons Sideral Pactol... 100 150 200 250 300 350 400 densité Espace Etats Espace Décisions Règle variéte

21 Paris F-RO 98 14-16/1/98 Lien stratégie / fonction de valeur Pour une stratégie et s in S i on définit : Q i (s,d) = E(r i +... + r harvest | s,d, i+1,.., harvest ), et on cherche qui maximise Q i (s,d), avec i (s) = argmax Q i (s,d) Les fonctions Q i (s,d) sont représentées par des estimateurs CMAC.

22 Paris F-RO 98 14-16/1/98 Autre fonction de valeur considérée R i (s,d) = Q i (s,d) - (N-i+1) avec = 1/N E(r semis +... + r récolte | ) et N le nombre détapes de décision avec toujours i (s) = argmax R i (s,d)

23 Paris F-RO 98 14-16/1/98 Apprentissage des fonctions de valeurs A partir des observation (s,d,s,r) à létape i, on met a jour l estimation courante de Q i (s,d) (Q- learning) ou de R i (s,d) et (R-learning) Q i n+1 (s,d) += n {r + max d Q i+1 n (s,d) - Q i n (s,d) } R i n+1 (s,d) += n {r - n + max d R i+1 n (s,d) - R i n (s,d) } n+1 += n {r - n + max d R i+1 n (s,d)-R i n (s,d)}

24 Paris F-RO 98 14-16/1/98 A.R., horizon fini et CMAC En pratique, cet apprentissage est adapté à la représentation CMAC, et ce sont les poids des cellules qui sont mis à jour. L hypothèse horizon fini amène à adapter le Q- learning et le R-learning. Ce dernier savère être le plus efficace

25 Paris F-RO 98 14-16/1/98