Paris F-RO /1/98 De lemploi de modèles pour explorer de nouvelles stratégies de conduite de culture : application à la conduite du blé M.H. Chatelin Station d'Economie et Sociologie Rurales INRA Grignon, France F. Garcia Unité de Biométrie et d'Intelligence Artificielle INRA Castanet Tolosan, BP27 Auzeville, France XITEK, un outil daide à lexploration basé sur lapprentissage automatique

Paris F-RO /1/98 AD pour la gestion de parcelles en grande culture Un besoin rendu nécessaire par le nouveau contexte de production Une solution basée sur la simulation de stratégies de conduite : DECIBLE simulateur DECIBLE stratégie

Paris F-RO /1/98 Le simulateur DECIBLE [Aubry et al. 92,97] DECIBLE se décompose en 2 parties : un modèle de croissance du blé un modèle décisionnel pour la gestion de la parcelle –La gestion du blé dhiver est un processus décisionnel séquentiel –Des règles SI.. ALORS.. sont utilisées à chaque étape de décision semisapport N1apport N2 t récolte

Paris F-RO /1/98 Schéma général de DECIBLE Simulateur de croissance du blé Simulateur de gestion de la parcelle semis N1 N2 récolte Règles de décision semis Série climatique rendement, maladies, résidus... Règles de décision N1 Règles de décision N2 Règles de décision récolte

Paris F-RO /1/98 Vers un système daide à lexploration Les concepteurs ont des difficultés à imaginer de nouvelles stratégies de conduite Besoin dun outil daide à la découverte de nouvelles stratégies de qualité espace des stratégies qualité Stratégies courantes ? ?

Paris F-RO /1/98 Génération automatique de stratégies La gestion du blé peut être représenté comme un Problème Décisionnel de Markov Les algorithmes de Programmation Dynamique ne sont pas utilisables car : –forte complexité algorithmique –pas de modèle probabiliste des transitions –la représentation des stratégies nest pas adaptée

Paris F-RO /1/98 XITEK : Un outil daide à lexploration basé sur lapprentissage automatique Le système itérativement génère, transforme et teste des stratégies en vue doptimiser leur qualité. générateur de climats aléatoires module dapprentissage simulateur DECIBLE Évaluation de la stratégie stratégie

Paris F-RO /1/98 Définition des stratégies Pour chaque étape de décision, des espaces détats et de décisions S i et D i sont définis Une stratégie est une séquence de fonctions de décision de S i dans D i SEMISN1N2Récolte N_sol [0,100]kg/ha J_1cm [01/03,15/05] BA_1cm [30,120]g/m² date_N2 [01/03,15/05] qt_N2 [0,200]g/m² date_récolte J_tallage Nb_pieds date_N1 [15/01,01/03] qt_N1 [0,100]g/m² date_semis [15/09,15/12] densité [100,300]g/m² variété {soisson,..} variables détat observées variables de décision

Paris F-RO /1/98 Quelle représentation des stratégies ? Discrétisation des S i et D i Partitionnement des S i et D i (CMAC) Utilisation de règles de décision SI s1 in [s1 début ; s1 fin ]... sp in [sp début ; sp fin ] ALORSd1 in [d1 début ; d1 fin ]... dq in [dq début ; dq fin ] Réseaux neuronaux

Paris F-RO /1/98 Simulation de stratégies et évaluation Ssemis Dsemis sini t Si Di SN1 DN1 Un critère numérique r semis r récolte est associé à chaque trajectoire on recherche des stratégies qui maximisent E(r semis r récolte )

Paris F-RO /1/98 Apprentissage par renforcement des stratégies A.R. est une nouvelle technique pour résoudre les problèmes décisionnels de Markov. Son principe est le suivant : stratégie n+1 = stratégie n + n. erreur n –erreur n est une estimation aléatoire de lécart entre stratégie n et stratégie* disponible à chaque étape – n tend lentement vers 0

Paris F-RO /1/98 Algorithmes dApprentissage par Renforcement Il existe des méthodes dA.R. basées sur une convergence asymptotique selon des critères dévaluation différents : –critère -pondéré : Algorithme Q-learning [Watkins 89] –critère moyen Algorithme R-learning [Schwartz 93] Représentation discrète

Paris F-RO /1/98 Particularité de notre problème Horizon fini, N étapes non stationnarité : espaces détats et dactions différents à chaque étape domaines mixtes (discrets, continus)

Paris F-RO /1/98 A.R en Horizon fini - non stationnaire [Garcia, Ndiaye 97] Adaptation des méthodes existantes : Q-learning en horizon fini R-learning en horizon fini Introduction d un nouvel algorithme : RH-learning (critère moyen)

Paris F-RO /1/98 A.R. pour les domaines continus Représentation CMAC : partitionnement uniforme des espaces détats et dactions Approximation dune fonction de valeur V(e,d) = ( 1 + … + ng )/ng Apprentissage des poids i

Paris F-RO /1/98 Des résultats partiels

Paris F-RO /1/98

Paris F-RO /1/98 Conclusion XITEK est en cours de développement les premiers résultats confirment la complexité du problème doptimisation sous-jacent l approche A.R. est ici validée sur un problème de grande taille un important travail doit être poursuivi concernant la visualisation et lanalyse des stratégies générées notre prochaine étape concerne la génération directe ou indirecte de règles de décision.

Paris F-RO /1/98 La représentation CMAC pour lestimation de fonctions f(s) = (w 1 + … + w ng )/ng s

Paris F-RO /1/98 Exemple de règle de décision pour le semis 15/1015/1101/0931/1231/10 date Soissons Sideral Pactol densité Espace Etats Espace Décisions Règle variéte

Paris F-RO /1/98 Lien stratégie / fonction de valeur Pour une stratégie et s in S i on définit : Q i (s,d) = E(r i r harvest | s,d, i+1,.., harvest ), et on cherche qui maximise Q i (s,d), avec i (s) = argmax Q i (s,d) Les fonctions Q i (s,d) sont représentées par des estimateurs CMAC.

Paris F-RO /1/98 Autre fonction de valeur considérée R i (s,d) = Q i (s,d) - (N-i+1) avec = 1/N E(r semis r récolte | ) et N le nombre détapes de décision avec toujours i (s) = argmax R i (s,d)

Paris F-RO /1/98 Apprentissage des fonctions de valeurs A partir des observation (s,d,s,r) à létape i, on met a jour l estimation courante de Q i (s,d) (Q- learning) ou de R i (s,d) et (R-learning) Q i n+1 (s,d) += n {r + max d Q i+1 n (s,d) - Q i n (s,d) } R i n+1 (s,d) += n {r - n + max d R i+1 n (s,d) - R i n (s,d) } n+1 += n {r - n + max d R i+1 n (s,d)-R i n (s,d)}

Paris F-RO /1/98 A.R., horizon fini et CMAC En pratique, cet apprentissage est adapté à la représentation CMAC, et ce sont les poids des cellules qui sont mis à jour. L hypothèse horizon fini amène à adapter le Q- learning et le R-learning. Ce dernier savère être le plus efficace

Paris F-RO /1/98