LAMSADE- Université Paris Dauphine UMR Economie Publique - INRA Un Simulateur Multi-Agent pour l ’aide à la Décision d’un Collectif Application à la gestion d’une ressource limitée Agro-Environnementale Marjorie LE BARS LAMSADE- Université Paris Dauphine UMR Economie Publique - INRA Sous la direction de: Suzanne Pinson et Jean-Marie Attonaty

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

Objectifs de la thèse Conception et mise en œuvre d’un outil d’aide à la décision dédié à la gestion d’un collectif Aide à la gestion de conflits entre décideurs Choix d’une réglementation, résultat d’un consensus Applicable à des cas réels et mis en œuvre sur un cas concret Conception d’un simulateur Multi-Agent Agents hétérogènes (cognitifs et réactifs) Modélisation des stratégies d’acteurs par les BDI

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

Contexte de la thèse L’eau est une ressource rare Directives générales édictées au niveau national et européen en 1992 et 2001 Mise en place concrète au niveau local et régional: Création de règles résultant de négociations entre les différents acteurs concernés (agriculteurs, industriels, APN, fournisseur d'eau…) Le plus souvent les résultats de ces négociations reflètent le pouvoir de certain acteurs

Exemple de réglementation utilisée V =  [ 20 000 + ( 300*SAU +  volume à l’hectare négocié * surface) ] Avec : ·  le coefficient annuel. · 20 000 m3 sont alloués à chaque exploitation quelles que soient les cultures ·  Le coefficient cultural dépend de la nature du sol. · 300 m3 sont alloués à chaque hectare de SAU (Surface Agricole Utilisable) quel que soit le type d’assolement pratiqué. · Selon la culture, un volume à l’hectare a été négocié avec les irriguants. Ce volume est ajouté au 300 m3 précédents.

Contexte de la thèse au niveau local Instruments pour l’aide à la décision individuelle DSS basés sur simulation (remplacent modèle de RO) Pas d’instruments pour l’aide à la décision d’un collectif Une vision globale au niveau régional du système agro-environnemental Une vision partagée par les différents acteurs Utilisable par les techniciens locaux pour définir des réglementations

Caractéristiques du domaine Dans le cadre du problème posé, un certain nombre de caractéristiques se dégagent QUI ? Des acteurs Agriculteurs, Fournisseurs d’eau, Puissance Publique, Coopérative… Rationalités différentes Grande hétérogénéité des comportements, des objectifs, des stratégies Autonomes: ils gèrent leur demande en fonction de leurs objectifs Interactions QUOI ? Gestion d’une ressource en eau de façon satisfaisante COMMENT ? Définition d’une réglementation adaptée

Les modèles existants Limites de ces modèles Faible nombre de types d’acteurs (PL) et d’acteurs (TdJ) Connaissance parfaite par les acteurs des solutions possibles et de leurs conséquences Hypothèse de rationalité complète du décideur Hypothèse de l'existence d'un optimum économique (Unicité de critère ) Peu de prise en compte du temps (monopériodiques) Pas de prise en compte du comportement des acteurs Pas de communication Pas de processus de négociation Difficilement réutilisable

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

Proposition SMA apportent un instrument nouveau (clairement explicité) pour l’aide à la décision d’un collectif: Prise en compte de nombreux acteurs Des comportements de ces acteurs De l’hétérogénéité de ces comportements Fournissent un cadre structurant pour la modélisation des stratégies d’acteurs

Restitution et discussion Approche proposée Règles d’allocation d’eau SMA Restitution et discussion Compréhensible Acceptable Applicable … Résultats pour n années critères multiples individuels économiques éthiques environnemental Nous avons choisi une simulation MA pour réaliser nos objectifs Nous souhaitons tester dans une démarche d'aide à la négociation de l'intérêt d'une réglementation en montrant les conséquences au niveau individuel (revenu) au niveau de l'ensemble de la région (production globale) au niveau éthique (disparité entre les agriculteurs) au niveau environnemental dans ce but il nous semble que les SMA pourrait présenter une alternative complémentaire aux approches utilisées actuellement

Modélisation des stratégies d’acteurs? Evolution des travaux problématiques Agriculteurs Economistes Distributeur Eau Chercheurs Manga résultats Analyse Modélisation des stratégies d’acteurs? Equipes multidisciplinaires Comment mettre au point le modèle avec une co conception qui passe avec les acteurs de terrain Motivés les acteurs Analyse de la réglementation Un aspect était d’approfondir la modélisation des stratégies d’acteurs Développement d’un planificateur à états mental Ce modèle a été appliqué à la gestion de l’eau sur le bassin versant de la Lère Un des problèmes que nous avons rencontré, c’est la représentation des stratégies sous forme réfutable MangaLère Acteurs de terrain Responsables professionnels

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

MANGA Simulateur Multi-Agent pour l’Aide à la Négociation dans la Gestion de l’eau en Agriculture

MANGA: caractéristiques L’environnement est imprévisible Climat peut changer au cours du temps Interaction entre agents agriculteurs et agent fournisseur d’eau Les objectifs des agents sont divers Pratiquer une culture en année t et une autre en année t+1 Les objectifs dépendent de l’environnement Eau attribuée dépend de la quantité d’eau disponible, qui dépend de la pluviométrie de l’année

MANGA: Architecture Fournisseur Agriculteurs d'eau Centre de Climat Gestion Climat Cultures Données publiques Données publiques Données publiques

Les agents cognitifs/réactifs ENVIRONNEMENT MEMOIRE CONNAISSANCES COMMUNICATION STRATEGIES Environnement Agent cognitif Agent réactif

Les agents cognitifs Une base de procédure décisionnelle: Données: Choix de cultures Ordre de préférence des cultures Affectation de l’eau disponible Niveau d' irrigation Augmenter les capacités d'irrigation Données: Surface Investissement Trésorerie... Une base de procédure de calcul: Prévision des besoins en eau Calcul de la production en fin d'année Calcul des résultats économiques Prévision pour les années suivantes ...

Manga: Agent fournisseur d’eau ENVIRONNEMENT MEMOIRE CONNAISSANCES Eau disponible Comptabilité Les agriculteurs clients… COMMUNICATION Procédures de calcul STRATEGIES Procédures décisionnelles

Communication entre agents Type de performatif Exemple de performatif catégorie Demande DemandeEau NouvelleDemandeEau Rendement Exercitif (action+résolution) Interrogatif (pas de calcul complexe) Réponse AllocationEau Assertif (affirme et informe) Basé sur les actes de langage

Structure d’un message <performatif> : DemandeEau <sender>: Agri N° <receiver> : Fournisseur Eau <nature>: Demande <content> : Eau demandé: 1200 Surface Maïs irriguée : 10 <performatif> : AllocationEau <sender>: Fournisseur Eau <receiver> : Agri N° <nature>: Reponse <content> : Eau attribuée : 800

MANGA: Phases du modèle négociation Q eau disponible Eau allouée Résultats économiques Décision n + 1 Demande eau Début année Fin année Les agriculteurs déterminent en fonction de leur assolement la quantité initiale d’eau d’irrigation à négocier auprès du Fournisseur d’eau sans connaître à l’évidence le climat à venir. Ils envoient cette demande au Fournisseur d’eau. Une phase initiale détermine la séquence des types d’années climatiques, la population initiale des agriculteurs (surface, type d’assolement, irriguant / non irriguant). Chaque année trois phases se succèdent. ·         Une phase de négociation  ·         Une phase de jeu de la nature  Les cultures produisent un rendement en fonction du climat tiré pour l’année considérée et d’une loi de réponse à l’apport d’eau (pluie et irrigation). ·    Chaque acteur cognitif ( agriculteurs et fournisseur d’eau) synthétisent les résultats de l’année et les envoie au fournisseur d’informations  Consommation d’eau qui peut être inférieure à la somme des pluies et de sa demande initiale . ·  Production des cultures en fonction des courbes de réponses à l’eau (type de climat ,plus contrat). ·    Résultats économiques. n Simulations Années 1 AnnéesMax Résultats

MANGA: Interactions 1 2 3 4 5 6 7 8 9 10 11 Agent A envoie sa demande initiale Agent D évalue la demande globale Agent A reçoit une proposition Agent A refuse la proposition Agent A accepte la proposition Fin du processus de négociation Agent A renvoie demande initiale Agent D envoie une proposition aux agents qui restent dans le processus de négociation Agent A modifie demande initiale et envoie nouvelle demande Agent D évalue la demande globale Fin du processus de négociation

Attribution de l’eau OK Agriculteur STOP Évaluation: Analyse réponse Total demande eau Total eau disponible Demande eau Analyse réponse Assolement Année référence Objectif rendement NO OK TOTAL < disponible > disponible YES Règle testée Besoin en eau OK STOP Demande eau Allocation eau = Eau demandée Allocation eau Allocation eau

MANGA: Simulation Données entrée Sorties Conséquences de réglementations Critères d’analyse Règles testées

caractéristiques culture Interface utilisateur règle testée, et définir l’eau disponible pour le fournisseur d’eau caractéristiques agriculteur Interface utilisateur caractéristiques culture caractéristiques du climat

Synthèse des résultats selon 4 critères Les sorties Agriculteur Eau demandée Eau accordée Evolution de l’eau attribuée au cours de la négociation Rendement Eau utilisée, non consommée Charges produits, résultats économiques Fournisseur d’eau Eau disponible Eau utilisée par l’ensemble des agriculteurs Eau restante Evolution de l’allocation d’eau au cours de la négociation Centre de gestion Synthèse des résultats en fonction type d’assolement, type de comportement Synthèse des résultats selon 4 critères

MANGA: Analyse des résultats Différents critères: Individuel besoin et eau accordée par ha production Environnemental consommation eau Eau restante Global Production globale (maïs) Ethique Disparités rendements revenus Définition d’une méthode d’utilisation Définir différents critères pour analyser les résultats

Règle d’allocation au pro rata de la demande 50 % A + 50 % C Comportement différent On constate que ceux qui demande beaucoup obtiennent plus que les modestes Au niveau global ils n’utilisent pas toutes l’eau accordée donc pas de production max Au niveau éthique , pas acceptable A C A C A C

Résultats: Utilisation, Analyse, Validation Ensemble d'agriculteurs: Comportements d'agriculteurs règles testées Données de la simulation MANGA Simulation Ajustement du modèle Implémentation Validation interne Résultats Compréhensibilité oui NON Analyse des Résultats et validation Validation par les experts Validation interne: en utilisant un ensemble de donnees tests pour s’assurer si les sorties sont coherentes a chaque pas de temps oui Acceptabilité NON Nouvelle règle à tester oui Faisabilité NON Nouvelle règle à tester

Règle d’allocation en fonction de la surface en maïs irrigué En fonction de la surface en mais irriguée, le comportement des agriculteurs n’intervient pas Au niveau global ,meilleur production Au niveau rendement , satisfaisant sauf en année treès sèche car pas obtenu l’eau l’eau necessaire D’un point de vue faisablilité ou applicable, cette règle necessite de mobiliser beaucoup de controleur

Résultats: Utilisation, Analyse, Validation Ensemble d'agriculteurs: Comportements d'agriculteurs règles testées Données de la simulation MANGA Simulation Ajustement du modèle Implémentation Validation interne Résultats Compréhensibilité oui NON Analyse des Résultats et validation Validation par les experts Validation interne: en utilisant un ensemble de donnees tests pour s’assurer si les sorties sont coherentes a chaque pas de temps oui Acceptabilité NON Nouvelle règle à tester oui Faisabilité NON Nouvelle règle à tester

Règle d’allocation au pro rata de la demande 50 % A + 50 % C Information visible

Résultats: Utilisation, Analyse, Validation Ensemble d'agriculteurs: Comportements d'agriculteurs règles testées Données de la simulation MANGA Simulation Ajustement du modèle Implémentation Validation interne Résultats Compréhensibilité oui NON Analyse des Résultats et validation Validation par les experts Validation interne: en utilisant un ensemble de donnees tests pour s’assurer si les sorties sont coherentes a chaque pas de temps oui Acceptabilité NON Nouvelle règle à tester oui Faisabilité NON Nouvelle règle à tester

MANGA: Résultats A partir de Manga ont émergés des résultats généraux: La prise en compte de l’hétérogénéité des comportements individuels a des conséquences importantes sur les résultats. L’accroissement de l’information entre différentes classes d’agriculteurs s’accompagne d’une diminution de la disparité et d’une efficacité plus grande de la ressource

MANGA: Conclusion Une ressource de type nappe Acquisition et formalisation des comportements des acteurs en jeu Basé sur les connaissances d’experts Approfondir nos connaissances quant au problème posé Dégager des classes d’objets réutilisables et des méthodes génériques associées SIMULATION : Tester un certain nombre de règles d’allocation d ’eau Montrer l’importance de l’hétérogénéité des comportements des agriculteurs Instaurer un dialogue avec des professionnels afin de déterminer les forces et faiblesses du modèle, les acteurs oubliés, les processus omis LIMITES: Besoin d’approfondir la représentation des stratégies d’acteurs Notamment par un langage propre au domaine

L’évolution de Manga à MangaLère problématiques Agriculteurs Economistes Distributeur Eau Chercheurs Manga résultats Analyse Modélisation des stratégies d’acteurs Equipes multidisciplinaires Un des problèmes que nous avons rencontré, c’est la représentation des stratégies sous forme réfutable MangaLère Acteurs de terrain Responsables professionnels

MangaLère

Agents BDI Modéliser les stratégies des acteurs Structuration des connaissances sous forme de plans Formalisme servant de base de discussion avec les décideurs Représentation des connaissances concise et synthétique Utilisant: Cadre de représentation Langage du domaine

MangaLère: agents BDI perception Action externe Base de connaissances Bibliothèque de plans Objectifs ou sous-objectifs fixés Intentions: plans en attente d ’exécution Mécanisme de sélection de plans Environnement perception Action externe -          Beliefs : Les croyances correspondent à une base de connaissances propres à chaque agent sur l’environnement et sur son propre état. Elles comportent en particulier une bibliothèque de plans d’action qui répondent à des objectifs déterminés. Ces plans peuvent être partiels et pourront encours de simulation être complétés par d’autres plans. Ces plans sont définis par: -          Leur nom, -          La documentation qui permet de les décrire, -          L’objectif qu’ils permettent d’atteindre, -          Le contexte (ensemble de croyances) qui les rendent activables, -          Le déclencheur (c’est à dire les croyances) complémentaires qui déclenchent leur exécution, -          Leurs règles d’exécution. Ces règles peuvent faire appel à la satisfaction d’un sous but dont la réponse sera à rechercher dans la bibliothèque. -       Desires : les objectifs destinés à évoluer en cours de simulation. Ils peuvent être multiples , ce décliner en sous-objectifs et rentrer en conflits. -       Intentions : celles-ci forment le sous-ensemble de plans en attente d’exécution. Ils répondent aux objectifs courant. Ces derniers sont poursuivis jusqu’à ce qu’ils soient atteints. Ils sont abandonnés prématurément si l’agent les jugent hors d’atteinte ou incompatibles avec un objectif supérieur. Ce mécanisme de raisonnement manipule les objectifs (Desires), les connaissances ou base de données de l’agent (Beliefs), la bibliothèque de plans pour sélectionner le plan approprié. A chaque modification de la base de données ou des objectifs (Desires) ou de la création de nouveaux (sous) objectifs le mécanisme de raisonnement : -          Continue l’exécution du plan en cours (intention) -          Et/ou choisit un nouveau plan à exécuter (intention) -          Et/ou arrête l’exécution d’un ou différents plans.

MangaLère: agent Fournisseur d’eau ENVIRONNEMENT Croyances (Beliefs) : Données et historique sur retenues et rivières Information sur la réglementation dictée par le préfet en cas de pénurie de la ressource Données sur le climat Adhérents (débit souscrit) … Objectifs (Desires) : Remplir Retenues Fournir EauReseaux Bibliothèque de plans Remplissage Remplissage_ Gouyre Fournir eau Gagnol Fournir eau Tordre Fournir_Eau Gouyre Module de sélection Remplissage_Gouyre Fournir_Eau_Max Intentions -          Beliefs : Les croyances correspondent à une base de connaissances propres à chaque agent sur l’environnement et sur son propre état. Elles comportent en particulier une bibliothèque de plans d’action qui répondent à des objectifs déterminés. Ces plans peuvent être partiels et pourront encours de simulation être complétés par d’autres plans. Ces plans sont définis par: -          Leur nom, -          La documentation qui permet de les décrire, -          L’objectif qu’ils permettent d’atteindre, -          Le contexte (ensemble de croyances) qui les rendent activables, -          Le déclencheur (c’est à dire les croyances) complémentaires qui déclenchent leur exécution, -          Leurs règles d’exécution. Ces règles peuvent faire appel à la satisfaction d’un sous but dont la réponse sera à rechercher dans la bibliothèque. -       Desires : les objectifs destinés à évoluer en cours de simulation. Ils peuvent être multiples , ce décliner en sous-objectifs et rentrer en conflits. -       Intentions : celles-ci forment le sous-ensemble de plans en attente d’exécution. Ils répondent aux objectifs courant. Ces derniers sont poursuivis jusqu’à ce qu’ils soient atteints. Ils sont abandonnés prématurément si l’agent les jugent hors d’atteinte ou incompatibles avec un objectif supérieur. Ce mécanisme de raisonnement manipule les objectifs (Desires), les connaissances ou base de données de l’agent (Beliefs), la bibliothèque de plans pour sélectionner le plan approprié. A chaque modification de la base de données ou des objectifs (Desires) ou de la création de nouveaux (sous) objectifs le mécanisme de raisonnement : -          Continue l’exécution du plan en cours (intention) -          Et/ou choisit un nouveau plan à exécuter (intention) -          Et/ou arrête l’exécution d’un ou différents plans.

Objectifs Sous-objectifs plans

MangaLère: plan Langage naturel Langage formalisé Le contenu du plan est compréhensible par le programme (Compilation) compréhensible et modifiable par les utilisateurs Ce lexique est propre a la classe reservoir(definition ontologie)

MangaLère: Exemple de plan Langage naturel Langage formalisé Le contenu du plan est compréhensible par le programme (Compilation) compréhensible et modifiable par les utilisateurs Ce lexique est propre a la classe reservoir(definition ontologie) Ontologie reservoirs

Conception de plans Responsables professionnels Acteurs économistes concernés Responsables professionnels économistes agronomes Explication du processus Remplissage Formalisation du cadre de représentation des connaissances Formalisation du langage création ontologie Formalisation des plans

Séquencement d’éxecution d’un plan Inactif Objectif 1 Sous Objectifs Plans Objectif 2 CD Déclenché CMV CMV CMV Actif En veille CMV CMV CMV CA CA Arrêt

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

Implémentation C++ builder 5 Durée de la simulation Travaux existants dans l’équipe bibliothèques réutilisables Compilateurs Utilisation des données d’autres modèles Durée de la simulation 100 agricuteurs, 12 ans, < 1 min

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

Evaluation Terrain: Tarn-et-Garonne Validation: « humaine » Co-conception avec les acteurs concernés Analyse des résultats: compréhensible, acceptable, applicable Validation interne Ensemble de données tests pour s’assurer si les sorties sont consistantes à chaque pas de la simulation. Implémentation et facilité d’utilisation du modèle: Etudiants

PLAN Objectifs de la thèse Contexte Approche proposée Manga et extension MangaLère Implémentation Evaluation Conclusions et perspectives

Conclusions Dans le cadre de l’aide à décision d’un collectif A côté des instruments types DSS, NDSS Apport d’une modélisation multi-agent Prise en compte de nombreux acteurs Prise en compte des comportements et de leurs hétérogénéités Concepts BDI: Recueillir les objectifs et les stratégies des acteurs Les formaliser et de les rendre réfutables Applicable sur un cas concret Permet la co-construction du modèle avec les acteurs concernés Recherche permanente d ’un optimum en effet, le plan en cours n ’est abandonné que si l ’agent le décide en fonction de ses croyances ceci reprend l ’idée du décideur n ’ayant ni les moyens ni le temps de remettre en cause à tout moment ses décisions. Toutefois cette ouverture autorise la rationalité complète

Perspectives Elargissement du modèle Tenir compte d’autres acteurs: semenciers… Adaptation de la réglementation en cours de campagne Evolution des comportements par des approches de type apprentissage (programmation génétique, apprentissage par renforcement) Typologie des acteurs basée sur le comportement Méthodes de validation par l’usage: appropriation de l’instrument par les acteurs concernés Elargir les partenariats scientifiques: Économistes (Théorie des jeux), Hydrologues, Agronomes,…

MangaLère: Le temps Agenda (Le temps: an, mois, jour, heure, minute) Agent à activer date Agent à activer Date Ouvre BAL Execute programme Date activation suivante Exemple: pas de temps jour Date: 6 mai Ouvre BAL Execute programme (Remplir Gouyre) Date activation suivante: 7 mai Date Agent à activer 6 mai 7 mai ASA

MangaLère: Le temps Exemple: événements successifs quasi instantanés avec échange de messages Agent ASA Date: 6 mai Ouvre BAL Execute programme EnvoiMessage à Agri1 Date Agent à activer 6 mai ASA Agri1 Agri 1 Date: 6 mai Ouvre BAL Execute programme EnvoiMessage à ASA Agent ASA Date: 6 mai Ouvre BAL Execute programme

MangaLère: Enchaînement de plans Essayer Plan2 Si plan2 pas déclenché Si déclenchement = impossible continuer plan1 Si mise en veille = vrai continuer plan1 sinon Exécuter Programme (plan2) continuer plan1 Le gouyre essaye le plan tordre Si plan tordre n’est pas declenché voir si on peux le declencher , en fonction des conditions de déclenchement (déclencheur) Si c’est impossible il continue a executer le plan gouyre Sinon il execute le programme du plan tordre sauf si le plan tordre est mis en veille

retour Comportement A: Comportement B: Comportement C: DemandeEau Fonction de leur besoin Année de référence TS Assurer sécurité: augmentation demande 20% Comportement B: DemandeEau Fonction de leur besoin Année de référence TS Assurer sécurité: augmentation demande 0% Comportement C: DemandeEau Fonction de leur besoin Année de référence S Assurer sécurité: augmentation demande 0% retour

retour

retour Rendement Eau 160 140 120 100 80 60 40 20 Humide Sèche 20 40 60 80 100 120 140 160 Eau Rendement Humide Sèche Très sèche retour

retour