Analyse de Résultats de Simulation Pierre-Yves Gueniffey – Julien Roux Analyse de Résultats de Simulation Cours InfoTronique

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression de l’état transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Introduction La simulation : outil incontournable InfoTronique Introduction La simulation : outil incontournable Objectifs de la simulation ? Qu’est-ce qu’on demande à un modèle de simulation ? Développement d’un modèle de simulation : Vérification du modèle de simulation Validation du modèle de simulation Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Introduction Deux questions essentielles : InfoTronique Introduction Deux questions essentielles : Combien de temps la simulation doit-elle fonctionner ? Quand est-ce que le modèle a atteint un état stable ? Efficacité du modèle : Estimation de la variance Réduction de la variance Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression de l’état transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Vérification = débogage S’assurer que le modèle fait ce qu’il est censé faire Beaucoup de techniques dans la littérature Nous allons en décrire quelques unes Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Création modulaire et hiérarchique Les modèles de simulation sont de très gros programmes Modularité : Le modèle doit être constitué de modules qui communiquent entre eux par des interfaces bien définies Hiérarchie : Chaque module du programme est divisé récursivement en modules plus petits jusqu’à obtenir des modules faciles à déboguer Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Création modulaire et hiérarchique Exemple : Etude de congestion d’un réseau Modèle Système Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Création modulaire et hiérarchique Exemple : Etude de congestion d’un réseau Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Antibugging Ajout de vérifications et de messages dans le programme qui détectent les bugs. Exemple dans un réseau : Nb paquets sources = Nb paquets reçus + Nb paquets perdus Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Parcours structuré Le développeur explique chaque ligne de son code à une autre personne Ceci permet souvent de détecter des bugs Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Modèles déterministes Pas de variables aléatoires Permettre à l’utilisateur de spécifier n’importe quelle distribution Ainsi il peut calculer les variables de sortie et déboguer Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Exécuter des cas simples Assez complexes pour être analysés sans simulation Exemples dans un réseau : Un seul paquet Une seule source Un seul nœud intermédiaire Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Trace Liste temporelle d’évènements et de variable Ajoute des appels processeur Doit pouvoir être désactivé Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Trace Exemple dans un réseau : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Affichage graphique Longue durée des simulations L’affichage graphique permet à l’utilisateur de savoir où en est le programme Plus compréhensible que les traces Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Test de continuité Exécuter plusieurs fois la simulation avec de petits changements Petits changements dans les entrées du modèle Impliquent généralement de petits changements dans les sorties Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Test de continuité Exemple dans un réseau : Courbe avant vérification Courbe après vérification Sortie Sortie Nombre de sources Nombre de sources Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Tests de dégénérescence Test des cas extrêmes Exemples dans un réseau : Aucune source Aucun routeur Routeurs avec des temps de service nuls Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Tests de consistance Test avec des paramètres d’entrée différents qui ont les mêmes effets Exemple dans un réseau : 2 sources avec 100 paquets / s et 4 sources avec 50 paquets / s Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Indépendance de « germe » Les germes utilisés pour la génération de nombres aléatoires ne doivent pas affecter le résultat final Exécuter la simulation avec différentes valeurs de germes Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de vérification de modèles InfoTronique Techniques de vérification de modèles Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles Qu’est-ce que la validation de modèle ? Trois aspects essentiels pour valider un modèle : la validation des hypothèses émises au départ la validation des valeurs mises en entrée la validation des valeurs de sortie Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles Validation des trois aspects par : (1) Avis d’experts (2) Des mesures effectuées auprès d’un système réel (3) Des résultats théoriques Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles (1) Avis d’experts Principe Le choix des experts Comment les experts procèdent ? Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles (2) Mesures effectuées auprès d’un système réel Principe Méthode peu utilisée car : Souvent le système réel n’existe pas Coût élevé des mesures Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles (3) Résultats théoriques Principe Les résultats théoriques sont utilisés pour des cas complexes Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles Un modèle n’est jamais parfaitement modélisé Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Techniques de validation de modèles InfoTronique Techniques de validation de modèles Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression de l’état transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Définitions : Comportement à l’état uniforme : Comportement lorsque le système a atteint un état stable Etat transitoire : Partie initiale de la simulation, avant l’état stable Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Dans la plupart des simulations, on ne s’intéresse qu’au comportement à l’état final Dans ce cas l’état transitoire ne doit pas être inclus dans le programme final Il faut le supprimer Méthodes empiriques Nous allons les décrire Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Longues exécutions Simulations assez longues pour s’assurer que les conditions initiales n’affectent pas les résultats Nécessite des ressources Difficile de savoir si la durée d’exécution est suffisamment longue Méthode non recommandée Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Initialisation appropriée Démarrer la simulation dans un état proche de l’état uniforme Réduction de la durée de la période transitoire Exemple : Une simulation d’exécution CPU doit démarrée avec des tâches en attente Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Troncation n observations On ignore les l premières observations On calcule le minimum et le maximum des n-l observations restantes On répète l’opération jusqu’à ce que l’observation l+1 ne soit ni le maximum ni le minimum Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Troncation Exemple : Intervalle transitoire Valeur Numéro de l’observation Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Suppression des données initiales Réplications : Exécution de la simulation sans changer les paramètres d’entrée mais en changeant les germes des nombres aléatoires m réplications de taille n xij : la jéme observation de la ième réplication Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Suppression des données initiales Calcul de la moyenne : Assigner 1 à l Supposer que l’état transitoire dure seulement l, supprimer les l premières observations Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Suppression des données initiales Calcul du changement relatif Changement relatif = Répéter les actions 3 et 4 en variant l de 1 à n-1. Après une certaine valeur de l, le graphe se stabilise. Cette valeur de l est la durée de l’état transitoire Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Suppression des données initiales Exemple : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Déplacer la moyenne de réplications indépendantes Similaire à la méthode précédente Utilisation d’une fenêtre de temps mouvante Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Lots de Moyennes Similaire aussi Très longues simulations divisées en parties de durée égale Calcul de la variance Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Suppression de l’état transitoire InfoTronique Suppression de l’état transitoire Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression de l’état transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Simulations terminales InfoTronique Simulations terminales Cas des simulations qui n’atteignent jamais un état final Dans ce cas, étude de l’état transitoire Exemples : Transfert de petits fichiers sur un réseau Systèmes qui s’éteignent chaque jour à 17h Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Simulations terminales InfoTronique Simulations terminales Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance Bien choisir la durée de simulation Rappel : La simulation est découpée en échantillons Moyenne d’un échantillon : Variance de la moyenne d’un échantillon pour n observations indépendantes : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance Trois méthodes pour calculer correctement la variance : (1) Réplications indépendantes (2) Méthode des sous échantillons (3) Méthode de régénération Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (1) Réplications indépendantes Repose sur la technique de réplication Le principe : m réplications de taille n + n0 (avec n0 la longueur de la phase de transition) Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (1) Réplications indépendantes Calcul de la moyenne pour chaque réplication: Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (1) Réplications indépendantes Calcul d’une moyenne générale pour toutes les réplications: Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (1) Réplications indépendantes Calcul de la variance de la moyenne répliquée : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (1) Réplications indépendantes Intervalle de confiance pour la réponse moyenne : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Le principe : simulation de (N + n0) observations n0 : nombre d’observations dans la phase de transition On ignore les n0 observations Les observations restantes sont divisées en m lots : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Calcul de la moyenne pour chaque lot : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Calcul de la moyenne générale : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Calcul de la variance des moyennes du lot : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Intervalle de confiance pour la réponse moyenne : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Meilleure méthode que les réplications indépendantes Calcul de la covariance pour optimiser l’intervalle de confiance : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (2) Méthode des sous échantillons Autocovariance et variance pour des tailles de lots différentes Auto covariance Taille des lots Variance Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Le principe : Simulation régénérative Points de régénération : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Considérons la simulation régénérative suivante : m cycles de tailles n1,…,nm Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Moyennes d’un cycle : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Procédure pour calculer la moyenne générale et son intervalle de confiance : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Calcul des sommes de cycle : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Calcul de la moyenne générale : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Calcul de la différence entre les sommes de cycles attendus et observés : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Calcul de la variance des différences : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Calcul de la longueur d’un cycle moyen : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Intervalle de confiance pour la réponse moyenne : Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance (3) Méthode de régénération Avantage de cette méthode : Tient compte de la phase de transition Inconvénient de cette méthode : Temps de simulation ?? Point de régénération ?? Application des méthodes de réduction de variance ?? Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Critère de fin : Estimation de la variance InfoTronique Critère de fin : Estimation de la variance Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Plan Introduction Techniques de vérification de modèles InfoTronique Plan Introduction Techniques de vérification de modèles Techniques de validation de modèles Suppression transitoire Simulations terminales Critère de fin : Estimation de la variance Réduction de la variance Conclusion Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Réduction de la variance InfoTronique Réduction de la variance Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Réduction de la variance InfoTronique Réduction de la variance Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

Conclusion Réaliser une simulation c’est déjà bien… InfoTronique Conclusion Réaliser une simulation c’est déjà bien… Mais ce n’est pas tout… Il faut aussi la valider et l’analyser. Nous avons vu plusieurs méthodes pour cela Pour être sûr de s’approcher des cas réels Il faut les appliquer toutes Bon courage … Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux

InfoTronique Questions Cours - Analyse de Résultats de Simulation – P.Y. Gueniffey, J. Roux