Analyses de sensibilité globales de modèles complexes, quelques applications dans le nucléaire B. Iooss CEA Cadarache Direction de l’Énergie Nucléaire Département d’Études des Réacteurs Laboratoire de Conduite et Fiabilité des Réacteurs 2006 17/09/2018

Plan Analyse de sensibilité (qualitative) d’un code de calcul combustible (en collaboration avec le Département d’Études des Combustibles du CEA Cadarache) Analyse de sensibilité (quantitative) d’un modèle hydrogéologique (en collaboration avec l’Institut Kurchatov et le Département de Technologie Nucléaire du CEA Cadarache) Conclusions

Une méthode qualitative : Morris Méthode de « screening » (criblage) un modèle comportant beaucoup de facteurs est difficile à explorer … … mais souvent, seulement quelques facteurs sont influents objectif qualitatif : identifier rapidement ces facteurs La méthode de Morris (1991) permet de classer les facteurs en trois groupes selon leurs effets : effets négligeables effets linéaires et sans interaction effets non linéaires et/ou avec interactions Pas d’hypothèses sur le modèle… … mais mieux vaut une certaine régularité…

Méthode de Morris : plan d’expériences Discrétisation de l’espace P1 Nécessite p+1 expériences OAT (One-at-A-Time) P2 P3 Permet de calculer un effet élémentaire pour chaque facteur X1

Méthode de Morris : plan d’expériences (suite) Le plan d’expériences est répété R fois (au total : R*(p+1) expériences) Ceci donne R-échantillons pour chaque effet élémentaire 3 2 4 1 5 Mesures de sensibilité X1

Méthode de Morris : mesures de sensibilité est une mesure de la sensibilité : valeur importante  effets importants (en moyenne)  modèle sensible aux variations du facteur est une mesure des interactions et des effets non linéaires : valeur importante  effets différents les uns des autres  effets qui dépendent de la valeur : soit du facteur lui-même : effet non linéaire soit des autres facteurs : interaction (la méthode ne permet pas de distinguer les 2 cas)

Méthode de Morris : exemple 20 facteurs 210 simulations  Graphe (mu*, sigma) On distingue les 3 groupes: Effets négligeables Effets linéaires Effets non linéaires et/ou avec interactions 1 3 2 Cas test : fontion non monotone de Morris (source Saltelli)

Exemple : code combustible HTR Code de calcul ATLAS : simulation du comportement du combustible à particules sous irradiation Noyau de matière fissile Carbone pyrolytique poreux Carbone pyrolytique dense Carbure de Silicium Sources de contamination : rupture de particules Etudes de fiabilité : thèse C. Cannamela (CEA Cadarache/DEC) Aide au développement du modèle numérique : Etude des incertitudes liées à l’utilisation d’ATLAS Analyse de sensibilité (stage G. Pujol) < 1mm  Nombre de particules dans un réacteur : de 109 à 1010 !

3 sources d’incertitudes en entrée 10 paramètres de fabrication des particules (épaisseurs, …) Spécifications de fabrication lois normales tronquées

3 sources d’incertitudes en entrée 10 paramètres de fabrication des particules (épaisseurs, …) Spécifications de fabrication lois normales tronquées 5 paramètres d’irradiation (température, …) Intervalle [min,max] lois uniformes

3 sources d’incertitudes en entrée 10 paramètres de fabrication des particules (épaisseurs, …) Spécifications de fabrication lois normales tronquées 5 paramètres d’irradiation (température, …) Intervalle [min,max] lois uniformes 28 lois de comportement (fonctions des température, flux, …) Avis d’expert constantes multiplicatives (de loi U[0.95,1.05]) Exemple : loi de densification du PyC

Réponses La rupture d’une particules peut être provoquée par la rupture des couches denses externes (IPyC, SiC, OPyC) Les réponses sont choisies pour être représentatives du phénomène de rupture : contraintes orthoradiales maximales dans les couches externes t

Morris (résultats G. Pujol) Grande sensibilité à ces paramètres (épaisseurs, température d’irradiation) Interactions faibles Les lois sur le fluage et la densification du PyC sont les lois auxquelles le code est le plus sensible

Morris (résultats G. Pujol) Grande sensibilité à ces paramètres (épaisseurs, température d’irradiation) Interactions faibles Les lois sur le fluage et la densification du PyC sont les lois auxquelles le code est le plus sensible Conclusion : L’analyse de sensibilité qualitative donne une idée de la manière dont peut répondre la sortie en fonction de variations potentielles des entrées… très utile pour identifier les paramètres potentiellement influents

Plan Analyse de sensibilité (qualitative) d’un code de calcul combustible (en collaboration avec le Département d’Études des Combustibles du CEA Cadarache) Analyse de sensibilité (quantitative) d’un modèle hydrogéologique (en collaboration avec l’Institut Kurchatov et le Département de Technologie Nucléaire du CEA Cadarache) Conclusions

Site du Stockage Temporaire des Déchets Radioactifs Collaboration Institut Kurchatov/CEA Site (2 ha) situé aujourd’hui en banlieue de Moscou De 1943 à 1974 : stockage de déchets radioactifs solides Reconnaissance du site vers 1990 : réseau de 20 piézomètres Contamination nappe supérieure 90Sr Les radionucléides sont mesurés dans le sol et l’eau souterraine Estimation de l’impact de la contamination sur l’environnement (degré de contamination de la nappe) Faut-il réhabiliter le site ? (excavation des déchets et traitement des sols)

Phases de l’étude E. Volkova (Institut Kurchatov), F. Van Dorpe et B. Iooss (CEA Cadarache) Modélisation : développement d’un scénario d’écoulement et de transport du 90Sr sur le site entre 2002 et 2010, avec le logiciel MARTHE (BRGM) Identification des paramètres de transport de ce modèle

Phases de l’étude E. Volkova (Institut Kurchatov), F. Van Dorpe et B. Iooss (CEA Cadarache) Modélisation : développement d’un scénario d’écoulement et de transport du 90Sr sur le site entre 2002 et 2010, avec le logiciel MARTHE (BRGM) Identification des paramètres de transport de ce modèle Analyse de sensibilité du modèle : paramètres qui influent le plus sur l’incertitude des concentrations calculées paramètres à préciser et à identifier en priorité Les paramètres d’entrée sont des variables physiques scalaires, donc bien adaptées à une analyse de sensibilité quantitative.

Phases de l’étude E. Volkova (Institut Kurchatov), F. Van Dorpe et B. Iooss (CEA Cadarache) Modélisation : développement d’un scénario d’écoulement et de transport du 90Sr sur le site entre 2002 et 2010, avec le logiciel MARTHE (BRGM) Identification des paramètres de transport de ce modèle Analyse de sensibilité du modèle : paramètres qui influent le plus sur l’incertitude des concentrations calculées paramètres à préciser et à identifier en priorité Les paramètres d’entrée sont des variables physiques scalaires, donc bien adaptées à une analyse de sensibilité quantitative. De plus, besoin d’une analyse d’incertitudes : validation du modèle : comparaison entre concentrations calculées/mesurées (2002-2004) Estimation de l’incertitude sur la prédiction du modèle en 2010

Modèle basé sur le logiciel MARTHE (BRGM) Modélisation d’Aquifère par un maillage Rectangulaire en régime Transitoire pour le calcul Hydrodynamique des Ecoulements 250m  350m, 3 couches (aquifère supérieur), 200 pas de temps Ecoulement transitoire 3D ; convection-dispersion ; sorption linéaire ; décroissance radioactive Pas de terme source ; Concentration initiale : interpolation des données

Modèle basé sur le logiciel MARTHE (BRGM) Modélisation d’Aquifère par un maillage Rectangulaire en régime Transitoire pour le calcul Hydrodynamique des Ecoulements 250m  350m, 3 couches (aquifère supérieur), 200 pas de temps Ecoulement transitoire 3D ; convection-dispersion ; sorption linéaire ; décroissance radioactive Pas de terme source ; Concentration initiale : interpolation des données Exemple d’un calcul August 2002 December 2010 Cartes de concentrations Variables de sortie intéressantes : concentrations aux 20 piézomètres

Plan d’expériences numériques 20 paramètres d’entrée : Perméabilité des 3 couches et des 4 zones Coefficient de partage des 3 couches Intensité d’infiltration des 3 zones Porosité Dispersivités longitudinale et transversale des 3 couches Choix des distributions statistiques des entrées sur la base de mesures, de revues bibliographiques, de jugements d’expert, de spéculations, … 300 calculs (échantillonnage par LHS) : - une centaine de calculs, - résultats pas assez précis, on relance une centaine de calculs, … zone 3 d’infiltration – zone 2 d’infiltration – zone 1 d’infiltration – tout le reste – zone d’absence de sable à gros grains dans la deuxième couche

Méthodologie d’analyse de sensibilité globale Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes

Méthodologie d’analyse de sensibilité globale Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes Analyse de sensibilité entre les sorties (18) et les entrées (20) ? Relation linéaire (R²) Oui Coefficient de corrélation (Pearson) Coefficient de régression standard Indices de sensibilité

Méthodologie d’analyse de sensibilité globale Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes Analyse de sensibilité entre les sorties (18) et les entrées (20) ? Relation linéaire (R²) Non ? Relation monotone Oui (R²*) Coefficient de corrélation (Pearson) Coefficient de régression standard Oui Coefficient de corrélation des rangs (Spearman) Coefficient de régression basés sur les rangs Indices de sensibilité

Méthodologie d’analyse de sensibilité globale Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes Analyse de sensibilité entre les sorties (18) et les entrées (20) ? Relation linéaire (R²) Non ? Relation monotone Oui (R²*) Coefficient de corrélation (Pearson) Coefficient de régression standard Oui Non Indices de Sobol (nécessitent des milliers de calculs) Coefficient de corrélation des rangs (Spearman) Coefficient de régression basés sur les rangs Indices de sensibilité Code trop coûteux Métamodèle

Métamodèle (surface de réponse) Fonction mathématique ou numérique qui peut remplacer le code de calcul dans le domaine de variation des paramètres influents. Exemples : polynômes, splines, réseaux de neurones, krigeage, … Qualités attendues d’une surface de réponse : représentative du code étudié, i.e. une bonne approximation, ayant de bonnes capacités de prédiction (critères statistiques estimés sur une base de test, par validation croisée, bootstrap) temps de calcul négligeable (<< 1 sec.). Utilités d’un métamodèle : Prédicteur rapide et facile à implémenter ; Propagation d’incertitudes, estimation de quantiles ; Analyse de sensibilité globale quantitative ; Optimisation/calibration de paramètres (très coûteux) ;

Analyse de sensibilité globale sur MARTHE Relations entrées/sortie linéaires : p23 (R2 = 0,78) ; p4-76 (R2 = 0,71)

Analyse de sensibilité globale sur MARTHE Relations entrées/sortie linéaires : p23 (R2 = 0,78) ; p4-76 (R2 = 0,71) Relations entrées/sortie monotones : p4-76 (R2* = 0,95) ; p102K (R2* = 0,90) p104 (R2* = 0,91) ; p23 (R2* = 0,90) ; p29K (R2* = 0,83)

Analyse de sensibilité globale sur MARTHE Relations entrées/sortie linéaires : p23 (R2 = 0,78) ; p4-76 (R2 = 0,71) Relations entrées/sortie monotones : p4-76 (R2* = 0,95) ; p102K (R2* = 0,90) p104 (R2* = 0,91) ; p23 (R2* = 0,90) ; p29K (R2* = 0,83) Relations non monotones Constructions de métamodèles par boosting d’arbres de régression R²~ 0.6 pour 5 autres variables de sortie Calcul des indices de Sobol sur les métamodèles Répétitions des estimations des indices de Sobol Meilleure estimation (moyenne) et intervalle de confiance Pour 8 réponses, les métamodèles ne son pas corrects ; les résultats ne sont donc pas validés.

Résultats de l’analyse de sensibilité globale - groupe 1 - groupe 3 - groupe 2 Groupe 1 : kd1 (coef. de partage de la couche 1) Groupe 2 : kd2 (coef. de partage de la couche 2) Groupe 3 : i3 (intensité d’infiltration) Pas d’interaction entre les paramètres d’entrée (Si ~ STi)

Conclusions Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres.

Conclusions Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. La forme de la deuxième couche semble très influente, il faudra trouver un moyen pour quantifier cette influence. On propose de la faire varier par simulation géostatistique. Analyse de sensibilité de modèle ayant des champs aléatoires en entrée (travail en cours).

Conclusions Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. La forme de la deuxième couche semble très influente, à suivre … Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains

Conclusions Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. La forme de la deuxième couche semble très influente, à suivre … Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains La précision des paramètres les plus influents permet de : - diminuer l’incertitude de la prédiction du modèle ; revenir sur la modélisation des incertitudes des paramètres les plus influents là où la comparaison calculs/mesures est mauvaise.

Conclusions de l’étude Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. La forme de la deuxième couche semble très influente, à suivre … Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains La précision des paramètres les plus influents permet de : - diminuer l’incertitude de la prédiction du modèle ; revenir sur la modélisation des incertitudes des paramètres les plus influents là où la comparaison calculs/mesures est mauvaise. Perspectives : Meilleurs métamodèles avec le krigeage et un algorithme de sélection de variables efficace (stage d’A. Marrel)

Conclusions de l’étude Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. La forme de la deuxième couche semble très influente, à suivre … Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains La précision des paramètres les plus influents permet de : - diminuer l’incertitude de la prédiction du modèle ; revenir sur la modélisation des incertitudes des paramètres les plus influents là où la comparaison calculs/mesures est mauvaise. Perspectives : Meilleurs métamodèles avec le krigeage et un algorithme de sélection de variables bien chiadé (thèse d’A. Marrel) Prise en compte de l’aspect spatial et temporel des variables de sortie par le modèle de krigeage (thèse A. Marrel)

Plan Analyse de sensibilité (qualitative) d’un code de calcul combustible (en collaboration avec le Département d’Études des Combustibles du CEA Cadarache) Analyse de sensibilité (quantitative) d’un modèle hydrogéologique (en collaboration avec l’Institut Kurchatov et le Département de Technologie Nucléaire du CEA Cadarache) Conclusions

Méthodes globales : complexité modèle/nb de simulations nécessaires (p = nombre de paramètres d’entrée) Non monotone Construction métamodèle Morris FAST SOBOL MC PEX fact. fract. (polynôme) Monotone + interactions Monotone sans interaction Bifurcations séquentielles Corrélations des rangs OAT Min-Max Corrélations linéaires Linéaire p/2 p 2p 10p 100p 1000p 10000p

De quoi dépend le choix des méthodes utilisées 2 types de méthodes : Screening : méthode qualitative, pas de lois de proba sur les entrées Méthodes quantitatives : modélisation probabiliste des entrées Objectif recherchée Ex : analyse de code (qualitative Morris, quantitative Sobol) informations dans un domaine de la réponse, proba faibles, … calibration et validation de modèles, … Nombre de paramètres d’entrée incertains Ex : plusieurs centaines de paramètres bifurcations séquentielles Complexité du modèle Temps de calcul et maniabilité du code Ex : code non automatisable PEX fact. fract, plan optimal Nombre de variables de sortie d’intérêt, …

Quelques besoins en R&D pour nos applications Métamodèles Modèles pour réponses temporelles, spatiales Modèles à entrées temporelles, spatiales Développer des plans adaptés au métamodèle et à l’objectif visé lors de son utilisation Métamodèles adaptés à l’évaluation de quantiles Analyse de sensibilité Impact des incertitudes de modèle Caractères spatial et temporel des entrées/sorties Développement d’indices basés sur d’autres mesures que la variance (e.g. l’entropie)

Merci et bon week-end ! Merci à Gilles Pujol et au département d’Etude des Combustibles (CEA Cadarache) pour leur exemple sur Morris Merci à Elena Volkova (Institut Kurchatov) pour son exemple sur MARTHE Merci à Nicolas Devictor de m’avoir laissé parler Merci aux organisateurs de ces journées !