Précision et exactitude 11ème MIEC - 21ème JIREC Multimédia et Informatique dans l'Enseignement de la Chimie Journées pour l'innovation et la Recherche dans l'Enseignement de la Chimie 1er, 2 et 3 Juin 2005 à Autrans Pierre LANTERI

Comment présenter les résultats de mesures ? Encadrement des résultats (intervalles de confiance) Validité des résultats (tests d’hypothèses) Etablissement de prévisions (utilisation de modèles prévisionnels)

Précision et exactitude Lorsque l’on réalise des mesures (ou des analyses) on veut rendre un résultat en s’interrogeant sur la validité de ce que l’on présente. Dans ce contexte, cela implique l’évaluation des caractéristiques suivantes : Justesse (ou Exactitude) Répétabilité Fidélité (ou Précision) Reproductibilité Justesse et Fidélité Robustesse Rugosité

Comprendre ces définitions, c’est aussi savoir utiliser les notions : de variance, d’écart-type, d’intervalle de confiance, de distributions théoriques (Gauss, Student, Fisher), de tests d’hypothèses, Notions qui font l’objet des statistiques descriptives.

Les ERREURS Expérimentales Deux types d’erreur Erreur Systématique Erreur Aléatoire appelée encore «biais», elle varie toujours dans le même sens par rapport à la moyenne, elle se répartit de part et d'autre de la valeur moyenne (  variance, écart-type, étendue). Les erreurs systématiques affectent l'exactitude (justesse). Les erreurs aléatoires sont relatives à la fidélité (précision).

Erreur Expérimentale et Bonnes Pratiques…. Les Bonnes Pratiques (de Développement, de Laboratoire, d’Atelier…) excluent en principe toute erreur systématique. Toutes les notions que nous exposons ici reposent sur l’hypothèse que l’erreur expérimentale est purement aléatoire : et qu’elle suit une loi Normale de moyenne nulle (centrée sur zéro) et de variance s2 . Les Bonnes Pratiques…. consistent à minimiser s2, c’est à dire à minimiser la dispersion du « résultat » expérimental.

Justesse, Fidélité et Erreur : Exemple Quatre opérateurs A, B, C et D dosent 10 ml de solution 0,1M de soude, mesurés exactement (précision instrumentale de 0,05 ml) avec une solution d'acide qui titre exactement 0,1 M : A B C D 10,08 9,88 10,19 10,04 10,11 10,14 9,79 9,98 10,09 10,02 9,69 10,02 10,10 9,80 10,05 9,97 10,12 10,21 9,78 10,04

A B C D 10,08 9,88 10,19 10,04 10,11 10,14 9,79 9,98 10,09 10,02 9,69 10,02 10,10 9,80 10,05 9,97 10,12 10,21 9,78 10,04 Inexact Exact Inexact Exact moyenne 10,10 10,01 9,90 10,01 écart-type 0,016 0,172 0,21 0,033 Précis Imprécis Imprécis Précis

Intervalle de confiance 0,9973 Probabilité = 99,73% pour que x soit compris dans l’intervalle m  3 s Pour encadrer un résultat on parlera d’intervalle de confiance : il y a plus de 99% de chances d’obtenir un résultat dont la valeur est égale à la valeur centrale  3 s.

Représentation graphique 9,6 9,7 9,8 9,9 10 10,1 10,2 10,3 10,4 N° essai 1 2 3 4 5 B C A 99,7% des valeurs expérimentales doivent être comprises dans l’intervalle 10 ml  0,048 ml D Méthode juste et fidèle Valeur théorique de 10 ml, si on estime l’écart-type expérimental à 0,016 ml (opérateur A) alors :

Méthodologie Pour la Maîtrise d’un Procédé ou d’une Méthode (d’analyse par exemple) il faut : Procurer une connaissance totale et non biaisée des possibilités du Procédé ou de la Méthode telles que : justesse, fidélité et robustesse. Structurer le travail expérimental de telle manière que les validations appropriées des caractéristiques du Procédé ou de la méthode puissent être considérées simultanément.

Méthodologie des Plans d’Expériences Procurer une connaissance totale et non biaisée des possibilités du Procédé ou de la Méthode telles que : justesse, fidélité et robustesse. Outils Statistiques Structurer le travail expérimental de telle manière que les validations appropriées des caractéristiques du Procédé ou de la méthode puissent être considérées simultanément. Méthodologie des Plans d’Expériences

MISE AU POINT DE METHODES ET PLANS D’EXPERIENCES ROBUSTESSE

Développement de Méthodes et Robustesse Dans les exemples utilisés précédemment, nous sommes partis d'un ensemble de données issues d'une méthode d'analyse définie, validée, dont on connaît tous les paramètres de mise en œuvre, lesquels ont conduit à un protocole expérimental précis. Mais en amont : "L'analyse", "Le procédé », qu’ils soient chimiques ou physico-chimiques, impliquent la mise au point et l'utilisation de "méthodes".

Il peut s’agir : - d'adapter une méthode existante au matériel dont on dispose ou à un nouveau type d'échantillons que l'on doit traiter (ajuster des volumes de réactifs, des temps et des températures de réaction et/ou des réglages d'appareils…) pour obtenir des performances satisfaisantes. - de mettre au point une méthode originale Que ce soit suite à une adaptation ou à une création originale, toute mise au point de méthode se termine (ou devrait se terminer) par une optimisation.

CHIMIOMETRIE ROBUSTESSE Ensemble des méthodes mathématiques appliquées à la collecte et au traitement de l’information expérimentale Phase du développement de la Méthode d’Analyse ou d’un procédé, destinée à déterminer la zone de fonctionnement optimal présentant la moins grande sensibilité aux fluctuations des facteurs expérimentaux ROBUSTESSE

LES PLANS D’EXPERIENCES Outils indispensables pour le développement des Méthodes analytiques : - au niveau du procédé de préparation de l’échantillon analytique - au niveau de l’optimisation de la méthode D’une manière générale : à mettre en œuvre au niveau de toutes les étapes expérimentales de développement et de validation de la méthode.

Statistiquement parlant Justesse Définition Statistiquement parlant La justesse d’un procédé, d’une méthode, exprime l’étroitesse de l’accord entre la valeur trouvée et la valeur qui est reconnue soit comme valeur conventionnelle, soit comme valeur de référence. Elle est quelquefois appelée Exactitude.

Statistiquement parlant Justesse Définition Statistiquement parlant Une méthode est “ juste ” si elle conduit à des résultats dont l’espérance mathématique est égale à la vraie grandeur à mesurer (cf. valeur d’un étalon par exemple). Ceci entraîne que la méthode n’a pas d’erreur systématique et que l’erreur aléatoire est nulle en moyenne (qu’elle a zéro pour espérance mathématique).

Fidélité (ou Précision) Statistiquement parlant Définition Statistiquement parlant La Précision est représentée par l’étroitesse de l’accord (le degré de dispersion) d’une série de mesures obtenues : Pour un PROCEDE : à partir d’un échantillonnage du(des) produit(s) fabriqué(s) dans les conditions prescrites. Pour une METHODE : à partir de prélèvements multiples d’un échantillon homogène avec les conditions d’analyse prescrites. Pour éviter une confusion éventuelle avec la notion de Justesse, la Précision est aussi appelée Fidélité.

Fidélité (ou Précision) Statistiquement parlant Définition Statistiquement parlant La Précision peut être considérée à trois niveaux : Répétabilité, Précision intermédiaire et Reproductibilité. La Précision doit être étudiée en utilisant des étalons ou des échantillons authentiques homogènes. S’il n’est pas possible d’obtenir un échantillon homogène, elle peut être étudiée en utilisant un échantillon reconstitué ou un échantillon mis en solution.

Fidélité (ou Précision) Statistiquement parlant Définition Statistiquement parlant La fidélité (la dispersion) d’une méthode s’exprimera par la variance (ou l’écart-type) d’une série de mesures d’un même échantillon, quelquefois par le coefficient de variation.

Statistiquement parlant Répétabilité Statistiquement parlant Définition La répétabilité exprime la Fidélité pour les mêmes conditions opératoires dans un court intervalle de temps. Elle est aussi appelée « précision intra-essai ».

Statistiquement parlant Répétabilité Définition Statistiquement parlant C’est la mesure de la dispersion obtenue par un même opérateur, utilisant un appareil défini, dans un intervalle de temps réduit, dans un même lieu. Comme toute fidélité, elle est mesurée par la variance ou l'écart type de la série de mesures

Statistiquement parlant Reproductibilité Statistiquement parlant Définition La Reproductibilité représente les Variations INTER-Ateliers ou INTER-laboratoires : Ateliers ou Laboratoires différents, jours différents, analystes différents, appareils différents, etc.

Statistiquement parlant Reproductibilité Définition Statistiquement parlant C’est la mesure de la dispersion obtenue par plusieurs opérateurs qui opèrent (analysent ou mesurent) : dans des ateliers ou laboratoires différents, dans des intervalles de temps importants, éventuellement avec des types d’appareils différents.

Justesse & Fidélité Ni juste, ni fidèle Pas juste mais fidèle Juste et fidèle Juste mais pas fidèle

Robustesse Définition Notion additionnelle La robustesse d’un procédé ou d’une méthode est une mesure de son aptitude à ne pas être affectée par de petites variations délibérées des paramètres de la méthode. Elle fournit une indication de sa fiabilité pour un usage normal.

Notion additionnelle à la Robustesse Pour la capacité d’un Procédé ou d’une Méthode à fournir des «produits» conformes on peut distinguer : Faible sensibilité à une légère variation des facteurs expérimentaux maîtrisables. La Robustesse La Rugosité Faible sensibilité à une légère variation des facteurs expérimentaux non maîtrisables Paramètres hors Procédé : temps, opérateur, espace, matériel, consommables… Paramètres du Procédé : température, concentration, vitesse d’outils ...

Loi normale (ou loi de Gauss) Laplace et Gauss ont démontré que, pour la plupart des phénomènes physiques observables, les mesures expérimentales suivent une même loi de probabilité : une même fonction de densité de probabilité appelée Loi Normale.

Loi normale Cette loi, qui décrit une variable aléatoire, est caractérisée par deux paramètres : Un paramètre de position ou de centrage : la moyenne m un paramètre de dispersion : l’écart-type s. Sa forme analytique est : y = 1 e - 2 s 2p x- m s

Graphe de la Loi normale Distribution symétrique centrée sur la moyenne écart type Point d’inflexion de la courbe moyenne - + (fonction) = 1 Densité de Probabilité - + Abscisse en variable naturelle x

Propriétés de la loi Normale - x (fonction) = probabilité pour que la valeur de la variable X soit comprise entre - et x Probabilité pour qu’une valeur d’abscisse soit comprise entre deux valeurs données ?

Probabilité p1 pour qu’une valeur de x soit inférieure à x1 p2 - p1 = Probabilité pour qu’une valeur de x soit comprise entre x1 et x2 x2 x x1

Probabilité = 68,27% pour que x soit compris dans l’intervalle m  1 s 0,6827 0,9545 Probabilité = 95,45% pour que x soit compris dans l’intervalle m  2 s 0,9973 Probabilité = 99,73% pour que x soit compris dans l’intervalle m  3 s

Loi normale et Loi Normale Standard Telle que nous venons de la définir, la loi Normale est fonction de m et s exprimés avec l’unité de la variable X : chaque cas est donc un cas particulier On peut rendre la loi universelle à l’aide d’un changement de variable : en prenant la moyenne m de la distribution pour origine de l’axe des x, avec l’écart type de la distribution comme unité de mesure.

e Loi normale et Loi Normale Standard xi - x zi = s z2 1 - y = 2 2p Cette nouvelle variable s’appelle variable centrée réduite z, elle est sans dimension xi - x zi = s Les caractéristiques de Z sont : moyenne = 0 et écart type = 1 La forme analytique de la Loi Normale Standard est : z2 2 1 2p - e y =

Elle s’utilise de la même manière que la loi normale Loi normale standard - + (fonction) = 1 Probabilité « p » Abscisse en variable centrée réduite z écart type = 1 -3 -2 -1 0 1 2 3 z Moyenne = 0 C’est une loi universelle, indépendante des unités de la variable étudiée Elle s’utilise de la même manière que la loi normale

Conclusion Nous n’avons pas eu besoin des valeurs des yi pour prévoir la qualité des estimations. La qualité de l’information expérimentale ne dépend que du choix des essais (de la matrice d’expériences). Cette réflexion préalable peut être généralisée à toute expérimentation : c’est avant d’expérimenter qu’il faut s’interroger sur la qualité de l’expérimentation projetée.

Intervalles de confiance Valeur individuelle : x  z s Grands Echantillons (> 30 répétitions) : n x  zc s Petits Echantillons (< 30 répétitions) : n x  tc s