Précision et exactitude

Présentation au sujet: "Précision et exactitude"— Transcription de la présentation:

1 Précision et exactitude
11ème MIEC - 21ème JIREC Multimédia et Informatique dans l'Enseignement de la Chimie Journées pour l'innovation et la Recherche dans l'Enseignement de la Chimie er, 2 et 3 Juin 2005 à Autrans Pierre LANTERI

2 Comment présenter les résultats de mesures ?
Encadrement des résultats (intervalles de confiance) Validité des résultats (tests d’hypothèses) Etablissement de prévisions (utilisation de modèles prévisionnels)

3 Précision et exactitude
Lorsque l’on réalise des mesures (ou des analyses) on veut rendre un résultat en s’interrogeant sur la validité de ce que l’on présente. Dans ce contexte, cela implique l’évaluation des caractéristiques suivantes : Justesse (ou Exactitude) Répétabilité Fidélité (ou Précision) Reproductibilité Justesse et Fidélité Robustesse Rugosité

4 Comprendre ces définitions, c’est aussi savoir utiliser les notions :
de variance, d’écart-type, d’intervalle de confiance, de distributions théoriques (Gauss, Student, Fisher), de tests d’hypothèses, Notions qui font l’objet des statistiques descriptives.

5 Les ERREURS Expérimentales
Deux types d’erreur Erreur Systématique Erreur Aléatoire appelée encore «biais», elle varie toujours dans le même sens par rapport à la moyenne, elle se répartit de part et d'autre de la valeur moyenne (  variance, écart-type, étendue). Les erreurs systématiques affectent l'exactitude (justesse). Les erreurs aléatoires sont relatives à la fidélité (précision).

6 Erreur Expérimentale et Bonnes Pratiques….
Les Bonnes Pratiques (de Développement, de Laboratoire, d’Atelier…) excluent en principe toute erreur systématique. Toutes les notions que nous exposons ici reposent sur l’hypothèse que l’erreur expérimentale est purement aléatoire : et qu’elle suit une loi Normale de moyenne nulle (centrée sur zéro) et de variance s2 . Les Bonnes Pratiques…. consistent à minimiser s2, c’est à dire à minimiser la dispersion du « résultat » expérimental.

7 Justesse, Fidélité et Erreur : Exemple
Quatre opérateurs A, B, C et D dosent 10 ml de solution 0,1M de soude, mesurés exactement (précision instrumentale de 0,05 ml) avec une solution d'acide qui titre exactement 0,1 M : A B C D 10,08 9,88 10,19 10,04 10,11 10,14 9,79 9,98 10,09 10,02 9,69 10,02 10,10 9,80 10,05 9,97 10,12 10,21 9,78 10,04

8 A B C D 10, , , ,04 10, , , ,98 10, , , ,02 10, , , ,97 10, , , ,04 Inexact Exact Inexact Exact moyenne 10, , , ,01 écart-type 0, , , ,033 Précis Imprécis Imprécis Précis

9 Intervalle de confiance
0,9973 Probabilité = 99,73% pour que x soit compris dans l’intervalle m  3 s Pour encadrer un résultat on parlera d’intervalle de confiance : il y a plus de 99% de chances d’obtenir un résultat dont la valeur est égale à la valeur centrale  3 s.

10 Représentation graphique
9,6 9,7 9,8 9,9 10 10,1 10,2 10,3 10,4 N° essai 1 2 3 4 5 B C A 99,7% des valeurs expérimentales doivent être comprises dans l’intervalle 10 ml  0,048 ml D Méthode juste et fidèle Valeur théorique de 10 ml, si on estime l’écart-type expérimental à 0,016 ml (opérateur A) alors :

11 Méthodologie Pour la Maîtrise d’un Procédé ou d’une Méthode (d’analyse par exemple) il faut : Procurer une connaissance totale et non biaisée des possibilités du Procédé ou de la Méthode telles que : justesse, fidélité et robustesse. Structurer le travail expérimental de telle manière que les validations appropriées des caractéristiques du Procédé ou de la méthode puissent être considérées simultanément.

12 Méthodologie des Plans d’Expériences
Procurer une connaissance totale et non biaisée des possibilités du Procédé ou de la Méthode telles que : justesse, fidélité et robustesse. Outils Statistiques Structurer le travail expérimental de telle manière que les validations appropriées des caractéristiques du Procédé ou de la méthode puissent être considérées simultanément. Méthodologie des Plans d’Expériences

13 MISE AU POINT DE METHODES ET PLANS D’EXPERIENCES
ROBUSTESSE

14 Développement de Méthodes et Robustesse
Dans les exemples utilisés précédemment, nous sommes partis d'un ensemble de données issues d'une méthode d'analyse définie, validée, dont on connaît tous les paramètres de mise en œuvre, lesquels ont conduit à un protocole expérimental précis. Mais en amont : "L'analyse", "Le procédé », qu’ils soient chimiques ou physico-chimiques, impliquent la mise au point et l'utilisation de "méthodes".

15 Il peut s’agir : - d'adapter une méthode existante au matériel dont on dispose ou à un nouveau type d'échantillons que l'on doit traiter (ajuster des volumes de réactifs, des temps et des températures de réaction et/ou des réglages d'appareils…) pour obtenir des performances satisfaisantes. - de mettre au point une méthode originale Que ce soit suite à une adaptation ou à une création originale, toute mise au point de méthode se termine (ou devrait se terminer) par une optimisation.

16 CHIMIOMETRIE ROBUSTESSE
Ensemble des méthodes mathématiques appliquées à la collecte et au traitement de l’information expérimentale Phase du développement de la Méthode d’Analyse ou d’un procédé, destinée à déterminer la zone de fonctionnement optimal présentant la moins grande sensibilité aux fluctuations des facteurs expérimentaux ROBUSTESSE

17 LES PLANS D’EXPERIENCES
Outils indispensables pour le développement des Méthodes analytiques : - au niveau du procédé de préparation de l’échantillon analytique - au niveau de l’optimisation de la méthode D’une manière générale : à mettre en œuvre au niveau de toutes les étapes expérimentales de développement et de validation de la méthode.

18 Statistiquement parlant
Justesse Définition Statistiquement parlant La justesse d’un procédé, d’une méthode, exprime l’étroitesse de l’accord entre la valeur trouvée et la valeur qui est reconnue soit comme valeur conventionnelle, soit comme valeur de référence. Elle est quelquefois appelée Exactitude.

19 Statistiquement parlant
Justesse Définition Statistiquement parlant Une méthode est “ juste ” si elle conduit à des résultats dont l’espérance mathématique est égale à la vraie grandeur à mesurer (cf. valeur d’un étalon par exemple). Ceci entraîne que la méthode n’a pas d’erreur systématique et que l’erreur aléatoire est nulle en moyenne (qu’elle a zéro pour espérance mathématique).

20 Fidélité (ou Précision) Statistiquement parlant
Définition Statistiquement parlant La Précision est représentée par l’étroitesse de l’accord (le degré de dispersion) d’une série de mesures obtenues : Pour un PROCEDE : à partir d’un échantillonnage du(des) produit(s) fabriqué(s) dans les conditions prescrites. Pour une METHODE : à partir de prélèvements multiples d’un échantillon homogène avec les conditions d’analyse prescrites. Pour éviter une confusion éventuelle avec la notion de Justesse, la Précision est aussi appelée Fidélité.

21 Fidélité (ou Précision) Statistiquement parlant
Définition Statistiquement parlant La Précision peut être considérée à trois niveaux : Répétabilité, Précision intermédiaire et Reproductibilité. La Précision doit être étudiée en utilisant des étalons ou des échantillons authentiques homogènes. S’il n’est pas possible d’obtenir un échantillon homogène, elle peut être étudiée en utilisant un échantillon reconstitué ou un échantillon mis en solution.

22 Fidélité (ou Précision) Statistiquement parlant
Définition Statistiquement parlant La fidélité (la dispersion) d’une méthode s’exprimera par la variance (ou l’écart-type) d’une série de mesures d’un même échantillon, quelquefois par le coefficient de variation.

23 Statistiquement parlant
Répétabilité Statistiquement parlant Définition La répétabilité exprime la Fidélité pour les mêmes conditions opératoires dans un court intervalle de temps. Elle est aussi appelée « précision intra-essai ».

24 Statistiquement parlant
Répétabilité Définition Statistiquement parlant C’est la mesure de la dispersion obtenue par un même opérateur, utilisant un appareil défini, dans un intervalle de temps réduit, dans un même lieu. Comme toute fidélité, elle est mesurée par la variance ou l'écart type de la série de mesures

25 Statistiquement parlant
Reproductibilité Statistiquement parlant Définition La Reproductibilité représente les Variations INTER-Ateliers ou INTER-laboratoires : Ateliers ou Laboratoires différents, jours différents, analystes différents, appareils différents, etc.

26 Statistiquement parlant
Reproductibilité Définition Statistiquement parlant C’est la mesure de la dispersion obtenue par plusieurs opérateurs qui opèrent (analysent ou mesurent) : dans des ateliers ou laboratoires différents, dans des intervalles de temps importants, éventuellement avec des types d’appareils différents.

27 Justesse & Fidélité Ni juste, ni fidèle Pas juste mais fidèle
Juste et fidèle Juste mais pas fidèle

28 Robustesse Définition Notion additionnelle
La robustesse d’un procédé ou d’une méthode est une mesure de son aptitude à ne pas être affectée par de petites variations délibérées des paramètres de la méthode. Elle fournit une indication de sa fiabilité pour un usage normal.

29 Notion additionnelle à la Robustesse
Pour la capacité d’un Procédé ou d’une Méthode à fournir des «produits» conformes on peut distinguer : Faible sensibilité à une légère variation des facteurs expérimentaux maîtrisables. La Robustesse La Rugosité Faible sensibilité à une légère variation des facteurs expérimentaux non maîtrisables Paramètres hors Procédé : temps, opérateur, espace, matériel, consommables… Paramètres du Procédé : température, concentration, vitesse d’outils ...

30 Loi normale (ou loi de Gauss)
Laplace et Gauss ont démontré que, pour la plupart des phénomènes physiques observables, les mesures expérimentales suivent une même loi de probabilité : une même fonction de densité de probabilité appelée Loi Normale.

31 Loi normale Cette loi, qui décrit une variable aléatoire, est caractérisée par deux paramètres : Un paramètre de position ou de centrage : la moyenne m un paramètre de dispersion : l’écart-type s. Sa forme analytique est : y = 1 e - 2 s 2p x- m s

32 Graphe de la Loi normale
Distribution symétrique centrée sur la moyenne écart type Point d’inflexion de la courbe moyenne - + (fonction) = 1 Densité de Probabilité - + Abscisse en variable naturelle x

33 Propriétés de la loi Normale
- x (fonction) = probabilité pour que la valeur de la variable X soit comprise entre - et x Probabilité pour qu’une valeur d’abscisse soit comprise entre deux valeurs données ?

34 Probabilité p1 pour qu’une valeur de x soit inférieure à x1
p2 - p1 = Probabilité pour qu’une valeur de x soit comprise entre x1 et x2 x2 x x1

35 Probabilité = 68,27% pour que x soit compris dans l’intervalle m  1 s
0,6827 0,9545 Probabilité = 95,45% pour que x soit compris dans l’intervalle m  2 s 0,9973 Probabilité = 99,73% pour que x soit compris dans l’intervalle m  3 s

36 Loi normale et Loi Normale Standard
Telle que nous venons de la définir, la loi Normale est fonction de m et s exprimés avec l’unité de la variable X : chaque cas est donc un cas particulier On peut rendre la loi universelle à l’aide d’un changement de variable : en prenant la moyenne m de la distribution pour origine de l’axe des x, avec l’écart type de la distribution comme unité de mesure.

37 e Loi normale et Loi Normale Standard xi - x zi = s z2 1 - y = 2 2p
Cette nouvelle variable s’appelle variable centrée réduite z, elle est sans dimension xi - x zi = s Les caractéristiques de Z sont : moyenne = 0 et écart type = 1 La forme analytique de la Loi Normale Standard est : z2 2 1 2p - e y =

38 Elle s’utilise de la même manière que la loi normale
Loi normale standard - + (fonction) = 1 Probabilité « p » Abscisse en variable centrée réduite z écart type = 1 z Moyenne = 0 C’est une loi universelle, indépendante des unités de la variable étudiée Elle s’utilise de la même manière que la loi normale

39 Conclusion Nous n’avons pas eu besoin des valeurs des yi pour prévoir la qualité des estimations. La qualité de l’information expérimentale ne dépend que du choix des essais (de la matrice d’expériences). Cette réflexion préalable peut être généralisée à toute expérimentation : c’est avant d’expérimenter qu’il faut s’interroger sur la qualité de l’expérimentation projetée.

40 Intervalles de confiance
Valeur individuelle : x  z s Grands Echantillons (> 30 répétitions) : n x  zc s Petits Echantillons (< 30 répétitions) : n x  tc s