La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Robustesse......en Analyse Spatiale Didier JOSSELIN ESPACE, UMR 6012, CNRS, Avignon, France Tél.: 04 90 16 26 93.

Présentations similaires


Présentation au sujet: "Robustesse......en Analyse Spatiale Didier JOSSELIN ESPACE, UMR 6012, CNRS, Avignon, France Tél.: 04 90 16 26 93."— Transcription de la présentation:

1 Robustesse......en Analyse Spatiale Didier JOSSELIN ESPACE, UMR 6012, CNRS, Avignon, France Tél.:

2 PLAN -Quest-ce que la robustesse ? -La qualité dans les données -La robustesse des méthodes statistiques : appréhension empirique avec la Médienne -La robustesse de la décision -Conclusions à travers quelques applications

3 Le processus danalyse (spatiale) EXPERT OUTILS STATISTIQUES Données (Spatiales) Décision, Règles Connaissance... Approche Analyse

4 Quest-ce que la robustesse (au sens large) ? Tronc Racine Branches Feuilles La robustesse augmente... Avoir ou montrer une force, une vigueur Etre résistant aux maladies et aux perturbations

5 Besoin de robustesse ?...à différents niveaux du processus danalyse : 1- Données : « Qualité » 2- Méthodes statistiques : « Robustesse, résistance » 3- Aide à la décision « ? » Plus dintervention De lexpert ZAPPER

6 1 – Robustesse des données : qualité (Goodchild, Gopal, 1989, Goodchild, Jeansoulin, 1998) Structure de données Base de données Métadonnées Données Complétude Précision Fiabilité Adéquation etc. Bruit ?

7 Qualité des données : notre proposition Fournir à lexpert des indicateurs et des cartes duals pour évaluer la qualité de linformation

8 Question : la moyenne est-elle robuste ?

9 Question : la médiane est-elle robuste ?

10 Manipulation de la robustesse, de la moyenne, de la médiane…

11 2 – Robustesse des outils statistiques Fouille de données : Capacité de généralisation Détection des dépendances statistiques Conservation de toutes les données Elimination du bruit Outils statistiques : Résistance aux outliers Adéquation Justesse Hypothèses...

12 Robustesse dun outil statistique / estimateur : définition (Andrews et al., 1972, Huber, 1981, Hoaglin, Mosteller, Tukey, 1983, Hampel et al., 1986, Lecoutre et Tassi, 1987) Un estimateur est dit resistant sil est peu affecté par un petit nombre de grosses erreurs ou par un grand nombre de petites erreurs Un estimateur est dit robuste sil est peu affecté par un écart aux hypothèses sous-jacentes du modèle

13 Exemple dindice robuste : construction empirique de la médienne

14 Un problème concret posé : Conserver les zones homogènes et les zones hétérogènes ou de gradients (écotones) ….

15 Différentes distributions de groupes de pixels Données : vignes en Languedoc-Roussillon, France, INRA, Jean-Marc Robbez-Masson ZAPPER

16 Quels filtres sont couramment utilisés ? Données brutes Filtre médian Filtre moyen Filtre moyen pondéré Données : pullulation des campagnols, DRAF-SRPV Franche-Comté

17 : un échantillon de données ordonnées : sa médiane : sa moyenne Associer la moyenne et la médiane pour définir la médienne...

18 Comportement de la moyenne et de la médiane face aux outliers et « inliers » Outlier « Inlier »

19 Définition de la médienne

20 Une mesure de centralité qui s'adapte aux distributions locales Une combinaison linéaire des normes L1 et L2 (Dodge, 1987, 2000)... combinaison liée aux résistances de la moyenne et la médiane Les résistances étant estimées par un bootstrap But et principe de la médienne ( Josselin, 2000, Josselin et Ladiray, 2001)

21 Calcul de la médienne (simple) Quand la médiane est plus résistante que la moyenne la médienne tend vers la médiane vers la moyenne dans le cas inverse Mesure la résistance d'un estimateur with Lidée : une métrique qui sadapte à la distribution locale en combinant les normes L1 et L2

22 Formulation de la médienne de Laplace ( Laplace 1818, Stigler, 1973, 1986, Josselin et Ladiray, 2001, 2002) avec

23 Comment estimer les variances de la moyenne et de la médiane ? la voie du bootstrap (Efron, Tibshirani, 1993, Shao, Tu, 1995)

24 Le Bootstrap pour estimer la résistance X=(x 1,x 2,…,x N ) X* 1 X* 2 X* b … Soit un échantillon de données Un ensemble de B échantillons « bootstrappés » (tirage avec remise) F (X* 1 )F (X* 2 )F (X* b )… Un ensemble de B estimateurs pour chaque « fonction F » appliquée (moyenne, médiane…) Estimation de la variance de chaque estimateur F

25 Bootstrap : application à la médienne Estimateur : Variance de lestimateur :avec : Et covariance moyenne-médiane (pour médienne de Laplace) :

26 Application de la médienne au filtrage spatial : le cas de la pullulation du campagnol (Josselin, Ladiray, 2002) Degré de Contiguïté 1

27 Application de la médienne au filtrage spatial : le cas de la pullulation du campagnol Degré de Contiguïté 2

28 Application de la médienne au filtrage spatial : comparaison aux M estimateurs ZAPPE 2 ZAPPE 1

29 Propriétés de la médienne

30 La médienne confrontée à 4 distributions typiques Panel 1: Moyenne, médiane et médienne sont presque identiques Panel 2: Médiane et médienne sont plus résistantes aux outliers Panel 3: Distribution asymétrique où la médienne est proche de la médiane Panel 4: Distribution bimodale où moyenne et médienne sont plus robustes Mean Meadians Median

31 Comportement spécifique de la médienne de Laplace

32 Résultats : simulations et filtrage spatial

33 u on choisit un ensemble de lois statistiques u pour chaque distribution, on calcule son Efficacité Relative : le rapport entre la variance du meilleur estimateur testé et la variance de l'estimateur considéré (permutations de type Monte- Carlo) u le meilleur estimateur est celui qui possède : Le plus petit Ecart-type d'efficacité relative pour les diverses distributions Le plus grand Minimum d'efficacité relative (Robustesse) Evaluation de l'efficacité de la médienne (Hoaglin, Tukey, Mosteller, 1983 )

34 Efficacité relative et robustesse de la moyenne, la médiane et des médiennes selon différentes lois et l'effectif de la distribution.

35 Réflexions autour de la médienne et des normes Lp

36 Les normes Lp et leurs méthodes de minimisation découlent du modèle général de régression : (Dodge and Jurecková, 2000) Modèle de régression Où Y est une variable à expliquer par X 1, X 2,...,X j,..., X k variables explicatives Pour n données observées (i=1,2,...,n), le modèle est : Où les coefficients sont inconnus, Z un terme d'erreur avec z1, z2,..., zn les résidus.

37 Norme L 1 : p=1 ; objectif : minimiser les écarts absolus Métrique de Minkowsky ou Norme L p Avec Norme L 2 : p=2 ; méthodes des moindres carrés Norme L : p= ; minimiser le résidu absolu maximum (minmax)

38 Transcription graphique Norme L 1 : distance de Manhattan : H 1 +H 3 Norme L 2 : distance euclidienne : H 2 = (H H 3 2 ) 1/2 Norme L : H 1 = max ( H 1 ; H 3 ) A B C H 1H 1 H 2 H 3 La médiane minimise la norme L 1 La moyenne minimise la norme L 2 La moyenne des deux valeurs extrêmes minimise la norme L ZAPPER

39 Y aurait-il un couple robuste (p, valeur centrale) ? Et pourrait-il correspondre à la médienne ? Médiane Moyenne Exposant p Médiennes ? Valeur centrale Norme Lp Distribution gaussienne

40 Cas où médiane < médienne < moyenne et 1 < p médienne < 2 Médiane (p=1) Moyenne (p=2) Valeur de P de la norme Lp Médienne ( p 1,8 ) Valeur centrale minimisant la norme Lp

41 Cas où médienne > moyenne et p médienne > 2 Valeur de P de la norme Lp Valeur centrale minimisant la norme Lp Médienne ( p ) La médienne est très proche du couple (p,valeur centrale) le plus robuste

42 Cas où médienne < médiane et p médienne ?? Valeur de P de la norme Lp Valeur centrale minimisant la norme Lp Médienne (p ?) La médienne est différente du couple (p,valeur centrale) le plus robuste : p=6

43 Robustesse des outils statistiques : notre proposition exploratoire Ne jamais accepter par défaut la méthode la plus utilisée, mais rechercher la plus pertinente. Trouver des méthodes robustes capables de généraliser et qui sadaptent aux configurations locales des distributions statistiques et spatiales, tout conservant tous les individus...

44 3 – Robustesse dans laide à la décision Objectivité : La part de la connaissance qui est indépendante de lexpert ? Subjectivité : La pensée et la vision de lexpert ? Efficience Pertinence Durabilité « Incontestabilité » « Consensualité » « Généricité » Transposabilité ….. ? « Emergenciabilité » « Adaptabilité » dans le temps « Souplesse »

45 Aide à la décision et modélisation : quelques mots-clés et quelques pistes... Déductive Inductive Abductive Individus Résidus La tendance Micro- modèles Hypothético déductif Exploratoire Confirmatoire

46 Aide à la décision, notre proposition : Une modélisation locale instruite insérée dans une analyse globale Avec lE(S)DA

47 CONCLUSION et exemples dapplication

48 Quand on a des objectifs à atteindre et des données à traiter...

49 ... à laide doutils et de méthodes statistiques plus ou moins appropriés...

50 La voie de lEDA...

51 On porte un regard critique sur les outils et les méthodes...

52

53 … que nous choisissons les plus robustes possible pour analyser les données...

54

55 ... sur lesquelles nous formulons des hypothèses sans a priori.

56

57 On souhaite maîtriser le temps de lanalyse spatiale et faire partie intégrante du processus...

58 Le Distogramme Double Distributions et Discontinuités statistiques et spatiales Dynamique Distorsion de Données

59 … tout en restant en permanence proche des données... en considérant que les individus ne sont pas interchangeables...

60

61 ... que nous éclairons par des représentations multiples...

62 Lavstat (Josselin, Chatonnay, Guerre, Dancuo, 1999)

63 ... grâce aux liens dynamiques et à linteractivité.

64

65 On recherche la tendance comme la marge … et lon regarde de plus près les écarts au modèle, les résidus

66 Modèle gravitaire des échanges commerciaux (Josselin, Nicot, 2001)

67 … et les relations entre les objets géographiques.

68 ARPEGE (Josselin, 2000)

69 Lanalyse doit être globale et locale...à travers les échelles.

70 Analyse exploratoire multiscalaire (Foltête, Josselin, 2001)

71 … la validation des résultats mathématique et empirique.

72

73 On cherche aussi à appréhender le qualitatif et le quantitatif en même temps... Q Q Q

74

75 … la sémantique, la géométrie et la topologie...

76

77 … en considérant bien que la densité de la mesure nest pas constante.

78 …Si vous faites de lexplo, attention à … sion l explo toirera combina


Télécharger ppt "Robustesse......en Analyse Spatiale Didier JOSSELIN ESPACE, UMR 6012, CNRS, Avignon, France Tél.: 04 90 16 26 93."

Présentations similaires


Annonces Google