La présentation est en train de télécharger. S'il vous plaît, attendez

La présentation est en train de télécharger. S'il vous plaît, attendez

Analyse discriminante sur données fonctionnelles Gilbert Saporta Chaire de Statistique Appliquée & CEDRIC Conservatoire National des Arts et Métiers 292.

Présentations similaires


Présentation au sujet: "Analyse discriminante sur données fonctionnelles Gilbert Saporta Chaire de Statistique Appliquée & CEDRIC Conservatoire National des Arts et Métiers 292."— Transcription de la présentation:

1 Analyse discriminante sur données fonctionnelles Gilbert Saporta Chaire de Statistique Appliquée & CEDRIC Conservatoire National des Arts et Métiers 292 rue Saint Martin F Paris Cedex 03

2 Grenoble, 17 janvier Plan 1. Introduction 2. Régression MCO sur données fonctionnelles 3. Régression PLS fonctionnelle 4. Méthodes linéaires de discrimination 5. Régression typologique 6. Prédiction anticipée 7. Conclusion et perspectives Travaux réalisés en collaboration avec C.Preda(Univ. Lille2) et D.Costanzo (Univ.Calabria)

3 Grenoble, 17 janvier Introduction Données fonctionnelles: courbes ou trajectoires dun processus stochastique X t Réponse Y Y numérique: régression Y catégorielle: classification supervisée, discrimination Intervalle de temps commun [0;T], variables centrées

4 Grenoble, 17 janvier Régression sur données fonctionnelles Exemple 1: Y= récolte X t = température p= R.A.Fisher (1924)

5 Grenoble, 17 janvier Données de très grande dimension: infinité non dénombrable (en principe..) de prédicteurs Combinaison linéaire « Integral regression » Au lieu dune somme finie

6 Grenoble, 17 janvier R.A.Fisher « The Influence of Rainfall on the Yield of Wheat at Rothamsted » Philosophical Transactions of the Royal Society, B, 213, (1924)

7 Grenoble, 17 janvier Discrimination sur données fonctionnelles Exemple 2: courbes de pétrissage pour biscuits (Danone Vitapole)

8 Grenoble, 17 janvier Après lissage par B-splines cubiques (Lévéder & al, 2004) Comment prédire la qualité des biscuits?

9 Grenoble, 17 janvier Discrimination sur données fonctionnelles Cas particulier de la régression sur données fonctionnelles pour deux classes Anticipation déterminer t*

10 Grenoble, 17 janvier Régression sur données fonctionnelles Y ; X t (E(Y)=E(X t ) =0 ) 2.1 Les mco Equations normales ou de Wiener-Hopf: C(t,s)= cov(X t, X s )=E(X t X s )

11 Grenoble, 17 janvier décomposition de Karhunen-Loeve facteurs: Composantes principales: Covariance avec une composante principale:

12 Grenoble, 17 janvier Theorème de Picard: unique si et seulement si: Géneralement faux... Surtout quand n est fini car p >n. Ajustement parfait en minimisant:

13 Grenoble, 17 janvier Même quand est unique, « Léquation de Wiener-Hopf nest pas une équation intégrale ordinaire mais un accouplement entre fonction et distribution dont la solution est plus souvent une distribution quune fonction » Paul Kree, 1972 Nécessité de contraintes. (cf Green & Silverman 1994, Ramsay & Silverman 1997).

14 Grenoble, 17 janvier Régression sur composantes principales Approximation de rang q:

15 Grenoble, 17 janvier Résolution numérique: Equations intégrales non explicites dans le cas général: C(t,s) connu point par point Fonctions en escalier: nombre fini de variables et dindividus: opérateurs matriciels mais de grande taille Approximations par discrétisation du temps

16 Grenoble, 17 janvier Quelles composantes? Les q premières? Les q plus corrélées? Les composantes principales sont calculées sans tenir compte de la réponse Y

17 Grenoble, 17 janvier Régression PLS fonctionnelle Utiliser les composantes PLS au lieu des composantes principales Première composante PLS : Puis itération sur les résidus

18 Grenoble, 17 janvier Approximation de Y par X t dordre q: Convergence : Mais q doit être fini pour avoir une formule! q déterminé par validation croisée (Preda & Saporta, 2005)

19 Grenoble, 17 janvier Première composante PLS facilement interprétable: coefficients du même signe que r(y;x t ) Pas déquation intégrale Meilleur ajustement par PLS que par ACP: (De Jong 1993)

20 Grenoble, 17 janvier Discrimination linéaire 4.1 ADL fonctionnelle ADL : combinaison linéaire maximisant le rapport variance inter/variance intra Pour 2 groupes la FLD de Fisher sobtient en régressant Y codé sur X t eg (Preda & Saporta, 2005a)

21 Grenoble, 17 janvier La régression PLS avec q composantes donne une approximation de β(t) et du score: Pour plus de 2 groupes: régression PLS2 entre k-1 indicatrices de Y et X t

22 Grenoble, 17 janvier Régression PLS2 Y multiple: (Y 1, Y 2, …,Y p ) Citère de Tucker: Composantes PLS :

23 Grenoble, 17 janvier Première composante PLS: premier vecteur propre du produit des opérateurs dEscoufier W x W Y Preda & Saporta, 2002 & 2005a ; Barker & Rayens, 2003

24 Grenoble, 17 janvier Généralisation du critère de Tucker au cas fonctionnel: Prévision:

25 Grenoble, 17 janvier Régression logistique fonctionnelle Hypothèse: β(t) et les trajectoires sont dans le même espace de dimension fini (Ramsay et al., 1997)

26 Grenoble, 17 janvier Doù une régression logistique classique: avec Leng and Müller (2006), Escabias et al. (2004), Aguilera et al. (2006) utilisent les composantes principales de X t comme base

27 Grenoble, 17 janvier Mesures de qualité Pour k=2 : courbe ROC et AUC Pour un seuil s, x est classé en 1 si d T (x)>s Sensibilité ou taux de vrais positifs: P(d T (x)>s/Y=1)=1-β 1- Spécificité ou 1-taux de vrais négatifs: P(d T (x)>s/Y=0)=

28 Grenoble, 17 janvier Courbe ROC En cas de discrimination parfaite : courbe confondue avec les côtés du carré Si distribution conditionnelles identiques, courbe confondue avec la diagonale

29 Grenoble, 17 janvier Courbe ROC invariante pour toute transformation monotone croissante Surface sous la courbe: mesure de performance permettant de comparer (partiellement) des modèles On tire une obs de G 1 et une de G 2 AUC estimée par la proportion de paires concordantes n c statistique de Wilcoxon-Mann-Whitney U+W= n 1 n n 1 (n 1 +1) AUC=U/n 1 n 2

30 Grenoble, 17 janvier Régression typologique Un mélange de régression et de classification

31 Grenoble, 17 janvier Modèle G, variable à K catégories (sousb-populations)

32 Grenoble, 17 janvier MCO et régression typologique Variances résiduelle de la régression globale= varaince résiduelle intra cluster + variance due à la différence entre la régression locale et la régression globale (MCO)

33 Grenoble, 17 janvier Estimation (Charles, 1977) k fixé Moindres carrés alternés Partition connue: régressions linéaires dans chaque cluster Affecter chaque observation à la droite ou surface de régression la plus proche Equivalent au MV pour des régresseurs fixes (Hennig, 2000) 5.4 Choix de k AIC, BIC,validation croisée

34 Grenoble, 17 janvier Régression typologique fonctionnelle PLS Régression MCO fonctionnelle inadéquate pour des estimations par groupe Modèles locaux estimés par PLS fonctionnel Lalgorithme est-il consistent? Proof in Preda & Saporta, 2005b

35 Grenoble, 17 janvier Prédiction: Affectation à un groupe (plus proche voisin ou autre) Aplication du modèle local Se généralise si Y est un vecteur aléatoire:

36 Grenoble, 17 janvier Application à des données boursières Taux de croissance pendant 1 heure (de 10h à 11h) de 84 actions à la Bourse de Paris

37 Grenoble, 17 janvier Prédire le comportement de i 85 entre 10h55 et 11h en utilisant les données relevées entre 10h et 10h55?

38 Grenoble, 17 janvier Calcul exact: 1366 variables (nombre dintervalles où les courbes restent constantes) Discrétisation en 60 intervalles. Comparaison between RCP et PLS:

39 Grenoble, 17 janvier Crash de i 85 non détecté!

40 Grenoble, 17 janvier PLS typologique Quatre clusters (17;32;10;25) Nombre de comosantes PLS component par cluster: 1; 3; 2 ; 2 (cross-validation)

41 Grenoble, 17 janvier i 85 classée dans le cluster 1

42 Grenoble, 17 janvier Prédiction anticipée Chercher t*

43 Grenoble, 17 janvier Test dégalité via une procédure bootstrap Rééchantillonnage des données, stratifié pour conserver les proportions des classes A chaque réplication b on calcule AUC b (s) et AUC b (T) Test basé sur les différences (Student ou Wilcoxon pour données appariées) b =AUC b (s)- AUC b (T)

44 Grenoble, 17 janvier Applications 5.1 Données simulées Deux classes équiprobables W(t) brownien standard

45 Grenoble, 17 janvier

46 Grenoble, 17 janvier Avec B=50

47 Grenoble, 17 janvier Courbes de pétrissage Après un temps T= 480 de pétrissage on fabrique des biscuits de qualité Y 115 observations dont 50 « bonnes », 40 «mauvaises » et 25 « ajustables » 241 points de mesure équidistants Lissage avec B-splines cubiques, 16 nœuds

48 Grenoble, 17 janvier Performances pour Y={bon,mauvais} 100 séparations apprentissage test (60, 30) Taux derreur moyen avec composantes principales avec composantes PLS AUC moyen Fonction β(t)

49 Grenoble, 17 janvier Prédiction anticipée Avec B=50 t*=186 Il est donc possible de réduire de plus de moitié la durée détude.

50 Grenoble, 17 janvier Conclusions et perspectives La régression PLS permet deffectuer une prédiction linéaire de manière simple et efficace Nécessité de prétraitements pour données bruitées Prédiction anticipée via une procédure simple

51 Grenoble, 17 janvier En cours: Recherche de prédiction « on-line »: adapter t* pour chaque nouvelle courbe Comparaison avec régression logistique PLS fonctionnelle et autres approches

52 Grenoble, 17 janvier Références Aguilera A.M., Escabias, M.,Valderrama M.J. (2006) Using principal components for estimating logistic regression with high-dimensional multicollinear data, Computational Statistics & Data Analysis, 50, Barker M., Rayens W. (2003) Partial least squares for discrimination. J. of Chemometrics 17:166–173 Charles, C., (1977) Régression typologique et reconnaissance des formes. Ph.D., Université Paris IX. D. Costanzo, C. Preda, G. Saporta (2006) Anticipated prediction in discriminant analysis on functional data for binary response. In COMPSTAT2006, p , Physica-Verlag Hennig, C., (2000) Identifiability of models for clusterwise linear regression. J. Classification 17, 273–296. Lévéder C., Abraham C., Cornillon P. A., Matzner-Lober E., Molinari N. (2004) Discrimination de courbes de pétrissage. Chimiometrie 2004, 37–43. Preda C., Saporta G. (2005a) PLS regression on a stochastic process, Computational Statistics and Data Analysis, 48, Preda C., Saporta G. (2005b) Clusterwise PLS regression on a stochastic process, Computational Statistics and Data Analysis, 49, Preda C., Saporta G., Lévéder C., (2007) PLS classification of functional data, Computational Statistics, 22(2), Ramsay J.O., Silverman (1997) Functional data analysis, Springer


Télécharger ppt "Analyse discriminante sur données fonctionnelles Gilbert Saporta Chaire de Statistique Appliquée & CEDRIC Conservatoire National des Arts et Métiers 292."

Présentations similaires


Annonces Google