Entraînement et évaluation d’une méthode de régression

Présentation au sujet: "Entraînement et évaluation d’une méthode de régression"— Transcription de la présentation:

1 Entraînement et évaluation d’une méthode de régression
DÉPARTEMENT DE GÉNIE LOGICIEL ET DES TI LOG770 - SYSTÈMES INTELLIGENTS ÉTÉ 2012 Entraînement et évaluation d’une méthode de régression Enseignant : Christian Desrosiers Chargée de laboratoire : Faten M’hiri

2 Méthode de régression Un peu de théorie

3 Méthode de régression Ce que la régression n’est pas:
Classification : prédire la classe d’un exemple à partir de ses attributs: ex : classe = pomme Interpolation/Extrapolation : analyser la relation entre des attributs et une sortie continue. La relation est non-bruitée. Ajouter tableau comparatif pour + d’info

4 Méthode de régression(2)
La régression : sortie continue, présence de bruit. Sachant un vecteur d’attributs x et une valeur continue y, on cherche la relation f telle que: y = f(x) + ԑ ԑ : représente le bruit Ex: valeur$ = f([marque, année, options]) + ԑ

5 Méthode de régression(3)
Défis de la méthode de régression: La fonction f est inconnue: Choisir un modèle g(x;θ) qui serait similaire à f (à l’aide des n données d’apprentissage {xi,yi} avec i = 1,..,n) La présence de bruit ԑ

6 Méthode de régression (4)
Données d’apprentissage: Trouver un modèle g(x;θ) tel que : Erreur MSE = 1/n Σi (g(xi;θ) − yi)2 soit minimale x y x1 y1 x2 y2 … xn yn

7 Méthode de régression(5): Régression polynomiale
Problème: Le modèle illustrant la relation entre un attribut x et la sortie y est un polynôme de degré p: On cherche les wj étant donné un ensemble d’apprentissage {xi,yi} avec i = 1,..,n Paramètres du modèle Ici x représente un seul attribut et non pas un ensemble d’attribut.

8 Méthode de régression(6): Régression polynomiale(2)
Solution: On cherche les poids wi du modèle avec Solution minimisant l’erreur MSE: (w est un vecteur colonne) w = (XTX)-1XTy

9 Laboratoire 2 Énoncé

10 Chargement des données
x1 y1 x2 y2 …. …x100 y100 x y x1 y1 x2 y2 .. x100 y100

11 1. Implémentation du système
Deux fonctions principales: Fonction w = entrainerModele(X, p) avec Entrée: X = {(xi,yi)}i=1..n ensemble de données d’entraînement p : ordre du polynôme Sortie: avec Matlab et JAMA proposent des fonctions pour calculer les produits et inverses de matrices w = (XTX)-1XTy

12 1. Implémentation du système (2)
Fonction E = evaluerModele(w,X) avec Entrée: X = {(xi,yi)}i=1..n ensemble de données de test w : vecteur des poids obtenu lors de l'apprentissage Sortie: L’erreur MSE pour w et X: 1/n Σi (g(xi;θ) − yi)2

13 2. Influence du nombre de données d’entraînement
Données d’entraînement : |Xtrain| = 80 exemples Données de tests : |Xtest| = 20 exemples Ordre de régression: fixée à p=3 Mettre les 10 premiers exemples de Xtrain dans Xsel Pseudo inverse: matlab = pinv Java = Pour calcul des erreur : MSE Afficher les courbes : matlab = plot Autres = récupérer les val de E et utiliser excel pour afficher les courbes

14 2. Influence du nombre de données d’entraînement (2)
Entrainez le modèle sur Xsel : w = entrainerModele(Xsel, p) Évaluez l’erreur MSE empirique Eemp du modèle appris w sur les exemples de Xsel : Eemp = evaluerModele(w, Xsel) Évaluez l’erreur MSE de généralisation Egen du même modèle w sur les exemples de Xtest: Eemp = evaluerModele(w, Xtest) Répétez les étapes : 5, 6 et 7 pour |Xtest| = 15, 20, 25,…,80

15 2. Influence du nombre de données d’entraînement (3)
Afficher les courbes Eemp et Egen en fonction du nombre d’exemples: Implémentation en Matlab : Utiliser la fonction plot Autre solution : utiliser un fichier Excel pour générer les graphiques

16 3. Influence de l’ordre de régression
Séparation des données: |Xtrain|= 60, |Xvalid| = 20, et |Xtest| = 20. Répéter pour p = 0, 1, 2, …, 20: Entraînement avec Xtrain : w = entrainerModele(Xtrain, p) Calculer l'erreur empirique surXtrain : Eemp = evaluerModele(w, Xtrain) Calculer l'erreur de généralisation sur Xvalid : Egen = evaluerModele(w, Xvalid) Tracer Eemp et Egen en fonction de p

17 3. Influence de l’ordre de régression
Trouvez l'ordre de régression p* pour lequel Egen est minimale Entraînez le modèle pour ce p*: w = entrainerModele(Xtrain, p*) Calculez l'erreur de généralisation sur l’ensemble Xtest : Egen = evaluerModele(w, Xtest)

18 Remise du travail À remettre: Code source
Rapport (voir l’énoncé et le gabarit) Date de remise: Le 8 Juin 2012 à 8h am Correction interactive : Durant la séance du 8 juin

19 Langage d’implémentation
MATLAB Java : utilisez la librairie JAMA ( C++ Python