Algorithmes de descente par blocs pour l’apprentissage creux

Présentation au sujet: "Algorithmes de descente par blocs pour l’apprentissage creux"— Transcription de la présentation:

1 Algorithmes de descente par blocs pour l’apprentissage creux
Mehdi Meghzifene – IF Ensimag 2A 18 mai 2011

2 Objectif Réduire le nombre de paramètres décrivant un individu. k < < m

3 Comment? En minimisant l’erreur de reconstruction pour k fixé.

4 ACP où

5 Formulation du Problème
Relacher la contrainte d’orthogonalité pour obtenir une compression plus forte. parcimonie Minimisation de l’erreur Problème trop complexe

6 Norme ||.||1 Pourquoi la norme ||.||1?

7 Difficultés & Solutions
h n’est pas convexe. On considère donc les fonctions partielles f n’est pas différentiable. On doit avoir recours à des algorithmes spécifiques pour résoudre

8 Algorithme de descente par coordonnée
Minimisation à tour de rôle selon chaque coefficient de α.

9 Convergence Preuve adaptée de Non Linear Programming, Bertsekas

10 Expériences

11 Algorithmes Implémentés

12 Résultats Descente α

13 Résultats Descente D

14 Résultats Parcimonie

15 Comparaison avec l’ACP

16 MERCI