Algorithmes de descente par blocs pour l’apprentissage creux Mehdi Meghzifene – IF Ensimag 2A 18 mai 2011
Objectif Réduire le nombre de paramètres décrivant un individu. k < < m
Comment? En minimisant l’erreur de reconstruction pour k fixé.
ACP où
Formulation du Problème Relacher la contrainte d’orthogonalité pour obtenir une compression plus forte. parcimonie Minimisation de l’erreur Problème trop complexe
Norme ||.||1 Pourquoi la norme ||.||1?
Difficultés & Solutions h n’est pas convexe. On considère donc les fonctions partielles f n’est pas différentiable. On doit avoir recours à des algorithmes spécifiques pour résoudre
Algorithme de descente par coordonnée Minimisation à tour de rôle selon chaque coefficient de α.
Convergence Preuve adaptée de Non Linear Programming, Bertsekas
Expériences
Algorithmes Implémentés
Résultats Descente α
Résultats Descente D
Résultats Parcimonie
Comparaison avec l’ACP
MERCI