Dept. TSI, Telecom ParisTech, Institut Mines-Télécom

Présentation au sujet: "Dept. TSI, Telecom ParisTech, Institut Mines-Télécom"— Transcription de la présentation:

1 Dept. TSI, Telecom ParisTech, Institut Mines-Télécom
Alexandre Gramfort Dept. TSI, Telecom ParisTech, Institut Mines-Télécom Projet Résilience Jan, 2015

2 Objectif Data challenges (10 minutes) Informations générales (15 minutes)
Développer les outils de machine learning pour analyser les logs des machines sous SlapOS et “Apprendre à predire les pannes” Contraintes: Données volumineuses: Algorithmes avec complexité (quasi-)linéaire en mémoire et temps de calcul Nécessité de traiter les données sous forme de flot (pas tout en mémoire) Algorithmes supervisés et non-supervisés pour traiter des données non-étiquetées Facilité de déploiement des modèles sur le cloud

3 Choix Technologique Data challenges (10 minutes) Informations générales (15 minutes)

4 source: https://www.openhub.net/p/scikit-learn
Scikit-Learn en quelques mots Data challenges (10 minutes) Informations générales (15 minutes) source:

5 source: https://www.openhub.net/p/scikit-learn
Qui utilise Scikit-Learn? Data challenges (10 minutes) Informations générales (15 minutes) source:

6 Travail effectué Data challenges (10 minutes) Informations générales (15 minutes)
Implémentation des méthodes de l’état de l’art en classification supervisé: Averaged stochastic gradient descent (ASGD) [1] Stochastic Average Gradient (SAG) [2] Implémentation d’un algorithme non-supervisé de clustering online: BIRCH [3] [1] Large-Scale Machine Learning with Stochastic Gradient Descent, Léon Bottou, [2] Minimizing Finite Sums with the Stochastic Average Gradient, Mark Schmidt, Nicolas Le Roux, Francis Bach, [3] Tian Zhang, Raghu Ramakrishnan, Maron Livny BIRCH: An efficient data clustering method for large databases.

7 Résultats: clustering BIRCH Data challenges (10 minutes) Informations générales (15 minutes)

8 Résultats: clustering BIRCH Data challenges (10 minutes) Informations générales (15 minutes)
BIRCH has an almost linear complexity BIRCH scales to massive datasets like the logs of SlapOS

9 Résultats: Classification supervisée : Data challenges (10 minutes) Informations générales (15 minutes) The SAG solvers is about 10 times faster to reach optimal performance compared to alternative solvers present before in scikit-learn.

10 Résultats: Prédiction de panne dans le cloud Data challenges (10 minutes) Informations générales (15 minutes)