Présenté Mouhamadou Thiam Experimental Comparison between Bagging and Monte Carlo Ensemble Classification auteurs Roberto Esposito & Lorenza Saitta.

Présentation au sujet: "Présenté Mouhamadou Thiam Experimental Comparison between Bagging and Monte Carlo Ensemble Classification auteurs Roberto Esposito & Lorenza Saitta."— Transcription de la présentation:

1 présenté Mouhamadou Thiam Experimental Comparison between Bagging and Monte Carlo Ensemble Classification auteurs Roberto Esposito & Lorenza Saitta

2 Plan Introduction Bagging Monte Carlo MC Amplification Bagging vs MC Amplification Résultats expérimentaux Bilan & Conclusion

3 Introduction Théorie de MC, apprentissage et classification AmpMC [ES,2004], prédictions Motivations Validité des prédictions(expérimentalement) Évaluation de son pouvoir explicatif Autres classifieurs ??? Bagging [Br,1996], vs AmpMC

4 Bagging Boostrap Aggregating Apprentissage –Nouvelle BD par classifieur –Apprentissage séparée des classifieurs Utilisation –Combinaison linéaire de tous les classifieurs –Début : très simples(arbres de décision) –Actuellement : plus compliqués (RN) [HS,M205]

5 Monte Carlo Algorithme stochastique (réponse!) [BB,1988] Consistant = jamais 2 réponses correctes p-correct Bayes error = 0, MC certainly consistent Pas de mémoire Aptitude dAmplification(T,pc(x)~1, p>½) Classification binaire

6 MC Amplification Répéter MC T fois sur le même x k Choisir la réponse la plus fréquente Appliquer AmpMC Matrice de MC, valeurs théoriques

7 Bagging vs MC Amplification Dans [Br,1996] P X (x) distribution de probabilité continue Travaux antérieurs [ES,03a],[ES,03a],[ES,2004] X = {x k |1<=k<=N}, D = {d k |1<=k<=N}, Quelques résultats order-correctness([Br,1996]) MC amplifiability([ES,2004]) cas spéciaux de MC formules de Breiman order- correctness([Br,1996])

8 Bagging vs MC Amplification Même erreur attendue T hypothèses Bagging vs T*N AmpMC Bagging moins cher (T vs T*N) Variance plus élevée pour le bagging [ES,2004] « Poor predicators » « worse ones » Bagging cas particulier de MC

9 Evaluation 12 datasets naturelles Pour chacune –T Є [1,101], impaires avec 60 fois Datasets artificielles F 1 =53, X u {55,70,95} X u =53, F 1 {55,70,95}

10 Résultats Expérimentaux But double –Validité des prédictions théoriques de MC –Relations entre MC et Bagging Validité de la théorie de MC vérifiée Bagging moins chèr Même erreur attendue Plausible variance bagging plus grande

11 Bilan & Conclusion Validité des prédictions théoriques Même moyenne derreur Variance(Bagging) > Variance(AmpMC) Bagging est –moins coûteux –pratique(peu de ressources) !! Relation entre les variances

12 Mon avis Théorie de MC bien exposée Son amplification de même Bagging non exposé Données de tests –Naturelles suffisantes –Artificielles pas suffisants Bon article mais –Lire leurs travaux précédents

13 Références [HS,M205] Holger Schwenk, Cours M2R, Traitement Statique de lInformation, Orsay 2005-2006 [ES,2004] Esposito, R., & Saitta, L. (2004). A Monte Carlo Analysis of Ensemble Classification. Proceedings of the twenty-first International Conference on Machine Learning (pp. 265–272). Banff, Canada: ACM Press, New York, NY. [ES,2003b] Esposito, R., & Saitta, L. (2003b). Monte Carlo Theory as an Explaination of Bagging and Boosting. Proceeding of the Eighteenth International Joint Conference on Artificial Intelligence (pp. 499–504). Morgan Kaufman Publishers. [ES,2003a] Esposito, R., & Saitta, L. (2003a). Explaining Bagging with Monte Carlo Theory. Lecture Notes in Artificial Intelligence (pp. 189–200). Springer. [Br,1996] Breiman, L. (1996). Bagging predictors. Machine Learning, 24, 123–140. [BB,1988] Brassard, G., & Bratley, P. (1988). Algorithmics: theory and practice. Prentice-Hall, Inc. http://www.di.unito.it/~esposito/