présenté Mouhamadou Thiam Experimental Comparison between Bagging and Monte Carlo Ensemble Classification auteurs Roberto Esposito & Lorenza Saitta
Plan Introduction Bagging Monte Carlo MC Amplification Bagging vs MC Amplification Résultats expérimentaux Bilan & Conclusion
Introduction Théorie de MC, apprentissage et classification AmpMC [ES,2004], prédictions Motivations Validité des prédictions(expérimentalement) Évaluation de son pouvoir explicatif Autres classifieurs ??? Bagging [Br,1996], vs AmpMC
Bagging Boostrap Aggregating Apprentissage –Nouvelle BD par classifieur –Apprentissage séparée des classifieurs Utilisation –Combinaison linéaire de tous les classifieurs –Début : très simples(arbres de décision) –Actuellement : plus compliqués (RN) [HS,M205]
Monte Carlo Algorithme stochastique (réponse!) [BB,1988] Consistant = jamais 2 réponses correctes p-correct Bayes error = 0, MC certainly consistent Pas de mémoire Aptitude dAmplification(T,pc(x)~1, p>½) Classification binaire
MC Amplification Répéter MC T fois sur le même x k Choisir la réponse la plus fréquente Appliquer AmpMC Matrice de MC, valeurs théoriques
Bagging vs MC Amplification Dans [Br,1996] P X (x) distribution de probabilité continue Travaux antérieurs [ES,03a],[ES,03a],[ES,2004] X = {x k |1<=k<=N}, D = {d k |1<=k<=N}, Quelques résultats order-correctness([Br,1996]) MC amplifiability([ES,2004]) cas spéciaux de MC formules de Breiman order- correctness([Br,1996])
Bagging vs MC Amplification Même erreur attendue T hypothèses Bagging vs T*N AmpMC Bagging moins cher (T vs T*N) Variance plus élevée pour le bagging [ES,2004] « Poor predicators » « worse ones » Bagging cas particulier de MC
Evaluation 12 datasets naturelles Pour chacune –T Є [1,101], impaires avec 60 fois Datasets artificielles F 1 =53, X u {55,70,95} X u =53, F 1 {55,70,95}
Résultats Expérimentaux But double –Validité des prédictions théoriques de MC –Relations entre MC et Bagging Validité de la théorie de MC vérifiée Bagging moins chèr Même erreur attendue Plausible variance bagging plus grande
Bilan & Conclusion Validité des prédictions théoriques Même moyenne derreur Variance(Bagging) > Variance(AmpMC) Bagging est –moins coûteux –pratique(peu de ressources) !! Relation entre les variances
Mon avis Théorie de MC bien exposée Son amplification de même Bagging non exposé Données de tests –Naturelles suffisantes –Artificielles pas suffisants Bon article mais –Lire leurs travaux précédents
Références [HS,M205] Holger Schwenk, Cours M2R, Traitement Statique de lInformation, Orsay [ES,2004] Esposito, R., & Saitta, L. (2004). A Monte Carlo Analysis of Ensemble Classification. Proceedings of the twenty-first International Conference on Machine Learning (pp. 265–272). Banff, Canada: ACM Press, New York, NY. [ES,2003b] Esposito, R., & Saitta, L. (2003b). Monte Carlo Theory as an Explaination of Bagging and Boosting. Proceeding of the Eighteenth International Joint Conference on Artificial Intelligence (pp. 499–504). Morgan Kaufman Publishers. [ES,2003a] Esposito, R., & Saitta, L. (2003a). Explaining Bagging with Monte Carlo Theory. Lecture Notes in Artificial Intelligence (pp. 189–200). Springer. [Br,1996] Breiman, L. (1996). Bagging predictors. Machine Learning, 24, 123–140. [BB,1988] Brassard, G., & Bratley, P. (1988). Algorithmics: theory and practice. Prentice-Hall, Inc.