Managing Domain Knowledge and Multiple Models with Boosting Peng Zang – Charles Isbell

Quelques rappels Boosting : –Combinaison de « weak learners » –+ Performance agrégation de classifieurs AdaBoost (Adaptative Boosting - Freund et Schapire (96)): –Entraînement des classifieurs dun modèle en séquence –Accent sur les points mal classés –Agrégation pondérée des prédictions : Y M (x) = sign ( m α m y m (x) )

Objectif et caractéristiques de MBoost Objectif : Améliorer la capacité de généralisation Trois extensions à la technique du boosting : –Intégration explicite de plusieurs modèles –Utilisation dun ensemble de validation interne –Mise en place dune condition darrêt systématique

Intégration explicite de plusieurs modèles Chaque classifieur propose une hypothèse Sélection de la meilleure hypothèse (~ fonction de perte) Mboost joue le rôle darbitre (ø biais supplémentaire)

Utilisation dun ensemble de validation interne Risque de sur-apprentissage du classifieur final (~ méthode dévaluation des hypothèses) Découpage des données : Apprentissage & Validation Génération des hypothèses : données dapprentissage Évaluation des hypothèses : données de test Repondération des données de test uniquement

Mise en place dune condition darrêt systématique Limite de lensemble de validation interne –Sur-apprentissage lié bruit –Performance hypothèses Hasard MBoost sarrête après un roulement suffisant des données dapprentissage et de validation

Conclusions et Preuves (1/3) MBoost dirige et utilise efficacement plusieurs modèles et leurs connaissances du domaine Cf. première expérience : –Performance MBoost Performance AdaBoost –MBoost est cinq fois plus rapide

Conclusions et Preuves (2/3) Performance MBoost Performance AdaBoost Cf. deuxième expérience : –5 ensembles de données et 25 classifieurs –Mboost > BestAda (5 ens.) et C Mboost = C AdaBoost –Mboost > BestCV-Ada (3 ens.) et –Mboost = BestCV-Ada (2 ens.) et –10*C Mboost = C AdaBoost

Conclusions et Preuves (3/3) Critère darrêt de MBoost : robuste au sur-apprentissage Cf. quatrième expérience : –Mboost = MboostAuto MBoost : une alternative à la sélection de modèle par cross-validation Cf. quatrième expérience : –Mboost > BestCV-Ind (1 ens.) et C Mboost = C BestCV-Ind

Questionnement Efficacité de lutilisation dune variété de modèles par MBoost ? –Hypothèse : performances observées dans la 2 ième et 4 ième expériences peuvent être dues à lensemble de validation interne Choisir la meilleure hypothèse VS Agréger les meilleures hypothèses