Méthodes de dynamisation

Introduction

Dans ce chapitre, nous allons apprendre les méthodes de boosting dans Sklearn, qui permettent de construire un modèle d'ensemble.

Les méthodes de boosting construisent un modèle d'ensemble de manière incrémentale. Le principe principal est de construire le modèle de manière incrémentale en entraînant séquentiellement chaque estimateur du modèle de base. Afin de construire un ensemble puissant, ces méthodes combinent essentiellement plusieurs apprenants hebdomadaires qui sont formés séquentiellement sur plusieurs itérations de données d'entraînement. Le module sklearn.ensemble comporte les deux méthodes de boosting suivantes.

AdaBoost

Il s'agit de l'une des méthodes d'ensemble de boosting les plus réussies, dont la clé principale réside dans la façon dont elles donnent des poids aux instances de l'ensemble de données. C'est pourquoi l'algorithme doit accorder moins d'attention aux instances lors de la construction des modèles suivants.

Classification avec AdaBoost

Pour créer un classificateur AdaBoost, le module Scikit-learn fournit sklearn.ensemble.AdaBoostClassifier. Lors de la construction de ce classificateur, le principal paramètre utilisé par ce module est base_estimator. Ici, base_estimator est la valeur de l'estimateur de base à partir duquel l'ensemble boosté est construit. Si la valeur de ce paramètre est nulle, l'estimateur de base sera DecisionTreeClassifier(max_depth=1).