Régularisation: Ridge, Lasso et Elastic Net

Tout d’abord, nous allons revenir sur la méthode des moindres carrés. Comme son nom l’indique, elle consiste à minimiser l’erreur entre les données réelles et prédites par le modèle. Supposons le jeu de données suivant contenant dix observations (numérotées de 1 à 10) et dont la mesure est proportionnelle à:

$X \sim x * 1.5 + \mathcal{N}(\mu = 0,\,\sigma^{2} = 1)$

Nous obtenons le graphique suivant:

Une observation devrait sauter aux yeux sur ce graphique, en fonction de la population d’entraînement, on peut avoir une très grande différence au niveau des capacités prédictives du modèle, c’est ce qu’on appelle la variance liée au surapprentissage. Ici, la ligne en bleu est construite uniquement sur la base de deux points et non sur tous (comme en rouge).

D’autre part, on peut se demander comment l’erreur (des moindres carrés) évolue lorsque l’on fait varier le coefficient directeur (la pente) de la droite de régression mais sans modifier l’ordonnée à l’origine. Donc, en calculant: $mean((y - slope * x + ols\$Intercept)^{2})$. On peut alors obtenir un graphique comme celui-ci:

Nous l’avons dit en introduction, le principe de la régularisation consiste à simplifier un modèle en cherchant souvent à pénaliser des valeurs extrêmes dans les paramètres ou en cherchant les paramètres expliquant au mieux les résultats obtenus, les plus explicatifs. Pour cela, on définit une métrique qui peut mesurer tant les valeurs des paramètres que leur nombre; et l’on préférera un modèle contenant "moins" de paramètres s’il parvient à des résultats similaires à un autre plus complexe.

Le processus consiste alors à minimiser deux expressions en même temps:

• La somme des résidus quadratiques liés au modèle en lui-même.
• Une expression combinant les coefficients du modèle.

Ridge regression

La régression qualifiée de "Ridge" consiste à minimiser la somme des carrées des coefficients, le tout pondéré par un facteur (noté $\lambda$).

On se retrouve avec à minimiser l’expression suivante:

Ce paramètre $\lambda$ est utilisé afin de pondérer plus ou moins l’importance de la minimisation du modèle en lui-même ou celle des coefficients.

• Lorsqu’il est égale à $0$, on retombe sur le même résultat que la méthode des moindres carrés classique.
• Et lorsqu’il tend vers l’infini ($+\infty$), les coefficients vont tendre vers $0$ (mais sans jamais l’atteindre).
• Pour les valeurs intermédiaires, les coefficients vont être plus petits que dans le modèle non-régularisé.
• Et plus la valeur de $\lambda$ augmente, au plus la complexité générale du modèle diminue.

Lasso regression

La régression qualifiée de "Lasso" consiste à minimiser la somme des valeurs absolues des coefficients, le tout pondéré par un facteur (noté $\lambda$).

On se retrouve avec à minimiser l’expression suivante:

Les propriétés sont assez similaires entre la régression Ridge et Lasso, les différences fondamentales consistent en:

• Lorsque $\lambda$ tend vers l’infini ($+\infty$), les coefficients vont tendre vers $0$ (mais sans jamais l’atteindre) dans le cadre de "Ridge" mais pourront atteindre $0$ pour "Lasso".
• "Ridge" est davantage adapté dans le cadre où les variables indépendantes sont fortement corrélées. Alors que "Lasso" permet de "sélectionner" les covariables en vue de rendre le modèle plus simple (vu que les coefficients peuvent devenir nuls).
• Vu que la norme $L_{1}$ est employée, cela a des répercussions sur les techniques d’optimisations possibles en vue de minimiser ce système.

Elastic net

La régularisation de type "Elastic net" consiste à combiner les deux régularisations précédentes (Ridge et Lasso) afin d’éviter la sélectivité trop forte que peut proposer Lasso tout en conservant possiblement des variables fortement corrélées.

Dans les trois cas, le modèle est intrinsèquement changé, mais nous l’espérons pour un mieux ! Il reste néanmoins à trouver les valeurs pour $\lambda$ les plus appropriées, et pour cela, la validation croisée peut s’avérer plus que nécessaire.

Mais dans le fond, quel est l’impact de ces régularisations sur notre problème:

Naturellement, nous voyons l’erreur moyenne augmentée d’autant plus que le paramètre $\lambda$ est grand. Mais nous comprenons également que l’erreur sera d’autant plus minimisée que la pente sera nulle. Dans le cadre de la régularisation de type Lasso, nous voyons de plus en plus fort une cassure de la courbe, liée à la norme $L_{1}$.