Get access

A Survey of L1 Regression

Authors


Summary

L1 regularization, or regularization with an L1 penalty, is a popular idea in statistics and machine learning. This paper reviews the concept and application of L1 regularization for regression. It is not our aim to present a comprehensive list of the utilities of the L1 penalty in the regression setting. Rather, we focus on what we believe is the set of most representative uses of this regularization technique, which we describe in some detail. Thus, we deal with a number of L1-regularized methods for linear regression, generalized linear models, and time series analysis. Although this review targets practice rather than theory, we do give some theoretical details about L1-penalized linear regression, usually referred to as the least absolute shrinkage and selection operator (lasso).

Résumé

La régularisation L1, ou régularisation par pénalisation L1, est une notion populaire en statistique et en “machine learning”. Cet article examine le concept et les applications en régression de ces méthodes de régularisation. Notre but n'est pas de présenter une liste exhaustive des usages de la pénalisation L1 dans les problèmes de régression; au contraire, nous nous concentrons sur ce que nous croyons être l'ensemble des usages les plus représentatifs de cette technique, et les décrivons en détail. Ainsi, nous traitons d'un certain nombre de méthodes faisant intervenir la régularisation L1 en régression linéaire, dans les modéles linéaires généralisés, et en analyse des séries temporelles. Bien que cette revue cible la pratique plutôt que la théorie, nous donnons quelques précisions théoriques sur la méthode couramment désignée sous le nom de “lasso”.

Ancillary