SEARCH

SEARCH BY CITATION

Keywords:

  • Asymptotic theory;
  • lasso;
  • regularized regression;
  • variable selection and estimation;
  • MSC 2010: Primary 62J05;
  • secondary 62E20

Abstract

The Dantzig selector (Candès & Tao, 2007) is a popular equation image-regularization method for variable selection and estimation in linear regression. We present a very weak geometric condition on the observed predictors which is related to parallelism and, when satisfied, ensures the uniqueness of Dantzig selector estimators. The condition holds with probability 1, if the predictors are drawn from a continuous distribution. We discuss the necessity of this condition for uniqueness and also provide a closely related condition which ensures the uniqueness of lasso estimators (Tibshirani, 1996). Large sample asymptotics for the Dantzig selector, that is, almost sure convergence and the asymptotic distribution, follow directly from our uniqueness results and a continuity argument. The limiting distribution of the Dantzig selector is generally non-normal. Though our asymptotic results require that the number of predictors is fixed (similar to Knight & Fu, 2000), our uniqueness results are valid for an arbitrary number of predictors and observations. The Canadian Journal of Statistics 41: 23–35; 2013 © 2012 Statistical Society of Canada

Le sélecteur de Dantzig [Candès et Tao, 2007] est une méthode de régularisation equation image pour le sélection de variables et l'estimation en régression linéaire. Nous présentons une condition géométrique très faible sur les prédicteurs observés qui est reliée au parallélisme, et, lorsque vérifiée, elle nous assure l'unicité des estimateurs du sélecteur de Dantzig. Si les prédicteurs proviennent d'une distribution continue, cette condition est vérifiée avec probabilité 1. Nous discutons de la nécessité de cette condition pour l'unicité et nous donnons aussi une condition étroitement reliée qui nous assure de l'unicité des estimateurs lasso [Tibshirani, 1996]. Les propriétés asymptotiques pour le sélecteur de Dantzig, c'est-à-dire la convergence presque sure et la distribution asymptotique, découlent directement de nos résultats d'unicité et d'un argument de continuité. La distribution limite du sélecteur de Dantzig n'est pas habituellement normale. Quoique nos résultats asymptotiques demandent que le nombre de prédicteurs soit fixe (similaire à [Knight et Fu, 2000]), nos résultats d'unicité sont valides pour un nombre arbitraire de prédicteurs et d'observations. La revue canadienne de statistique 41: 23–35; 2013 © 2012 Société statistique du Canada