Degrees of freedom for piecewise Lipschitz estimators

Abstract

Une représentation des degrés de liberté comparable au lemme de Stein est donnée pour une classe d’estimateurs du paramètre de la moyenne dans $\mathbb{R}^{n}$. Contrairement aux résultats précédents, notre représentation est valable pour une famille d’estimateurs discontinus. Cela montre que même si les discontinuités sont de mesure de Lebesgue zéro, elles ne peuvent pas être ignorées lors du calcul des degrés de liberté. Les estimateurs avec discontinuités apparaissent naturellement dans les modèles de régression si de la sélection de variables par les données est utilisée. Deux tels exemples, la sélection du meilleur sous-ensemble et le lasso-OLS, sont considérés en détail dans l’article. Pour le Lasso-OLS, la représentation générale mène à une estimation des degrés de liberté basée sur le chemin de la solution Lasso, qui à son tour peut être utilisée pour estimer le risque du lasso-OLS. Une estimation similaire est proposée pour la sélection du meilleur sous-ensemble. L’utilité des estimées de risque pour le choix du nombre de variables est démontrée par des simulations qui se concentrent en particulier sur lasso-OLS.