staple
Avec cedram.org
logo JEP
Table des matières de ce volume | Article précédent | Article suivant
Vladimir Koltchinskii; Stanislav Minsker
$L_1$-penalization in functional linear regression with subgaussian design
(Pénalisation $L_1$ en régression fonctionnelle linéaire avec design sous-gaussien)
Journal de l'École polytechnique — Mathématiques, 1 (2014), p. 269-330, doi: 10.5802/jep.11
Article PDF | TeX source
Class. Math.: 62J02, 62G05, 62J07
Mots clés: Régression fonctionnelle, recouvrement « sparse », LASSO, inégalité d’oracle, dictionnaire infini

Résumé - Abstract

Nous étudions la régression fonctionnelle linéaire avec design sous-gaussien et la réponse à valeurs réelles. Nous nous concentrons sur les problèmes où la fonction de régression est bien approchée par un modèle fonctionnel linéaire dont la pente est « sparse » dans le sens où elle peut être représentée comme une somme d’un petit nombre de « pics » séparés. Nous pouvons considérer ce problème comme une extension du problème classique d’estimation « sparse » au cas d’un dictionnaire infini. Nous étudions un estimateur de la fonction de régression basé sur la minimisation du risque empirique pénalisé avec une perte quadratique et avec une pénalité de complexité définie en termes de la norme $L_1$ (une version continue du LASSO). L’objectif principal est d’introduire certains paramètres importants qui caractérisent la « sparsité » dans cette classe de problèmes et de prouver des inégalités d’oracle « sparses » montrant comment l’erreur $L_2$ de la version continue du LASSO dépend de la sparsité sous-jacent du problème.

Bibliographie

[1] R. Adamczak, “A tail inequality for suprema of unbounded empirical processes with applications to Markov chains”, Electron. J. Probab. 13 (2008), p. 1000-1034  MR 2424985 |  Zbl 1190.60010
[2] R. Adams, Sobolev spaces, Academic Press, New York, 1975  MR 450957 |  Zbl 1098.46001
[3] G. Bal, “Numerical methods for PDEs”, Lecture notes available at http://www.columbia.edu/~gb2030/COURSES/E6302/NumAnal.pdf, 2009
[4] P. L. Bartlett, S. Mendelson & J. Neeman, “$\ell _1$-regularized linear regression: persistence and oracle inequalities”, Probab. Theory Relat. Fields 154 (2012), p. 193-224  MR 2981422
[5] W. Bednorz, “Concentration via chaining method and its applications”, arXiv:1405.0676v2, 2014
[6] P. J. Bickel, Y. Ritov & A. B. Tsybakov, “Simultaneous analysis of Lasso and Dantzig selector”, Ann. Statist. 37 (2009) no. 4, p. 1705-1732  MR 2533469 |  Zbl 1173.62022
[7] V. I. Bogachev, Measure theory. Vol. I, II, Springer-Verlag, Berlin, 2007  MR 2267655 |  Zbl 1120.28001
[8] P. Bühlmann & S. A. van de Geer, Statistics for high-dimensional data, Springer- Verlag, Berlin-Heidelberg, 2011  MR 2807761 |  Zbl 1273.62015
[9] F. Bunea, A. B. Tsybakov & M. Wegkamp, “Sparsity oracle inequalities for the Lasso”, Electron. J. Statist. 1 (2007), p. 169-194  MR 2312149 |  Zbl 1146.62028
[10] T. T. Cai & P. Hall, “Prediction in functional linear regression”, Ann. Statist. 34 (2006) no. 5, p. 2159-2179  MR 2291496 |  Zbl 1106.62036
[11] E. Candès, “The restricted isometry property and its implications for compressed sensing”, Comptes Rendus Mathématique 346 (2008) no. 9, p. 589-592  MR 2412803 |  Zbl 1153.94002
[12] E. Candès & C. Fernandez-Granda, “Towards a Mathematical Theory of Super-resolution”, Comm. Pure Appl. Math. 67 (2014) no. 6, p. 906-956  MR 3193963
[13] E. J. Candès, J. K. Romberg & T. Tao, “Stable signal recovery from incomplete and inaccurate measurements”, Comm. Pure Appl. Math. 59 (2006) no. 8, p. 1207-1223  MR 2230846 |  Zbl 1098.94009
[14] C. Crambes, A. Kneip & P. Sarda, “Smoothing splines estimators for functional linear regression”, Ann. Statist. 37 (2009) no. 1, p. 35-72  MR 2488344 |  Zbl 1169.62027
[15] S. Dirksen, “Tail bounds via generic chaining”, arXiv:1309.3522, 2013
[16] S. A. van de Geer, “High-dimensional generalized linear models and the Lasso”, Ann. Statist. 36 (2008) no. 2, p. 614-645  MR 2396809 |  Zbl 1138.62323
[17] S. A. van de Geer & J. Lederer, The Lasso, correlated design, and improved oracle inequalities, A Festschrift in Honor of Jon Wellner, IMS Collections, Institute of Mathematical Statistics, 2012, p. 3468–3497  MR 3202642
[18] E. D. Gluskin, “Norms of random matrices and widths of finite-dimensional sets”, Mat. Sb. 120(162) (1983) no. 2, p. 180-189  MR 687610 |  Zbl 0528.46015
[19] M. Hebiri & J. Lederer, “How Correlations Influence Lasso Prediction”, IEEE Trans. Information Theory 59 (2013) no. 3, p. 1846-1854 Article |  MR 3030757
[20] A. D. Ioffe & V. M. Tikhomirov, Theory of Extremal Problems, Nauka, Moscow, 1974  MR 410502
[21] G. James, Sparseness and functional data analysis, The Oxford handbook of functional data analysis, Oxford University Press, 2011, p. 298–323  MR 2908027
[22] G. M. James, J. Wang & J. Zhu, “Functional linear regression that’s interpretable”, Ann. Statist. 37 (2009) no. 5A, p. 2083-2108  MR 2543686 |  Zbl 1171.62041
[23] V. Koltchinskii, “The Dantzig selector and sparsity oracle inequalities”, Bernoulli 15 (2009) no. 3, p. 799-828  MR 2555200
[24] V. Koltchinskii, “Sparse recovery in Convex Hulls via Entropy penalization”, Ann. Statist. 37 (2009) no. 3, p. 1332-1359  MR 2509076 |  Zbl 1269.62039
[25] V. Koltchinskii, “Sparsity in Penalized Empirical Risk Minimization”, Ann. Inst. H. Poincaré Probab. Statist. 45 (2009) no. 1, p. 7-57 Numdam |  MR 2500227 |  Zbl 1168.62044
[26] V. Koltchinskii, Oracle inequalities in empirical risk minimization and sparse recovery problems, 38th Probability Summer School (Saint-Flour, 2008), Springer, 2011  MR 2829871 |  Zbl 1223.91002
[27] V. Koltchinskii, K. Lounici & A. B. Tsybakov, “Nuclear-norm penalization and optimal rates for noisy low-rank matrix completion”, Ann. Statist. 39 (2011) no. 5, p. 2302-2329  MR 2906869 |  Zbl 1231.62097
[28] V. Koltchinskii & S. Minsker, Sparse Recovery in Convex Hulls of Infinite Dictionaries, COLT 2010, 23rd Conference on Learning Theory, 2010, p. 420–432
[29] S. Lang, Real and functional analysis, Graduate Texts in Math. 142, Springer, 1993  MR 1216137 |  Zbl 0831.46001
[30] M. A. Lifshits, Gaussian random functions, Mathematics and its Applications 322, Kluwer Academic Publishers, Dordrecht, 1995  MR 1472736 |  Zbl 0832.60002
[31] P. Massart & C. Meynet, “The Lasso as an $\ell _1$-ball model selection procedure”, Electron. J. Statist. 5 (2011), p. 669-687  MR 2820635 |  Zbl 1274.62468
[32] S. Mendelson, “Oracle inequalities and the isomorphic method”, Preprint, 2012. Available at http://maths-people.anu.edu.au/~mendelso/papers/subgaussian-12-01-2012.pdf
[33] S. Mendelson, “Empirical processes with a bounded $\psi _1$ diameter”, Geom. Funct. Anal. 20 (2010) no. 4, p. 988-1027  MR 2729283 |  Zbl 1204.60042
[34] H. G. Müller & U. Stadtmüller, “Generalized functional linear models”, Ann. Statist. 33 (2005) no. 2, p. 774-805  Zbl 1068.62048
[35] J. O. Ramsay, Functional data analysis, Wiley Online Library, 2006
[36] J. O. Ramsay & B. W. Silverman, Applied functional data analysis: methods and case studies, Springer Series in Statistics 77, Springer, New York, 2002  MR 1910407 |  Zbl 0882.62002
[37] K. Ritter, G. W. Wasilkowski & H. Woźniakowski, “Multivariate integration and approximation for random fields satisfying Sacks-Ylvisaker conditions”, Ann. Appl. Probab. (1995), p. 518-540  MR 1336881 |  Zbl 0872.62063
[38] J. Sacks & D. Ylvisaker, “Designs for regression problems with correlated errors”, Ann. Statist. 37 (1966) no. 1, p. 66-89  MR 192601 |  Zbl 0152.17503
[39] M. Talagrand, The generic chaining, Springer Monographs in Mathematics, Springer-Verlag, Berlin, 2005  MR 2133757 |  Zbl 1075.60001
[40] R. Tibshirani, “Regression shrinkage and selection via the Lasso”, J. R. Stat. Soc. Ser. B Stat. Methodol. (1996), p. 267-288  MR 1379242 |  Zbl 0850.62538
[41] A. W. van der Vaart & J. A. Wellner, Weak convergence and empirical processes, Springer Series in Statistics, Springer-Verlag, New York, 1996  MR 1385671 |  Zbl 0862.60002
[42] M. Yuan & T. T. Cai, “A reproducing kernel Hilbert space approach to functional linear regression”, Ann. Statist. 38 (2010) no. 6, p. 3412-3444  MR 2766857 |  Zbl 1204.62074