On Sparsity and Sub-Gaussianity in the Johnson-Lindenstrauss Lemma
Abstract
We provide a simple proof of the Johnson-Lindenstrauss lemma for sub-Gaussian variables. We extend the analysis to identify how sparse projections can be, and what the cost of sparsity is on the target dimension.
The Johnson-Lindenstrauss lemma is the theoretical core of the dimensionality reduction methods based on random projections. While its original formulation involves matrices with Gaussian entries, the computational cost of random projections can be drastically reduced by the use of simpler variables, especially if they vanish with a high probability. In this paper, we propose a simple and elementary analysis of random projections under classical assumptions that emphasizes the key role of sub-Gaussianity. Furthermore, we show how to extend it to sparse projections, emphasizing the limits induced by the sparsity of the data itself.
Nous présentons ici une preuve simple du lemme de Johnson-Lindenstrauss pour les variables sous-Gaussiennes, qui permet d'identifer à quel point les matrices de projections peuvent être creuses et avec quelles conséquences pour la dimension cible.
Le lemme de Johnson-Lindenstrauss est au coeur des méthodes de réduction de dimension par projections aléatoires. Son énoncé initial impliquait des matrices de variables Gaussiennes, mais il a ensuite été montré que des variables plus simples, pouvant être nulles avec une probabilité importante, présentaient les mêmes garanties théoriques tout en réduisant drastiquement le coût de calcul.
Nous proposons dans cet article une analyse simple et élémentaire des projections aléatoires qui met en lumière le rôle clé de la sous-Gaussianité. En outre, nous montrons comment étendre cette analyse aux matrices creuses, en mettant au jour les limites induites par des données elles-même parcimonieuses.
| Origin | Files produced by the author(s) |
|---|---|
| Licence |
