ACP

Oui, c'est une première idée.

Mais il arrive que deux dimensions principales ne donnent qu'une piètre idée de la situation.

Cordialement.

Le nom "manifold" en machine learning n'a que peu voir avec la variété mathématique. C'est un abus de langage, pour dire que les données reposent sur une surface de dimension $p$ par rapport à leur espace ambiant de dimension $n$. C'est une approximation mais la réalité est différente, les données n'appartiennent pas à une sous-variété en vrai.

Par ailleurs, quand on lit le mot manifold learning, en fait même si on cherchait à apprendre une "vraie" variété les algorithmes de manifold learning n'y arriveraient pas. Parce que contrairement à l'essence même de la géométrie différentielle, les algos de manifold learning apprennent une paramétrisation globale et non un atlas de cartes locales.

Néanmoins, des connaissances en géométrie différentielle voire riemannienne, bien que complètement dispensables, peuvent être utiles. A la fois pour la compréhension des choses (si tout le monde maîtrisait la géométrie diff personne n'aurait appelé le manifold learning comme cela), et aussi pour certaines techniques pointues de recherche. La géométrie différentielle reste cependant largement plus utilisée en computational geometry qu'en machine learning, où il est très loin d'être un pré-requis.

dfshr8 a écrit:

est ce qu'un compte Git à plus d'intérêt qu'un simple compte dropbox si l'objectif est de rendre public certains programmes ?

Oui largement.

La SVD donne la solution analytique à la PCA. Il y a autant de pdf que tu veux là-dessus, cherche en anglais. Elle donne aussi la solution aux moindres carrés linéaires.

Bonjour.

Les calculs matriciels effectués lors d'une Analyse en Composantes Principales supposent que les différentes variables ont une influence additive sur le résultat. Evidemment, si l'on suppose que le "résultat" est une fonction différentiable des "facteurs", et que le domaine très petit, cela est à peu près vérifié. Dans tous les autres cas, il ne faut pas espérer de miracles. Un exemple intéressant à étudier est $z=x \times y + bruit$ sur $[1;3]\times [1;3]$.

Cordialement, Pierre.

Je n'ai pas suivi le fil, mais ta formule fait plutôt penser au carré d'une norme.

Ceci est complètement faux: "${P_H}:=argmin_{P \text{ tel que }P^tP=I_p}\ \|X'-PX'\|^2$"
La seule projection orthogonale qui vérifie $P^tP$ est l'identité (donc attention au vocabulaire et la confusion avec les matrices orthogonales). Une projection orthogonale est juste une projection dont la matrice est symétrique (égale à sa transposée).

On cherche ${P_H}:=argmin_{P \text{ tel que }P^t=P=P^2} \sum_i \|x_i-Px_i\|^2=argmin_{P \text{ tel que }P^t=P=P^2} trace((X'-PX')(X-PX))$. Le dernier terme n'est autre que $argmin_{P \text{ tel que }P^t=P=P^2} \|X-PX\|_F^2$ où la dernière norme est celle de Froebenius, donnée pour le produit scalaire matriciel.

Dans le livre de Shae Schalev on prouve même que la "meilleure" transformation linéaire (au sens de la reconstruction) est justement une projection orthogonale du type $P=UU^T$ avec $U^TU=I$ et $U\in R^{d,n}$.

Maintenant je suis curieux de savoir si quelqu'un est cabale de donner une solution (avec preuve) de $argmin_{P \text{ tel que }P^t=P=P^2} \|X-PX\|_F^2$

Quelques références utiles:
http://www.xavierdupre.fr/app/mlstatpy/helpsphinx/c_ml/rn_9_auto.html#problem-acp