Modèle additif généralisé

Le début de ton message est très trouble entre régression linéaire simple et régression linéaire multiple qu'entraîne la prise en compte des données météorologiques. Le lien que tu donnes vers cet article ne semble pas le plus adapté (j'ai même cru à une blague et, si c'est le même délire, je n'ai vraiment pas le temps). Pour programmer avec VBA, une régression linéaire simple ou multiple, ce n'est pas la mer à boire mais ce qui est fondamental, ce sont toutes les aides à l'interprétation et, là, cela se complique.

Je ne comprends pas trop ce leitmotiv des messages qui disent "je n'y comprends pas grand chose en statistique/mathématiques mais je veux utiliser cette technique complexe". Cela ne me viendrait pas à l'idée de faire la même chose ou avec,énormément de précautions.

Cordialement.

Bonjour,

Je n'ouvre pas la boîte de Pandore des précisions sur l'application, je te fais confiance. ;-) Pour rejoindre jma sous un autre angle, quelques points de repère techniques...

Exemple simple. Imagine que $y$ est l'aire d'un cercle et $x$ sont rayon. L'aire d'un cercle de rayon $r$ etant $\pi\cdot r^2$, tu n'iras pas bien loin avec un modèle linéaire $y=w\cdot x$ ! Par contre, si tu poses $\phi_1(x) = x^2$, tu vois que tu t'en sortiras à la perfection avec un modèle $y=w\cdot \phi_1(x)$, qui n'est rien d'autre qu'un modèle linéaire en $\phi_1(x)$ ! C'est l'astuce déployée par les modèles linéaires généralisés.

Un modèle linéaire s’écrit $y= b+ w_1\cdot x_1 + w_2\cdot x_2 + \cdots + w_K \cdot x_K$.
Si tu as travaillé avec tu as peut-être vu leur représentation vectorisée, plus compacte, $y=\mathbf{w}^T \mathbf{x} + b$ où l'on note $\mathbf{w}=(\cdots w_k \cdots)^T\in\mathbb{R}^K$ et $\mathbf{x}=(\cdots x_k \cdots)^T\in\mathbb{R}^K$ les concaténations respectives des coefficients et des variables explicatives.

Si tu t'es intéressé au 'fit' des coefficients à partir de données, tu as peut-être vu la forme matricielle suivante : $\mathbf{y} = \mathbf{X}\mathbf{w} + b\mathbf{1}$, avec :
* $N$ observations $(\mathbf{x}_1,y_1)$, $\cdots$, $(\mathbf{x}_N,y_N)$ où chaque $\mathbf{x}_n=(\cdots x_{nk} \cdots)^T$ est le vecteur de valeurs des variables explicatives pour la $n$-ième observation.
* Les observations sont regroupées dans une matrice $\mathbf{X} = (\mathbf{x}_1 | \cdots | \mathbf{x}_N)^T\in\mathbb{R}^{N\times K}$. Chaque observation occupe une ligne. Les colonnes parcourent les $K$ variables explicatives.
* $\mathbf{y}=(\cdots y_n \cdots)^T \in\mathbb{R}^N$ est le vecteur des $y_n$ des $N$ observations.
* $b\mathbf{1}\triangleq b (1\cdots 1)^T$ est simplement une notation pour répéter le biais $b$ pour chacun des $N$ points de données.

Cette expression matricielle est la plus pratique pour mener à bien les calculs d'ajustement des coefficients. Ok ?

Les modèles linéaires généralisés (GLM, une paramétrisation commune des GAM) introduisent deux modifications. Je supprime le biais pour faire ressortir l'essentiel.

* On s'autorise à appliquer des transformations judicieuses $\mathbf{x} \mapsto \phi_m(\mathbf{x})$ aux variables explicatives avant d'appliquer un modèle linéaire. On construit $M$ transformations $\phi_m$. Par exemple, une transformation pourrait retourner la somme des carrés des deux premières variables $\mathbf{x} \mapsto \phi(\mathbf{x})=x_1^2+x_2^2$.

* On envisage donc à présent un modèle linéaire $y= w_1\cdot \phi_1(\mathbf{x}) + w_2\cdot \phi_2(\mathbf{x}) + \cdots + w_M \cdot \phi_M(\mathbf{x})$, qui combine les différentes transformations pour déterminer $y$. Remarque que l'on somme a présent sur $m=1\cdots M$ et non plus $k=1\cdots K$.

* On appelle $\phi_m$ des "fonctions de base", des "features", parfois des "noyaux". La terminologie s'adapte au contexte. L’idée est que ces "features" sont choisies par l'utilisateur pour capturer des propriétés saillantes des données. D'une certaine façon, l'âge ($\phi_1(x)$), la taille ($\phi_2(x)$), le poids ($\phi_3(x)$) d'une personne $x$ sont des "features" d'une personne. Donc un modèle linéaire d'une variable $y$ en fonction de âge, taille, poids cache en fait un modèle linéaire généralisé de $y$ en fonction de la personne.

* Ce qui est très joli, c'est que sous forme matricielle le problème n'est pas plus compliqué !

$\mathbf{y} = \mathbf{\Phi}\mathbf{w}$,

avec $\mathbf{\Phi}\in \mathbb{R}^{N\times M}$ une matrice de taille $N\times M$, dont le coefficient $\mathbf{\Phi}_{nm} \triangleq \phi_m(\mathbf{x}_n)$ sur la $n$-ième ligne, $m$-ième colonne, donne la valeur de la $m$-ième feature pour la $n$-ième observation.

* La seule différence est que les données $\mathbf{X}$ n'apparaissent à présent plus qu'indirectement, à travers la matrice $\mathbf{\Phi}$ de réponses aux "features" que tu spécifies. Mais puisque tu connais $\mathbf{\Phi}$, le traitement mathématique est le même. Pratique, non ?

* Deuxième point, moins important de prime abord si tu travailles sur de la régression, tu peux autoriser une transformation non-linéaire $g$ de $\mathbf{\Phi}\mathbf{w}$ pour obtenir $y$, soit $\mathbf{y} = g(\mathbf{\Phi}\mathbf{w})$. Si tu choisis $g=\text{Id}$ tu es ramené au cas décrit ci-dessus. Je n'entre pas plus dans les détails, cette astuce est plus avancée mais plutôt pertinente pour de la classification (e.g., $y$ est une variable binaire et non une valeur continue), ou bien dans une vision plus générale de la régression.

Pour résumer, un GLM offre davantage de flexibilité qu'un modèle linéaire en autorisant des transformations judicieuses des variables explicatives. Clairement, toute la question va être celle du choix des $\phi_m$ sur des problèmes plus complexes avec moins d'apport de connaissances du domaine.

Cordialement.

Je mets un tout petit bout du début du résumé de l'article indiqué : "... The reliable reconstruction of the temperature conditions at a crime scene is still a great challenge in forensic-entomological case work...". OK, d'accord.
Les trois derniers post sont clairs comme du jus de chique : Dermochelys, expert Miami! Talbon une autre composition ? Beagle un autre message ? C'est la cinquième dimension.
Bon bien que dire.

Bonsoir,

Il est à se demander pourquoi Hastie et Tibshirani range le modèle GAM dans les modèles non linéaires : linéaire en ses paramètres et non linéaire pour ses entrées ? Je ne sais pas.

Cordialement.

Un modèle linéaire généralisé peut donc être totalement non linéaire, je pense que ce n'est pas trop clair pour toi.

Cordialement.