Qualité d'une régression non linéaire
dans Statistiques
Bonjour,
Je dispose d'un certain nombre de nuages de points 2D obtenus par des mesures dont je connais les incertitudes, et je cherche à estimer, pour chaque nuage de points, deux paramètres physiques via une régression non linéaire. Ma fonction de régression est la même pour chaque nuage de points (i.e. seuls les paramètres changent d'un nuage de points à l'autre). Après un coup de moindres carrés, je connais les paramètres qui minimisent le $\chi^2$ pour chaque nuage de points, et j'estime les incertitudes associées via la hessienne du $\chi^2$ en le minimum.
Seulement voilà : pour une proportion non négligeable de nuages de points, les paramètres que j'obtiens ne font pas trop sens physiquement. Ça ne m'étonne pas trop vu que, malheureusement, la qualité des mesures est loin d'être idéale à mon goût (incertitudes élevées, faible étendue "horizontale" des nuages de points, etc) mais je dois m'en contenter. Et même si j'ai des raisons physiques solides de trouver certains résultats absurdes, je ne peux pas simplement décréter que ce sont des "accidents" et les écarter de mon analyse, déjà parce qu'ils sont pas mal nombreux, et bien sûr parce qu'à partir du moment où je suppose que ces mesures sont mauvaises, je n'ai aucune raison de croire que les autres mesures sont valables sous prétexte que j'aime bien la tête de ce que mon programme en fait.
Je suis donc à la recherche de critères mathématiques qui me permettraient d'avancer un peu. Ma formation en stats étant plutôt légère, je n'ai qu'une vague idée de ce qu'il est possible de faire et du coup mes demandes sont un peu floues... Idéalement j'aimerais pouvoir séparer les "bons" et les "mauvais" nuages de points, obtenir des fits alternatifs dans les "mauvais" cas, ou en dernier recours pouvoir affirmer que les données de bases sont juste trop mauvaises et que je ne peux rien en tirer.
Mon premier réflexe a été de regarder $\chi^2_\text{red}$ le $\chi^2$ réduit (en divisant par le nombre de points du nuage moins 2) de chaque fit avec l'idée de rejeter les données quand $\chi^2_\text{red}$ est trop grand, garder telles quelles les données avec $\chi^2_\text{red} \simeq 1$, et réévaluer les fits quand $\chi^2_\text{red}$ est petit. Plus précisément, pour les petites valeurs de $\chi^2_\text{red}$, au lieu de dire que les paramètres acceptables sont en gros ceux qui sont dans l'ellipse d'erreur autour du minimum de $\chi^2$, j'ai envie de dire que ce sont ceux qui sont à la fois dans la région "physiquement raisonnable" et à l'intérieur d'un certaine ligne de niveau de $\chi^2_\text{red}$.
Mais outre le fait que ça demanderait pas mal de travail supplémentaire, j'ai peur que cette approche soit un peu bancale, notamment parce que j'ai l'impression de forcer l'interprétation statistique de $\chi^2_\text{red}$, qui a priori ne fait sens que si on répète des mesures du même objet (ce qui n'est pas mon cas, chacun de mes nuages de points peut correspondre à un objet, i.e. un jeu de paramètres, bien distinct) à un seul tirage, comme si je déclarais tout de go qu'une pièce était truquée parce qu'après un seul lancer je n'avais obtenu que "pile"...
J'ai aussi regardé la distribution des $\chi^2_\text{red}$ sur tous mes fits pour la comparer avec la distribution théorique, et en effet je trouve qu'il y a un excès de grandes et petites valeurs, mais est-ce que ça fait sens de considérer cette distribution étant donné que chaque tirage correspond a priori à un "vrai" jeu de paramètres différent ? J'ai également lu que pour les régressions non linéaires, $\chi^2_\text{red}$ n'était pas vraiment défini, même si dans mon cas ma fonction de régression m'a l'air suffisamment sympathique (elle est quasiment linéaire en l'un des deux paramètres, et j'ai vérifié sur beaucoup d'exemples que le $\chi^2$ n'a qu'un minimum local) pour pouvoir faire comme si.
Bref, toute suggestion est la bienvenue. Merci à ceux qui auront pris le temps de lire le pavé
Je dispose d'un certain nombre de nuages de points 2D obtenus par des mesures dont je connais les incertitudes, et je cherche à estimer, pour chaque nuage de points, deux paramètres physiques via une régression non linéaire. Ma fonction de régression est la même pour chaque nuage de points (i.e. seuls les paramètres changent d'un nuage de points à l'autre). Après un coup de moindres carrés, je connais les paramètres qui minimisent le $\chi^2$ pour chaque nuage de points, et j'estime les incertitudes associées via la hessienne du $\chi^2$ en le minimum.
Seulement voilà : pour une proportion non négligeable de nuages de points, les paramètres que j'obtiens ne font pas trop sens physiquement. Ça ne m'étonne pas trop vu que, malheureusement, la qualité des mesures est loin d'être idéale à mon goût (incertitudes élevées, faible étendue "horizontale" des nuages de points, etc) mais je dois m'en contenter. Et même si j'ai des raisons physiques solides de trouver certains résultats absurdes, je ne peux pas simplement décréter que ce sont des "accidents" et les écarter de mon analyse, déjà parce qu'ils sont pas mal nombreux, et bien sûr parce qu'à partir du moment où je suppose que ces mesures sont mauvaises, je n'ai aucune raison de croire que les autres mesures sont valables sous prétexte que j'aime bien la tête de ce que mon programme en fait.
Je suis donc à la recherche de critères mathématiques qui me permettraient d'avancer un peu. Ma formation en stats étant plutôt légère, je n'ai qu'une vague idée de ce qu'il est possible de faire et du coup mes demandes sont un peu floues... Idéalement j'aimerais pouvoir séparer les "bons" et les "mauvais" nuages de points, obtenir des fits alternatifs dans les "mauvais" cas, ou en dernier recours pouvoir affirmer que les données de bases sont juste trop mauvaises et que je ne peux rien en tirer.
Mon premier réflexe a été de regarder $\chi^2_\text{red}$ le $\chi^2$ réduit (en divisant par le nombre de points du nuage moins 2) de chaque fit avec l'idée de rejeter les données quand $\chi^2_\text{red}$ est trop grand, garder telles quelles les données avec $\chi^2_\text{red} \simeq 1$, et réévaluer les fits quand $\chi^2_\text{red}$ est petit. Plus précisément, pour les petites valeurs de $\chi^2_\text{red}$, au lieu de dire que les paramètres acceptables sont en gros ceux qui sont dans l'ellipse d'erreur autour du minimum de $\chi^2$, j'ai envie de dire que ce sont ceux qui sont à la fois dans la région "physiquement raisonnable" et à l'intérieur d'un certaine ligne de niveau de $\chi^2_\text{red}$.
Mais outre le fait que ça demanderait pas mal de travail supplémentaire, j'ai peur que cette approche soit un peu bancale, notamment parce que j'ai l'impression de forcer l'interprétation statistique de $\chi^2_\text{red}$, qui a priori ne fait sens que si on répète des mesures du même objet (ce qui n'est pas mon cas, chacun de mes nuages de points peut correspondre à un objet, i.e. un jeu de paramètres, bien distinct) à un seul tirage, comme si je déclarais tout de go qu'une pièce était truquée parce qu'après un seul lancer je n'avais obtenu que "pile"...
J'ai aussi regardé la distribution des $\chi^2_\text{red}$ sur tous mes fits pour la comparer avec la distribution théorique, et en effet je trouve qu'il y a un excès de grandes et petites valeurs, mais est-ce que ça fait sens de considérer cette distribution étant donné que chaque tirage correspond a priori à un "vrai" jeu de paramètres différent ? J'ai également lu que pour les régressions non linéaires, $\chi^2_\text{red}$ n'était pas vraiment défini, même si dans mon cas ma fonction de régression m'a l'air suffisamment sympathique (elle est quasiment linéaire en l'un des deux paramètres, et j'ai vérifié sur beaucoup d'exemples que le $\chi^2$ n'a qu'un minimum local) pour pouvoir faire comme si.
Bref, toute suggestion est la bienvenue. Merci à ceux qui auront pris le temps de lire le pavé
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses