| ajuster un modèle | |
|
|
Auteur | Message |
---|
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: ajuster un modèle Mar 26 Déc - 15:58 | |
| Bonjour,
Quelqu'un saurait-il expliquer clairement ce que signifie "ajuster un modèle" en statistiques ? | |
|
| |
Invité Invité
| Sujet: Re: ajuster un modèle Mar 2 Jan - 16:57 | |
| Salut,
"Ajuster un modèle en statistique" : je ne sais pas ce que ça veut dire par contre en économie ou en epidemio ça veut dire que l'on souhiate voir l'effet d'une variable indépendante (ou plusieurs) sur une variable dépendante en tenant compte des caractériques socio démo (des individus) pour voir comment l'effet de la variable indépendante joue sur la variable dépendante tout chose égale par ailleurs.
enfin il me semble |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Mar 2 Jan - 18:53 | |
| Dans un cours sur le modèle linéaire généralisé voilà ce qui est écrit par exemple :
"On veut regarder si un modèle s'ajuste bien aux données..."
"L'analyse des résidus permet de voir si on a un bon ajustement global aux données."
"ajuster un modèle binomial négatif".
Est-ce que cela veut dire estimer les paramètres du modèle en fonction des données (observations) ? Estimer, faire des tests, etc... | |
|
| |
Invité Invité
| Sujet: Re: ajuster un modèle Mer 3 Jan - 20:36 | |
| - stokastik a écrit:
- Dans un cours sur le modèle linéaire généralisé voilà ce qui est écrit par exemple :
"On veut regarder si un modèle s'ajuste bien aux données..."
là ça veut dire que l'on cherche à savoir si le modèle explique bien les données, en gros dans un modèle linéaire simple on veut vérifier que la droite de régression passe bien au milieu du nuage de points, enfin du moins c'est ce que je comprends quand je lis une telle phrase |
|
| |
Enzo
Nombre de messages : 24 Localisation : France-Lyon Date d'inscription : 09/05/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 17:51 | |
| Bonjour,
Je réagis rapidement sur ce fil...
>jb : dans un modèle linéaire (régression) simple, la droite passe toujours par le milieu du nuage de points.
>stokastik : l'analyse des résidus permet de voir si le modèle n'est pas en situation de sous-apprentissage. Autrement dit, on cherche à voir si le modèle colle bien aux données.
Par exemple, tu cherches à analyser la relation entre X et Y, et celle-ci est Y=X². En ajustant un modèle linéaire, tu as d'emblée un biais très fort et tu ne trouveras jamais cette relation. Il faut alors ajuster un modèle plus complexe.
a+ | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 18:12 | |
| Tiens un topic qui remonte En parlant d'analyse des résidus justement... J'ai des données x_i et y_i et j'ai posé le modèle Y_i = alpha - beta(x_i - x barre) + epsilon_i. J'ai des estimations de alpha et beta, disons alphaest et betaest. Les résidus sont bien : y_i - (alpha - beta(x_i - x barre)) ? Et qu'est-ce qu'il faut regarder sur ces résidus ? Merci. | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 18:25 | |
| Je viens de regarder sur le livre en ligne d'Azaïs. Quand il n'y a qu'une observation pour chaque x_i j'ai l'impression qu'il n'y a pas grand chose à dire sur les résidus si ? | |
|
| |
Enzo
Nombre de messages : 24 Localisation : France-Lyon Date d'inscription : 09/05/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 18:55 | |
| Il y aurait beaucoup de choses à dire sur l'analyse résiduelle. rapidement voici quelques réponses grossières :
1) Une première idée est d'étudier leur dépendance avec les prédictions yi Simplement, tu traces le nuage de points entre les prédictions et les résidus, et si ton modèle est "correct", ce nuage de points ressemble à une grosse patate. Si en revanche, il existe une "forme", alors ton modèle est peut-être mal spécifié.
Ici, en fait, on teste simplement si les résidus sont le résultat d'un processus aléatoire ou non.
2) Dans le cas où le résidu (espilon) doit être gaussien (régression linéaire par exemple) : on teste la normalité des résidus avec Kolmogorov, Shapiro-Wilks, etc.
3) Dans le cas où les données sont temporelles, on teste l'autocorrélation des résidus (test de Durbin-Watson). Il s'agit de tester l'indépendance entre epsilon_i et epsilon_i+1 qqsoit i<n.
4) Dans certains modèles (régression linéaire par exemple), on souhaite que les résidus soient de variance constante. il existe des tests pour déceler les problèmes de ce côté-là (qu'on appelle hétéroscédasticité), voir test de Breusch-Pagan, test de White, etc.
La plupart des test fonctionnent même si tu ne disposes que d'une seule observation par xi. Sinon, tu te retrouves bien dans la m.... dans les cas réels où les données sont continues ! | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 20:03 | |
| Qu'appelles-tu les prédictions ? Je ne vois pas comment obtenir une "patate" si on n'a qu'une observation par xi ? | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 20:09 | |
| Autre chose : mon modèle je l'ai traité en bayésien, sur les epsilon_i j'ai mis une loi normale centrée de variance sigma avec une loi a priori sur sigma.
Dans ce cas cela a-t-il un sens d'effectuer les tests que tu présentes? | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 23:00 | |
| - stokastik a écrit:
- Qu'appelles-tu les prédictions ? Je ne vois pas comment obtenir une "patate" si on n'a qu'une observation par xi ?
La prédiction est la valeur que ton modèle donnerait (hat[y_i] si tu lui donnais les x_i). | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Lun 5 Mar - 23:41 | |
| On est d'accord la prédiction de la i-ième observation ça s'obtient en remplaçant les paramètres par leurs estimations dans l'espérance de la i-ième observation ? J'aimerais beaucoup qu'on me réponde sur ma question des résidus dans le cadre bayésien : - Citation :
- mon modèle je l'ai traité en bayésien, sur les epsilon_i j'ai mis une loi normale centrée de variance sigma avec une loi a priori sur sigma.
Dans ce cas cela a-t-il un sens d'effectuer les tests que tu présentes? Enfin ce que j'ai écrit là est peu précis mais traite-on une analyse des résidus d'un modèle linéaire de la même façon en bayésien qu'en non bayésien ? | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 0:11 | |
| - stokastik a écrit:
J'aimerais beaucoup qu'on me réponde sur ma question des résidus dans le cadre bayésien :
- Citation :
- mon modèle je l'ai traité en bayésien, sur les epsilon_i j'ai mis une loi normale centrée de variance sigma avec une loi a priori sur sigma.
Dans ce cas cela a-t-il un sens d'effectuer les tests que tu présentes? Enfin ce que j'ai écrit là est peu précis mais traite-on une analyse des résidus d'un modèle linéaire de la même façon en bayésien qu'en non bayésien ? Ok. Les stats bayésiennes sont complexes... Comment evalues-tu ou choisis-tu les parametres de ta loi a priori ? | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 0:56 | |
| - Citation :
- Comment evalues-tu ou choisis-tu les parametres de ta loi a priori ?
Pour cet exemple, ce sont des a priori "vagues" : Y_i = alpha + beta (x_i - x barre) + epsilon_i avec comme a priori sur alpha une loi normale de précision minusucle, sur beta une loi uniforme sur [0, 10^6], et sur tau, qui est la précision des epsilon_i, une loi gamma de paramètres 10^{-3} et 10^{-3}, qui est proche de l'a priori impropre 1/t. | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 1:12 | |
| - stokastik a écrit:
-
- Citation :
- Comment evalues-tu ou choisis-tu les parametres de ta loi a priori ?
Pour cet exemple, ce sont des a priori "vagues" :
Y_i = alpha + beta (x_i - x barre) + epsilon_i
avec comme a priori sur alpha une loi normale de précision minusucle, sur beta une loi uniforme sur [0, 10^6], et sur tau, qui est la précision des epsilon_i, une loi gamma de paramètres 10^{-3} et 10^{-3}, qui est proche de l'a priori impropre 1/t. Donc, ton expression Y_i est conditionnel aux effets aléatoires qu'on peut nommer Theta. Ainsi, il vaut mieux exprimer cela comme: Y_i|Theta = alpha + beta (x_i - x barre) + epsilon_i Pour avoir ta loi de Y_i, tu dois donc intégrer sur Theta. Avec ta loi sur Y_i, tu pourras donc faire les tests d'ajustement standards. | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 1:37 | |
| Re,
Mon problème, c'est que je ne connais pas les tests d'ajustement "standards". Pour tout ce qui est probabliste pas de problème, par exemple je sais très bien comment calculer la loi des Y_i en intégrant sur Theta. Mais en stats, côté méthodologie, je suis perdu...
Donc là tu me dis de calculer la loi des Y_i, ok. Et après je ne comprends pas ? Que sont les rédisus ?
J'ai envie de dire que c'est
y_i - (alpha.est + beta.est(x_i-x barre))
où alpha.est et beta.est sont les estimateurs de alpha et beta que j'ai obtenu (classiquement la moyenne des lois a posteriori)
Mais j'en sais rien, il y a aussi un paramètre aléatoire dans la loi des epsilon_i (la précision), qu'en fait-on ?
Bon voilà là je suis perdu quoi...
Edit : et quand on sait ce que sont les résidus, qu'est-ce qu'on en fait ? | |
|
| |
auto-o-tik
Nombre de messages : 42 Date d'inscription : 16/05/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 11:27 | |
| - stokastik a écrit:
Mon problème, c'est que je ne connais pas les tests d'ajustement "standards". Pour tout ce qui est probabliste pas de problème, par exemple je sais très bien comment calculer la loi des Y_i en intégrant sur Theta. Mais en stats, côté méthodologie, je suis perdu...
Donc là tu me dis de calculer la loi des Y_i, ok. Et après je ne comprends pas ? Que sont les rédisus ? Je ne suis pas un expert sur l'analyse des résidus. Mais en gros, ce que tu dois faire, c'est d'analyser grossièrement tes résidus pour voir s'il n'y pas une forme spéciale de ceux-ci (indiquant que la variance n'est pas uniforme pour toutes les données), qu'il n'y a pas de valeurs extremes qui pourraient influencer tes données, ou encore présence d'auto-corrélation (comme l'indiquait Enzo, par exemple). Toutefois, le mieux pour tester ton ajustement reste le test de Kolmogorov-Smirnov qui valide si ton modèle est "proche" des vraies données. - stokastik a écrit:
J'ai envie de dire que c'est
y_i - (alpha.est + beta.est(x_i-x barre))
où alpha.est et beta.est sont les estimateurs de alpha et beta que j'ai obtenu (classiquement la moyenne des lois a posteriori) Ok, je recommence. En gros, tu as une fonction g(.): g(Y_i|Theta) = Normal(alpha + beta (x_i - x barre), sigma) où Theta représente les élements aléatoires ayant une loi a priori f(.). Ainsi, tu dois trouver g(Y_i) : g(Y_i) = \int g(Y_i|Theta) f(Theta) dTheta Et c'est avec g(Y_i) que tu dois faire tes tests d'ajustment. - stokastik a écrit:
Edit : et quand on sait ce que sont les résidus, qu'est-ce qu'on en fait ? Tu les affiches graphiquement en fonction des X_i pour voir... | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 11:44 | |
| Bonjour,
J'ai d'abord un problème de vocabulaire : "faire les tests d'ajustement avec g(Y_i)" qu'est-ce que ça veut dire ? Cela veut-il dire que je dois tester si g(Y_i) suit la loi que j'ai trouvée par le calcul ?
Et si oui, je ne comprends pas. Mon algorithme MCMC me sort des simulations de alpha, beta et de tau, la précision des epsilon_i... je n'ai pas d'échantillon de gY_i)...
Je suis complétement perdu.. | |
|
| |
Enzo
Nombre de messages : 24 Localisation : France-Lyon Date d'inscription : 09/05/2006
| Sujet: Re: ajuster un modèle Mar 6 Mar - 13:56 | |
| Re,
1. Je n'y connais strictement rien en inférence bayésienne...
2. je vais quand même essayer de préciser 2 ou 3 petites choses sur les résidus :
- lorsque tu produis un modèle (quelque soit sa forme), il faut le valider, i.e, de confirmer qu'il est un outil de modélisation adapté au problème.
A: calcul de résidus et de prédictions
pour chaque observation, tu connais sa vraie valeur y_i et tu peux calculer sa prédiction y_pred_i obtenue à partir du modèle.
ex: j'ai un modèle y=0.8x+1 - l'observation i a une valeur de y de 1 et de x de 0.05. Sa prédiction par le modèle vaut : y_pred_i = 0.8*0.05 + 1 = 1.04.
- le résidu de l'observation i vaut : y_i - ypred_i = 1-1.04 = -0.04
B: tests sur résidus
Ici, il est difficile de présenter des tests "standards". Tout dépend du modèle que tu décides d'appliquer. Dans une régression linéaire par exemple, tu fais l'hypothèse que les résidus sont iid de loi normale centrée (de moyenne 0) et de variance sigma². Donc, dans ce cas, ce qui nous intéresse, c'est de voir si nos résidus sont :
- indépendants - distribués selon une loi normale - de moyenne 0 - de variance constante
Comme tu le soulignais stokastik, il paraît a priori difficile de tester quoi que ce soit quand on ne dispose que d'une observation par xi. On utilise alors un petit artefact : on fait des tests sur des estimateurs produits à partir des résidus.
Par exemple, la moyenne des résidus doit être de 0. Il convient donc de tester si l'hypothèse "moyenne des résidus"=0. On peut par exemple appliquer le test de Student ici.
Pour l'indépendance : test de Durbin-Watson (attention : n'a de sens que pour des données temporelles, pas de données croisées)
Pour la variance : tests de détection d'hétéroscédasticité
Pour la normalité : test de Shapiro-Wilk
Bien entendu, ces tests ne sont valables que dans le cadre de la régression linéaire. Autrement, il faut s'adapter. Si par exemple, tu définis tes epsilon_i comme étant iid de loi gamma(...), il va te falloir tester si les résidus sont bien issus d'une loi gamma(...). Tu peux envisager un test du khi2 d'ajustement pour cela (ce n'est qu'un exemple).
++ | |
|
| |
stokastik
Nombre de messages : 45 Date d'inscription : 26/12/2006
| Sujet: Re: ajuster un modèle Lun 12 Mar - 17:43 | |
| Merci. Je réagis seulement maintenant car je n'étais pas chez moi ces temps-ci. Pour la régression linéaire j'avais déjà vu cela, je vois c'est une façon de vérifier les hypothèses du modèle. Enfin je n'ai toujours pas compris comment faire sur mon modèle mais je n'ai plus le temps d'y réfléchir pour l'instant, je suis passé à autre chose. J'ai un vague souvenir sur les résidus en régression linéaire : les epsilon_i dans le modèle sont supposés indépendants, mais les résidus ne sont pas ces epsilon_i et eux ne sont pas indépendants en réalité. Cependant on fait quand même le test d'indépendance sur ceux-ci. Un truc comme ça. Donc c'est un peu du bricolage quand même, même dans le cas simple de la régression linéaire. | |
|
| |
Contenu sponsorisé
| Sujet: Re: ajuster un modèle | |
| |
|
| |
| ajuster un modèle | |
|