Statistiques

tout sur les statistiques
 
AccueilAccueil  FAQFAQ  RechercherRechercher  S'enregistrerS'enregistrer  MembresMembres  GroupesGroupes  Connexion  

Partagez | 
 

 ajuster un modèle

Voir le sujet précédent Voir le sujet suivant Aller en bas 
AuteurMessage
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: ajuster un modèle   Mar 26 Déc - 15:58

Bonjour,

Quelqu'un saurait-il expliquer clairement ce que signifie "ajuster un modèle" en statistiques ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Invité
Invité



MessageSujet: Re: ajuster un modèle   Mar 2 Jan - 16:57

Salut,

"Ajuster un modèle en statistique" : je ne sais pas ce que ça veut dire par contre en économie ou en epidemio ça veut dire que l'on souhiate voir l'effet d'une variable indépendante (ou plusieurs) sur une variable dépendante en tenant compte des caractériques socio démo (des individus) pour voir comment l'effet de la variable indépendante joue sur la variable dépendante tout chose égale par ailleurs.

enfin il me semble
Revenir en haut Aller en bas
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Mar 2 Jan - 18:53

Dans un cours sur le modèle linéaire généralisé voilà ce qui est écrit par exemple :

"On veut regarder si un modèle s'ajuste bien aux données..."

"L'analyse des résidus permet de voir si on a un bon ajustement global aux données."

"ajuster un modèle binomial négatif".


Est-ce que cela veut dire estimer les paramètres du modèle en fonction des données (observations) ? Estimer, faire des tests, etc...
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Invité
Invité



MessageSujet: Re: ajuster un modèle   Mer 3 Jan - 20:36

stokastik a écrit:
Dans un cours sur le modèle linéaire généralisé voilà ce qui est écrit par exemple :

"On veut regarder si un modèle s'ajuste bien aux données..."
là ça veut dire que l'on cherche à savoir si le modèle explique bien les données, en gros dans un modèle linéaire simple on veut vérifier que la droite de régression passe bien au milieu du nuage de points, enfin du moins c'est ce que je comprends quand je lis une telle phrase
Revenir en haut Aller en bas
Enzo



Nombre de messages : 24
Localisation : France-Lyon
Date d'inscription : 09/05/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 17:51

Bonjour,

Je réagis rapidement sur ce fil...

>jb : dans un modèle linéaire (régression) simple, la droite passe toujours par le milieu du nuage de points.

>stokastik : l'analyse des résidus permet de voir si le modèle n'est pas en situation de sous-apprentissage. Autrement dit, on cherche à voir si le modèle colle bien aux données.

Par exemple, tu cherches à analyser la relation entre X et Y, et celle-ci est Y=X². En ajustant un modèle linéaire, tu as d'emblée un biais très fort et tu ne trouveras jamais cette relation. Il faut alors ajuster un modèle plus complexe.

a+
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 18:12

Tiens un topic qui remonte albino

En parlant d'analyse des résidus justement... J'ai des données x_i et y_i et j'ai posé le modèle Y_i = alpha - beta(x_i - x barre) + epsilon_i.

J'ai des estimations de alpha et beta, disons alphaest et betaest. Les résidus sont bien : y_i - (alpha - beta(x_i - x barre)) ?

Et qu'est-ce qu'il faut regarder sur ces résidus ?

Merci.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 18:25

Je viens de regarder sur le livre en ligne d'Azaïs. Quand il n'y a qu'une observation pour chaque x_i j'ai l'impression qu'il n'y a pas grand chose à dire sur les résidus si ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Enzo



Nombre de messages : 24
Localisation : France-Lyon
Date d'inscription : 09/05/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 18:55

Il y aurait beaucoup de choses à dire sur l'analyse résiduelle. rapidement voici quelques réponses grossières :

1) Une première idée est d'étudier leur dépendance avec les prédictions yi
Simplement, tu traces le nuage de points entre les prédictions et les résidus, et si ton modèle est "correct", ce nuage de points ressemble à une grosse patate. Si en revanche, il existe une "forme", alors ton modèle est peut-être mal spécifié.

Ici, en fait, on teste simplement si les résidus sont le résultat d'un processus aléatoire ou non.

2) Dans le cas où le résidu (espilon) doit être gaussien (régression linéaire par exemple) : on teste la normalité des résidus avec Kolmogorov, Shapiro-Wilks, etc.

3) Dans le cas où les données sont temporelles, on teste l'autocorrélation des résidus (test de Durbin-Watson). Il s'agit de tester l'indépendance entre epsilon_i et epsilon_i+1 qqsoit i<n.

4) Dans certains modèles (régression linéaire par exemple), on souhaite que les résidus soient de variance constante. il existe des tests pour déceler les problèmes de ce côté-là (qu'on appelle hétéroscédasticité), voir test de Breusch-Pagan, test de White, etc.

La plupart des test fonctionnent même si tu ne disposes que d'une seule observation par xi. Sinon, tu te retrouves bien dans la m.... dans les cas réels où les données sont continues !
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 20:03

Qu'appelles-tu les prédictions ? Je ne vois pas comment obtenir une "patate" si on n'a qu'une observation par xi ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 20:09

Autre chose : mon modèle je l'ai traité en bayésien, sur les epsilon_i j'ai mis une loi normale centrée de variance sigma avec une loi a priori sur sigma.

Dans ce cas cela a-t-il un sens d'effectuer les tests que tu présentes?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
auto-o-tik



Nombre de messages : 42
Date d'inscription : 16/05/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 23:00

stokastik a écrit:
Qu'appelles-tu les prédictions ? Je ne vois pas comment obtenir une "patate" si on n'a qu'une observation par xi ?

La prédiction est la valeur que ton modèle donnerait (hat[y_i] si tu lui donnais les x_i).
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Lun 5 Mar - 23:41

On est d'accord la prédiction de la i-ième observation ça s'obtient en remplaçant les paramètres par leurs estimations dans l'espérance de la i-ième observation ?

J'aimerais beaucoup qu'on me réponde sur ma question des résidus dans le cadre bayésien :

Citation :
mon modèle je l'ai traité en bayésien, sur les epsilon_i j'ai mis une loi normale centrée de variance sigma avec une loi a priori sur sigma.

Dans ce cas cela a-t-il un sens d'effectuer les tests que tu présentes?

Enfin ce que j'ai écrit là est peu précis mais traite-on une analyse des résidus d'un modèle linéaire de la même façon en bayésien qu'en non bayésien ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
auto-o-tik



Nombre de messages : 42
Date d'inscription : 16/05/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 0:11

stokastik a écrit:

J'aimerais beaucoup qu'on me réponde sur ma question des résidus dans le cadre bayésien :

Citation :
mon modèle je l'ai traité en bayésien, sur les epsilon_i j'ai mis une loi normale centrée de variance sigma avec une loi a priori sur sigma.

Dans ce cas cela a-t-il un sens d'effectuer les tests que tu présentes?

Enfin ce que j'ai écrit là est peu précis mais traite-on une analyse des résidus d'un modèle linéaire de la même façon en bayésien qu'en non bayésien ?

Ok. Les stats bayésiennes sont complexes...

Comment evalues-tu ou choisis-tu les parametres de ta loi a priori ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 0:56

Citation :
Comment evalues-tu ou choisis-tu les parametres de ta loi a priori ?

Pour cet exemple, ce sont des a priori "vagues" :

Y_i = alpha + beta (x_i - x barre) + epsilon_i

avec comme a priori sur alpha une loi normale de précision minusucle, sur beta une loi uniforme sur [0, 10^6], et sur tau, qui est la précision des epsilon_i, une loi gamma de paramètres 10^{-3} et 10^{-3}, qui est proche de l'a priori impropre 1/t.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
auto-o-tik



Nombre de messages : 42
Date d'inscription : 16/05/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 1:12

stokastik a écrit:
Citation :
Comment evalues-tu ou choisis-tu les parametres de ta loi a priori ?

Pour cet exemple, ce sont des a priori "vagues" :

Y_i = alpha + beta (x_i - x barre) + epsilon_i

avec comme a priori sur alpha une loi normale de précision minusucle, sur beta une loi uniforme sur [0, 10^6], et sur tau, qui est la précision des epsilon_i, une loi gamma de paramètres 10^{-3} et 10^{-3}, qui est proche de l'a priori impropre 1/t.

Donc, ton expression Y_i est conditionnel aux effets aléatoires qu'on peut nommer Theta. Ainsi, il vaut mieux exprimer cela comme:

Y_i|Theta = alpha + beta (x_i - x barre) + epsilon_i

Pour avoir ta loi de Y_i, tu dois donc intégrer sur Theta. Avec ta loi sur Y_i, tu pourras donc faire les tests d'ajustement standards.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 1:37

Re,

Mon problème, c'est que je ne connais pas les tests d'ajustement "standards". Pour tout ce qui est probabliste pas de problème, par exemple je sais très bien comment calculer la loi des Y_i en intégrant sur Theta. Mais en stats, côté méthodologie, je suis perdu...

Donc là tu me dis de calculer la loi des Y_i, ok. Et après je ne comprends pas ? Que sont les rédisus ?

J'ai envie de dire que c'est

y_i - (alpha.est + beta.est(x_i-x barre))

où alpha.est et beta.est sont les estimateurs de alpha et beta que j'ai obtenu (classiquement la moyenne des lois a posteriori)

Mais j'en sais rien, il y a aussi un paramètre aléatoire dans la loi des epsilon_i (la précision), qu'en fait-on ?

Bon voilà là je suis perdu quoi...

Edit : et quand on sait ce que sont les résidus, qu'est-ce qu'on en fait ?
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
auto-o-tik



Nombre de messages : 42
Date d'inscription : 16/05/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 11:27

stokastik a écrit:

Mon problème, c'est que je ne connais pas les tests d'ajustement "standards". Pour tout ce qui est probabliste pas de problème, par exemple je sais très bien comment calculer la loi des Y_i en intégrant sur Theta. Mais en stats, côté méthodologie, je suis perdu...

Donc là tu me dis de calculer la loi des Y_i, ok. Et après je ne comprends pas ? Que sont les rédisus ?

Je ne suis pas un expert sur l'analyse des résidus.

Mais en gros, ce que tu dois faire, c'est d'analyser grossièrement tes résidus pour voir s'il n'y pas une forme spéciale de ceux-ci (indiquant que la variance n'est pas uniforme pour toutes les données), qu'il n'y a pas de valeurs extremes qui pourraient influencer tes données, ou encore présence d'auto-corrélation (comme l'indiquait Enzo, par exemple).

Toutefois, le mieux pour tester ton ajustement reste le test de Kolmogorov-Smirnov qui valide si ton modèle est "proche" des vraies données.

stokastik a écrit:

J'ai envie de dire que c'est

y_i - (alpha.est + beta.est(x_i-x barre))

où alpha.est et beta.est sont les estimateurs de alpha et beta que j'ai obtenu (classiquement la moyenne des lois a posteriori)

Ok, je recommence.

En gros, tu as une fonction g(.):

g(Y_i|Theta) = Normal(alpha + beta (x_i - x barre), sigma)

où Theta représente les élements aléatoires ayant une loi a priori f(.).

Ainsi, tu dois trouver g(Y_i) :

g(Y_i) = \int g(Y_i|Theta) f(Theta) dTheta

Et c'est avec g(Y_i) que tu dois faire tes tests d'ajustment.

stokastik a écrit:

Edit : et quand on sait ce que sont les résidus, qu'est-ce qu'on en fait ?

Tu les affiches graphiquement en fonction des X_i pour voir...
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 11:44

Bonjour,

J'ai d'abord un problème de vocabulaire : "faire les tests d'ajustement avec g(Y_i)" qu'est-ce que ça veut dire ? Cela veut-il dire que je dois tester si g(Y_i) suit la loi que j'ai trouvée par le calcul ?

Et si oui, je ne comprends pas. Mon algorithme MCMC me sort des simulations de alpha, beta et de tau, la précision des epsilon_i... je n'ai pas d'échantillon de gY_i)...

Je suis complétement perdu..
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Enzo



Nombre de messages : 24
Localisation : France-Lyon
Date d'inscription : 09/05/2006

MessageSujet: Re: ajuster un modèle   Mar 6 Mar - 13:56

Re,

1. Je n'y connais strictement rien en inférence bayésienne...

2. je vais quand même essayer de préciser 2 ou 3 petites choses sur les résidus :

- lorsque tu produis un modèle (quelque soit sa forme), il faut le valider, i.e, de confirmer qu'il est un outil de modélisation adapté au problème.

A: calcul de résidus et de prédictions

pour chaque observation, tu connais sa vraie valeur y_i et tu peux calculer sa prédiction y_pred_i obtenue à partir du modèle.

ex: j'ai un modèle y=0.8x+1

- l'observation i a une valeur de y de 1 et de x de 0.05. Sa prédiction par le modèle vaut : y_pred_i = 0.8*0.05 + 1 = 1.04.

- le résidu de l'observation i vaut : y_i - ypred_i = 1-1.04 = -0.04

B: tests sur résidus

Ici, il est difficile de présenter des tests "standards". Tout dépend du modèle que tu décides d'appliquer. Dans une régression linéaire par exemple, tu fais l'hypothèse que les résidus sont iid de loi normale centrée (de moyenne 0) et de variance sigma². Donc, dans ce cas, ce qui nous intéresse, c'est de voir si nos résidus sont :

- indépendants
- distribués selon une loi normale
- de moyenne 0
- de variance constante

Comme tu le soulignais stokastik, il paraît a priori difficile de tester quoi que ce soit quand on ne dispose que d'une observation par xi. On utilise alors un petit artefact : on fait des tests sur des estimateurs produits à partir des résidus.

Par exemple, la moyenne des résidus doit être de 0. Il convient donc de tester si l'hypothèse "moyenne des résidus"=0. On peut par exemple appliquer le test de Student ici.

Pour l'indépendance : test de Durbin-Watson (attention : n'a de sens que pour des données temporelles, pas de données croisées)

Pour la variance : tests de détection d'hétéroscédasticité

Pour la normalité : test de Shapiro-Wilk

Bien entendu, ces tests ne sont valables que dans le cadre de la régression linéaire. Autrement, il faut s'adapter. Si par exemple, tu définis tes epsilon_i comme étant iid de loi gamma(...), il va te falloir tester si les résidus sont bien issus d'une loi gamma(...). Tu peux envisager un test du khi2 d'ajustement pour cela (ce n'est qu'un exemple).

++
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
stokastik



Nombre de messages : 45
Date d'inscription : 26/12/2006

MessageSujet: Re: ajuster un modèle   Lun 12 Mar - 17:43

Merci. Je réagis seulement maintenant car je n'étais pas chez moi ces temps-ci.
Pour la régression linéaire j'avais déjà vu cela, je vois c'est une façon de vérifier les hypothèses du modèle.
Enfin je n'ai toujours pas compris comment faire sur mon modèle mais je n'ai plus le temps d'y réfléchir pour l'instant, je suis passé à autre chose.

J'ai un vague souvenir sur les résidus en régression linéaire : les epsilon_i dans le modèle sont supposés indépendants, mais les résidus ne sont pas ces epsilon_i et eux ne sont pas indépendants en réalité. Cependant on fait quand même le test d'indépendance sur ceux-ci. Un truc comme ça.
Donc c'est un peu du bricolage quand même, même dans le cas simple de la régression linéaire.
Revenir en haut Aller en bas
Voir le profil de l'utilisateur
Contenu sponsorisé




MessageSujet: Re: ajuster un modèle   Aujourd'hui à 8:45

Revenir en haut Aller en bas
 
ajuster un modèle
Voir le sujet précédent Voir le sujet suivant Revenir en haut 
Page 1 sur 1
 Sujets similaires
-
» Cours sur le Modèle Linéaire
» capacités prédictives du modèle
» modèle linéaire et proportion
» Le modèle sociopsychologique du phénomène ovni.
» Modèle linéaire généralisé

Permission de ce forum:Vous ne pouvez pas répondre aux sujets dans ce forum
Statistiques :: Statistiques-
Sauter vers: